• 목록
  • 아래로
  • 위로

안녕하세요?


벌써 2020년의 세번째 금요일이군요 ^^



우분투 VPS에서 크론탭으로 웹 크롤링 스크립트 등 자동화 스크립트를 여러 개 돌리고 있는데요.


물론 Requests로 모두 구현하면 이상적이겠지만, 아직 그 정도 실력이 못 되어서 Selenium도 많이 사용하고 있네요.


그런데 Selenium을 여러 개 띄우면 가뜩이나 VPS 사양도 낮은데 버벅거리는 문제가 있더군요.


스크립트를 종료할 때 driver.close()를 하면 모든 프로세스를 종료하지 않고 끝내는 경우가 생겨서 driver.quit()을 사용하려고 했는데요.


driver.quit()를 하면 동시에 실행 중인 다른 스크립트의 브라우저 탭까지 모두 닫는 것 아닌가요?? (=> 제가 알고 있는 내용이 맞는지요??)


이런 딜레마가 있어서 VPS를 하루에 2~3번 재부팅하고 있네요.


그런데 재부팅을 여러 번 하다보니 웹 서버로 사용하려면 24시간 구동되어야 한다는 취지에 반하는 점도 있구요.



정리하자면 driver.close()로는 모든 프로세스를 종료하지 않는 경우가 있어서 재부팅을 하다보니 


웹 서버를 비롯하여 장시간 구동해야 되는 서버로는 사용하기 애매하다는 것인데요.


이러한 딜레마를 해결하기 위해서는 어떻게 하는 것이 최선일까요??


대단한 것을 크롤링하는 것도 아니어서 가급적이면 크롤링 서버와 웹 서버를 분리하고 싶지는 않은데 말이죠 -_-;;;



그럼 즐거운 불금 되시고 감기 조심하세요 ^^


항상 감사드립니다!




작성자
이니스프리 119 Lv. (2%) 4186530/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 4

포인트 폭탄+
이니스프리님 축하합니다.
추가로 500포인트만큼 포인트 폭탄+를 받았습니다.
comment menu
2020.01.17. 14:37

신고

"포인트 폭탄+님의 댓글"

이 댓글을 신고 하시겠습니까?

삭제

"포인트 폭탄+님의 댓글"

이 댓글을 삭제하시겠습니까?

Hanam09
profile image

VPS 와 웹서버를 분리하면 될거같습니다.

자원이 필요하면 VPS에 요청하는 장식으로요

comment menu
2020.01.26. 13:02

신고

"Hanam09님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → Hanam09
profile image

감사합니다 ^^

결국 크롤링 서버와 웹 서버를 분리하는 것이 정답이군요!

그럼 즐거운 설 연휴 되세요~

comment menu
2020.01.26. 14:31

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

포인트 폭탄+ → 이니스프리
이니스프리님 축하합니다.
추가로 200포인트만큼 포인트 폭탄+를 받았습니다.
comment menu
2020.01.26. 14:31

신고

"포인트 폭탄+님의 댓글"

이 댓글을 신고 하시겠습니까?

삭제

"포인트 폭탄+님의 댓글"

이 댓글을 삭제하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 시스템 점검 작업 완료 안내 10 마스터 24.09.05.16:25 2576
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 10024
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4944
266 파이썬 에디터로 어떤 것이 좋나요? 14 NoYeah 20.01.08.21:08 4591
265 우분투만 사용하다가 페도라 13 / Centos 6.9 시험에 응시하려면 적응하기 어려울까요? ㅠㅠ 8 image 이니스프리 20.01.08.22:56 492
264 '링 피트 어드벤처'가 정말 운동이 되는가요?? 4 이니스프리 20.01.11.12:41 348
VPS에서의 Selenium 사용과 관련하여 질문 드립니다. 4 image 이니스프리 20.01.17.14:37 366
262 커뮤니티 사이트의 출첵 게시판의 활성화에 대한 좋은 아이디어가 있을까요?? 4 이니스프리 20.01.19.00:44 376
261 맥북 프로 구매와 관련하여 여쭤봅니다 4 image 이니스프리 20.01.20.13:03 255
260 선택약정 안 되는 중고폰의 경우에는 어떤 단점이 있는 것인가요?? 6 이니스프리 20.01.21.14:30 3182
259 ReactJS 도와주세요! 2 image Hanam09 20.01.25.22:01 265
258 가개통을 구매하는데에 특별한 문제가 있나요? 3 Seia 20.01.26.18:59 310
257 리눅스 오프라인 강좌의 수업 내용과 관련하여 질문 드립니다. 10 image 이니스프리 20.01.30.14:15 336
256 제대로 작동하는 GIF 무료 이미지 호스팅 사이트 추천 부탁드려요! 이니스프리 20.01.31.12:12 676
255 이 파이썬 강좌를 수강하는 것은 어떨지 여쭤봅니다 ^^ 6 이니스프리 20.01.31.12:43 350
254 VPS에서 LEMP 스택을 제공하면 이걸 그대로 사용해도 괜찮을까요?? 4 이니스프리 20.02.07.14:29 352
253 인스타 프로필 사진 퍼오는거? 3 슬기 20.02.11.22:56 720
252 컴퓨터 전문가님들 봐주세요~~원격프로그램에 대해서입니다 9 매매의신 20.02.12.09:05 420
251 스터디포어스에서 VisualEditor 사용이 가능하나요? 2 입체그림 20.02.12.10:42 266
250 XE 상단바 내려가게 만들기 2 image 입체그림 20.02.14.10:17 289
249 [파이썬] 소용돌이(?) 코딩이 어렵네요 ㅠㅠ 6 image 이니스프리 20.02.14.22:06 2711
248 다른 기기에서의 사이트 접속 불가 4 image 입체그림 20.02.17.19:03 654
247 윈도우 서버를 VPS에 구축하는 것에 대해 질문 드립니다. 23 이니스프리 20.02.17.21:06 672