• 목록
  • 아래로
  • 위로

안녕하세요?


벌써 2020년의 세번째 금요일이군요 ^^



우분투 VPS에서 크론탭으로 웹 크롤링 스크립트 등 자동화 스크립트를 여러 개 돌리고 있는데요.


물론 Requests로 모두 구현하면 이상적이겠지만, 아직 그 정도 실력이 못 되어서 Selenium도 많이 사용하고 있네요.


그런데 Selenium을 여러 개 띄우면 가뜩이나 VPS 사양도 낮은데 버벅거리는 문제가 있더군요.


스크립트를 종료할 때 driver.close()를 하면 모든 프로세스를 종료하지 않고 끝내는 경우가 생겨서 driver.quit()을 사용하려고 했는데요.


driver.quit()를 하면 동시에 실행 중인 다른 스크립트의 브라우저 탭까지 모두 닫는 것 아닌가요?? (=> 제가 알고 있는 내용이 맞는지요??)


이런 딜레마가 있어서 VPS를 하루에 2~3번 재부팅하고 있네요.


그런데 재부팅을 여러 번 하다보니 웹 서버로 사용하려면 24시간 구동되어야 한다는 취지에 반하는 점도 있구요.



정리하자면 driver.close()로는 모든 프로세스를 종료하지 않는 경우가 있어서 재부팅을 하다보니 


웹 서버를 비롯하여 장시간 구동해야 되는 서버로는 사용하기 애매하다는 것인데요.


이러한 딜레마를 해결하기 위해서는 어떻게 하는 것이 최선일까요??


대단한 것을 크롤링하는 것도 아니어서 가급적이면 크롤링 서버와 웹 서버를 분리하고 싶지는 않은데 말이죠 -_-;;;



그럼 즐거운 불금 되시고 감기 조심하세요 ^^


항상 감사드립니다!




작성자
이니스프리 119 Lv. (1%) 2389550/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 4

포인트 폭탄+
이니스프리님 축하합니다.
추가로 500포인트만큼 포인트 폭탄+를 받았습니다.
comment menu
2020.01.17. 14:37

신고

"포인트 폭탄+님의 댓글"

이 댓글을 신고 하시겠습니까?

삭제

"포인트 폭탄+님의 댓글"

이 댓글을 삭제하시겠습니까?

Hanam09
profile image

VPS 와 웹서버를 분리하면 될거같습니다.

자원이 필요하면 VPS에 요청하는 장식으로요

comment menu
2020.01.26. 13:02

신고

"Hanam09님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → Hanam09
profile image

감사합니다 ^^

결국 크롤링 서버와 웹 서버를 분리하는 것이 정답이군요!

그럼 즐거운 설 연휴 되세요~

comment menu
2020.01.26. 14:31

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

포인트 폭탄+ → 이니스프리
이니스프리님 축하합니다.
추가로 200포인트만큼 포인트 폭탄+를 받았습니다.
comment menu
2020.01.26. 14:31

신고

"포인트 폭탄+님의 댓글"

이 댓글을 신고 하시겠습니까?

삭제

"포인트 폭탄+님의 댓글"

이 댓글을 삭제하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 2188
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 5867
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4540
666 파일질라는 접속하면 폴더지정이 안되나요? 2 슬기 18.09.30.23:48 214
665 계산기를 만드는데 문제가! 6 studyHTML 18.11.06.23:06 214
664 POST 데이터가 보내지지 않습니다 5 260578 19.01.20.13:45 214
663 Input submit 버튼 2 260578 19.01.20.18:44 214
662 스포티콘도 게시글 본문에 사용 가능한가요?? 10 image 이니스프리 20.05.05.13:05 214
661 핸드폰 유심이 이상해요. 7 슬기 20.06.01.19:18 214
660 제발 제 사이트링크 좀여 1 :셋탑_Setop 17.03.29.23:11 215
659 ssh 유저로는 DB를 못 건드리나요? 6 abnoeh 18.04.08.10:09 215
658 스포어 서버에서는 JQuery를 사용할 수 있나요? 4 260578 18.11.23.08:20 215
657 판단 대기 시간 6 없음 19.01.11.14:09 215
656 도메인 기관이전을 하려고 합니다 5 260578 19.06.13.22:18 215
655 VPS 플랜 선택과 관련하여 질문 드립니다 ^-^ 4 image 이니스프리 20.02.28.20:52 215
654 php 검색 기능 도와주세요 8 title: 에그joyful 18.08.01.22:25 216
653 usb 부팅 질문 드립니다. 1 calm 18.12.14.16:16 216
652 호스팅 신청을 안하고 커뮤니티 활동을 해도 되나요? 5 없음 19.01.01.12:54 216
651 [앱개발 질문] 초보입니다. 2 Chobo 20.04.07.10:21 216
650 맥북 프로 구매와 관련하여 여쭤봅니다 4 image 이니스프리 20.01.20.13:03 217
649 ssh 계정 2 ikuu7 17.05.18.02:12 218
648 실험실 공유기의 상태가 실로 이상하네요. 2 국내산라이츄 17.10.27.14:20 218
647 인용문, 가로줄등이 작동하지 않습니다. 5 260578 17.12.03.17:44 218