• 목록
  • 아래로
  • 위로

안녕하세요??


주말 잘 보내고 계시는가요?? :)


Vultr의 크레딧을 거의 소모하여 iwinv 등 국내 업체로 이전을 하려고 하는데요 ^^


국내 업체는 대체로 사용한 트래픽에 따라 과금을 하는 체계이더군요 ㅎㄷㄷ


호스팅을 안 하고 크롤링 용도로만 사용하는 VPS의 트래픽이 얼마나 될지 궁금한데요~


1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??


2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??


prefs = {"profile.managed_default_content_settings.images": 2}


그럼 남은 주말 잘 마무리하시고 다들 항상 건강하세요 :)


답변해주실 분들께 미리 감사드려요!! ^-^


작성자
이니스프리 119 Lv. (1%) 3185560/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 2

title: 황금 서버 (30일)humit
profile image

1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??

=> 네 이미지 트래픽은 포함되지 않습니다.

2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??

=> 대부분의 이미지는 출력되지 않지만 favicon으로 사용되는 이미지의 경우에는 트래픽 요청에 포함되는 거 같습니다. 그냥 이미지 요청 자체를 보내지 않습니다.

직접 확인해보고 싶으시다면 wireshark와 같이 패킷을 캡쳐할 수 있는 도구로 http 패킷의 이동을 확인하실 수 있습니다. 패킷이 보기 어려우시다면 Fiddler나 burp suite 같은 프록시 툴을 사용해보는 것도 괜찮습니다.

comment menu
2020.03.31. 00:13

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

설명해주셔서 감사합니다 :)

requests의 경우에는 이미지 트래픽이 포함되지 않지만, selenium의 경우에는 이미지 옵션을 꺼도 favicon의 트래픽은 포함되는군요!

패킷을 보는 툴이나 프록시 툴을 활용하는 방법도 알아봐야겠네요~

그럼 humit 님께서도 맛점 드시고 좋은 오후 되세요!

항상 감사드려요!! ^-^

comment menu
2020.03.31. 12:15

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [1차 해결 및 추가] 서버 접속 불가 문제 안내 14 마스터 24.06.20.15:22 1054
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 3027
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 6770
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4738
446 윽 도메인이... 7 title: 도밥위키!Dobob 17.04.06.21:56 279
445 아이콘 라이센스의 저작자 표기 방법과 Dot icon 관련 사이트 추천 부탁드립니다. 이니스프리 19.05.06.12:46 278
444 공유폴더가 안되는데 왜 안되는지를 모르겠습니다. 3 image calm 18.11.27.23:47 278
443 [미디어위키] 밑의 글 답변 내용으로해도 작동하지 않습니다. (계속 질문글 올려 죄송합니다.) 3 image 260578 18.03.11.19:58 278
442 워드프레스 페이지 안의 자바스크립트가 동작하지 않습니다 1 image 하이빅스비 23.05.05.19:35 277
441 노트북 3호를 공개수배합니다 5 image 국내산라이츄 21.05.25.23:41 277
440 what is SuEXEC? 2 Hanam09 17.07.21.20:32 277
439 바로가기 링크#걸어도 펼침메뉴가 9 핫슈 17.06.12.22:36 277
438 SSD 5호를 공개수배합니다 4 image 제르엘 21.10.22.01:03 276
437 https://imgnbvip.com/ 라는 이미지 호스팅 사이트가 있나요? image 이니스프리 19.12.24.11:08 275
436 우분투의 crontab을 관리하는 노하우나 툴이 있을까요? 14 이니스프리 18.11.07.00:27 275
435 백신이 삭제가 앙대요 4 국내산라이츄 17.08.29.11:57 275
434 우수회원 6 alstn 17.06.18.14:41 275
433 호스팅 계정 생성할때.. 자신이 원하는 도매인은 어떻게 설정할 수 있나요? 5 Hanam09 17.06.17.13:07 275
크롤링 용도로 사용하는 VPS의 트래픽이 얼마나 될까요?? 2 이니스프리 20.03.29.21:02 274
431 trumbowyg 에디터를 그누보드 아미나빌더에 삽입중입니다. 10 홀민 19.01.25.00:38 274
430 xe 에서 member_srl 별로 게시글을 가져오는 위젯이 있나요? 5 LuisK 17.05.28.17:16 274
429 호스팅 미디어위키 5 맛수타 17.05.07.16:51 274
428 미디어위키 msupload 설치가... 3 title: 도밥위키!Dobob 17.04.07.10:23 274
427 회원가입 이 외안되는거애요? 5 핫슈 16.10.14.19:01 274