• 목록
  • 아래로
  • 위로

안녕하세요??


주말 잘 보내고 계시는가요?? :)


Vultr의 크레딧을 거의 소모하여 iwinv 등 국내 업체로 이전을 하려고 하는데요 ^^


국내 업체는 대체로 사용한 트래픽에 따라 과금을 하는 체계이더군요 ㅎㄷㄷ


호스팅을 안 하고 크롤링 용도로만 사용하는 VPS의 트래픽이 얼마나 될지 궁금한데요~


1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??


2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??


prefs = {"profile.managed_default_content_settings.images": 2}


그럼 남은 주말 잘 마무리하시고 다들 항상 건강하세요 :)


답변해주실 분들께 미리 감사드려요!! ^-^


작성자
이니스프리 119 Lv. (0%) 1968420/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 2

title: 황금 서버 (30일)humit
profile image

1) requests를 사용하는 경우에는 이미지 파일을 굳이 저장하지 않는 이상 크롤링하는 웹페이지의 이미지는 트래픽에 포함되지 않는거죠??

=> 네 이미지 트래픽은 포함되지 않습니다.

2) selenium을 사용하는 경우에 다음과 같은 옵션으로 이미지 옵션을 꺼버리면 트래픽에서 이미지에 해당하는 용량을 제외할 수 있는거죠??

=> 대부분의 이미지는 출력되지 않지만 favicon으로 사용되는 이미지의 경우에는 트래픽 요청에 포함되는 거 같습니다. 그냥 이미지 요청 자체를 보내지 않습니다.

직접 확인해보고 싶으시다면 wireshark와 같이 패킷을 캡쳐할 수 있는 도구로 http 패킷의 이동을 확인하실 수 있습니다. 패킷이 보기 어려우시다면 Fiddler나 burp suite 같은 프록시 툴을 사용해보는 것도 괜찮습니다.

comment menu
2020.03.31. 00:13

신고

"humit님의 댓글"

이 댓글을 신고 하시겠습니까?

이니스프리 작성자 → humit
profile image

설명해주셔서 감사합니다 :)

requests의 경우에는 이미지 트래픽이 포함되지 않지만, selenium의 경우에는 이미지 옵션을 꺼도 favicon의 트래픽은 포함되는군요!

패킷을 보는 툴이나 프록시 툴을 활용하는 방법도 알아봐야겠네요~

그럼 humit 님께서도 맛점 드시고 좋은 오후 되세요!

항상 감사드려요!! ^-^

comment menu
2020.03.31. 12:15

신고

"이니스프리님의 댓글"

이 댓글을 신고 하시겠습니까?

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 24.02.11.17:21 947
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 23.01.14.02:23 4623
공지 [필독] 질문하는 방법 17 마스터 18.02.23.03:09 4479
746 라이믹스 도와주세요! 1 image Nginx 18.11.14.15:15 194
745 사이트 정보 등록 2 title: 크롬NUBE 19.01.19.16:11 194
744 이거 이런 뜻인가요 4 image 탄소 18.05.16.18:44 195
743 스포어 호스팅은 자바를 지원하나요? 5 샹키 18.08.21.02:28 195
742 네이버 웹마스터도구에 대해서 질문이 있습니다. 8 image MYIG 18.10.28.17:33 195
741 구매한 아이콘 없애는법 아시는분? 2 슬기 18.10.29.10:33 195
740 mysql에서 select * from 테이블.... 2 홀민 18.11.19.07:52 195
739 비번을 변경해야하는데 도와주세요 스포어 비번이요 1 더딘 19.01.16.19:46 195
738 x-y넷에서 내 웹사이트에서 트래픽 사용 현황을 볼 수 있는 php소스가 있었습니다 2 없음 19.01.20.17:46 195
737 이미지를 DataURI로 받아올 경우 보안문제가 있을까요? 8 네모 18.05.12.07:51 196
736 [우분투] 크롬에서 일부 글자가 꺠져서 나옵니다. 3 image 국내산라이츄 18.07.27.22:55 197
735 출석 오류 4 image 260578 19.07.25.00:02 197
734 도메인 추가 관련 질문 있어요 1 마카롱 17.07.21.09:17 198
733 서명 어디서 변경하지요...? 1 260578 17.12.03.12:24 198
732 서브도메인 적용 방법좀 알려주실수있을까요? 260578 17.12.13.16:53 198
731 VestaCP에서 roundcube 문제 해결 3 image Seia 18.07.14.19:43 198
730 윈도우 10 iis 외장하드 관련 문의 1 width 18.08.30.15:58 198
729 [해결됨]별칭 도메인 관련해서 질문 다시 올립니다 8 260578 18.09.29.20:43 198
728 콘서트 가보신 분 있으신가요? 5 260578 18.12.04.23:45 198
727 PHP잘하시는분 계신가요...? 4 title: 에그joyful 19.01.17.23:22 198