• 목록
  • 아래로
  • 위로

주말에 mlbpark.com 크롤링을 연습해봤네요.


여러 방법으로 Requests를 이용한 크롤링을 막아놓았더군요.


제가 실력이 없어서 그런 것인지는 모르겠지만 헤더를 올바르게 넣어줘도 이미지 크롤링을 하려면 400대 에러가 뜨더군요.


정확한 이유는 모르겠지만 Requests_HTML을 이용하니 이 문제가 해결되네요 ^^


render를 하지 않았는데도 Requests_HTML을 사용하는 것 자체만으로 해결되는 것을 봐서는, 아마도 Requests 모듈 자체를 감지하는 어떤 기능을 탑재한 것으로 추측됩니다.


크롤링하려는 분들께서 참고가 되셨으면 좋겠습니다.


작성자
이니스프리 110 Lv. (25%) 972490/985680EXP

당분간 일신상의 사정으로 쪽지나 댓글로 답변을 드리기 어렵습니다. 죄송합니다.

 

CSVpuymXAAAVVpd.jpg

댓글 0

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
332 Postman에서 Temporary Header는 비활성화할 수 없습니다. 3 image Seia Seia 20.01.20.19:31 149
331 순수 React만으로 다이내믹 태그 네이밍하기 Seia Seia 20.01.20.19:18 89
330 Sourcerer: Git을 비주얼라이징 및 프로파일링합니다. image Seia Seia 20.01.20.07:38 107
329 [우체국 택배] 수취인 수령장소 변경 서비스 이니스프리 이니스프리 20.01.19.23:08 228
328 TCP BBR을 사용하여 기존 TCP 구현보다도 훨씬 빠른 속도를 즐기는 방법 2 image Seia Seia 20.01.19.07:01 103
327 Vultr.com - 오늘자 Service Alert 이니스프리 이니스프리 20.01.17.22:02 100
326 중국 배대지 휴무 이니스프리 이니스프리 20.01.14.13:01 101
325 [파이썬] random.randint()에서 주의할 점 이니스프리 이니스프리 20.01.13.00:49 178
엠팍에서 첨부 이미지 크롤링을 할 때 400대 에러가 뜨는 경우 이니스프리 이니스프리 20.01.12.23:38 130
323 DHTML 에디터에서 Hard Break vs Soft Break 이니스프리 이니스프리 20.01.12.13:48 104
322 [국립국어원] 세팅 vs 셋팅 이니스프리 이니스프리 20.01.11.16:56 207
321 IPVanish의 한국서버가 4개로 확충되었습니다. image 이니스프리 이니스프리 20.01.11.11:27 103
320 [Flutter] 오프라인 강좌 이니스프리 이니스프리 20.01.09.00:12 103
319 [카고야] 공지 메일이 왔네요~ 이니스프리 이니스프리 20.01.08.13:27 101
318 [오프라인 강좌] 오픈소스 협업을 위한 Git 트레이닝 image 이니스프리 이니스프리 20.01.08.00:13 102
317 [파이썬] OS에 따라서 경로를 달리하기 이니스프리 이니스프리 20.01.07.22:15 113
316 Vivaldi 브라우저 2.10 업데이트 이니스프리 이니스프리 20.01.06.23:54 109
315 [나리야] 마지막 알파버전 금일 업로드 image 이니스프리 이니스프리 20.01.03.12:51 102
314 [Selenium] 다운로드받은 파일명 변경 이니스프리 이니스프리 20.01.03.12:47 855
313 레노버 랩탑에서 Fn 키 설정 및 Ctrl 키와의 상호전환에 대하여 이니스프리 이니스프리 20.01.02.22:22 797