• 목록
  • 아래로
  • 위로

주말에 mlbpark.com 크롤링을 연습해봤네요.


여러 방법으로 Requests를 이용한 크롤링을 막아놓았더군요.


제가 실력이 없어서 그런 것인지는 모르겠지만 헤더를 올바르게 넣어줘도 이미지 크롤링을 하려면 400대 에러가 뜨더군요.


정확한 이유는 모르겠지만 Requests_HTML을 이용하니 이 문제가 해결되네요 ^^


render를 하지 않았는데도 Requests_HTML을 사용하는 것 자체만으로 해결되는 것을 봐서는, 아마도 Requests 모듈 자체를 감지하는 어떤 기능을 탑재한 것으로 추측됩니다.


크롤링하려는 분들께서 참고가 되셨으면 좋겠습니다.


작성자
이니스프리 119 Lv. (2%) 4233770/115200000EXP

Make StudyForUs Great Again!

 

CSVpuymXAAAVVpd.jpg

댓글 0

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 시스템 점검 작업 완료 안내 10 마스터 마스터 24.09.05.16:25 3209
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 마스터 23.01.14.02:23 10604
340 [파이썬] 딕셔너리의 키/값으로 정렬하기 이니스프리 이니스프리 20.02.02.23:25 534
339 [IPVanish] 809 에러 해결방법 이니스프리 이니스프리 20.02.02.17:10 295
338 Matrix DAC 발열 문제 이니스프리 이니스프리 20.01.31.12:34 259
337 JLPT 성적표 및 합격증 수령 주소 변경 이니스프리 이니스프리 20.01.29.21:51 289
336 Apple ID 미국 계정 만들기 및 로그인 실패시 해결방법(?) 이니스프리 이니스프리 20.01.26.20:14 378
335 더현대닷컴 vs Hmall의 차이 이니스프리 이니스프리 20.01.26.20:10 1200
334 다이소 스마트폰 유심 커터기 관련 4 이니스프리 이니스프리 20.01.22.17:15 722
333 텔레그램 비밀대화의 스크린캡쳐 방지기능 이니스프리 이니스프리 20.01.20.23:44 6166
332 Postman에서 Temporary Header는 비활성화할 수 없습니다. 3 image Seia Seia 20.01.20.19:31 370
331 순수 React만으로 다이내믹 태그 네이밍하기 Seia Seia 20.01.20.19:18 154
330 Sourcerer: Git을 비주얼라이징 및 프로파일링합니다. image Seia Seia 20.01.20.07:38 187
329 [우체국 택배] 수취인 수령장소 변경 서비스 이니스프리 이니스프리 20.01.19.23:08 354
328 TCP BBR을 사용하여 기존 TCP 구현보다도 훨씬 빠른 속도를 즐기는 방법 2 image Seia Seia 20.01.19.07:01 355
327 Vultr.com - 오늘자 Service Alert 이니스프리 이니스프리 20.01.17.22:02 261
326 중국 배대지 휴무 이니스프리 이니스프리 20.01.14.13:01 177
325 [파이썬] random.randint()에서 주의할 점 이니스프리 이니스프리 20.01.13.00:49 322
엠팍에서 첨부 이미지 크롤링을 할 때 400대 에러가 뜨는 경우 이니스프리 이니스프리 20.01.12.23:38 528
323 DHTML 에디터에서 Hard Break vs Soft Break 이니스프리 이니스프리 20.01.12.13:48 182
322 [국립국어원] 세팅 vs 셋팅 이니스프리 이니스프리 20.01.11.16:56 2320
321 IPVanish의 한국서버가 4개로 확충되었습니다. image 이니스프리 이니스프리 20.01.11.11:27 173