Amazon, Jomashop 등 대형 사이트에서는 크롤러를 어떻게 감지하나요?

안녕하세요?

amazon.com

jomashop.com

위 사이트를 비롯한 대형 사이트에서 크롤러를 차단하는 기법에 대해 여쭤봅니다.

(꼭 쇼핑몰 사이트가 아니라 일반적인 대형 사이트를 염두에 두고 여쭤보는 것입니다.)

미리 말씀드리지만 상업적인 용도나 불특정 다수에게 공개할 용도로 크롤링한 것이 아니라, 

실은 블랙프라이데이 직구 상품이 너무 빨리 매진되어서 이번 주말에 연습삼아서 테스트해봤네요 ㅜㅜ

(어제 SSD 좋은 딜이 잠시 있었던 것 같은데 말이죠.)

위 사이트들은 파이썬 requests를 사용할 때 헤더를 아무리 상세하게 세팅해도 봇으로 필터링되는 것 같구요.

requests_html의 mock-browser 모드로 접속을 해도 마찬가지더군요 ㅠㅠ

그누보드나 XE 기반으로 제작된 사이트들은 requests_html만으로 간단히 크롤링이 가능하고 

보안에 신경을 쓴 사이트라면 여기에 csrf 토큰을 추가하는 정도인 것과 대비되더군요.

네이버 등 일부 포털사이트는 selenium 로그인도 곧바로 할 수 없도록 막아놓았구요.

조마샵의 경우에는 selenium을 사용해도 IP에 따라서 클라우드플레어 캡챠가 뜨는 경우가 있던데요 ㄷㄷ

클라우드플레어의 크롤링과 관련해서 구글링해보니 cfscrape라는 라이브러리가 있긴 하더군요.

https://pypi.org/project/cfscrape/

클라우드플레어는 특정 IP 대역을 원천적으로 봉쇄하는 것 같고, 과도한 GET 또는 POST 요청이 있는지 등에 따라 판단할 것 같은데요.

아마존은 제가 소스를 보니 자체적인 필터링을 하는 것 같네요.

물론 어제처럼 너무 순식간에 마감되는 딜이 아닌 경우에는 아마존은 카멜카멜카멜을 이용하고, 

아울러 딜 정보가 올라오는 국내 사이트를 크롤링하면 당장 제가 직구하는 데에 큰 어려움은 없을 것 같긴 하네요 ^^

이번 일을 경험으로 삼아서 앞으로는 이런 사이트들과 유사하게 크롤러를 감지하는 스크립트를 그누보드에서 구현해보려고 하는데요.

대략 어떤 방식으로 구현할 수 있는지 방향만이라도 제공해주시면 감사하겠습니다.

왕초보인 제 머리에서 requests, urllib 크롤링을 막는 방법으로 떠오르는 것은 Javascript 모달창을 쓰고, csrf 토큰을 추가하는 정도밖에 없어서요 ㅠㅠ

제가 듣기로 요새 아미나 기반의 모 사이트가 계속 뚫리고 있다고 하더군요.

그럼 밖에 비가 오는데 감기 조심하시고 즐거운 주말 되세요~

스포어의 고수님들께 항상 감사드립니다!!