[파이썬] 롯데백화점 크롤링과 관련하여 질문을 드립니다

안녕하세요?

롯데백화점 사이트를 크롤링 연습하다가 3일 동안 해결하지 못하여 부득이 여쭤봅니다 ㅠㅠ

신세계는 상대적으로 간단하던데 롯데는 제 수준에서 매우 어렵네요 ㅜㅜ

https://www.lotteshopping.com/benefitAndEvent/shoppingNewsSub

여기로 접속하면 기본적으로 '롯데백화점 본점'으로 연결되는데요.

'본점'을 클릭해서 '프리미엄 아울렛' -> '광명점'을 클릭합니다.

그러면 개발자도구의 네트워크 탭의 XHR 중에서 의심스러운(?) 내역을 확인할 수 있습니다.

브라우저를 최대한 모방하기 위해 request_html로 세션을 유지한 상태에서 shoppingNewsSub로 get 요청을 한 후,

getChannelImageListAjax로 post 요청을 하여 폼을 전송하는 함수를 작성하였습니다.

from requests_html import HTMLSession
from bs4 import BeautifulSoup

def parse():
    s = HTMLSession()
    s.get('https://www.lotteshopping.com/benefitAndEvent/shoppingNewsSub')
    gm = {
        'cstrLrclsCd' : 'C00130',
        'cstrMdclsCd' : 'C00131'
    }
    html = s.post('https://www.lotteshopping.com/getChannelImageListAjax', data=gm)
    #soup = BeautifulSoup(html.content, 'html.parser')
    print(html)

그런데 shoppingNewsSub로의 요청에 대해서는 200 응답 코드가 나오는데, getChannelImageListAjax로의 요청에 대해서는 404 에러가 뜨는군요 ㅠㅠ

{"resultCode":"0000","channelImageList":[{"mgmChnlLrclsCd":null,"mgmChnlMdclsCd":null,"mgmMenuCd":null,"mgmTpCd":null,"expsrSequ":null,"dsplyStDt":null,"dsplyEndDt":null,"imgNm":"1115_세일_프리아울렛_혜택이벤트","imgExpl":"1115_세일_프리아울렛_혜택이벤트","imgPath":"/content/bnr/201911/C00130C00131C07903C0800110/","imgFle":"20191119172408601_6.jpg","bkgrndPath":null,"bkgrndFle":null,"urlUseYn":null,"urlPopupYn":"N","cnntUrl":null,"rgstOrgCd":null,"rgstDptNm":null,"rgstDtm":null,"rgprId":null,"mdfDtm":null,"mdfprId":null}],"resultMsg":"OK, 전송 성공"}

정상적이라면 이런 응답을 얻는 것으로 나오는데 말이죠.

requests_html은 기본적으로 mocked user-agent 등을 사용하여 브라우저처럼 인식되도록 한다고 알고 있는데요.

user-agent와 세션의 문제가 아니라면... 리퍼러 등을 의심해야 할텐데

제 나름대로 부족한 수준에서 리퍼러를 건드려봐도 이 사이트는 어렵네요 ㅜㅜ

이 정도로 어려운 수준을 극복해야 뭔가 한 단계 업그레이드가 될텐데 아직은 많이 부족한 것 같습니다.

이런 딴 짓을 하지 말고 다음주 COS 준비를 해야될텐데 말이죠.

고수님들의 조언을 부탁드립니다!

번번이 감사합니다 ^-^