- 4
- 이니스프리
- 조회 수 240
안녕하세요??
미세먼지가 심한데 주말 잘 보내셨는지요?? ^^
페북이나 트위터처럼 태그 속성이 자주 변경되는 사이트의 크롤링에 대해 여쭤봅니다.
BeautifulSoup을 이용하면 태그의 class, id 등을 주로 활용하여 접근하잖아요.
그런데 페북이나 트위터는 의도적으로 이런 속성을 자주 변경하는 것 같더군요.
그렇다고 자체 API에서 이미지나 영상의 다운로드를 지원하는 것 같지는 않던데요 ㄷㄷ
그렇다면 어떻게 이미지나 영상을 포함하는 태그에 접근하는 것이 가장 장기간 안정적일까요??
페북이나 트위터의 이미지를 다운로드하는 프로그램이나 사이트가 있는 것을 보면 뭔가 좋은 방법이 있을 것 같은데요.
BeautifulSoup에서는 지원하지 않지만 XPATH로 접근을 하면 그나마 안정적이려나요??
크롤러를 영리적인 목적으로 이용하려는건 아니고 제 개인적으로 연습해보고 사용하려구요 :)
크롤링 고수님들의 답변을 부탁드립니다!
그럼 굿밤 되세요~! ^-^
작성자
댓글 4
신고
"라엘님의 댓글"
이 댓글을 신고 하시겠습니까?
오오~ 말씀하신대로 적절히 큰 범위에서 파싱하고 필터링해야겠네요~! ^^
유저들이 결국 승리하기는 하겠지만... 저같은 쪼렙은 힘들듯요~ ㅠㅠ
감사합니다!! 라엘 사마께서도 편안한 저녁 되세요오~
신고
"이니스프리님의 댓글"
이 댓글을 신고 하시겠습니까?
humit 
태그 속성이 바뀌는 이유는 직접 바꾸는 경우도 있겠지만 개발 과정에서 자동으로 css가 업데이트 되기도 합니다.
styled-component나 emotion과 같이 javascript 상에서 css를 정의하는 라이브러리를 사용하면 자동으로 클래스 이름을 생성해줍니다.
그래서 클래스 이름이 이상한 형태가 아닌 정상적으로 보이는 형태에 대해서만 사용하고 되도록 id와 같이 거의 바뀔 일이 없는 값을 기준으로 차례대로 훑어내려가는 식으로 구현합니다.
신고
"humit님의 댓글"
이 댓글을 신고 하시겠습니까?
개발과정에서 자동으로 CSS가 업데이트되는 것이군요 ㅎㄷㄷ
말씀해주신대로 거의 변경되지 않는 값을 기준으로 구현해봐야겠네요!
감사합니다 ^-^ humit 님께서도 좋은 저녁 되세요~
신고
"이니스프리님의 댓글"
이 댓글을 신고 하시겠습니까?
joyful
큰 범위에서 파싱하고 적절히 필터링 하는 방법이 있겠죠.
태그 속성 바꾸는건는 크롤링, 파싱방지, 광고차단프로그램 방지 용도로 많이 쓰더라구요.
https://m.blog.naver.com/PostView.nhn?blogId=yoyo3299&logNo=220981434571 하지만 유저들이 결국엔 승리한다!