• 목록
  • 아래로
  • 위로

PHP cURL을 이용하여 페이스북을 크롤링할 때에는 다음과 같은 점을 유의해야 하네요.


1. 


"curl_setopt($ch, CURLOPT_HEADER, 1);" 또는 curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);


이렇게 헤더정보를 보내는 옵션을 꼭 넣어야 하네요.


이걸 넣지 않으면 봇으로 인식해서 브라우저를 업데이트하라는 메시지만 뜨고 크롤링을 막아버리네요 ㅠㅠ


트위터나 인스타는 이런 방식으로 막지 않는데 유독 페북만 막는군요.


다행히 페북도 user-agent 등을 확인해서 봇을 차단하는 것은 아니네요.


참고로 파이썬에서 requests나 urllib을 사용할 때에는 별다른 옵션없이 바로 크롤링이 가능합니다.



2. 


페이스북 사이트는 자바스크립트가 작동되는 브라우저인지 확인을 하는군요 ㄷㄷ


이걸 우회하여 모든 내용에 접근하려면 m.facebook.com 또는 mobile.facebook.com으로 접속해야 되네요.


브라우저에서 자바스크립트를 끄고 바로 페북에 접속하면 막히지만,


모바일 페이지로 접속하면 뚫리는 것을 확인할 수 있어요.


다만 이 방법이 언제까지 가능할지는 모르겠네요.


작성자
이니스프리 119 Lv. (0%) 1875900/115200000EXP

당분간 일신상의 사정으로 쪽지나 댓글로 답변을 드리기 어렵습니다. 죄송합니다.

 

CSVpuymXAAAVVpd.jpg

댓글 0

권한이 없습니다.
번호 제목 글쓴이 날짜 조회 수
공지 [작업 완료] 설 명절 맞이 서버 업데이트 안내 3 마스터 마스터 24.02.11.17:21 370
공지 [중요] 호스팅 만료와 관련하여 일부 수칙이 변경됩니다. 4 마스터 마스터 23.01.14.02:23 4058
280 Selenium에서 파일을 다운받을 폴더를 지정하기 이니스프리 이니스프리 19.11.18.22:15 4308
279 ESET의 삭제방법 (공홈 removal tool) 이니스프리 이니스프리 19.11.18.12:54 544
278 [Requests] params, data 전달시에 딕셔너리의 구조가 복잡한 경우 해결방법 이니스프리 이니스프리 19.11.17.14:55 142
277 Tesseract에서 숫자만 인식하는 방법 이니스프리 이니스프리 19.11.16.14:48 2872
276 [OpenCV] !_src.empty() in function 'cvtColor' 에러 해결방법 2 이니스프리 이니스프리 19.11.15.20:40 12722
275 [Pillow] 파이썬에서 이미지 파일의 포맷을 알아내는 방법 이니스프리 이니스프리 19.11.14.23:25 128
274 [파이썬] Selenium 쿠키를 Requests에서 불러오는 방법 이니스프리 이니스프리 19.11.10.15:13 2359
273 파이썬에서 리스트의 문자열들이 특정 문자열 안에 포함되어 있는지 확인하는 방법 1 이니스프리 이니스프리 19.11.10.02:34 2877
272 (펌) 우분투에 IPVanish 설치 방법 이니스프리 이니스프리 19.11.07.22:46 129
271 크롤링용 서버에서 홈서버가 VPS보다 유리한 점 이니스프리 이니스프리 19.11.07.20:53 233
270 11월 플러터 오프라인 강좌 이니스프리 이니스프리 19.11.06.13:41 177
269 파이썬 & 데이터 분석 & 웹 크롤링 오프라인 강의 image 이니스프리 이니스프리 19.11.03.01:41 200
268 [파이썬] Selenium에서 클릭이 안 될 때의 해결방법 이니스프리 이니스프리 19.10.27.22:20 10353
267 현 시점에서 홈 서버로 가장 적절한 미니 PC 중 하나를 추천 드립니다 image 이니스프리 이니스프리 19.10.26.20:10 1749
266 2020년 대만 공휴일 image 이니스프리 이니스프리 19.10.26.19:39 641
265 윈도우 업데이트 후 화면밝기조절이 안 될 때의 해결방법 이니스프리 이니스프리 19.10.24.21:00 885
264 윈도우10에서의 VPN 사용 이니스프리 이니스프리 19.10.20.21:21 234
263 [KAL] 보너스 항공권 공제 마일리지 표 (평수기) 1 image 이니스프리 이니스프리 19.10.16.14:55 140
262 [KAL] 19-20년 성수기 기간 안내 image 이니스프리 이니스프리 19.10.16.14:52 180
261 AMD KOREA 라이젠 3500X 공식 런칭 예정 image 이니스프리 이니스프리 19.10.15.17:50 162