최근 AI봇 때문에 트래픽 증가시 필요한 조치

최근 AI 봇들로 인해 트래픽이 눈에 띄게 증가했습니다.
studyforus.com 의 경우에도 트래픽이 단일로 2TB를 넘는 상황이 생겨 제가 취한 조치입니다.

index.php 또는 index.html 파일이 있는 곳에 .htaccess 파일을 수정하여 아래의 내용을 복사해서 붙여넣기 하시면 됩니다.

 

<IfModule mod_rewrite.c>
RewriteEngine On

# 1) 특정 기능 URL에 대한 비정상 요청 차단
RewriteCond %{REQUEST_URI} dispMemberFindAccount [NC]
RewriteCond %{HTTP_REFERER} ^$ [NC]
RewriteRule .* - [F,L]

# 2) 특정 IP 대역에서 해당 URL 접근 차단
RewriteCond %{REQUEST_URI} dispMemberFindAccount [NC]
RewriteCond %{REMOTE_ADDR} ^216\.73\.216\. [OR]
RewriteCond %{REMOTE_ADDR} ^57\.141\.2\.
RewriteRule .* - [F,L]

# 3) 대표적인 과도 크롤러 User-Agent 차단
RewriteCond %{HTTP_USER_AGENT} GPTBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ClaudeBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Amazonbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Bytespider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC]
RewriteRule .* - [F,L]

</IfModule>

 

 

만약 아래처럼 <IfModule mod_rewrite.c> 부분이 있다면 

<IfModule mod_rewrite.c>
RewriteEngine On

 

아래 부분에 추가해주세요.
 

# 1) 특정 기능 URL에 대한 비정상 요청 차단
RewriteCond %{REQUEST_URI} dispMemberFindAccount [NC]
RewriteCond %{HTTP_REFERER} ^$ [NC]
RewriteRule .* - [F,L]

# 2) 특정 IP 대역에서 해당 URL 접근 차단
RewriteCond %{REQUEST_URI} dispMemberFindAccount [NC]
RewriteCond %{REMOTE_ADDR} ^216\.73\.216\. [OR]
RewriteCond %{REMOTE_ADDR} ^57\.141\.2\.
RewriteRule .* - [F,L]

# 3) 대표적인 과도 크롤러 User-Agent 차단
RewriteCond %{HTTP_USER_AGENT} GPTBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ClaudeBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Amazonbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Bytespider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC]
RewriteRule .* - [F,L]

 

 

이중에 봇들이 회원정도 등으로 넘어가서 살펴보는 것을 막기위해

RewriteCond %{REQUEST_URI} dispMemberFindAccount [NC]

를 추가하였습니다만 라이믹스 전용입니다. 각자 사용하는 CMS에 맞게 변경하시면 됩니다.
라이믹스가 아니라면 빼도 큰 문제는 없습니다.

 

 

 

마지막으로 누군가 내 사이트에 있는 이미지 파일을 링크만 퍼가서 우리의 트래픽을 낭비하게 하는 경우(이미지 핫링크) 이 내용도 추가해주세요.

<IfModule mod_rewrite.c>
RewriteEngine On

RewriteCond %{HTTP_REFERER} !^https?://([a-z0-9-]+\.)?example\.com/ [NC]
RewriteCond %{HTTP_REFERER} !^https?://([a-z0-9-]+\.)?example\.net/ [NC]
RewriteCond %{HTTP_REFERER} !^https?://([a-z0-9-]+\.)?google\.com/ [NC]
RewriteCond %{HTTP_REFERER} !^https?://([a-z0-9-]+\.)?naver\.com/ [NC]
RewriteRule \.(gif|jpg|jpeg|png|webp|mp4)$ - [NC,F,L]

</IfModule>

 

이 중에 ㄷxample\.com/ 같은 내용들은 각자의 도메인 명에 맞게 수정해주시면 됩니다.


 

이 내용들은 구글 봇이나 검색 엔진 말고 확인되지 않는 봇이나, IP대역대를 차단합니다.
그리고 정상적인 크롤러 중에서도 과도한 크롤러들을 차단합니다. (GPTBot, ClaudeBot 등등)
SEO에 영향은 없으니 걱정안하셔도 될 것 같습니다.