Cafe24 빙봇(Bingbot) 허용하기

Cafe24 호스팅을 사용 중입니다. 구글, 다음, 네이버 등은 모두 웹마스터도구 나 사이트 등록을 통해 유입이 있지만 등록만 해놓고 크게 신경을 안쓰고 있었던 Bing에서는 유입이 없드라구요.




그래서 Bing웹마스터 도구에 들어가 “Bingbot으로 가져오기” 를 통해 크롤 성공 여부를 확인해 보니 아래와 같이 모든 URL에 대해 403 Forbidden이 발생하고 있었습니다.

HTTP/1.1 403 Forbidden
Connection: keepalive
Date: Tue, 26 Mar 2019 08:45:25 GMT
ContentLength: 226
ContentType: text/html; charset=iso88591
Server: nginx

검색을 해보니 유사한 사례들이 종종 있지만 게시글들이 많지 않기에 기록겸 올립니다.




caf24 웹호스팅의 경우 구글, 네이버, 다음 등의 웹문서 수집 봇들은 정상적으로 유입이 가능하지만 MS의 Bingbot은 기본적으로 차단되어 있다고 합니다.

해결법은 FTP로 접속하여 기본루트 디랙토리인 /root 의 상위에서 .htaccess 파일의 맨 밑에 다음과 같은 코드를 삽입해주면 됩니다.




 

PHP_FLAG register_globals ON
PHP_VALUE mysql.default_charset UTF8
<IfModule mod_url.c>
CheckURL Off
</IfModule>
SetEnvIfNoCase User-Agent “bingbot” !go_out

 

코드가 적용되고 몇 일 뒤 정상적으로 크롤링 되는 것을 확인 할 수 있습니다.



이전 기사워드프레스 뉴스페이퍼9(newspaper9) 테마 AMP 자동광고 적용법
다음 기사윈도우10에서 ORCAD CPU점유율 100%되는 현상 해결법

회신을 남겨주세요

Please enter your comment!
Please enter your name here