Cafe24 빙봇(Bingbot) 허용하기

Last Updated : 2023년 1월 15일

Cafe24 호스팅을 사용 중입니다. 구글, 다음, 네이버 등은 모두 웹마스터도구 나 사이트 등록을 통해 유입이 있지만 등록만 해놓고 크게 신경을 안쓰고 있었던 Bing에서는 유입이 없드라구요.

그래서 Bing웹마스터 도구에 들어가 “Bingbot으로 가져오기” 를 통해 크롤 성공 여부를 확인해 보니 아래와 같이 모든 URL에 대해 403 Forbidden이 발생하고 있었습니다.

HTTP/1.1 403 Forbidden
Connection: keepalive
Date: Tue, 26 Mar 2019 08:45:25 GMT
ContentLength: 226
ContentType: text/html; charset=iso88591
Server: nginx

검색을 해보니 유사한 사례들이 종종 있지만 게시글들이 많지 않기에 기록겸 올립니다.

그럼 Cafe24 빙봇(Bingbot) 허용하기 바로 시작해보겠습니다.

Cafe24 빙봇(Bingbot) 허용하기

caf24 웹호스팅의 경우 구글, 네이버, 다음 등의 웹문서 수집 봇들은 정상적으로 유입이 가능하지만 MS의 Bingbot은 기본적으로 차단되어 있다고 합니다.

해결법은 FTP로 접속하여 기본루트 디랙토리인 /root 의 상위에서 .htaccess 파일의 맨 밑에 다음과 같은 코드를 삽입해주면 됩니다.

PHP_FLAG register_globals ON
PHP_VALUE mysql.default_charset UTF8
<IfModule mod_url.c>
CheckURL Off
</IfModule>
SetEnvIfNoCase User-Agent “bingbot” !go_out

코드가 복사가 되지 않아 텍스트파일로 첨부 드리니 복사하셔서 사용하시면 됩니다.

코드가 적용되고 몇 일 뒤 정상적으로 크롤링 되는 것을 확인 할 수 있습니다.

마치며

지금까지 Cafe24 빙봇(Bingbot) 허용하기에 대해 알아봤습니다.

빙도 사용자가 많은 만큼 꼭 해결하시길 바라며 이 글을 마칩니다.

아래 관련글에는 워드프레스 관련 내용들을 담아봤으니 많은 관심 부탁드리겠습니다.

관련글

Leave a Comment

error: 콘텐츠는 보호됩니다!!