티스토리 블로그 구글 애드센스 크롤러 오류 문제

구글 애드센스 광고를 게재한지 십년이 다되어 갑니다.

그동안 부가적인 수입원임에는 변함이 없었으며, 많은 도움을 주었던 애드센스였습니다.

 

수없이 많은 스킨으로 바꾸어 봤고 최근에는 모바일 트렌드에 맞추어 반응형 웹으로 전환도 했습니다.

많은 문제점이 있었고 극복해야할 일들도 많았지만, 나름대로 잘 헤쳐나온 듯 합니다.

 

하지만 한가지 해결하지 못한 문제가 하나 있습니다.

바로 크롤러 오류인데요, 구글 애드센스의 문맥 타겟팅을 통해 관련성 높은 광고를 노출시키기 위해서는 반드시 구글봇의 사이트 탐색을 허용해줘야 합니다.

아래는 구글 애드센스에서 이야기하는 크롤러 오류에 대한 언급입니다.

 

크롤러 오류가 발견되었다는 것은 애드센스 크롤러가 사이트의 페이지를 조회하고 색인할 수 없다는 뜻입니다.

크롤러 오류를 해결하면 애드센스 광고 크롤러가 사이트에 액세스해 관련성 높은 광고를 게재할 수 있으므로 결과적으로 광고 수입이 늘어날 수 있습니다.

 

자, 이제 크롤러 문제를 인지하였으니 문제를 해결해 볼까요?!

본인의 경우 현재 블로그를 포함해 여러 페이지들이 차단된URL에 포함되어 있습니다.

결론부터 알려드리자면 2014년 4월 현재까지 티스토리 블로그에서는 로봇 탐색에 대한 크롤러 오류를 해결할 수 있는 방법은 없습니다.

.

물론 페이지를 찾을 수없다는 것은 해당 페이지가 삭제되었거나 보이지 않기 때문이니 문제가 되지 않지만, 로봇이 거부된 경우에는 티스토리 로봇 파일을 사용자들이 수정할 권한이 없기 때문에 근복적으로 불가능한 것입니다.

 

본인의 티스토리 블로그의 robot.txt 파일을 확인하기 위해 http://본인계정.tistory.com/robot.txt 를 웹브라우저에서 실행해 봅니다.

User-agent: *
Disallow: /owner
Disallow: /admin
Disallow: /search
Disallow: /tag
Allow: /

티스토리에서는 위와 같이 admin 계정, search, tag 등에 대한 전반적인 액세스가 기본적으로 거부되어 있습니다.

티스토리 블로거는 로긴 정보를 제공하거나 구글봇에게 액세스를 허용함을 알려주는 특정 문구를 삽입하거나, Disallow 문구를 삭제할 수가 없는 것입니다.

 

직접 홈페이지나 사이트를 제작하고 구현하지 않는 한 로봇에 대한 정책은 오픈할 수 없는 것입니다.

 

메타테그를 사용하면 된다고 하지만, 구글봇은 robot.txt 파일에서 거부되었다면 메타테크는 검토해 보지도 않게 됩니다.

크롤러 문제 해결을 위해 관리자만 접근 가능한 경로에 로긴 정보를 입력하면 된다고 하지만, robot에 정의된 정보로 크롤러 액세스는 실패하게 됩니다.

 

이상 티스토리 블로거들에게는 조금 실망스러운 이야기이지만, 100%의 정확한 타겟팅을 지향해야하는 것은 아닐 것입니다.

정확한 문맥 타겟팅을 위해 직접 웹서버를 IDC에 설치하거나, 전용회선과 도메인을 빌리는 것이 나을지는 전적으로 본인의 판단 하에 달려 있겠습니다.

 

구글 로봇이 동작하는 방식을 이해하고, 구글에서 제안하는 애드센스 크롤러 오류를 해결하는 방법은 현재 링크를 참고하시기 바랍니다.