구글 애드센스 광고를 게재한지 십년이 다되어 갑니다.

그동안 부가적인 수입원임에는 변함이 없었으며, 많은 도움을 주었던 애드센스였습니다.

 

수없이 많은 스킨으로 바꾸어 봤고 최근에는 모바일 트렌드에 맞추어 반응형 웹으로 전환도 했습니다.

많은 문제점이 있었고 극복해야할 일들도 많았지만, 나름대로 잘 헤쳐나온 듯 합니다.

 

하지만 한가지 해결하지 못한 문제가 하나 있습니다.

바로 크롤러 오류인데요, 구글 애드센스의 문맥 타겟팅을 통해 관련성 높은 광고를 노출시키기 위해서는 반드시 구글봇의 사이트 탐색을 허용해줘야 합니다.

아래는 구글 애드센스에서 이야기하는 크롤러 오류에 대한 언급입니다.

 

크롤러 오류가 발견되었다는 것은 애드센스 크롤러가 사이트의 페이지를 조회하고 색인할 수 없다는 뜻입니다.

크롤러 오류를 해결하면 애드센스 광고 크롤러가 사이트에 액세스해 관련성 높은 광고를 게재할 수 있으므로 결과적으로 광고 수입이 늘어날 수 있습니다.

 

자, 이제 크롤러 문제를 인지하였으니 문제를 해결해 볼까요?!

크롤러 오류

본인의 경우 현재 블로그를 포함해 여러 페이지들이 차단된URL에 포함되어 있습니다.

결론부터 알려드리자면 2014년 4월 현재까지 티스토리 블로그에서는 로봇 탐색에 대한 크롤러 오류를 해결할 수 있는 방법은 없습니다.

.


물론 페이지를 찾을 수없다는 것은 해당 페이지가 삭제되었거나 보이지 않기 때문이니 문제가 되지 않지만, 로봇이 거부된 경우에는 티스토리 로봇 파일을 사용자들이 수정할 권한이 없기 때문에 근복적으로 불가능한 것입니다.

 

본인의 티스토리 블로그의 robot.txt 파일을 확인하기 위해 http://본인계정.tistory.com/robot.txt 를 웹브라우저에서 실행해 봅니다.

User-agent: *
Disallow: /owner
Disallow: /admin
Disallow: /search
Disallow: /tag
Allow: /

티스토리에서는 위와 같이 admin 계정, search, tag 등에 대한 전반적인 액세스가 기본적으로 거부되어 있습니다.

티스토리 블로거는 로긴 정보를 제공하거나 구글봇에게 액세스를 허용함을 알려주는 특정 문구를 삽입하거나, Disallow 문구를 삭제할 수가 없는 것입니다.

 

직접 홈페이지나 사이트를 제작하고 구현하지 않는 한 로봇에 대한 정책은 오픈할 수 없는 것입니다.

 

메타테그를 사용하면 된다고 하지만, 구글봇은 robot.txt 파일에서 거부되었다면 메타테크는 검토해 보지도 않게 됩니다.

크롤러 문제 해결을 위해 관리자만 접근 가능한 경로에 로긴 정보를 입력하면 된다고 하지만, robot에 정의된 정보로 크롤러 액세스는 실패하게 됩니다.

 

이상 티스토리 블로거들에게는 조금 실망스러운 이야기이지만, 100%의 정확한 타겟팅을 지향해야하는 것은 아닐 것입니다.

정확한 문맥 타겟팅을 위해 직접 웹서버를 IDC에 설치하거나, 전용회선과 도메인을 빌리는 것이 나을지는 전적으로 본인의 판단 하에 달려 있겠습니다.

 

구글 로봇이 동작하는 방식을 이해하고, 구글에서 제안하는 애드센스 크롤러 오류를 해결하는 방법은 현재 링크를 참고하시기 바랍니다.



  1. Favicon of https://mathbang.net BlogIcon 수학방 2014.04.03 19:42 신고

    크롤러 오류때문에 문맥타겟팅을 못하더라도 관심기반 광고가 나올수도 있으니까 그리 염려스러운 상황은 아니죠. search, tag에서 크롤러 오류가 생긴다는 건 검색도 많이하고 태그의 활용도가 높다는 증거니까 그걸로 위안을 삼을 수도 있고요. 트랙백 하나 보낼게요.

    • Favicon of https://cezacx2.tistory.com BlogIcon 귀하신분 2014.04.04 09:03 신고

      수학방님도 많이 연구하셨네요~~ 저도 오랜 기간 한번씩 개선하려고 노력해봤지만 역시나 안되더군요... 어쩔 수 없다는걸 알면서도 이런저런 방법을 동원해보다니...ㅎ 어리석었습니다..ㅎㅎㅎ 수학님 말씀대로 관심기반 광고로 만족해야죠^^ 그래도 적절한 수익을 보장해주니^^ 감사할 따름입니다^^ㅎ

  2. Favicon of https://happy-box.tistory.com BlogIcon 건강정보 2014.04.03 22:42 신고

    근데 이거 어쩔 수 없는데다가 문제도 없다고 하던데.....그래도 신경은 쓰이더라구요

    • Favicon of https://cezacx2.tistory.com BlogIcon 귀하신분 2014.04.04 09:00 신고

      네. 광고 노출과 게재에는 전혀 문제가 안됩니다. 하지만 타켓팅 부분에서 낮은 관련성을 갖는 광고가 나올 가능성이 크죠.. 당연히 그러한것을 많은 분들이 알고 계십니다... 하지만 신경쓰지 않아도 됩니다^^ 어쩔 수 없는 부분이고, 구글봇도, 애드센스팀도 그걸 알고있으니깐요^^

  3. Favicon of https://feeltone1.tistory.com BlogIcon 신선함! 2014.04.04 11:34 신고

    잘 알아 갈께요!! 좋은 하루 되셔요~!!

  4. Favicon of https://nubiz.tistory.com BlogIcon 뭐하라 2014.04.05 21:11 신고

    포스트 잘봤습니다.
    제가 크롤링 오류를 해결본 내용이 있어 알려드립니다.
    http://nubiz.tistory.com/415

    • Favicon of https://cezacx2.tistory.com BlogIcon 귀하신분 2014.04.07 09:08 신고

      아.. 감사합니다. 이런 방법도 있었군요^^ 그런데 해당 검색 시 광고가 노출되지 않는 것인데...
      문제는 문맥타겟팅이 정상적으로 노출되는지가 궁금합니다^^

    • Favicon of https://nubiz.tistory.com BlogIcon 뭐하라 2014.04.07 21:52 신고

      어짜피 광고가 개재되더라도 타게팅이 불가한 페이지였으므로 관계없습니다. 다만 관심기반으로 개재될 광고가 노출되지 않으므로 일정부분 수익에 손해가 있을 수 있는데, 저는 그보다 크롤러오류를 보지않기위해 이런방법을 썼습니다

    • Favicon of https://cezacx2.tistory.com BlogIcon 귀하신분 2014.04.08 08:31 신고

      넵^^ 좋은 정보 감사합니다~~~ 많은 도움 되었습니다~~~

  5. 2014.04.08 10:54

    비밀댓글입니다

  6. 군단장 2014.06.19 14:37

    안녕하세요

    현재 저는 아래와 같이 사용중입니다.


    User-agent: *
    Disallow: /search
    Allow: /

    User-agent: Googlebot
    Disallow:

    User-agent: NaverBot
    Disallow:

    User-agent: CowBot
    Disallow:

    User-agent: Daumoa
    Disallow:

    User-agent: Slurp
    Disallow:

    질문은, 네이버 검색 등록이 되지 않았는데요
    이렇게 하면 네이버 검색이 되는것인가요?

    그리고 Disallow: /search 의 의미를 알려주셨으면합니다

    감사합니다.

    • Favicon of https://cezacx2.tistory.com BlogIcon 귀하신분 2014.06.20 09:26 신고

      search 부분만 허용되어있고, 다른 봇들은 차단된 듯 합니다. 이 경우 애드센스에서는 크롤러 오류가 발생하게 됩니다.
      부분적으로 또는 전체 allow 해주시면 되겠습니다.
      -----------
      네이버 검색 등록에는 robot이 큰 영향을 미치지 않으며, 단지 네이버 검색등록만 진행하면(조건이 충족되어 승인된다면) robot과 관계없이 검색 노출이 됩니다.

      네이버 검색 등록은
      http://cezacx2.tistory.com/1107
      참고하시기 바랍니다.

  7. 군단장 2014.06.20 09:36

    안녕하세요

    disallow: 는 허용한다는 말이지 않나요?

    disallow:/ 이게 차단이구요

    • Favicon of https://cezacx2.tistory.com BlogIcon 귀하신분 2014.06.20 13:11 신고

      네 맞습니다. 대충 보고 적은거라^^ㅎ
      disallow: 비어있으면 허용이고, disallow: / 차단입니다.

      disallow: /search 의미는 서치 폴더만 차단하라는 내용입니다.

  8. 군단장 2014.06.20 13:48

    아하^^

    답변감사합니다

    서치 폴더 라는게 무슨말인가요?.. 블로그에 폴더가 없어서요;;;

    1. 라벨 말씀이신지?... 쌩초보라서 ㅋ

    2. 그리고 네이버는 신청 4번했는데 계속 불충분이라고 받아주지 않습니다..
    어떻게 승인나셨나요?

    도와주세용..

    • Favicon of https://cezacx2.tistory.com BlogIcon 귀하신분 2014.06.23 09:51 신고

      1. 홈페이지 서버의 디렉토리 개념인데요, 아래 링크 참고하시면 도움 되실꺼에요~~
      https://support.google.com/webmasters/answer/156449

      2. 신청만 계속 한다고 승인되는건 아닙니다. 양질의 충분한 컨텐츠가 있어야 승인이 나는 것으로 알고있습니다. 애드센스 승인과 비슷한 수준정도...? 하여튼 글개수 열개 넘었다고 해주는게 아니라 양질의 컨텐츠 5개가 있어도 승인될 수 있다는 얘기입니다. 뭐든 네이버 기준이라 정확하게는 모르지만... 일정한 방문자수도 기여하는 듯 합니다...

    • Favicon of https://cezacx2.tistory.com BlogIcon 귀하신분 2014.06.23 09:51 신고

      글을 조금 더 올리고 활성화된 후 다시 신청해보세요^^ 화이팅!!^^

  9. Favicon of http://habas.tistory.com/ BlogIcon 마마마 2014.06.21 11:19

    티스토리에서는 안되는 것이였네요... 애드센스에서 로봇이 거부된다고 나오길래. 좋은 정도 감사합니다.

    • Favicon of https://cezacx2.tistory.com BlogIcon 귀하신분 2014.06.23 09:41 신고

      ^^ 이것저것 다해봐도 안되죠?^^ㅎ 블로거의 한계죠뭐...ㅠㅜ

  10. 2014.12.15 12:36

    비밀댓글입니다

    • Favicon of https://cezacx2.tistory.com BlogIcon 귀하신분 2014.12.22 11:17 신고

      애드센스 승인에서 콘텐츠 부족이란 메시지는 블로그에 충분한 양의 포스팅이 없다는 내용입니다. 조금 더 글을 작성하시고 재신청해보시기 바랍니다.

      구글 웹마스터도우 사이트오류 액세스 거부되는것은 현재 포스팅에서 볼 수 있듯이 구글봇이 티스토리 로봇에 접근할 수 없기 때문에 발생하는 오류입니다. 개인 홈페이지 구축이나 다른 로봇을 건드릴 수 있는 사이트가 아니면 무시하시면 되겠습니다.

      방문 & 질문 감사합니다~