애드센스 광고 크롤러 오류 해결방법 후기

해당 자료는 구글애드센스 공식 사이트에서 참고하였습니다.
문제 해결 방법은 아래링크와 맨 하단에서 언급드리겠습니다.
https://support.google.com/adsense/answer/2381908?hl=ko

애드센스 크롤러 문제 해결 - Google 애드센스 고객센터

<목차>

1. 크롤러 오류란?

2. 문제진단

3. 문제해결방법

1.크롤러 오류란?
크롤러(crawler)란 웹의 정보를 수집해오는 검색 로봇을 말합니다. 구글 봇, 네이버 봇 등으로 불리우고 있습니다. 크롤러가 하는 일을 크롤링(crawling)이라고 하고 있습니다.

티스토리 하는 분들은 모두 이런 경험 한번씩 있으실껍니다. 구글 애드센스에 접속해보니 '광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다.'라는 알람이 떴습니다. 가슴이 철렁하더군요!
조금은 불안해서 크롤러류가 대체 뭔지 찾아봤습니다.

구글 애드센스에서 블로그에 광고가 달리려면 광고 크롤러(=애드센스 검색로봇)가 사이트나 페이지에서 데이터를 수집합니다. 그런데 이크롤링 과정에서 알수 없는 오류로 인식이 안 되는 것이 광고 크롤러 오류이며, 오류로 인해 광고를 달 수 없으니 광고 수익을 다는 애드센스의 오류가 생깁니다.


2.문제진단
저같은경우, 페이지 857번 글에서 오류가 있다고 나왔습니다.
보시면 해야 하는 문제가 '아니오'로 되어있으며, 문제는 크롤러(호스팅 서버 과부하) 라고 나왔습니다. 제가 매우 우려했던 애드센스 정책 위반이 아니므로 조치를 취하는 것은 의무사항은 아니였습니다.
'예'로 되어있는 경우는 반드시 문제를 수정해야 되니 참고 부탁드립니다.

3. 문제 해결방법
일단 해당 문제글은 제가 하루밖에 안된 새 게시글이였습니다.
호스팅문제는 티스토리 서버를 제가 컨트롤 할수 없어 새로 올린글을 새 콘텐츠로 인한 사이트 문제로 해결해보고자 합니다. 애드센스 크롤러는 Google 크롤러와 작동방식이 다르다고 합니다. URL을 기준으로 색인 생성하며 robots.txt 파일에 의해 차단된 페이지나 디렉터리에는 액세스 하지 않는다고 하니 robots.txt 을 확인할 필요는 없고 URL을 확인해볼수 있는데요.

방법 :
구글 서치 콘솔에 접속한 후, URL 검사 -> 크롤러 오류가 발생한 페이지의 URL을 치고 색인이 생성 요청->
그러면 1일 내로 해당 페이지가 구글에 크롤링되어 색인이 생성

위와같은 방법은 구글서치콘솔 설치에 이것저것 복잡합니다. 서치콘솔에 URL삭제 요청까지 너~ 무 복잡합니다.
안타깝지만 해당글을 삭제하는 방향으로 결정했습니다. 호스팅서버과부하 and 페이지 찾을수 없음에 대한 에러가 최근에 한달에 한번씩 보여 해당글은 이런식으로 해결해오고 있습니다.

<글 삭제후 해결 모습>