구글 서치콘솔 제출된 URL 크롤링 문제 해결 방법

 

오랜만에 구글 서치콘솔에 들어갔는데 문제가 참 많아 보인다...

 

구글 서치콘솔 색인 생성 범위의 상세정보 중 '제출된 URL에 크롤링 문제가 있습니다' 를 클릭해보자.

 

*크롤링(Crawling) : 소프트웨어 따위가 웹을 돌아다니며 유용한 정보를 찾아 특정 데이터베이스로 수집해 오는 작업. 또는 그러한 기술. 

 

크롤링 문제가 있는 URL이 총 8개가 있었다

 

커서를 크롤링 문제가 있는 URL 중 하나에 갖다대면 오른쪽에 세 개의 아이콘이 생긴다. 그 중 가운데에 있는 '새 탭에서 열기'를 클릭한다. 

 

내가 비공개로 돌리거나 삭제한 게시글이다.

 

내가 비공개로 돌리거나 삭제한 게시글이기 때문에 검색 대상이 될 필요가 없다. 그러니 크롤링 문제가 있는 URL들을 구글에서 검색이 되지 않도록 조치를 취하자. 

 

크롤링 문제가 있는 모든 URL을 새 탭으로 열자. (URL 오른쪽 옆에 세 개의 아이콘 중 가운데 클릭)

 

구글 서치콘솔 > 색인 > 삭제 로 들어가 빨간 버튼의 '새요청' 클릭

 

일시적으로 URL 삭제에 아래 빈칸에 크롤링 문제가 있는 URL을 집어넣는다. 빈칸에 링크를 입력했으면 다음을 누른다. 

 

*참고로 '일시적으로 URL 삭제'는 약 6개월 동안 Google 검색결과에서 URL이 차단됨을 뜻한다. 차단 기간이 지나면 페이지가 검색결과에 다시 표시될 수 있고, 페이지가 검색결과에 다시 나타나려면 재크롤링을 거쳐야 한다. 보통 Google 검색결과에서 페이지를 영구적으로 차단하기 위한 첫 번째 단계로 이 기능을 사용한다. 구글이 삭제한 글을 찾지 못하게끔 요청하는 것과 같다. 

 

그럼 URL 중 맨 위에 있는 것처럼 상태가 요청 처리중으로 뜬다 

 

새 요청 - URL 링크 입력 - 다음 누르기를 반복한다. 

제출된 URL을 찾을 수 없습니다 (404)문제도 같은 방법으로 작업해놓고 작업이 반영될 때 까지 여유롭게 기다려보자.