구글서치콘솔 색인요청 실패: Robots.txt를 찾을 수 없음

안녕하세요.

오늘은 티스토리 블로그를 작성 후 구글서치콘솔에 색인등록을 할 때 색인요청 실패: Robots.txt를 찾을 수 없음 오류가 발생한 경우 해결방법에 대해 이야기해 보겠습니다.

 

<글쓴이의 한 줄>

평상시와 마찬가지로 티스토리 블로그 글을 정성스럽게 작성 후 항상 해오던 구글서치콘솔에 색인요청을 했는데 경고 오류가 뜨면서 등록이 되지 않는다면 얼마나 당황스러울까요?
저도 처음 겪어봐서 많이 놀랐었습니다.
그래서 저와 같은 오류가 발생할 경우 어떻게 대처하면 좋을지 공유드리고자 작성하게 되었습니다.

그럼 천천히 읽어보시길 추천드립니다.

 

URL 색인 오류 내용

문제가 된 오류 내용은 아래와 같습니다.

원래 정상적인 루트는 다들 아시겠지만 한번 정리해 보죠.

 

ⓐ 정상적인 경우

1. 블로그 작성
2. 서치콘솔 URL 검사 신청
3. 색인요청
4. 요청완료

이런 순서로 구글에 새 블로그 작성글을 색인요청하셨을 겁니다.

 

 

ⓑ 문제발생인 경우

1. 블로그 작성
2. 서치콘솔 URL 검사 신청
3. 색인불가
4. 특정 조건이 충족되는 경우에만 URL의 색인이 생성됩니다.
5. 미완료

위에 오류 사진에서 2가지를 빨간색으로 체크해 보았습니다.

• 특정 조건이 충족되는 않는다는 경고
• 페이지 가져오기 실패: Robots.txt를 찾을 수 없음

 

 

반응형

 

오류 해결 방법

오류에 걸린 다른 분들의 해결 방법을 보면 대략적으로 아래와 같습니다.

• 카테고리를 새로 생성하여 발생된 오류인듯하여 기존 카테고리로 수정한다.
• 글의 제목과 반복되는 내용을 일부 수정한다.
• 반복되는 태그의 나열이 있으면 삭제한다.
• h1, h2, h3 태그의 반복 횟수를 줄여서 글을 수정한다.

물론 상기 방법으로 해결이 될 수 있습니다.

하지만 명확하게 무엇이 문제였는지는 모른 채 해결이 되는 거죠.

그래서 문제점이 어떤 건지 찾아보는 게 중요합니다.

사실 문제점은 따로 찾아볼 필요 없이 위에 언급한 대로 구글서치콘솔이 친절하게 안내를 해주고 있죠. 

 

그럼 특정 조건이 무엇인지 살펴보게 되었죠.

사실 특정 조건이라는 링크를 눌러 들어가면 여러 가지를 안내하고 있습니다.

그러나 구글 가이드에서 제시하는 내용들은 명확하게 이것이 문제라고 파악하기에는 너무 어렵고 애매합니다.

이것이 문제면 이럴 수 있다고 모든 내용을 다루기 때문에 어려운 거죠.

그런데 이마저도 바로 알려줬습니다. 바로 페이지 가져오기 실패라는 조건을 알려주기 때문에 어렵지 않습니다.

 

 

 

 

 

해결과제

저희가 해결해야 할 과제는 바로 '실패: Robots.txt를 찾을 수 없음' 이것입니다.

그럼 robots.txt가 무엇일까요.

 

robots.txt는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안입니다.  

robots.txt 파일은 크롤러가 사이트에서 액세스 할 수 있는 URL을 검색엔진 크롤러에 알려 줍니다. 

그런데 이런 파일을 블로그 작성하면서 건드릴 이유가 없죠.

 

그럼 다시 특정 조건에 이목을 집중해 봅니다.

페이지를 가져오지 못하는 이유 중에 특정 조건으로 가능성이 높은 것은 아마 블로그 글에 첨부한 링크들의 리다이렉트일 겁니다. 

한 페이지 내에 2개 이상 중복되는 링크를 찾아 삭제해 보고 제출해도 해결이 되지 않았습니다.

중복되는 태그를 삭제하고 제출해 봐도 마찬가지였습니다.

마지막으로 링크연결 사이트 한 개만 남기고 다 삭제하였더니 그제서야 해결이 되었습니다.

 

며칠뒤 다시 링크를 포스팅에 한개 더 추가하고 다시 테스트해보았습니다.

동일한 문제가 발생하는지 제가 맞게 해결한 건지 검증을 해보고 싶었습니다.

링크를 추가하여 수정한 후 실시간 테스트를 몇 번 돌리다 보니 다시 문제가 발생되었습니다.

역시 링크를 많이 블로그에 게시하면 좋지 않구나 생각이 들었습니다.

그런데 테스트를 돌릴 때마다 다른 문제들도 표시되고 중구난방이었습니다.

서버연결이 안 된다던가, 모바일 출력에 문제가 있다던가 말이죠.

랜덤으로 표시되었다가 다시 정상이었다가 그럽니다.

그래서 최근 호스트가 문제가 많죠. 그게 가장 큰 원인으로 보입니다.

불안정한 시기이니 최대한 라이트 하게 블로그를 작성하는 게 오류를 최소화시킬 수 있을 것 같습니다.

 

 

그럼 이만 글을 마치도록 하겠습니다.

긴 글 읽어 주셔서 감사드립니다.

좋은 하루 보내세요.

감사합니다.

 

 

 

추천글

진드기 물린자국 구분과 물렸을때 조치방법, 예방법

우울증 테스트 무료 자가진단 정확도95%

청년도약계좌 - 알기쉽게 총정리 (조건 및 신청방법 청년정책)

태풍, 강풍에 창문 유리창 안깨지게 하는 진짜 쉬운 방법