서치 콘솔 'robots.txt로 인해 차단되었으나 색인이 생성됨'은 왜 생기고 어떻게 고칠까요? robots.txt와 noindex 역할 차이

이 경고는 robots.txt로 크롤링을 막은 URL이 색인된 상태입니다. 다른 페이지가 이 URL로 링크를 걸면 생길 수 있습니다. 검색에서 숨길 페이지라면 noindex를 넣고 robots.txt 차단을 풉니다. 검색에 나와야 할 페이지라면 그 URL을 막는 규칙을 지웁니다. 근거는 Google 검색 센터와 Search Console 고객센터 문서입니다.

'차단되었으나 색인이 생성됨'은 어떤 상태인가요?

페이지 색인 생성 보고서 도움말은 이 상태를 경고로 분류합니다. 색인 생성을 막지는 않지만 Google이 페이지를 파악하는 데 지장을 주는 항목입니다.

보고서 설명에 따르면 Google은 robots.txt를 지켜 이 페이지를 요청하지 않습니다. 그런데도 색인이 생긴 이유는 다음 절에서 설명합니다.

검색 결과에는 아주 제한적인 스니펫만 나올 수 있습니다. 본문을 읽지 못했으니 설명이 비어 보이는 경우가 생깁니다.

크롤링됨·발견됨 같은 다른 미색인 상태는 크롤링됨과 발견됨 미색인 비교에서 다뤘습니다.

robots.txt로 막았는데 왜 색인이 되나요?

robots.txt 소개 문서는 robots.txt를 크롤러 트래픽 관리 수단으로 설명합니다. 웹페이지를 Google 검색에서 숨기는 수단이 아니라고 분명히 적었습니다.

같은 문서는 차단된 URL도 다른 곳에서 링크되면 방문 없이 색인될 수 있다고 밝힙니다. 이때는 URL 주소와 링크의 앵커 텍스트처럼 공개된 정보가 결과에 쓰이기도 합니다.

즉 robots.txt는 「들어오지 마십시오」에 가깝고 「목록에 올리지 마십시오」는 아닙니다. 외부 사이트나 내 사이트의 다른 페이지가 링크를 걸면 주소 자체는 알려집니다.

고치기 전에 무엇을 먼저 정하나요?

고치는 방법은 이 URL이 검색에 나와야 하는지에 따라 달라집니다. 보고서 도움말의 다음 단계도 두 갈래로 나뉩니다.

보고서 도움말은 robots.txt로 막힌 URL은 의도적으로 막았을 가능성이 높다고 봅니다. 고칠지는 사이트가 판단하라고 안내합니다.

다만 이 경고 항목의 안내는 robots.txt를 색인 차단의 정확한 수단으로 보지 않습니다. 숨기는 것이 목적이었다면 robots.txt만으로는 목적을 이루지 못합니다.

넥스트티는 경고 목록을 내보낸 뒤 URL마다 「숨김」 또는 「노출」을 표시해 두는 방식을 권합니다. 경로가 같은 URL은 묶어서 판단하면 작업량이 줄어듭니다.

robots.txt와 noindex는 무엇이 다른가요?

noindex 문서에 따르면 noindex는 meta 태그나 HTTP 응답 헤더로 넣습니다. 효과는 두 방법이 같습니다.

Googlebot이 크롤링 중에 이 규칙을 읽으면 그 페이지를 검색 결과에서 뺍니다. 다른 사이트가 링크를 걸어도 마찬가지입니다.

가장 중요한 줄은 마지막 행입니다. 문서는 robots.txt로 막힌 페이지에서는 크롤러가 noindex를 볼 수 없다고 밝힙니다. 그러면 페이지가 검색 결과에 계속 남을 가능성이 있습니다.

또한 Google은 robots.txt 파일 안에 적은 noindex 규칙을 지원하지 않습니다. noindex의 자리는 페이지나 응답 헤더입니다.

<!-- head 안에 넣기 -->
<meta name="robots"
      content="noindex">

# PDF 등은 응답 헤더로
X-Robots-Tag: noindex

어떤 순서로 고치나요?

숨길 페이지라면 순서가 중요합니다. robots.txt가 막고 있는 동안에는 noindex를 넣어도 Google이 읽지 못합니다.

보고서 도움말은 「robots.txt 차단을 해제한 후 NOINDEX를 사용」하라고 안내합니다. 두 조치를 모두 갖춰야 합니다. 1번을 먼저 하는 순서는 넥스트티 권장입니다. 차단을 먼저 풀면 noindex 없이 본문이 크롤링되는 틈이 생길 수 있어서입니다. 두 조치가 모두 끝난 뒤의 결과는 같습니다.

# 변경 전
User-agent: *
Disallow: /cart/
Disallow: /search/

# 변경 후: /search/ 줄만 삭제
# (/search/ 페이지에는 noindex)
User-agent: *
Disallow: /cart/

예시 경로는 설명용입니다.

보일 페이지라면 robots.txt에서 그 경로를 막는 줄만 삭제합니다. robots.txt 규칙은 대소문자를 구분하므로 경로 표기를 정확히 맞춥니다.

robots.txt 보고서는 Google이 마지막으로 가져온 파일과 오류를 보여 줍니다. 중요한 URL의 차단을 풀었다면 이 보고서에서 robots.txt 재크롤링도 요청합니다. 다만 즉시 재크롤링된다는 보장은 없습니다.

필터·정렬 URL은 쇼핑몰 필터 URL 정리 가이드를 참고하십시오. 태그·검색 결과 페이지는 태그·검색결과 페이지 noindex 기준에서 다뤘습니다.

고친 뒤에는 무엇을 확인하나요?

noindex 문서에 따르면 Googlebot의 재방문에는 몇 개월이 걸릴 수 있습니다. 급하지 않다면 보고서 수치 변화를 기다리며 추적합니다.

페이지 삭제 문서에 따르면 URL 삭제 도구는 검색 결과에서 하루 안에 페이지를 내릴 수 있습니다. 이 요청은 약 6개월간 유지되므로, 영구 조치로 noindex나 삭제·비밀번호 보호를 함께 둡니다.

참고 자료

• Google 검색 센터 — robots.txt 소개 및 가이드
• Google 검색 센터 — noindex를 사용하여 검색 색인 생성 차단
• Google 검색 센터 — 로봇 메타 태그·X-Robots-Tag 사양
• Google 검색 센터 — robots.txt 파일 만들기 및 제출
• Google 검색 센터 — Google에서 사이트에 호스팅된 페이지 삭제하기
• Search Console 고객센터 — 페이지 색인 생성 보고서
• Search Console 고객센터 — robots.txt 보고서