- 01검색결과Google은 검색 결과를 만드는 동적 URL을 robots.txt로 막으라고 권합니다.
- 02태그태그 페이지 전용 기준은 없습니다. 글 수와 고유한 설명으로 색인 여부를 나눕니다.
- 03주의robots.txt로 막은 주소는 noindex를 읽지 못하므로 목적에 맞게 하나를 고릅니다.
사이트 안의 검색창과 태그는 방문자에게 편리한 기능입니다. 그런데 검색어와 태그마다 새 주소가 생기면 검색엔진이 볼 주소도 함께 늘어납니다. 이 글은 Google·네이버 공식 문서와 넥스트티 블로그 점검 결과로 처리 기준을 정리합니다.
사이트 내 검색결과 페이지는 어떻게 처리하나요?
Google URL 구조 문서는 검색 결과를 만드는 URL을 robots.txt로 막으라고 권합니다. 캘린더, 정렬, 필터처럼 주소를 끝없이 만드는 기능도 같은 대상입니다.
검색어는 방문자가 마음대로 입력합니다. 그래서 검색 결과 주소는 사실상 제한 없이 늘어납니다. Google은 매개변수가 많은 주소가 쌓이면 크롤러가 대역폭을 낭비할 수 있다고 밝힙니다.
검색어 하나가 새 주소 하나가 됩니다.
Google 스팸 정책의 도어웨이 예시에도 비슷한 항목이 있습니다. 계층 구조보다 검색 결과에 가까운 매우 비슷한 페이지를 만드는 행위입니다. 검색 결과 페이지를 색인용 글처럼 늘리는 방식은 피합니다.
| 페이지 종류 | 권장 처리 | 근거 문서 |
|---|---|---|
| 사이트 내 검색 결과 | robots.txt 차단 | URL 구조 권장사항 |
| 결과 없는 필터 조합 | 404 응답 | 속성 탐색 URL 관리 |
| 정렬·필터 조합 | robots.txt 차단 | 속성 탐색 URL 관리 |
쇼핑몰 필터 주소는 필터 URL 정리 가이드에서 따로 다룹니다.
이미 색인된 검색결과 페이지는 바로 robots.txt로 막아도 되나요?
바로 막으면 안 됩니다. robots.txt로 막으면 Google이 페이지 안의 noindex를 읽지 못합니다. 그 결과 주소가 설명 없이 검색 결과에 남을 수 있습니다.
이미 색인된 페이지를 빼는 것이 목적이라면 크롤링을 열어 둔 채 noindex를 먼저 겁니다. 색인에서 빠진 것을 확인한 뒤에 크롤링 차단을 검토합니다.
1. noindex 적용
검색 결과 템플릿에 robots 메타 태그나 X-Robots-Tag 헤더를 넣습니다.
2. URL 검사
Googlebot이 받은 HTML에 noindex가 보이는지 확인합니다.
3. 색인 보고서 확인
페이지 색인 생성 보고서에서 noindex로 빠진 주소 목록을 살핍니다.
4. 크롤링 차단 검토
빠진 뒤에도 크롤링 부담이 크면 그때 robots.txt를 겁니다.
Google은 페이지 중요도에 따라 재방문까지 몇 개월이 걸릴 수 있다고 안내합니다. 적용 직후 결과가 그대로여도 설정을 되돌리지 않고 기다립니다.
색인에서 빠진 주소의 상태 구분은 크롤링됨·발견됨 미색인 글에서 볼 수 있습니다.
태그 페이지는 noindex 해야 하나요?
조건에 따라 다릅니다. Google 문서에는 태그 페이지만을 위한 기준이 없습니다. 그래서 글 수, 고유한 설명, 다른 목록과의 중복을 함께 봅니다.
| 태그 페이지 상태 | 처리 | 이유 |
|---|---|---|
| 글 1~2편의 목록 | noindex,follow | 목록 외 정보 없음 |
| 카테고리와 같은 목록 | 태그 정리·통합 | 같은 목록 중복 |
| 띄어쓰기만 다른 태그 | 한 표기로 통일 | 목록이 둘로 나뉨 |
| 소개 글과 여러 편의 목록 | 색인 허용 | 주제 안내 역할 |
noindex,follow는 페이지는 색인에서 빼고 안의 링크는 따라가게 하는 설정입니다. 네이버 서치어드바이저 문서에도 같은 예시가 있습니다.
색인을 허용할 태그 페이지에는 주제 소개 문단을 둡니다. 목록만 있는 페이지보다 방문자가 얻을 정보가 늘어납니다.
- 태그 주제를 설명하는 소개 문단이 있는가
- 같은 글 목록을 보여 주는 카테고리가 따로 있는가
- 목록이 여러 쪽이면 쪽 번호 주소가 정리되어 있는가
쪽 번호 주소 처리는 페이지네이션 색인 글에서 다룹니다.
넥스트티 블로그 태그는 어떤 상태인가요?
태그 대부분이 글 1편에만 붙어 있습니다. 2026년 10월 22일 넥스트티 블로그 공개 글 1,099편의 태그를 집계했습니다.
2026년 10월 22일 공개 글 기준입니다.
태그 하나에 붙은 공개 글 수입니다.
표기만 다른 태그도 있습니다. 「검색 엔진 최적화」는 116편, 「검색엔진최적화」는 114편에 붙어 있습니다.
태그 페이지는 지금 색인 허용 상태입니다. 자기 주소를 canonical로 쓰며 사이트맵에는 들어 있지 않습니다. 이번 점검은 집계와 설정 확인까지이며, 실제 색인 여부는 측정하지 않았습니다.
검색어별 결과를 보여 주는 키워드 도구 주소는 이미 robots.txt로 막혀 있습니다. 도구 첫 화면만 크롤링을 허용합니다. 1절의 Google 권장과 같은 방식입니다.
3절 기준을 적용하면 글 1편 태그 4,272개는 noindex,follow 후보입니다. 표기만 다른 태그는 한 표기로 합치고, 글 10편 이상 태그는 소개 문단을 붙여 색인을 유지하는 방안을 검토합니다.
noindex와 robots.txt, canonical은 어떻게 고르나요?
목적에 따라 고릅니다. 색인에서 빼려면 noindex, 크롤링을 줄이려면 robots.txt, 중복을 묶으려면 canonical을 씁니다.
| 목적 | 수단 | 주의할 점 |
|---|---|---|
| 검색 결과에서 제외 | noindex | 크롤링 허용 필요 |
| 크롤링 요청 줄이기 | robots.txt | 색인 제외 수단 아님 |
| 중복 주소 묶기 | rel="canonical" | 강한 신호, 지시는 아님 |
| 없는 결과 알리기 | 404 응답 | soft 404 방지 |
Google 문서에 따르면 크롤링 예산 관리에 noindex를 쓰지 않습니다. noindex 페이지도 계속 요청하므로 크롤링 시간이 줄지 않기 때문입니다.
크롤링 예산 가이드의 대상은 주로 큰 사이트입니다. 고유 페이지 1백만 개 이상이면서 주 1회 바뀌거나, 1만 개 이상이면서 매일 바뀌는 사이트입니다. Google은 이 숫자를 대략적인 추정치라고 덧붙입니다.
그보다 작은 사이트라면 사이트맵을 최신으로 두고 색인 보고서를 확인하는 것으로 충분하다고 Google은 설명합니다.
- 같은 주소에 둘을 동시에 걸면 noindex가 읽히지 않음
- robots.txt 안의 noindex 규칙은 Google이 지원하지 않음
- 차단한 주소도 다른 곳에서 링크되면 결과에 나올 수 있음
네이버에서도 같은 방법이 통하나요?
네이버도 robots.txt 수집 비허용과 robots 메타 태그의 noindex를 지원합니다. 사용하는 수단은 Google과 같습니다.
네이버 서치어드바이저는 관리자·개인 정보 페이지를 수집 비허용으로 두라고 안내합니다. 로봇 메타 태그 문서에는 noindex와 nofollow의 뜻이 정리되어 있습니다.
주의할 점도 있습니다. 검색 누락 FAQ는 noindex나 수집 비허용이 노출을 막는 원인일 수 있다고 설명합니다. 템플릿 하나에 건 noindex가 글 상세 화면까지 번지지 않았는지 꼭 점검합니다.
- 검색 결과 템플릿과 글 상세 템플릿이 분리되어 있는가
- robots.txt 차단 경로가 글 주소와 겹치지 않는가
- 색인을 허용할 태그 목록을 먼저 정했는가
- 적용 뒤 Google·네이버 도구로 대표 글이 수집되는지 확인했는가
참고 자료
- Google 검색 센터 — Google 검색의 URL 구조 권장사항
- Google 검색 센터 — noindex로 검색 색인 생성 차단하기
- Google 검색 센터 — Robots.txt 소개
- Google 검색 센터 — 크롤링 예산 최적화
- Google 검색 센터 — 속성 탐색 URL 크롤링 관리하기
- Google 검색 센터 — Google 웹 검색의 스팸 정책
- Google 검색 센터 — rel="canonical" 및 다른 메서드로 표준 URL을 지정하는 방법
- Google 검색 센터 — Robots meta 태그, data-nosnippet 및 X-Robots-Tag 사양
- 네이버 서치어드바이저 — robots.txt 설정하기
- 네이버 서치어드바이저 — 선호 URL 및 로봇 메타 태그
- 네이버 서치어드바이저 — 검색 결과 누락 FAQ
