- 01관리 대상고유 페이지 1만 개 이상이고 매일 바뀌는 사이트 등이 관리 대상입니다.
- 02작은 사이트URL이 수천 개 미만이면 대부분 효율적으로 크롤링된다고 Google 블로그는 적었습니다.
- 03점검 범위작은 사이트는 사이트맵 최신화와 색인 보고서 확인이면 충분합니다.
새 글이 검색에 늦게 잡히면 크롤링 예산부터 의심하는 경우가 많습니다. 하지만 Google은 대부분의 사이트가 이 문제를 걱정할 필요가 없다는 입장입니다. 이 글은 Google 크롤링 인프라 문서와 서치 콘솔 도움말을 기준으로 정리합니다. 관리 대상이 되는 사이트의 기준, 작은 사이트가 볼 항목, 피해야 할 조치를 차례로 짚습니다. 네이버 검색로봇은 기준이 달라 이 글에서 다루지 않습니다.
작은 사이트도 크롤링 예산을 관리해야 하나요?
대부분은 관리하지 않아도 됩니다. Google은 크롤링 예산이 대부분의 게시자가 걱정할 사항이 아니라고 강조합니다.
Google 검색 센터 블로그는 두 가지 신호를 듭니다. 새 페이지가 게시 당일에 크롤링된다면 신경 쓸 사항이 아닙니다. URL이 수천 개 미만인 사이트도 대부분 효율적으로 크롤링됩니다.
Google 「크롤링 예산 최적화」 문서 기준입니다. Google은 이 수치가 정확한 기준점이 아닌 대략적인 추정치라고 덧붙입니다.
| 사이트 유형 | 해당 조건 |
|---|---|
| 대규모 사이트 | 고유 페이지 1백만 개 이상, 주 1회 정도 변경 |
| 중간 규모 이상 사이트 | 고유 페이지 1만 개 이상, 매일 변경 |
| 미색인 비중이 큰 사이트 | 「발견됨 - 현재 색인이 생성되지 않음」 URL이 상당 부분 |
넥스트티는 셋째 조건을 규모와 무관한 신호로 봅니다. 페이지가 적어도 「발견됨」 상태가 많이 쌓였다면 원인부터 들여다봅니다.
크롤링 예산은 무엇으로 정해지나요?
크롤링 용량 한도와 크롤링 수요, 두 가지가 함께 정합니다. Google은 크롤링할 수 있고 크롤링하려는 URL 집합을 예산으로 정의합니다.
Google 「크롤링 예산 최적화」 문서의 설명을 넥스트티가 도식으로 옮겼습니다.
서버가 버틸 수 있는 양
Google이 가져오려는 양
두 조건을 함께 반영
용량 한도는 서버 상태에 따라 오르내립니다. 응답이 일관되고 빠르면 한도가 올라갑니다. 응답이 느려지거나 5xx·429 응답이 나오면 Google이 크롤링을 줄입니다. 모든 사이트는 같은 보수적 한도에서 출발합니다.
수요를 좌우하는 주요 요소는 세 가지입니다. 인식된 URL 인벤토리, 인기도, 변경을 놓치지 않으려는 재크롤링입니다. 용량에 여유가 있어도 수요가 낮으면 크롤링은 줄어듭니다.
- 사이트는 호스트 이름 단위입니다. www와 다른 하위 도메인은 예산이 별도로 잡힙니다.
- 크롤러마다 수요는 다르지만 용량 한도는 모든 크롤러가 나눠 씁니다.
- AMP·hreflang 같은 대체 URL과 CSS·자바스크립트도 예산을 씁니다.
우리 사이트가 관리 대상인지 어떻게 판별하나요?
페이지 수, 변경 빈도, 「발견됨」 비중 세 가지를 보면 판별됩니다. 아래는 넥스트티가 Google 기준을 점검 순서로 옮긴 것입니다.
1. 고유 페이지 수 세기
사이트맵 URL 수나 서치 콘솔 색인 보고서의 전체 수로 규모를 가늠합니다.
2. 변경 빈도 보기
고유 페이지가 1만 개 이상이면 콘텐츠가 매일 바뀌는지 점검합니다.
3. 게시 당일 크롤링 확인
URL 검사 도구에서 최근 글의 마지막 크롤링 날짜를 봅니다.
4. 「발견됨」 비중 보기
페이지 색인 보고서에서 「발견됨 - 현재 색인이 생성되지 않음」 수를 셉니다.
페이지 색인 도움말은 「발견됨」 상태를 이렇게 풀이합니다. Google이 URL을 알지만 사이트 과부하를 우려해 크롤링 일정을 바꾼 경우입니다. 그래서 마지막 크롤링 날짜가 비어 있습니다.
필터·정렬·세션 매개변수가 붙으면 화면상 페이지가 적어도 URL은 크게 늘 수 있습니다. 페이지 수는 Google이 인식하는 URL 기준으로 세어야 합니다. 두 미색인 상태의 차이는 「크롤링됨」과 「발견됨」 비교에서 다뤘습니다.
작은 사이트는 무엇만 점검하면 되나요?
사이트맵을 최신으로 두고 페이지 색인 보고서를 정기적으로 보면 됩니다. Google 문서가 작은 사이트에 권하는 범위가 여기까지입니다.
- 크롤링되기를 바라는 모든 URL이 사이트맵에 있는지 대조합니다.
- 내용을 고친 페이지는 사이트맵 lastmod 값을 갱신합니다.
- 주요 페이지가 「색인 생성됨」인지 URL 검사 도구로 확인합니다.
- robots.txt나 noindex로 주요 페이지를 막고 있지 않은지 살핍니다.
크롤링 통계 보고서는 건너뛰어도 무방합니다. 도움말은 이 보고서가 고급 사용자용이라고 소개합니다. 페이지가 1,000개 미만이면 쓰지 않거나 신경 쓰지 않아도 된다고 안내합니다.
모든 URL이 색인되기를 기대할 필요도 없습니다. Google은 중복이거나 의미 있는 정보가 없는 URL도 있다고 설명합니다. 주요 페이지의 색인 여부만 확인하면 된다는 안내입니다. 사이트맵에 넣을 URL 기준은 XML 사이트맵 URL 기준을 참고하세요.
페이지가 적은데 새 글이 늦게 잡히면 무엇을 보나요?
예산보다 발견 경로와 차단을 먼저 의심합니다. 크롤링 통계 도움말은 중소 규모 사이트에 사이트맵 업데이트와 차단 여부 확인을 제시합니다. 서버 응답 점검은 넥스트티가 추가한 항목입니다.
서치 콘솔 크롤링 통계·페이지 색인 도움말을 넥스트티가 점검 순서로 묶었습니다.
| 의심할 원인 | 확인할 곳 |
|---|---|
| 발견 경로 없음 | 사이트맵 포함 여부, 기존 페이지의 내부 링크 |
| 의도치 않은 차단 | robots.txt 규칙, noindex, 로그인 요구 |
| 서버 응답 문제 | 크롤링 통계의 호스트 상태·평균 응답 시간 |
| 낮은 크롤링 수요 | 자주 바뀌지 않거나 품질이 낮은 콘텐츠 |
페이지 색인 도움말은 발견 경로부터 짚습니다. Google이 크롤링하려면 알려진 페이지나 사이트맵에서 연결되어 있어야 합니다. 새 사이트라면 홈페이지 색인 생성부터 요청하라고 권합니다.
응답이 느리다고 의심될 때만 크롤링 통계 보고서를 엽니다. 호스트 상태는 지난 90일의 가용성 문제를 보여 줍니다. 응답이 느려지거나 서버 오류가 늘면 Googlebot은 요청을 줄입니다. 「크롤링 예산 최적화」 문서는 이때 서버 리소스 추가와 로드 속도 개선을 제시합니다.
예산을 아끼려는 조치 중 피해야 할 것은 무엇인가요?
noindex로 예산을 아끼거나 robots.txt로 예산을 옮기려는 시도는 피합니다. Google 문서가 효과가 없거나 역효과라고 밝힌 조치들입니다.
Google 크롤링 예산 최적화·크롤링 예산의 의미·속도 낮추기 문서 기준입니다.
| 흔한 조치 | Google 문서의 판단 |
|---|---|
| noindex로 크롤링 절약 | 계속 요청되어 시간 낭비 |
| robots. | 옮겨 가지 않음(용량 한도 도달 시 예외) |
| crawl- | Googlebot이 처리하지 않음 |
| 긴 리디렉션 체인 | 크롤링에 부정적 영향 |
| 503·429 응답 2일 이상 지속 | 색인에서 URL이 삭제될 수 있음 |
대신 공식 문서가 제시하는 조치는 이렇습니다. 중복 URL은 통합하고, 영구 삭제한 페이지에는 404나 410을 돌려줍니다. soft 404 페이지를 없애고, 바뀌지 않은 페이지에는 304로 응답합니다. 필터 URL이 많다면 필터 URL 정리 순서부터 보세요.
크롤링 속도를 높여 달라고 Google에 요청할 수는 없습니다. Google 블로그는 크롤링이 순위 결정 신호가 아니라고도 밝힙니다. 크롤링을 늘리는 것보다 가치 있는 URL만 남기는 쪽이 공식 문서의 방향입니다.
참고 자료
- Google 크롤링 인프라 — 크롤링 예산 최적화
- Google 검색 센터 블로그 — Googlebot 크롤링 예산의 의미
- Search Console 고객센터 — 크롤링 통계 보고서
- Search Console 고객센터 — 페이지 색인 생성 보고서
- Google 크롤링 인프라 — Google 크롤링 속도 낮추기
