- 01범위페이지 색인 보고서의 5xx와 크롤링 통계 호스트 상태를 함께 보고 일시 오류인지 가립니다.
- 02영향5xx·429가 이어지면 크롤링이 줄고, 계속되면 색인에서 URL이 빠질 수 있습니다.
- 03복구원인을 고쳐 2xx 응답이 돌아오면 Google이 크롤링 속도를 점차 다시 올립니다.
서치 콘솔에 「서버 오류(5xx)」가 늘면 검색 노출부터 걱정됩니다. 짧은 오류라면 크롤링이 잠시 느려지는 정도에서 끝나기도 합니다. 오류가 이어지면 이미 색인된 URL도 빠지기 시작합니다. 이 글은 Google 문서와 서치 콘솔 도움말로 원인 가르기와 복구 순서를 정리합니다.
서치 콘솔의 서버 오류는 무엇을 뜻하나요?
Googlebot이 페이지를 요청했을 때 서버가 500번대 응답을 돌려줬다는 뜻입니다. 페이지 색인 생성 보고서에서는 「서버 오류(5xx)」라는 사유로 나옵니다. 크롤링 통계 보고서에서는 응답 표의 「서버 오류(5XX)」 줄로 보입니다. 시간 초과나 DNS 오류는 응답 코드가 없어서 다른 이름으로 표시됩니다.
출처: 서치 콘솔 고객센터 「크롤링 통계 보고서」
| 보고서 표시 | 뜻 |
|---|---|
| 서버 오류(5XX) | 서버의 500번대 응답 |
| 페이지 시간 제한 | 요청 시간 초과 |
| 페이지에 연결할 수 없음 | 서버에 닿지 못한 요청 |
| DNS 응답 없음 · DNS 오류 | 호스트 이름 확인 실패 |
| robots.txt를 사용할 수 없음 | robots.txt 요청 실패 |
「페이지에 연결할 수 없음」은 요청이 서버에 닿지 못한 경우입니다. 그래서 서버 접속 기록에도 남지 않습니다. 로그에 Googlebot 오류가 없다고 해서 문제가 없다고 보지 않습니다.
검색에는 어떤 영향이 생기나요?
오류가 짧으면 크롤링이 잠시 줄고, 길어지면 색인에서 URL이 빠집니다. Google은 5xx와 429 응답을 받으면 크롤링 속도를 일시적으로 낮춥니다. 이미 색인된 URL은 한동안 남지만 결국 삭제됩니다. 속도를 낮추는 폭은 서버 오류를 돌려준 URL 수에 비례합니다.
Google 크롤링 인프라 「HTTP 상태 코드가 Google 크롤러에 미치는 영향」을 바탕으로 정리
네트워크·DNS 오류는 더 빨리 영향을 줍니다. Google은 시간 초과·연결 재설정·DNS 오류를 5xx와 비슷하게 처리합니다. 이때는 크롤링이 곧바로 느려집니다. 도달할 수 없는 색인 URL은 며칠 안에 색인에서 삭제됩니다.
Google 크롤링 인프라 문서 세 편을 바탕으로 정리
| 오류 위치 | Google의 처리 |
|---|---|
| 페이지 5xx · 429 | 일시 감속 · 지속 시 색인 삭제 |
| 시간 초과 · DNS 오류 | 즉시 감속 · 며칠 안에 색인 삭제 |
| robots.txt 5xx | 처음 12시간 크롤링 중단 |
robots.txt 오류는 사이트 전체 크롤링을 멈출 수 있어 우선순위를 높게 둡니다. robots.txt 사양상 12시간 뒤부터 30일까지는 마지막 정상 파일을 씁니다. 받아 둔 파일이 없으면 크롤링 제한이 없는 것으로 간주합니다. robots.txt의 404 응답은 오류가 아니라 「파일 없음」으로 처리됩니다.
크롤링 통계 보고서에서는 무엇부터 보나요?
호스트 상태를 먼저 보고, 그다음 응답 표와 평균 응답 시간을 봅니다. 보고서는 설정 메뉴의 「크롤링 통계」에 있고 루트 수준 속성에서만 열립니다. 페이지 색인 생성 보고서 도움말도 서버 오류가 보이면 호스트 상태를 검토하라고 안내합니다.
서치 콘솔 고객센터 「크롤링 통계 보고서」를 바탕으로 정리
1. 호스트 상태
빨간 판정이면 눌러서 세부 항목을 엽니다.
2. 세 가지 항목
robots.txt 가져오기·DNS 변환·서버 연결 차트에서 빨간 점선을 넘은 날을 찾습니다.
3. 응답 표
서버 오류 줄을 눌러 정확한 시각과 예시 URL을 확인합니다.
4. 파일 형식별 응답 시간
느린 응답이 특정 형식에 몰렸는지 날짜별 차트로 비교합니다.
응답 표의 비율은 URL 수가 아니라 요청 수 기준입니다. 같은 URL이 한 번은 500, 한 번은 200을 받으면 각각 50%로 잡힙니다. 그래서 비율만으로 고장 난 페이지 수를 짐작하지 않습니다. 빨간 점선의 예로 도움말은 하루 DNS 변환 실패가 요청의 5% 이상인 경우를 듭니다.
원인은 어떻게 가르나요?
5xx는 서버 부하를, 연결 오류는 방화벽을, DNS 오류는 레코드를 먼저 봅니다. 5xx는 서버나 앱이 응답을 만들다 실패한 경우입니다. 시간 초과·연결 불가는 서버가 응답하기 전에 생기기도 합니다. 이때는 상태 코드가 없어서 진단이 더 어렵습니다.
Google 크롤링 인프라 문서와 서치 콘솔 도움말을 바탕으로 정리
| 증상 | 먼저 볼 곳 |
|---|---|
| 서버 오류(5XX) | 서버 과부하 · 동적 페이지 응답 시간 |
| 페이지 시간 제한 · 연결 불가 | 방화벽 · DoS 방지 설정 |
| DNS 응답 없음 · DNS 오류 | A·CNAME 레코드 · 네임서버 |
| robots.txt를 사용할 수 없음 | robots.txt 응답 코드 |
| 429 증가 | 서버 과부하 여부 |
Googlebot만 오류를 받는다면 보안 설정을 의심합니다. 도움말은 방화벽이나 DoS 방지 시스템이 Googlebot을 막을 수 있다고 설명합니다. Googlebot은 일반 사용자보다 요청이 많아 자동 차단 규칙에 걸리기 쉽습니다. 차단을 풀기 전에는 요청이 실제 Google에서 왔는지 역방향·순방향 DNS 조회로 확인합니다.
dig +short example.com a
dig +short example.com nsDNS는 A·CNAME 레코드와 모든 네임서버가 올바른 주소를 가리키는지 점검합니다. 최근 72시간 안에 DNS를 바꿨다면 전파를 기다려야 할 수도 있습니다. 직접 호스팅하지 않는다면 호스팅 업체나 CDN 업체에 지원을 요청합니다.
고칠 때는 어떤 순서로 하나요?
재현 확인, 범위 판단, 원인 수정, 응답 회복 확인, 수정 결과 확인 순서로 진행합니다. 서버가 다시 2xx로 응답하면 Google은 크롤링 속도를 서서히 올립니다. 복구 직후 크롤링 수가 바로 예전만큼 돌아오지 않아도 기다립니다.
1. 재현 확인
URL 검사 실시간 테스트로 오류가 지금도 나는지 재현합니다. 일시 오류였다면 테스트는 성공할 수 있습니다.
2. 범위 판단
호스트 상태와 응답 표로 지속적인 대규모 문제인지 가립니다.
3. 원인 수정
과부하·설정·방화벽·DNS 가운데 확인된 원인을 고칩니다.
4. 응답 회복 확인
크롤링 통계에서 서버 오류 비율과 응답 시간이 내려가는지 살핍니다.
5. 수정 결과 확인
모든 사례를 고친 뒤 페이지 색인 생성 보고서에서 누릅니다. 결과는 보통 최대 2주 안에 나오고 더 걸리기도 합니다.
수정 결과 확인을 누르지 않아도 Google은 크롤링할 때마다 문제 수를 갱신합니다.
- 401·403으로 크롤링 속도 조절: 속도에 영향 없음
- 503·429를 2일 이상 반환: 색인 삭제 위험
- 오류 화면을 200으로 반환: soft 404로 분류
- Google에 크롤링 속도 상향 요청: 요청 불가
크롤링이 몰려 서버가 버거우면 어떻게 하나요?
어떤 크롤러가 늘었는지 살피고, 급할 때만 짧게 503·429를 씁니다. 크롤링 통계의 Googlebot 유형 표에서 늘어난 에이전트를 확인합니다. Google 문서가 꼽는 급증 원인은 필터·정렬 URL, 캘린더 URL, 동적 검색 광고 타겟입니다.
긴급할 때는 몇 시간에서 1~2일 동안 500·503·429를 돌려줄 수 있습니다. 503·429에는 Retry-After 헤더로 재시도 시점을 알려 줍니다. 이런 응답이 많으면 호스트 이름 전체의 크롤링 속도가 내려갑니다. 오류를 반환하지 않은 URL의 크롤링도 느려집니다.
HTTP/1.1 503 Service Unavailable
Retry-After: 120robots.txt로 특정 에이전트를 막는 방법은 반영에 최대 하루가 걸리기도 합니다. robots.txt 차단은 2~3일 뒤 크롤링 속도가 조정되면 풉니다. AI 크롤러 부하는 AI 크롤러 부하 조절 글에서 다룹니다. 크롤링 예산 판단은 크롤링 예산 점검 글을 참고합니다.
- 서버 장애·배포 시각을 적어 두고 크롤링 통계 차트와 맞춰 봅니다.
- 방화벽·보안 서비스 규칙을 바꾼 날에는 호스트 상태를 다시 엽니다.
- 오류 응답으로 크롤링을 늦출 때는 끝낼 시각을 미리 정합니다.
참고 자료
- Google 크롤링 인프라 — HTTP 상태 코드가 Google 크롤러에 미치는 영향
- Google 크롤링 인프라 — Google 크롤러의 네트워크 및 DNS 오류 디버그
- Google 크롤링 인프라 — Google 크롤링 속도 낮추기
- Google 크롤링 인프라 — Google에서 robots.txt 사양을 해석하는 방법
- Google 크롤링 인프라 — Google 크롤러 및 가져오기 도구의 요청 확인
- Search Console 고객센터 — 크롤링 통계 보고서
- Search Console 고객센터 — 페이지 색인 생성 보고서