상세문의 아이콘 상세문의
간편문의 아이콘 × 간편문의

서치 콘솔에 서버 오류(5xx)가 뜨거나 크롤링 응답이 나빠질 때, 무엇부터 볼까요? 원인 가르기와 복구 순서

2026. 11. 21
서치 콘솔에 서버 오류(5xx)가 뜨거나 크롤링 응답이 나빠질 때, 무엇부터 볼까요? 원인 가르기와 복구 순서
핵심 요약3줄 체크
  • 01
    범위
    페이지 색인 보고서의 5xx와 크롤링 통계 호스트 상태를 함께 보고 일시 오류인지 가립니다.
  • 02
    영향
    5xx·429가 이어지면 크롤링이 줄고, 계속되면 색인에서 URL이 빠질 수 있습니다.
  • 03
    복구
    원인을 고쳐 2xx 응답이 돌아오면 Google이 크롤링 속도를 점차 다시 올립니다.
robots.txt 5xx 때 크롤링 중단
12시간
처음 12시간 · Google 사양
긴급 503·429 사용 기간
2일 미만
장기 사용 비권장
DNS 실패 경고선(예시)
5% 이상
하루 요청 중 실패 비율 · 도움말

서치 콘솔에 「서버 오류(5xx)」가 늘면 검색 노출부터 걱정됩니다. 짧은 오류라면 크롤링이 잠시 느려지는 정도에서 끝나기도 합니다. 오류가 이어지면 이미 색인된 URL도 빠지기 시작합니다. 이 글은 Google 문서와 서치 콘솔 도움말로 원인 가르기와 복구 순서를 정리합니다.

서치 콘솔의 서버 오류는 무엇을 뜻하나요?

Googlebot이 페이지를 요청했을 때 서버가 500번대 응답을 돌려줬다는 뜻입니다. 페이지 색인 생성 보고서에서는 「서버 오류(5xx)」라는 사유로 나옵니다. 크롤링 통계 보고서에서는 응답 표의 「서버 오류(5XX)」 줄로 보입니다. 시간 초과나 DNS 오류는 응답 코드가 없어서 다른 이름으로 표시됩니다.

크롤링 통계 응답 표에서 함께 볼 오류 이름

출처: 서치 콘솔 고객센터 「크롤링 통계 보고서」

보고서 표시뜻
서버 오류(5XX)서버의 500번대 응답
페이지 시간 제한요청 시간 초과
페이지에 연결할 수 없음서버에 닿지 못한 요청
DNS 응답 없음 · DNS 오류호스트 이름 확인 실패
robots.txt를 사용할 수 없음robots.txt 요청 실패

「페이지에 연결할 수 없음」은 요청이 서버에 닿지 못한 경우입니다. 그래서 서버 접속 기록에도 남지 않습니다. 로그에 Googlebot 오류가 없다고 해서 문제가 없다고 보지 않습니다.

검색에는 어떤 영향이 생기나요?

오류가 짧으면 크롤링이 잠시 줄고, 길어지면 색인에서 URL이 빠집니다. Google은 5xx와 429 응답을 받으면 크롤링 속도를 일시적으로 낮춥니다. 이미 색인된 URL은 한동안 남지만 결국 삭제됩니다. 속도를 낮추는 폭은 서버 오류를 돌려준 URL 수에 비례합니다.

서버 오류가 이어질 때 Google 크롤러의 반응

Google 크롤링 인프라 「HTTP 상태 코드가 Google 크롤러에 미치는 영향」을 바탕으로 정리

5xx·429 응답
→
크롤링 속도 낮춤
→
오류 지속 시 색인 삭제
→
2xx 회복 뒤 속도 점차 회복

네트워크·DNS 오류는 더 빨리 영향을 줍니다. Google은 시간 초과·연결 재설정·DNS 오류를 5xx와 비슷하게 처리합니다. 이때는 크롤링이 곧바로 느려집니다. 도달할 수 없는 색인 URL은 며칠 안에 색인에서 삭제됩니다.

오류 위치별 영향 비교

Google 크롤링 인프라 문서 세 편을 바탕으로 정리

오류 위치Google의 처리
페이지 5xx · 429일시 감속 · 지속 시 색인 삭제
시간 초과 · DNS 오류즉시 감속 · 며칠 안에 색인 삭제
robots.txt 5xx처음 12시간 크롤링 중단

robots.txt 오류는 사이트 전체 크롤링을 멈출 수 있어 우선순위를 높게 둡니다. robots.txt 사양상 12시간 뒤부터 30일까지는 마지막 정상 파일을 씁니다. 받아 둔 파일이 없으면 크롤링 제한이 없는 것으로 간주합니다. robots.txt의 404 응답은 오류가 아니라 「파일 없음」으로 처리됩니다.

크롤링 통계 보고서에서는 무엇부터 보나요?

호스트 상태를 먼저 보고, 그다음 응답 표와 평균 응답 시간을 봅니다. 보고서는 설정 메뉴의 「크롤링 통계」에 있고 루트 수준 속성에서만 열립니다. 페이지 색인 생성 보고서 도움말도 서버 오류가 보이면 호스트 상태를 검토하라고 안내합니다.

호스트 상태의 세 가지 판정

서치 콘솔 고객센터 「크롤링 통계 보고서」를 바탕으로 정리

문제 없음
지난 90일 중대 문제 없음
지난 문제
90일 안 · 1주 이상 전 발생
최근 문제
지난주 발생 · 반복 여부 확인

1. 호스트 상태

빨간 판정이면 눌러서 세부 항목을 엽니다.

2. 세 가지 항목

robots.txt 가져오기·DNS 변환·서버 연결 차트에서 빨간 점선을 넘은 날을 찾습니다.

3. 응답 표

서버 오류 줄을 눌러 정확한 시각과 예시 URL을 확인합니다.

4. 파일 형식별 응답 시간

느린 응답이 특정 형식에 몰렸는지 날짜별 차트로 비교합니다.

응답 표의 비율은 URL 수가 아니라 요청 수 기준입니다. 같은 URL이 한 번은 500, 한 번은 200을 받으면 각각 50%로 잡힙니다. 그래서 비율만으로 고장 난 페이지 수를 짐작하지 않습니다. 빨간 점선의 예로 도움말은 하루 DNS 변환 실패가 요청의 5% 이상인 경우를 듭니다.

원인은 어떻게 가르나요?

5xx는 서버 부하를, 연결 오류는 방화벽을, DNS 오류는 레코드를 먼저 봅니다. 5xx는 서버나 앱이 응답을 만들다 실패한 경우입니다. 시간 초과·연결 불가는 서버가 응답하기 전에 생기기도 합니다. 이때는 상태 코드가 없어서 진단이 더 어렵습니다.

증상별로 먼저 볼 곳

Google 크롤링 인프라 문서와 서치 콘솔 도움말을 바탕으로 정리

증상먼저 볼 곳
서버 오류(5XX)서버 과부하 · 동적 페이지 응답 시간
페이지 시간 제한 · 연결 불가방화벽 · DoS 방지 설정
DNS 응답 없음 · DNS 오류A·CNAME 레코드 · 네임서버
robots.txt를 사용할 수 없음robots.txt 응답 코드
429 증가서버 과부하 여부

Googlebot만 오류를 받는다면 보안 설정을 의심합니다. 도움말은 방화벽이나 DoS 방지 시스템이 Googlebot을 막을 수 있다고 설명합니다. Googlebot은 일반 사용자보다 요청이 많아 자동 차단 규칙에 걸리기 쉽습니다. 차단을 풀기 전에는 요청이 실제 Google에서 왔는지 역방향·순방향 DNS 조회로 확인합니다.

dig +short example.com a
dig +short example.com ns

DNS는 A·CNAME 레코드와 모든 네임서버가 올바른 주소를 가리키는지 점검합니다. 최근 72시간 안에 DNS를 바꿨다면 전파를 기다려야 할 수도 있습니다. 직접 호스팅하지 않는다면 호스팅 업체나 CDN 업체에 지원을 요청합니다.

고칠 때는 어떤 순서로 하나요?

재현 확인, 범위 판단, 원인 수정, 응답 회복 확인, 수정 결과 확인 순서로 진행합니다. 서버가 다시 2xx로 응답하면 Google은 크롤링 속도를 서서히 올립니다. 복구 직후 크롤링 수가 바로 예전만큼 돌아오지 않아도 기다립니다.

1. 재현 확인

URL 검사 실시간 테스트로 오류가 지금도 나는지 재현합니다. 일시 오류였다면 테스트는 성공할 수 있습니다.

2. 범위 판단

호스트 상태와 응답 표로 지속적인 대규모 문제인지 가립니다.

3. 원인 수정

과부하·설정·방화벽·DNS 가운데 확인된 원인을 고칩니다.

4. 응답 회복 확인

크롤링 통계에서 서버 오류 비율과 응답 시간이 내려가는지 살핍니다.

5. 수정 결과 확인

모든 사례를 고친 뒤 페이지 색인 생성 보고서에서 누릅니다. 결과는 보통 최대 2주 안에 나오고 더 걸리기도 합니다.

수정 결과 확인을 누르지 않아도 Google은 크롤링할 때마다 문제 수를 갱신합니다.

복구 중 하지 않을 일
  • 401·403으로 크롤링 속도 조절: 속도에 영향 없음
  • 503·429를 2일 이상 반환: 색인 삭제 위험
  • 오류 화면을 200으로 반환: soft 404로 분류
  • Google에 크롤링 속도 상향 요청: 요청 불가

크롤링이 몰려 서버가 버거우면 어떻게 하나요?

어떤 크롤러가 늘었는지 살피고, 급할 때만 짧게 503·429를 씁니다. 크롤링 통계의 Googlebot 유형 표에서 늘어난 에이전트를 확인합니다. Google 문서가 꼽는 급증 원인은 필터·정렬 URL, 캘린더 URL, 동적 검색 광고 타겟입니다.

긴급할 때는 몇 시간에서 1~2일 동안 500·503·429를 돌려줄 수 있습니다. 503·429에는 Retry-After 헤더로 재시도 시점을 알려 줍니다. 이런 응답이 많으면 호스트 이름 전체의 크롤링 속도가 내려갑니다. 오류를 반환하지 않은 URL의 크롤링도 느려집니다.

HTTP/1.1 503 Service Unavailable
Retry-After: 120

robots.txt로 특정 에이전트를 막는 방법은 반영에 최대 하루가 걸리기도 합니다. robots.txt 차단은 2~3일 뒤 크롤링 속도가 조정되면 풉니다. AI 크롤러 부하는 AI 크롤러 부하 조절 글에서 다룹니다. 크롤링 예산 판단은 크롤링 예산 점검 글을 참고합니다.

넥스트티 판단: 오류 알림과 실제 장애를 함께 기록합니다
  • 서버 장애·배포 시각을 적어 두고 크롤링 통계 차트와 맞춰 봅니다.
  • 방화벽·보안 서비스 규칙을 바꾼 날에는 호스트 상태를 다시 엽니다.
  • 오류 응답으로 크롤링을 늦출 때는 끝낼 시각을 미리 정합니다.

참고 자료

자주 묻는 질문 (FAQ)

Q.서버 오류가 하루쯤 났는데 검색에서 바로 빠지나요?

A.Google 문서에 따르면 5xx를 받으면 크롤링 속도를 일시적으로 낮추고, 이미 색인된 URL은 한동안 유지합니다. 오류가 계속되면 색인에서 삭제되므로 원인을 빨리 고칩니다.

Q.URL 검사 실시간 테스트는 성공하는데 보고서에는 5xx가 남아 있는 이유는 무엇인가요?

A.서버 오류는 일시적일 수 있어서 Google 크롤링은 실패했어도 실시간 테스트는 성공할 수 있습니다. 크롤링 통계의 호스트 상태로 지속적인 문제인지 점검합니다.

Q.서버 로그에는 Googlebot 오류가 없는데 서치 콘솔에는 연결 오류가 있습니다. 왜 그런가요?

A.「페이지에 연결할 수 없음」은 요청이 서버에 닿지 못한 경우라 서버 로그에 남지 않습니다. 방화벽·DNS·네트워크 구간을 확인합니다.

Q.Googlebot 접속이 너무 많을 때 403으로 막아도 되나요?

A.권장하지 않습니다. Google은 401·403을 크롤링 속도 조절에 쓰지 말라고 안내합니다. 긴급할 때는 짧은 기간 500·503·429를 반환합니다.

Q.페이지가 적은 사이트도 크롤링 통계를 봐야 하나요?

A.도움말은 페이지가 1,000개 미만이면 이 보고서를 신경 쓰지 않아도 된다고 설명합니다. 다만 페이지 색인 생성 보고서에 서버 오류가 보이면 호스트 상태는 살핍니다.
이전글 이전 글이 없습니다.