SEO 용어사전 · 테크니컬

robots.txt

홍은표 · 넥스트티 대표 · SEO/GEO 컨설턴트

사이트 루트에 두는 파일(/robots.txt)로 어떤 봇이 어디를 크롤링해도 되는지 안내한다. 색인 차단 수단이 아니라 크롤 제어 수단이다.

robots.txt — 할 수 있는 것 vs 없는 것

할 수 있는 것

크롤 경로 제어(Allow/Disallow)
크롤 예산 관리
봇별 허용·사이트맵 안내

할 수 없는 것

색인 차단(→ noindex 필요)
비공개·보안(→ 인증 필요)

CSS·JS를 막으면 렌더링·평가가 틀어집니다 — 색인 제거는 robots.txt가 아니라 noindex로.

robots.txt는 사이트 루트(/robots.txt)에 두는 평문 파일로, 크롤러에게 "이 경로는 긁어가도 되고, 저긴 자제해 달라"를 알려주는 안내문입니다. User-agent로 봇을 지정하고 Allow/Disallow로 경로 규칙을 적으며, 보통 Sitemap:으로 사이트맵 위치도 함께 명시합니다. 와일드카드(*)와 종료 기호($)로 패턴도 지정할 수 있고, 더 구체적인 규칙이 우선합니다.

SEO에서 robots.txt의 핵심 용도는 크롤 예산(crawl budget) 관리입니다 — 검색 결과 페이지·필터·중복 파라미터처럼 가치 낮은 URL의 크롤을 줄여, 봇이 중요한 페이지에 자원을 쓰게 합니다. 사이트가 클수록 효과가 큽니다. 봇마다 규칙을 다르게 줄 수 있어, 어떤 AI 크롤러(GPTBot·ClaudeBot 등)를 허용할지도 여기서 정합니다.

다만 robots.txt는 강제가 아니라 약속입니다. 정식 크롤러는 따르지만 악성 봇은 무시할 수 있고, 민감 정보를 가리는 보안 수단이 아닙니다 — 차단 경로를 오히려 공개하는 꼴이 됩니다. 정확한 동작은 표준(RFC 9309)과 각 검색엔진의 해석을 함께 확인해야 합니다.

흔한 오해 바로잡기

오해 robots.txt로 막으면 검색 결과에서 사라진다. 사실 Disallow는 크롤만 막습니다. 외부 링크가 있으면 내용 없이 URL만 색인될 수 있어요 — 검색에서 빼려면 noindex(또는 인증·삭제)가 필요합니다.
오해 크롤 아끼려고 CSS·JS도 막으면 좋다. 사실 구글은 페이지를 렌더링해서 평가합니다. CSS·JS를 막으면 레이아웃·콘텐츠를 못 봐 평가가 틀어질 수 있어요.
오해 robots.txt로 비공개 페이지를 숨긴다. 사실 누구나 /robots.txt를 열 수 있어 막을 경로를 광고하는 셈입니다. 비공개는 인증·noindex로 처리하세요.

robots.txt 크롤 제어용 — 색인 차단용이 아님

# /robots.txt
User-agent: *
Allow: /
Disallow: /nxt-mgmt/

Sitemap: https://www.next-t.co.kr/sitemap.xml

왜 SEO에서 중요한가

크롤 예산·접근을 제어하는 기본 파일입니다. 단, 색인 차단용이 아니며 잘못 막으면 렌더·색인이 망가집니다.

외부 출처 · 더 알아보기

함께 읽기 · 넥스트티 인사이트

테크니컬 SEO 점검 →

← SEO 용어사전 전체 보기 SEO 컨설팅 상담 →