llms.txt · robots.txt · sitemap
AI 시대 3종 크롤 거버넌스 가이드

세 파일은 한 가지를 대체하는 관계가 아니라 역할이 다른 3종 세트입니다. robots.txt만 두면 봇이 어디를 가져가야 하는지 안내가 없고, sitemap.xml만 두면 차단 정책이 없으며, llms.txt만 두면 표준 크롤 규약이 빠집니다. 모두 두는 것이 자연스럽습니다.

llms.txt는 사이트 루트(/llms.txt)에 두는 마크다운 문서로, 사이트를 짧게 소개하고 LLM이 핵심 URL을 따라가도록 안내합니다. Anthropic의 제안(llmstxt.org)은 다음 구조를 권합니다.

# 사이트 이름

> 한 문단 요약. 사이트가 무엇이고 핵심 가치는 무엇인지.

## 섹션 헤딩 (예: 핵심 정보, 주요 페이지, 도구)

- [페이지 제목](/url) — 한 줄 설명
- [페이지 제목](/url) — 한 줄 설명

## Optional
# 부가 정보 — LLM이 토큰 부족 시 우선 건너뛰는 영역

넥스트티는 llms.txt를 동적 생성합니다 — GNB 메뉴를 단일 출처로 두고 그 구조를 마크다운으로 변환합니다. 메뉴를 한 번 갱신하면 llms.txt도 자동으로 따라 갱신되어 별도 유지보수가 발생하지 않습니다. 실제 파일은 /llms.txt에서 확인할 수 있습니다.

운영 디테일 — 동적 생성 엔드포인트는 X-Robots-Tag: noindex, follow로 색인에서 제외하고, Cache-Control: public, max-age=3600으로 캐시 1시간을 두어 매 요청마다 다시 그리지 않도록 보호합니다.

넥스트티 사이트는 모든 페이지 요청을 자사 DB(nxt_visit_log)에 기록하고 User-Agent로 봇을 분류합니다. 그 분류 안에서 AI 봇은 두 가지 역할로 나뉩니다 — 답변 시점에 사이트를 fetch하는 인용용(ai_cite)과 학습 데이터 수집용(ai_crawl)입니다.

실무 함의는 단순합니다 — ai_cite 봇이 자주 들어오는 페이지가 곧 AI 답변에 인용되는 페이지 후보입니다. ai_crawl 차단·허용 정책은 학습 데이터 정책이고, ai_cite 차단·허용 정책은 곧 GEO 노출 정책입니다. 두 정책을 분리해서 설계해야 합니다. 관측→재작성 루프에서 이 신호를 콘텐츠 품질로 역산합니다.

기본 권장 — ai_cite 봇은 모두 허용(답변 노출 직결), ai_crawl 봇은 사이트 정책에 따라 결정. 일괄 차단·일괄 허용보다 역할별 분리가 안전합니다.

만들기로 한 이상 *제대로* 만들어야 옵션 가치가 살아납니다. 운영 중인 한국 사이트를 점검할 때 자주 보이는 잘못된 패턴 3가지를 정리합니다.