상세문의
×
간편문의
홍은표 · 넥스트티 대표 · SEO/GEO 컨설턴트
AI 회사가 웹을 자동 수집하는 봇(GPTBot·ClaudeBot 등)과, 모은 문서를 검색 가능하게 정리하는 과정. 수집되지 않으면 인용도 없다.
AI도 검색엔진처럼 크롤러(봇)로 웹을 돌며 문서를 모읍니다. OpenAI의 GPTBot, Anthropic의 ClaudeBot, PerplexityBot, 구글의 Google-Extended 등이 대표적입니다. 모은 문서는 인덱싱을 거쳐 검색·RAG가 찾을 수 있는 형태로 정리됩니다.
GEO의 가장 기초적인 전제가 여기 있습니다 — 크롤러가 들어오지 못하거나 막혀 있으면, 그 페이지는 인용 후보에 아예 오르지 못합니다. 그래서 robots.txt에서 어떤 AI 봇을 허용할지, 페이지가 렌더링 없이도 읽히는지가 중요합니다. (넥스트티는 주요 AI 봇 다수를 명시적으로 허용하고 llms.txt로 핵심을 안내합니다.) 허용은 인용의 필요조건일 뿐 충분조건은 아니어서, 본문 품질이 여전히 관건입니다.
# AI 크롤러 허용 (robots.txt)
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /왜 GEO에서 중요한가
크롤링·인덱싱은 AI 인용의 입구입니다. 수집되지 않은 페이지는 품질과 무관하게 답변에 등장할 수 없습니다.
외부 출처 · 더 알아보기
함께 읽기 · 넥스트티 인사이트