상세문의
×
간편문의
홍은표 · 넥스트티 대표 · SEO/GEO 컨설턴트
AI 회사가 웹을 자동 수집하는 봇(GPTBot·ClaudeBot 등)과, 모은 문서를 검색 가능하게 정리하는 과정. 수집되지 않으면 인용도 없다.
robots.txt 허용·렌더 가능 여부가 먼저 — 허용은 필요조건일 뿐 본문 품질이 관건.
AI도 검색엔진처럼 크롤러(봇)로 웹을 돌며 문서를 모읍니다. OpenAI의 GPTBot, Anthropic의 ClaudeBot, PerplexityBot, 구글의 Google-Extended 등이 대표적입니다. 모은 문서는 인덱싱을 거쳐 검색·RAG가 찾을 수 있는 형태로 정리됩니다.
GEO의 가장 기초적인 전제가 여기 있습니다 — 크롤러가 들어오지 못하거나 막혀 있으면, 그 페이지는 인용 후보에 아예 오르지 못합니다. 그래서 robots.txt에서 어떤 AI 봇을 허용할지, 페이지가 렌더링 없이도 읽히는지가 중요합니다. (넥스트티는 주요 AI 봇 다수를 명시적으로 허용하고 llms.txt로 핵심을 안내합니다.) 허용은 인용의 필요조건일 뿐 충분조건은 아니어서, 본문 품질이 여전히 관건입니다.
흔한 오해 바로잡기
# AI 크롤러 허용 (robots.txt)
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /왜 GEO에서 중요한가
크롤링·인덱싱은 AI 인용의 입구입니다. 수집되지 않은 페이지는 품질과 무관하게 답변에 등장할 수 없습니다.
외부 출처 · 더 알아보기
함께 읽기 · 넥스트티 인사이트