상세문의 아이콘 상세문의
간편문의 아이콘 × 간편문의

SEO 용어사전 · 기초·원리

크롤링 · 색인(인덱싱)

Crawling · Indexing

홍은표 · 넥스트티 대표 · SEO/GEO 컨설턴트

검색엔진 봇이 페이지를 발견·수집(크롤링)하고, 그 내용을 검색 가능하게 정리·저장(색인)하는 과정. 색인되지 않으면 검색에 안 뜬다.

크롤링 → 색인 → 순위 — 색인 안 되면 시작도 안 된다
크롤링봇이 페이지
발견·수집
색인내용 분석·저장
= 검색 후보
순위질의에 맞춰
정렬·노출

robots.txt 차단·noindex·고립 페이지는 색인을 막습니다 — 사이트맵·내부 링크로 발견을 돕습니다.

구글봇 같은 크롤러가 링크를 따라다니며 페이지를 가져오고(크롤링), 가져온 내용을 분석해 거대한 색인(index)에 저장합니다. 사용자가 검색하면 색인에서 적합한 페이지를 꺼내 순위를 매깁니다.

SEO의 가장 기초 전제가 여기 있습니다 — 크롤링·색인이 안 되면 순위는 시작도 안 됩니다. robots.txt 차단, noindex, 느린 응답, 고립된 페이지(내부 링크 없음)는 색인을 막습니다. 그래서 사이트맵 제출, 내부 링크, 색인 상태 점검(서치콘솔)이 기본 작업입니다.

흔한 오해 바로잡기

  • 오해 사이트맵을 제출하면 색인이 보장된다. 사실 제출은 발견을 도울 뿐 색인을 보장하지 않습니다. 품질·접근성이 전제입니다.
HTML 색인 제외는 robots.txt가 아니라 noindex로
<!-- 검색 결과에서 빼고 싶을 때 (<head> 안) -->
<meta name="robots" content="noindex, follow">

왜 SEO에서 중요한가

색인되지 않은 페이지는 품질과 무관하게 검색에 나오지 않습니다. 모든 SEO의 출발선입니다.

함께 읽기 · 넥스트티 인사이트

테크니컬 SEO 점검