홍은표 · 넥스트티 대표 · SEO/GEO 컨설턴트
검색엔진 봇이 페이지를 발견·수집(크롤링)하고, 그 내용을 검색 가능하게 정리·저장(색인)하는 과정. 색인되지 않으면 검색에 안 뜬다.
robots.txt 차단·noindex·고립 페이지는 색인을 막습니다 — 사이트맵·내부 링크로 발견을 돕습니다.
구글봇 같은 크롤러가 링크를 따라다니며 페이지를 가져오고(크롤링), 가져온 내용을 분석해 거대한 색인(index)에 저장합니다. 사용자가 검색하면 색인에서 적합한 페이지를 꺼내 순위를 매깁니다.
SEO의 가장 기초 전제가 여기 있습니다 — 크롤링·색인이 안 되면 순위는 시작도 안 됩니다. robots.txt 차단, noindex, 느린 응답, 고립된 페이지(내부 링크 없음)는 색인을 막습니다. 그래서 사이트맵 제출, 내부 링크, 색인 상태 점검(서치콘솔)이 기본 작업입니다.
흔한 오해 바로잡기
<!-- 검색 결과에서 빼고 싶을 때 (<head> 안) -->
<meta name="robots" content="noindex, follow">
왜 SEO에서 중요한가
색인되지 않은 페이지는 품질과 무관하게 검색에 나오지 않습니다. 모든 SEO의 출발선입니다.
외부 출처 · 더 알아보기
함께 읽기 · 넥스트티 인사이트