AI 크롤러 차단 확인

ChatGPT·Claude·Perplexity·Gemini와 구글·네이버 로봇이 사이트에 실제로 접근할 수 있는지 점검하고, 바로 붙여 넣는 수정 코드를 드립니다.

도메인 또는 페이지 URL을 입력하십시오. 하루 10회까지 무료로 이용할 수 있습니다.

무엇을 확인하나요?

robots.txt 문법만 보지 않고, 로봇이 실제로 받는 응답까지 확인합니다.

robots.txt 규칙

GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended와 Googlebot, Bingbot, 네이버 Yeti, Daum 등 11종의 허용·차단을 로봇별로 판정합니다.

로봇 이름으로 실제 접속

일반 방문과 로봇 이름 6종의 응답 코드·본문 크기를 비교합니다. robots.txt는 허용인데 방화벽·CDN이 막는 경우를 찾습니다.

스크립트 없이 보이는 본문

스크립트를 실행하지 않는 AI 로봇이 읽는 글자 수를 사람이 보는 화면과 비교합니다.

색인 차단 표시

meta robots와 X-Robots-Tag의 noindex·noai·nosnippet 표시를 확인합니다.

AI 안내 파일(llms.txt)

llms.txt가 있는지 확인하고, 없으면 사이트 정보로 채운 초안을 드립니다.

네이버 연결

서치어드바이저 소유 확인 표시와 robots.txt의 Sitemap 줄을 확인합니다.

붙여 넣는 수정 코드

점검 결과에 따라 필요한 코드만 페이지에서 읽은 값으로 채워 드립니다. 읽지 못한 값은 «여기에 입력»으로 남깁니다.

회사·웹사이트 구조화 데이터(Organization·WebSite JSON-LD, @id 연결 포함)
이동경로 구조화 데이터(BreadcrumbList) — 하위 페이지에 없을 때
llms.txt 초안 — 파일이 없을 때
robots.txt 허용 줄 — AI 로봇이 차단되어 있을 때(의도한 차단이면 그대로 두십시오)

자주 묻는 질문

AI 크롤러 차단 확인은 무엇을 점검하나요?

여섯 가지를 확인합니다. robots.txt에서 AI·검색 로봇 11종이 허용되는지, 로봇 이름으로 실제 접속했을 때 정상 응답하는지, 스크립트를 실행하지 않아도 본문이 보이는지, 색인 차단 표시(noindex 등)가 있는지, AI 안내 파일(llms.txt)이 있는지, 네이버 서치어드바이저 연결 흔적이 있는지입니다.

robots.txt에서 허용했는데 «막힘 의심»이 나오는 이유는 무엇인가요?

방화벽이나 CDN의 로봇 관리 기능이 robots.txt와 별개로 특정 로봇의 접속을 막는 경우가 있습니다. 다만 이 점검은 로봇의 이름으로 접속한 결과이므로, 실제 로봇의 접속 위치를 확인하는 보안 설정에서는 결과가 다를 수 있습니다. 그래서 «차단»으로 단정하지 않고 «막힘 의심»으로 안내합니다. 방화벽·CDN 설정과 서치 콘솔·서치어드바이저의 수집 점검으로 최종 확인하십시오.

GPTBot을 차단하면 ChatGPT 답변에 나오지 않나요?

OpenAI는 로봇을 용도별로 나눕니다. GPTBot은 학습용 수집, OAI-SearchBot은 ChatGPT 검색 답변용 수집, ChatGPT-User는 사용자가 요청할 때 페이지를 여는 용도입니다. 학습은 막고 검색 답변 노출은 허용하는 것처럼 로봇별로 따로 정할 수 있습니다. 점검 결과에서 로봇별 판정을 확인하십시오.

Google-Extended를 차단하면 구글 검색에서 빠지나요?

아닙니다. Google-Extended는 Gemini 학습과 답변 근거 활용 여부만 정하며, 구글 검색 노출은 Googlebot 규칙을 따릅니다. 구글 검색의 AI 개요도 Googlebot이 수집한 페이지를 바탕으로 합니다.

llms.txt는 반드시 있어야 하나요?

llms.txt는 AI가 사이트의 주요 페이지를 빠르게 파악하도록 돕는 안내 파일로, 아직 제안 단계의 형식입니다. 없다고 문제가 생기지는 않지만 만드는 부담이 작아 준비해 두기를 권합니다. 점검 결과에서 사이트 정보로 채운 초안을 복사할 수 있습니다.

하루에 몇 번 이용할 수 있나요?

하루 10회까지 무료로 이용할 수 있습니다. 결과는 화면에만 표시되며, 붙여 넣는 수정 코드도 저장하지 않습니다.

함께 보면 좋은 페이지

AI 로봇의 수집과 인용을 더 깊이 이해하려면.

GEO 엔티티 점수 체크 수집과 인용의 차이 스키마 마크업 전략 AI 답변 엔진 GEO 소개

본 도구는 넥스트티가 AI 검색 대응 진단을 위해 운영하는 무료 점검 도구입니다. 결과는 점검 시점의 응답 기준이며, 로봇의 실제 수집 여부는 각 검색 서비스의 관리 도구로 최종 확인하십시오.