- 30일 동안 AI 계열 봇 방문이 127,816회로, 검색 크롤러 107,337회를 앞섰습니다.
- 같은 기간 AI를 거쳐 들어온 사람은 675명, 봇 방문의 189분의 1이었습니다.
- 수집 1위는 Meta(63.0%), 인용 확인 1위는 ChatGPT(93.8%)로 서로 다른 이름입니다.
서버 로그를 직접 열어본 이유
"AI가 우리 글을 가져간다"는 말은 이제 흔합니다. 그런데 얼마나 가져가는지, 그 대가로 무엇이 돌아오는지를 숫자로 본 경우는 드뭅니다.
그래서 서버 로그를 직접 열었습니다. 2026년 8월 6일부터 9월 4일까지 30일치입니다. 이 기간 기록된 방문은 모두 498,959건이었습니다. 봇이 310,078건, 사람이 188,881건입니다.
분석 도구를 쓰지 않고 로그를 본 데는 이유가 있습니다. 봇은 자바스크립트를 실행하지 않습니다. 화면에 심는 측정 스크립트로는 봇이 잡히지 않습니다. 봇을 세려면 서버가 남긴 기록을 봐야 합니다.
AI 크롤러가 검색 크롤러를 넘어섰다
봇을 역할별로 나눠 세어봤습니다.
| 역할 | 방문 | 봇 종류 |
|---|---|---|
| 검색 크롤러 | 107,337 | 10 |
| AI 수집 | 88,027 | 7 |
| AI 인용 확인 | 39,789 | 6 |
| 미분류 | 74,925 | 10 |
AI 수집과 AI 인용 확인을 더하면 127,816회입니다. 검색 크롤러 107,337회의 1.19배입니다. AI 수집만 따로 봐도 하루 평균 2,934회씩 들어왔습니다.
주차별로 나눠도 흐름은 같습니다.
| 주차 | AI 계열 | 검색 크롤러 |
|---|---|---|
| W33 | 30,330 | 24,643 |
| W34 | 32,519 | 25,662 |
| W35 | 25,682 | 22,832 |
| W36 | 26,638 | 19,221 |
관측을 시작한 주(W32)는 며칠치만 담겨 있어 뺐습니다. 남은 네 주는 모두 AI 계열이 앞섭니다.
그런데 사람은 오지 않았다
여기서부터가 본론입니다.
같은 30일 동안 AI 답변을 보고 링크를 눌러 들어온 사람은 675명이었습니다. 전체 사람 방문 188,881회의 0.36%입니다. 경유한 서비스도 나눠봤습니다. ChatGPT 297명, Gemini 296명으로 두 곳이 대부분이었습니다. 나머지는 Perplexity 55명, Claude 26명, Copilot 1명입니다.
AI 계열 봇 방문 127,816회와 견주면 189배 차이입니다. 봇이 189번 다녀갈 때 사람은 한 번 옵니다.
이 격차를 어떻게 읽을지는 갈립니다. "가져가기만 하니 막자"로 읽을 수도 있고 "이제 시작이니 열어두자"로 읽을 수도 있습니다. 다만 한 가지는 분명합니다. 크롤러를 열어둔다고 방문이 따라오지는 않습니다.
크롤러 허용은 인용될 수 있는 조건 가운데 하나일 뿐입니다. 실제로 인용될지는 글이 질문에 맞는지, 출처로 삼을 만한지에 달려 있습니다. AI를 거쳐 들어온 방문은 따로 90일치를 세어본 적이 있습니다. 그 기록은 ChatGPT에서 온 방문자 90일 실측에 정리해 두었습니다.
긁어가는 봇과 확인하러 오는 봇
AI 크롤러 하면 보통 OpenAI를 떠올립니다. 수집만 놓고 보면 달랐습니다.
AI 수집 88,027회 가운데 1위는 Meta였습니다. 55,481회로 63.0%를 차지했습니다. 반대로 AI 인용 확인 39,789회에서는 ChatGPT가 37,321회로 93.8%였습니다.
데이터를 많이 가져가는 쪽과, 답변에 쓰려고 확인하러 오는 쪽의 이름이 다릅니다. "GPTBot만 막으면 된다"는 접근이 실제 트래픽과 어긋나는 이유가 여기 있습니다.
훑는 방식도 봇마다 다릅니다. Claude 크롤러는 9,867회 방문하는 동안 8,262개 경로를 봤습니다. 한 번 올 때 새 페이지를 넓게 도는 편입니다. 같은 페이지를 반복 확인하는 봇과는 서버 부담이 다릅니다.
그래서 막아야 하나
일괄 차단도, 일괄 허용도 권하지 않습니다. 봇마다 역할이 다르니 나눠서 정하는 편이 낫습니다.
- 서버 부담이나 무단 학습이 걱정이면, 수집량이 큰 크롤러부터 검토합니다.
- AI 답변 노출을 지키고 싶으면, 인용 확인용 접근은 열어둡니다.
- 회원 전용·결제·내부 문서는 robots.txt가 아니라 로그인과 권한으로 막습니다.
마지막 항목이 중요합니다. robots.txt는 요청이지 잠금장치가 아닙니다. 지키지 않는 봇에게는 효력이 없습니다. 민감한 자료를 robots.txt로만 가려두면 오히려 경로를 알려주는 셈이 됩니다.
조심할 것이 하나 더 있습니다. AI를 막으려다 모든 크롤러 대상으로 전체 경로를 막으면 검색 크롤러까지 함께 막힙니다. 검색 유입이 통째로 사라집니다. 구체적인 방법은 robots.txt로 학습봇만 막는 설정에서 다뤘습니다.
이 숫자의 한계
해석을 넓히기 전에 짚어야 할 것들이 있습니다.
- 봇 판별은 User-Agent를 보고 자동으로 분류했습니다. 이름을 위장한 봇은 걸러지지 않습니다.
- 로그 보존 기간이 약 30일입니다. 그보다 긴 추세는 이 자료로 말할 수 없습니다.
- 여러 사이트를 합산한 값입니다. 소수 사이트가 트래픽 대부분을 차지하므로, 업종이나 규모가 다른 곳에 그대로 대입하면 어긋날 수 있습니다.
- 675명은 어디서 왔는지 기록이 남은 방문만 센 값입니다. 실제 유입은 이보다 많을 수 있습니다.
그래서 이 글이 말하는 범위는 두 가지까지입니다. AI 봇 방문이 검색 크롤러를 앞섰다는 것, 그리고 같은 기간 AI 경유 방문이 매우 적었다는 것입니다. 봇을 막으면 유입이 어떻게 되는지, 허용하면 인용이 늘어나는지는 이 데이터로 답할 수 없습니다.
