- 01인용 조건AI 개요·AI 모드의 참조 링크가 되려면 색인되고 스니펫과 함께 표시될 수 있어야 합니다.
- 02페이월 마크업크롤러에 전체 본문을 줄 때는 isAccessibleForFree로 유료 구간을 표시합니다.
- 03노출 범위무료 도입부를 정하고 data-nosnippet·max-snippet으로 미리보기를 줄입니다.
회원 전용 자료나 유료 칼럼은 공들여 만든 콘텐츠입니다. 그런데 AI 답변에서는 이런 글이 근거로 잘 보이지 않습니다. 원인은 대개 크롤러가 본문을 읽지 못하는 데 있습니다. 이 글은 Google 검색 센터와 OpenAI 공식 문서를 기준으로 정리합니다. 유료 구간을 지키며 인용될 수 있는 공개 방식, 페이월 마크업, 클로킹의 경계를 차례로 짚습니다.
로그인 뒤 콘텐츠도 AI 답변에 인용될 수 있나요?
크롤러가 본문에 닿을 수 있을 때만 인용될 수 있습니다. 로그인 화면만 보인다면 근거로 쓸 내용이 없습니다.
Google 「AI 기능 및 웹사이트」 문서는 조건을 짧게 밝힙니다. AI 개요나 AI 모드의 참조 링크가 되려면 페이지가 색인되어 있어야 합니다. 스니펫과 함께 Google 검색에 표시될 수 있어야 하며, 그 밖의 기술 요구사항은 없습니다.
ChatGPT 검색도 비슷합니다. OpenAI는 검색 노출용 크롤러로 OAI-SearchBot을 둡니다. OpenAI 문서상 이 크롤러를 거부한 사이트는 ChatGPT 검색 답변에 나오지 않습니다. 내비게이션 링크로는 나올 수 있다고 덧붙입니다.
Google 페이월 구조화 데이터·유연한 샘플링·스팸 정책 문서를 넥스트티가 해석한 비교입니다. 실제 인용 여부는 Google이 정합니다.
| 공개 방식 | 크롤러가 읽고 인용될 수 있는 범위 |
|---|---|
| 전면 로그인 차단 | 로그인 안내 문구뿐 |
| 무료 도입부만 공개 | 공개한 도입부 |
| 크롤러에 전체 제공 + 페이월 마크업 | 본문 전체(미리보기는 별도 조절) |
셋 중 무엇이 맞는지는 콘텐츠를 얼마나 노출할지에 달렸습니다. 본문을 검색에 전혀 내보내지 않기로 했다면 첫째 방식도 선택지입니다. 크롤러 차단이 실수였다면 AI 크롤러 차단 확인과 복구 절차부터 보세요.
검색엔진에만 전체 본문을 보여 주면 클로킹인가요?
조건을 지키면 클로킹이 아닙니다. Google이 구독자처럼 전체 본문을 보고, 유연한 샘플링 가이드를 따르는 경우입니다.
Google 스팸 정책은 클로킹을 이렇게 정의합니다. 순위를 조작하고 사용자를 오도하려고 사용자와 검색엔진에 다른 콘텐츠를 보여 주는 행위입니다. 검색엔진이 요청할 때만 텍스트를 넣는 것도 예로 듭니다.
페이월은 겉으로 보면 이와 닮았습니다. 크롤러는 전체 본문을 받고, 비회원 방문자는 일부만 받기 때문입니다. 그래서 같은 정책에 예외 문장을 두었습니다.
- 제한된 자료에 접근할 수 있는 사용자와 마찬가지로 Google이 전체 콘텐츠를 볼 수 있습니다.
- 유연한 샘플링 일반 가이드를 따릅니다.
페이월 구조화 데이터 문서는 보조 수단도 하나 제시합니다. 유료 구간을 마크업으로 표시하면 Google이 페이월과 클로킹을 구분하기 쉬워집니다.
반대로 크롤러에 준 본문과 구독자가 보는 본문이 다르면 예외가 성립하지 않습니다. 크롤러용으로 키워드를 더 넣은 판을 별도로 만드는 것이 그런 예입니다.
페이월 마크업은 어떻게 다나요?
유료 구간 요소에 클래스를 붙이고, 그 클래스를 구조화 데이터에서 가리킵니다. Google 페이월 문서의 두 단계입니다.
1. 유료 구간 표시
페이월 안쪽 요소에 paywall 같은 클래스 이름을 붙입니다.
2. 구조화 데이터 추가
isAccessibleForFree를 false로 두고 hasPart에 유료 구간을 적습니다.
3. 유효성 검사
리치 결과 테스트로 코드를 검사하고 심각한 오류를 고칩니다.
4. 크롤링 확인
URL 검사 도구로 Google의 렌더링 결과를 점검합니다.
Google 「구독 및 페이월 콘텐츠 구조화 데이터」 문서의 필수·권장 속성입니다.
| 속성(구분) | 넣는 값 |
|---|---|
| isAccessible 필수 | 유료·등록 필요 시 false |
| hasPart. 권장 | WebPage |
| hasPart. 권장 | 유료 구간이면 false |
| hasPart. 권장 | 1단계의 .class 선택자 |
지킬 규칙도 몇 가지 있습니다. cssSelector에는 .class 선택기만 쓰고, 콘텐츠 섹션은 중첩하지 않습니다. 유료 구간이 여러 곳이면 hasPart를 배열로 적습니다. 형식은 JSON-LD와 마이크로데이터를 쓸 수 있습니다.
CreativeWork 계열 유형에서 쓸 수 있습니다. Article·NewsArticle·Blog·Course·WebPage 등이 해당합니다. 구독뿐 아니라 회원 등록만 요구하는 콘텐츠도 대상입니다. 구조화 데이터가 화면과 어긋날 때의 문제는 구조화 데이터 불일치 점검에서 다뤘습니다.
무료로 얼마나 보여 줘야 하나요?
업종마다 알맞은 양이 다릅니다. Google은 월 10개 무료 기사로 테스트를 시작하라고 권합니다.
Google이 권하는 샘플링 방식은 두 가지입니다. 첫째는 한도 측정입니다. 정해진 수만큼 무료로 보여 준 뒤 페이월을 띄웁니다. 둘째는 도입부 표시입니다. 본문 전체 대신 앞부분 일부만 보여 줍니다. 두 방식을 함께 쓰는 게시자도 있으며, Google은 이를 좋은 사례로 듭니다.
「유연한 샘플링 일반 가이드」 원문 수치입니다. 월 6~10개는 일일 뉴스 게시자 기준입니다. Google은 모든 업종에 맞는 최적값은 없다고 설명합니다.
기준은 하루가 아니라 한 달 단위가 더 유연하다고 합니다. 무료 수를 하나 바꿀 때 하루 3개 기준보다 한 달 10개 기준의 영향이 더 작기 때문입니다. 이 문서에서 페이월은 유료 구독과 단순 가입 요구를 모두 뜻합니다.
넥스트티는 AI 답변에 대비해 도입부부터 다듬기를 권합니다. 도입부는 비회원 방문자와 모든 크롤러가 똑같이 읽는 부분입니다. 크롤러에 전체 본문을 주지 않는다면 인용 근거가 될 수 있는 곳은 도입부뿐입니다. 도입부 첫 문장에는 질문의 답과 핵심 수치를 둡니다.
크롤러에만 본문을 열 때는 무엇을 확인하나요?
요청한 쪽이 진짜 검색 크롤러인지 먼저 확인합니다. 이름만 보고 본문을 열면 누구나 크롤러를 흉내 낼 수 있습니다.
Google은 확인 방법을 공개합니다. 먼저 로그의 IP로 역방향 DNS 조회를 합니다. 결과 도메인은 다음 셋 중 하나여야 합니다. googlebot.com, google.com, googleusercontent.com입니다. 그 도메인 이름으로 다시 순방향 조회를 해서 원래 IP와 일치해야 합니다. 요청이 많으면 Google이 공개한 IP 목록과 자동으로 대조합니다.
Google 크롤러 문서와 OpenAI 크롤러 개요 문서를 넥스트티가 해석해 구분했습니다.
| 이름 | 쓰임과 알아 둘 점 |
|---|---|
| Googlebot | Google 검색. robots.txt 준수, DNS로 신원 확인 |
| Google- | Gemini 학습·답변 근거(그라운딩) 사용 제어 토큰. 검색 포함·순위에 영향 없음 |
| OAI- | ChatGPT 검색 노출. 거부하면 검색 답변에서 빠짐 |
| GPTBot | OpenAI 모델 학습. 검색 노출 설정과 독립 |
| ChatGPT- | 사용자 요청에 따른 방문. robots.txt 미적용 가능 |
OpenAI도 OAI-SearchBot과 GPTBot의 IP 목록을 공개합니다. 두 크롤러 설정은 서로 독립이라 학습만 막고 검색 노출은 둘 수 있습니다. OpenAI 문서에 따르면 ChatGPT-User는 검색 노출 판단에 쓰이지 않습니다. robots.txt를 바꾸면 검색 결과 반영까지 약 24시간이 걸릴 수 있다고 합니다. 봇별 robots.txt 작성은 학습봇만 막고 인용은 받는 법을 참고하세요.
본문을 브라우저에 아예 보내지 않는 구현도 검토합니다. Google 문서도 브라우저 접근까지 막을 때는 이 방식을 쓰라고 합니다.
본문은 열고 미리보기만 줄이려면 어떻게 하나요?
색인은 허용하고 미리보기 컨트롤로 보여 줄 범위를 정합니다. Google은 AI 개요와 AI 모드에도 이 컨트롤이 적용된다고 밝힙니다.
Google 「AI 기능 및 웹사이트」·robots meta 태그 사양 문서 기준입니다.
| 컨트롤 | 적용 범위와 효과 |
|---|---|
| nosnippet | 페이지 전체. 텍스트 스니펫을 표시하지 않음 |
| max-snippet: | 페이지 전체. 스니펫 글자 수를 제한 |
| data- | span·div· |
| noindex | 페이지 전체. 검색결과에서 제외 |
규칙이 서로 부딪치면 더 제한적인 쪽이 적용됩니다. max-snippet:50과 nosnippet이 함께 있으면 nosnippet을 따릅니다. 어느 컨트롤이든 크롤러가 페이지에 접근할 수 있어야 읽힙니다.
스니펫 컨트롤 가운데 nosnippet은 페이지 전체의 텍스트 스니펫을 막습니다. robots meta 사양상 AI 개요·AI 모드의 직접 입력으로 쓰이는 것도 막습니다. max-snippet 역시 AI 개요·AI 모드에 적용됩니다. 유료 구간만 가리려면 해당 요소에 data-nosnippet을 다는 쪽이 범위가 좁습니다. 스니펫이 만들어지는 기준은 스니펫 생성 기준과 점검법을 참고하세요.
- 무료 도입부에 질문의 답과 핵심 수치가 있는지 점검합니다.
- 페이월 구조화 데이터를 넣고 리치 결과 테스트를 통과시킵니다.
- URL 검사 도구로 Googlebot이 받은 HTML에 본문과 미리보기 컨트롤이 있는지 살핍니다.
- 크롤러에만 본문을 연다면 DNS·IP 목록으로 신원을 검증합니다.
참고 자료
- Google 검색 센터 — 구조화된 구독 및 페이월 콘텐츠(CreativeWork) 데이터
- Google 검색 센터 — 유연한 샘플링 일반 가이드
- Google 검색 센터 — Google 웹 검색의 스팸 정책
- Google 검색 센터 — AI 기능 및 웹사이트
- Google 검색 센터 — Robots meta 태그, data-nosnippet 및 X-Robots-Tag 사양
- Google 검색 센터 — noindex로 검색 색인 생성 차단하기
- Google 크롤링 인프라 — Google 크롤러 및 가져오기 도구의 요청 확인
- Google 크롤링 인프라 — Google의 일반 크롤러 목록
- OpenAI — Overview of OpenAI Crawlers
