상세문의
×
간편문의
홍은표 · 넥스트티 대표 · SEO/GEO 컨설턴트
AI가 텍스트를 처리하는 최소 단위 조각. 단어보다 잘게 쪼갠 부분 문자열로, 모델은 글자가 아니라 토큰을 세고 읽는다.
컨텍스트 윈도우·비용·청킹이 모두 토큰으로 셈됩니다 — 한국어는 영어보다 토큰을 더 씁니다.
LLM은 문장을 글자나 단어 그대로 다루지 않고, 먼저 토큰이라는 조각으로 잘게 나눕니다(토큰화). 영어는 보통 단어보다 짧은 부분 단위로, 한국어는 더 잘게 쪼개지는 경향이 있어 같은 분량이라도 한국어가 토큰을 더 많이 소비합니다.
토큰을 알아야 하는 이유는 컨텍스트 윈도우·비용·요약 동작이 모두 토큰 단위로 셈해지기 때문입니다. AI가 한 번에 볼 수 있는 길이도, 문서를 잘라 넣는 청킹의 크기도 토큰으로 정해집니다. GEO 관점에서는 "핵심을 적은 토큰 안에 또렷이 담았는가"가 발췌·인용 가능성과 연결됩니다.
흔한 오해 바로잡기
왜 GEO에서 중요한가
AI가 읽고 비용을 매기고 잘라 넣는 모든 단위가 토큰입니다. 컨텍스트 윈도우·청킹을 이해하는 출발점입니다.
함께 읽기 · 넥스트티 인사이트
