상세문의
×
간편문의
홍은표 · 넥스트티 대표 · SEO/GEO 컨설턴트
AI가 텍스트를 처리하는 최소 단위 조각. 단어보다 잘게 쪼갠 부분 문자열로, 모델은 글자가 아니라 토큰을 세고 읽는다.
LLM은 문장을 글자나 단어 그대로 다루지 않고, 먼저 토큰이라는 조각으로 잘게 나눕니다(토큰화). 영어는 보통 단어보다 짧은 부분 단위로, 한국어는 더 잘게 쪼개지는 경향이 있어 같은 분량이라도 한국어가 토큰을 더 많이 소비합니다.
토큰을 알아야 하는 이유는 컨텍스트 윈도우·비용·요약 동작이 모두 토큰 단위로 셈해지기 때문입니다. AI가 한 번에 볼 수 있는 길이도, 문서를 잘라 넣는 청킹의 크기도 토큰으로 정해집니다. GEO 관점에서는 "핵심을 적은 토큰 안에 또렷이 담았는가"가 발췌·인용 가능성과 연결됩니다.
왜 GEO에서 중요한가
AI가 읽고 비용을 매기고 잘라 넣는 모든 단위가 토큰입니다. 컨텍스트 윈도우·청킹을 이해하는 출발점입니다.
함께 읽기 · 넥스트티 인사이트
