토큰은 LLM이 텍스트를 나누고 세는 처리 단위입니다. 글자 하나보다 짧거나 단어 하나보다 길 수 있는 조각이며, 입력과 출력의 사용량과 한도를 계산할 때 쓰입니다. 모델과 제품에 따라 이미지나 오디오도 별도 토큰 단위로 계산할 수 있습니다. 이 글은 AI의 토큰을 다룹니다. 암호화폐의 토큰이나 보안 분야의 토큰화와는 철자만 같은 다른 개념입니다.
이 글은 OpenAI와 Anthropic의 공식 문서, 토큰화 편향을 다룬 학술 논문을 기준으로 작성했습니다.
글자도 단어도 아닌 조각
모델은 글을 단어 단위로만 읽지 않습니다. OpenAI가 공개한 tiktoken은 자주 함께 등장하는 조각을 합쳐 어휘를 만드는 BPE 계열 토크나이저의 대표 사례입니다. 모델에 따라 다른 토큰화 방식도 씁니다. 같은 단어도 토크나이저의 어휘에 있으면 큰 조각으로, 없으면 여러 조각으로 나뉩니다.
감을 잡는 어림은 OpenAI 공식 안내 기준으로 영어에서 1토큰이 약 4글자, 단어의 4분의 3 정도입니다. 다만 이 어림은 영어 기준이라 한국어에는 그대로 적용되지 않습니다. OpenAI의 최신 개발 가이드도 글자 수를 4로 나누는 방식은 정확하지 않으므로 실제 계산 기능을 쓰라고 안내합니다.
토큰이 정하는 세 가지
토큰이 실무에서 중요한 이유는 이 단위로 정해지는 것들 때문입니다.
- 입력과 출력 한도: 모델이 한 요청에서 다룰 수 있는 분량은 토큰 수로 표시되며, 포함 항목은 제품마다 다릅니다
- 사용 요금: API 과금이 입력과 출력 토큰 수 기준입니다
- 응답 길이: 모델이 한 번에 생성할 수 있는 출력도 토큰 한도로 제한됩니다
같은 글이라도 모델마다 토큰 수가 다릅니다. Anthropic은 Claude 4.7 이후 일부 모델의 새 토크나이저가 이전 모델보다 같은 텍스트를 약 30% 많은 토큰으로 나눌 수 있다고 안내합니다. 증가 폭은 텍스트와 작업에 따라 달라집니다. 토큰 수는 텍스트의 고정 속성이 아니라 모델과 텍스트의 조합으로 정해지는 값입니다.
같은 한국어 문장을 모델별로 세는 절차
검색엔진 최적화는 검색하는 사람이 답을 찾도록 돕는 작업입니다.라는 한 문장을 준비했다고 해보겠습니다. OpenAI 모델은 해당 모델의 토크나이저나 토큰 계산 API로 세고, Claude는 Anthropic의 토큰 계산 기능으로 셉니다. 두 결과가 달라도 오류가 아닙니다. 같은 한글 음절이나 조사도 모델의 어휘에 따라 한 조각이나 여러 조각으로 나뉠 수 있습니다.
비용을 확인할 때는 다음 네 값을 함께 기록합니다.
| 확인 항목 | 기록할 값 |
|---|---|
| 모델 이름 | 실제 API 요청에 쓸 정확한 모델명 |
| 입력 문장 | 공백과 문장부호까지 같은 원문 |
| 입력 토큰 수 | 모델사가 제공한 계산 결과 |
| 계산 날짜 | 토크나이저와 모델 업데이트를 구분할 날짜 |
웹의 범용 글자 수 계산기는 모델별 토크나이저 차이를 반영하지 못할 수 있습니다. 실제 비용과 한도를 판단할 때는 사용하는 모델의 공식 계산 기능을 씁니다.
한국어가 토큰을 더 쓰는 이유
토크나이저의 어휘와 학습 자료 구성에 따라 언어별 분할 효율이 달라집니다. NeurIPS 2023에 발표된 연구는 같은 뜻의 텍스트도 언어에 따라 토큰 길이가 크게 벌어질 수 있다고 보고했습니다. 영어 중심 토크나이저에서는 한국어가 더 많은 토큰으로 나뉘는 경우가 있지만, 모든 모델에서 같은 비율이 적용되지는 않습니다. 실제 값은 모델별로 확인해야 합니다.
실무에서는 비용뿐 아니라 컨텍스트 안에 들어가는 분량도 달라집니다. 같은 뜻의 한국어가 더 많은 토큰으로 나뉘는 모델에서는 같은 컨텍스트 윈도우에 들어가는 글의 분량이 줄어듭니다.
검색과 콘텐츠에 갖는 의미
LLM과 일부 RAG 파이프라인은 토큰 한도 안에서 문서를 조각으로 나눠 처리합니다. 공개 검색 서비스가 문서를 자르고 고르는 방식은 제품마다 달라 외부에서 단정할 수 없습니다. 따라서 다음 항목은 AI 인용 공식이 아니라 독자가 글을 이해하기 쉽게 만드는 편집 원칙으로 봐야 합니다.
- 핵심 정의와 결론을 글 앞에 둡니다. 독자가 답을 빨리 찾을 수 있습니다
- 한 구간에서 하나의 질문에 완결적으로 답합니다. 문맥을 따라가기 쉬워집니다
- 불필요한 수식과 반복을 덜어냅니다. 짧고 분명하게 쓰면 같은 토큰 안에 더 많은 정보를 담을 수 있습니다
AVCD가 콘텐츠 가이드에서 정의를 첫 문장에 두는 이유도 독자가 답을 빨리 찾게 하려는 것입니다. 이 배치가 특정 AI 검색의 인용을 보장한다는 근거는 없습니다.
자주 묻는 질문
암호화폐 토큰과 같은 말인가요?
다른 개념입니다. 암호화폐의 토큰은 블록체인 위의 자산 단위이고, 이 글의 토큰은 언어 모델이 텍스트를 세는 처리 단위입니다. 검색결과에 두 의미가 섞여 나오니 자료를 볼 때 어느 쪽 맥락인지부터 확인하세요.
1토큰이 정확히 몇 글자인가요?
고정된 값이 없습니다. 영어 기준 약 4글자라는 공식 어림이 있지만 텍스트 성격에 따라 달라지고, 한국어는 더 잘게 쪼개집니다. 정확한 수치가 필요하면 각 모델사가 제공하는 토큰 계산 도구로 실제 텍스트를 세어 보는 것이 유일하게 정확한 방법입니다.
같은 글인데 왜 모델마다 토큰 수가 다른가요?
모델마다 토크나이저의 어휘가 달라서입니다. 같은 문장도 어떤 모델에서는 큰 조각으로, 다른 모델에서는 잘게 쪼개집니다. 모델 교체나 업데이트로 토큰 수가 수십 퍼센트 달라질 수 있어서, 비용 추정은 실제 쓰는 모델 기준으로 해야 합니다.
긴 글은 AI가 못 읽나요?
최신 모델의 컨텍스트 윈도우는 책 여러 권 분량까지 커져서 길이 자체가 장벽인 경우는 줄었습니다. 문제는 통째로 읽히는 상황보다 조각으로 잘려 처리되는 상황입니다. 길이를 줄이는 것보다 어느 조각을 봐도 맥락이 서도록 구간별 완결성을 챙기는 쪽이 실무에 맞는 대응입니다.
함께 알아두면 좋은 용어
- LLM: 토큰 단위로 글을 처리하는 모델
- 컨텍스트 윈도우: 모델이 한 번에 다루는 토큰 한도
- RAG: 토큰 한도 안에서 근거 문서를 처리하는 구조
- 청킹: 문서를 토큰 단위 조각으로 자르는 전처리