토큰은 언어 모델이 텍스트를 나눠 처리하는 단위입니다. 한 글자보다 작은 조각부터 여러 단어까지 포함할 수 있으며 입력과 출력의 사용량, 처리 한도를 계산하는 기준이 됩니다. 모델에 따라 이미지와 오디오도 별도의 토큰 수로 계산합니다. 암호화폐 자산이나 보안 분야의 토큰과는 다른 개념입니다.
텍스트를 토큰으로 나누는 방식
모델은 글을 반드시 단어 단위로 나누지는 않습니다. OpenAI의 tiktoken은 자주 함께 등장하는 조각을 합쳐 어휘를 만드는 BPE 계열 토크나이저입니다. 모델마다 토큰화 방식과 어휘가 달라 같은 단어를 큰 조각으로 처리하기도 하고 여러 조각으로 나누기도 합니다.
OpenAI는 영어에서 1토큰을 약 4글자 또는 단어의 4분의 3으로 어림잡을 수 있다고 안내합니다. 이 기준을 한국어에 그대로 적용할 수는 없습니다. 개발 가이드도 글자 수를 4로 나누는 방식 대신 실제 모델에 맞는 계산 기능을 사용하도록 권장합니다.
토큰 수와 처리 한도, API 요금
토큰 수는 모델이 처리할 수 있는 분량과 API 요금을 계산하는 기준입니다.
- 컨텍스트 윈도우: 한 요청에서 모델이 다룰 수 있는 토큰 수의 한도입니다. 원문 외에 지시문과 대화 이력도 공간을 차지하므로, 문서 하나의 토큰 수만으로 입력 가능 여부를 판단해서는 안 됩니다.
- API 요금: 텍스트 생성 API는 주로 입력과 출력 토큰 수에 각각 단가를 적용합니다. OpenAI는 추론 모델의 내부 추론 토큰도 출력 사용량에 포함하므로, 화면에 보이는 답변 길이만으로 비용을 계산할 수 없습니다.
- 출력 한도: 모델이 한 번에 생성할 수 있는 최대 토큰 수입니다. 컨텍스트 윈도우가 커도 그 전체를 답변 작성에 쓸 수 있다는 뜻은 아닙니다.
같은 원문도 모델이 바뀌면 토큰 수가 달라질 수 있습니다. Anthropic은 Claude 4.7 이후의 새 토크나이저가 이전 모델보다 같은 텍스트를 약 30% 많은 토큰으로 나눈다고 안내합니다. 실제 증가 폭은 내용과 작업에 따라 달라지므로 모델을 바꿀 때는 기존 계산값을 그대로 쓰지 말고 다시 측정해야 합니다.
같은 한국어 문장을 모델별로 세는 절차
“검색엔진 최적화는 검색하는 사람이 답을 찾도록 돕는 작업입니다.”라는 문장을 모델별로 비교하려면 공백과 문장부호까지 같은 원문을 준비합니다. OpenAI는 해당 모델에 맞는 토크나이저나 토큰 계산 API를, Claude는 Anthropic의 토큰 계산 API를 이용할 수 있습니다.
이때 문장 자체의 토큰 수와 API 요청 전체의 입력 토큰 수를 섞어 비교하지 않아야 합니다. API 요청에는 메시지 구조나 시스템 지시 등에 해당하는 토큰도 들어갈 수 있습니다. 요청 전체를 비교한다면 지시문과 대화 이력 등도 같은 조건으로 구성합니다.
계산 결과를 비교할 때는 모델명, 원문, 입력 토큰 수, 계산 날짜를 함께 기록합니다.
| 확인 항목 | 기록할 값 |
|---|---|
| 모델 이름 | 실제 API 요청에 쓸 정확한 모델명 |
| 입력 문장 | 공백과 문장부호까지 같은 원문 |
| 입력 토큰 수 | 모델사가 제공한 계산 결과 |
| 계산 날짜 | 토크나이저와 모델 업데이트를 구분할 날짜 |
일반 글자 수 계산기로는 모델별 토큰 수를 알 수 없습니다. 공식 계산 기능으로 입력 사용량을 추정한 뒤, 실제 요청이 끝나면 API가 반환한 사용량과 대조합니다. 입력을 미리 세더라도 모델이 생성할 출력 토큰 수까지 알 수 있는 것은 아닙니다.
한국어 토큰 수가 많아질 수 있는 이유
토크나이저가 어떤 어휘와 학습 자료로 만들어졌는지에 따라 언어별 분할 방식이 달라집니다. NeurIPS 2023 연구는 같은 의미의 텍스트도 언어에 따라 토큰 길이가 크게 차이 날 수 있다고 보고했습니다. 영어 중심 토크나이저에서는 한국어가 더 많은 토큰으로 나뉠 수 있지만, 모든 모델에 같은 비율이 적용되지는 않습니다.
한국어가 더 많은 토큰으로 나뉘는 모델에서는 같은 의미의 내용을 처리하는 비용뿐 아니라 컨텍스트 사용량도 늘어납니다. 같은 크기의 컨텍스트 윈도우에 넣을 수 있는 글의 양이 줄어드는 것입니다.
문서를 나눌 때 토큰 수만 맞추면 되나요?
RAG에서는 긴 문서를 작은 구간으로 나누어 검색하고, 찾은 구간을 답변의 참고 자료로 전달합니다. 이때 구간의 토큰 수가 처리 한도에 맞더라도 정의나 조건이 중간에서 끊기면 뜻을 해석하기 어려워집니다. 문서를 나눌 때는 토큰 수뿐 아니라 문장과 문단의 경계도 고려해야 합니다.
콘텐츠를 편집할 때도 핵심 설명과 그 설명이 적용되는 조건을 한 구간에 담으면 일부만 읽는 독자가 맥락을 파악하기 쉽습니다. 다만 공개 AI 검색 서비스의 문서 분할과 선택 방식은 제품마다 다르므로, 특정 토큰 수에 맞추면 인용된다는 규칙으로 받아들여서는 안 됩니다.
자주 묻는 질문
암호화폐 토큰과 같은 말인가요?
다른 개념입니다. 암호화폐의 토큰은 블록체인 위의 자산 단위이며, LLM의 토큰은 텍스트를 나누어 처리하는 단위입니다.
1토큰이 정확히 몇 글자인가요?
글자 수와 토큰 수 사이에는 고정 비율이 없습니다. 영어의 약 4글자라는 어림도 텍스트에 따라 달라지며 한국어에는 그대로 적용되지 않습니다. 정확한 사용량을 추정하려면 사용할 모델의 계산 도구에 실제 텍스트를 넣어야 합니다.
같은 글인데 왜 모델마다 토큰 수가 다른가요?
모델마다 토크나이저의 어휘가 달라서입니다. 같은 문장도 어떤 모델에서는 큰 조각으로, 다른 모델에서는 잘게 쪼개집니다. 모델 교체나 업데이트로 토큰 수가 수십 퍼센트 달라질 수 있어서 비용 추정은 실제 쓰는 모델 기준으로 해야 합니다.
긴 글은 AI가 못 읽나요?
긴 글도 요청 전체의 토큰 수가 모델의 처리 한도 안에 있으면 입력할 수 있습니다. 한도를 넘으면 문서를 나누거나 요약해서 전달해야 합니다. 파일을 업로드하는 서비스는 문서를 나눠 필요한 부분만 검색할 수도 있으므로, 파일 업로드에 성공했다고 전문을 한 번에 읽었다고 볼 수는 없습니다.
함께 알아두면 좋은 용어
- LLM: 토큰 단위로 글을 처리하는 모델
- 컨텍스트 윈도우: 모델이 한 번에 다루는 토큰 한도
- RAG: 검색한 자료를 참고해 답변을 생성하는 방식
- 청킹: 검색과 처리를 위해 문서를 작은 구간으로 나누는 전처리