ChatGPT API 요금표를 보면 "토큰당 얼마"로 가격이 매겨져 있습니다. NVIDIA는 AI 팩토리를 "토큰을 찍어내는 공장"이라 부릅니다. AI의 비용과 성능을 재는 단위가 된 토큰, 정확히 무엇인지 정리했습니다.
토큰이란?
토큰(Token)은 LLM이 텍스트를 처리하는 최소 단위입니다. 사람이 글을 단어 단위로 읽는다면, LLM은 텍스트를 토큰이라는 조각으로 잘라서 처리합니다.
한 가지 흔한 오해는 "토큰 = 단어"라는 것입니다. 실제로는 다릅니다. 토큰은 단어보다 작을 수도, 클 수도 있습니다. 짧은 단어는 하나의 토큰이 되지만, 긴 단어나 복잡한 단어는 여러 토큰으로 쪼개집니다. 영어에서는 대략 한 단어가 평균 1~2개 토큰, 한국어는 조사·어미 구조 때문에 더 �thele게 쪼개지는 경향이 있습니다.
즉 토큰은 모델이 이해하고 생성하는 '언어의 화폐 단위'라고 볼 수 있습니다.
입력 토큰과 출력 토큰
LLM을 쓸 때 토큰은 두 종류로 나뉩니다.
입력 토큰(Input) — 사용자가 모델에 넣는 프롬프트. 질문, 지시, 참고 문서 등이 여기 해당합니다.
출력 토큰(Output) — 모델이 생성해 내놓는 답변.
API 요금은 보통 이 둘을 각각 계산하며, 출력 토큰이 입력보다 비싼 경우가 많습니다. 답변을 생성하는 과정이 더 많은 연산을 요구하기 때문입니다.
컨텍스트 윈도우: 한 번에 담을 수 있는 토큰
컨텍스트 윈도우(Context Window)는 모델이 한 번에 처리할 수 있는 토큰의 최대 개수입니다. 입력과 출력을 합친 총량에 한계가 있습니다.
컨텍스트 윈도우가 클수록 더 긴 문서를 한 번에 넣거나, 더 긴 대화 맥락을 유지할 수 있습니다. 다만 컨텍스트가 길어질수록 처리에 필요한 메모리(KV 캐시)와 연산도 늘어납니다. 그래서 긴 컨텍스트를 지원하려면 그만큼 큰 GPU 메모리가 필요합니다.
왜 토큰이 AI 비용과 성능의 단위가 됐을까
토큰은 두 가지 이유로 AI의 핵심 단위가 됐습니다.
비용의 단위 — LLM의 연산량은 처리하는 토큰 수에 비례합니다. 그래서 클라우드 API는 토큰 단위로 과금하고, 자체 인프라를 운영하는 조직도 '토큰당 비용(cost per token)'으로 효율을 따집니다.
성능의 단위 — LLM 서비스의 처리 성능은 흔히 초당 토큰 수(tokens/second)로 측정됩니다. 같은 GPU라도 초당 더 많은 토큰을 생성할 수 있다면 더 많은 사용자를 감당할 수 있습니다. 앞서 다뤘듯 이 토큰 생성 속도는 GPU의 연산 능력보다 메모리 대역폭에 크게 좌우됩니다.
이것이 NVIDIA가 AI 팩토리를 "토큰 공장"이라 부르고, 전력당 토큰(Tokens per Watt)을 핵심 지표로 내세우는 이유입니다.
자주 묻는 질문 (FAQ)
Q. 토큰과 단어는 같은 건가요?
아닙니다. 토큰은 단어보다 작거나 클 수 있습니다. 짧은 단어는 1토큰, 긴 단어는 여러 토큰으로 쪼개집니다.
Q. 왜 출력 토큰이 입력보다 비싼가요?
답변을 한 토큰씩 생성하는 과정이 입력을 읽는 것보다 더 많은 연산을 요구하기 때문입니다.
Q. 컨텍스트 윈도우가 크면 무조건 좋은가요?
더 긴 맥락을 다룰 수 있어 유리하지만, 그만큼 GPU 메모리와 연산이 더 필요합니다. 용도에 맞게 판단해야 합니다.
Q. 토큰 처리량은 무엇으로 결정되나요?
GPU의 메모리 대역폭, 추론 엔진, 배치 구성 등이 함께 작용합니다. 특히 추론은 메모리 바운드라 대역폭의 영향이 큽니다.
결론: 토큰을 얼마나 효율적으로 '생산'하느냐의 문제
토큰은 AI의 비용과 성능을 재는 공통 단위가 됐습니다. 결국 AI 서비스의 경쟁력은 같은 자원으로 얼마나 많은 토큰을, 얼마나 저렴하게 생산하느냐로 수렴합니다.
토큰 생산 효율은 GPU를 얼마나 잘 운영하느냐에 직접 달려 있습니다. 같은 GPU로 더 많은 토큰을 처리하려면, GPU가 놀지 않도록 자원을 배분하고, 워크로드에 맞게 전력과 클럭을 조정하며, 실제 처리량을 측정해야 합니다. TEN의 AIPub은 GPU를 분할해 여러 추론 워크로드가 자원을 효율적으로 나눠 쓰게 하고, GPU 카드별 전력을 제어하며, 사용률과 처리 상태를 실시간으로 모니터링해 토큰 생산 효율을 높이도록 지원합니다.
같은 GPU로 더 많은 토큰을 효율적으로 처리하고 싶다면, AIPub을 확인해 보세요.
참고 자료
OpenAI, Tokenizer Documentation
NVIDIA, “Tokens per Watt” and AI Factory Technical Blog
Hugging Face, Tokenizers Guide