LLM마다 토큰 한도가 다른 이유와 Token ID

이번 글에서는 LLM(대형 언어 모델)의 토큰 한도가 왜 다른지, Token ID라는 숫자 단위가 무엇인지 공부해 봤어...

 

LLM마다 토큰 한도가 다른 이유

모델마다 머릿속 용량이 다르다고 생각하면 돼.

• 작은 모델: “한 번에 512토큰만 기억할 수 있어”
• 큰 모델: “한 번에 32,000토큰까지도 기억할 수 있어”

왜 다를까? 이유는 모델의 구조, 연산 능력, GPU/TPU 메모리 한계 때문이야.

• 작은 모델 → GPU 부담 적고 연산 빠름. 하지만 긴 문맥은 한 번에 이해 못 함.
• 큰 모델 → GPU/TPU 메모리 많이 쓰고, 연산량 많음. 긴 문맥도 한 번에 처리 가능.

즉, 토큰 한도 = 모델이 한 번에 기억할 수 있는 ‘머릿속 용량’이라고 보면 돼.

 

Token ID, 숫자로 생각하면 쉬움

모델은 글자나 단어를 직접 이해하지 않아. 모든 걸 숫자로 바꿔서 이해해.

• Text: "안녕하세요 AI야" 
• Tokenizer → Tokens: ["안녕", "하세요", "AI", "야"]
• Token ID → [101, 205, 500, 77]

모델 입장에서는 [101, 205, 500, 77] 이 숫자 시퀀스만 보고
“다음에 어떤 숫자를 예측할까?” 계산하는 거야.

즉, Token ID는 모델이 글자를 읽는 방식이자, 모델 연산의 언어라고 보면 돼.

 

숫자 단위 관점에서 토큰 한도의 의미

• 토큰 한도 = 모델이 한 번에 처리할 수 있는 숫자 시퀀스 길이
• 숫자 하나(Token ID)마다 메모리와 계산 비용이 붙음
  • 512토큰 모델 → 512개의 숫자만 처리 가능
  • 32,000토큰 모델 → 32,000개의 숫자를 한 번에 계산 가능

즉, 토큰 = 모델이 한 번에 보는 숫자 덩어리.
토큰 한도가 크면 긴 문장, 긴 문서도 한 번에 이해 가능하고 작으면 문서를 잘라서 줘야 해.

 

비유로 더 쉽게 이해

• Token ID = 모델의 화폐 단위
• 토큰 한도 = 지갑 용량

지갑이 작으면 512원치 화폐밖에 못 들고 다니고, 지갑이 크면 32,000원치 화폐도 한 번에 들고 다닐 수 있는 거야.

그래서 모델마다 한도가 다른 거고, 숫자 단위(Token ID)를 이해하는 게 중요한 이유야. 😎