태그
#tokenization
2개 기사
models
토큰과 토큰화: 모델이 텍스트를 이상하게 보는 이유
모델은 글자나 단어가 아니라 토큰을 읽습니다. 이 한 가지 사실만 알면 철자 실수, 묘한 비용, 문맥 한계가 작동하는 방식이 풀립니다.
#tokens#tokenization#context-window
05-14 16:37·7 분
research
토크나이저가 언어마다 중요한 이유
언어 모델은 단어를 보지 않습니다. 토큰을 봅니다. 텍스트가 토큰으로 쪼개지는 방식이 비용, 속도, 그리고 언어 간 공정성을 조용히 결정합니다.
#tokenization#languages#nlp
05-05 08:17·7 분