タグ
#tokenization
2件の記事
models
トークンとトークン化：なぜモデルはテキストを奇妙に見るのか
モデルは文字も単語も読みません——トークンを読みます。その一つの事実を理解すれば、綴りのつまずき、奇妙なコスト、コンテキスト制限の挙動が説明できます。
#tokens#tokenization#context-window
05-14 16:37·7 分
research
トークナイザーと、それが言語にとって重要な理由
言語モデルは単語を見ません。トークンを見ています。テキストがどうトークンに刻まれるかが、言語間のコスト・速度・公平性を静かに決めます。
#tokenization#languages#nlp
05-05 08:17·7 分