タグ

#context-window

4件の記事

モデルの請求は、単語やリクエストではなくトークンで測られます。トークンが何で、どれに支払うかを理解することが、コストを予測可能に保つ鍵です。

コンテキストウィンドウを長くするのは単純なつまみのように聞こえます。その裏では、テキストより速く増えるコストと、薄く広がる注意とが戦っています。

コンテキストウィンドウが大きいことは、記憶が良いことと同じではありません。それが本当は何で、なぜ長い入力が劣化し、どう設計すべきかを解説します。

モデルは文字も単語も読みません——トークンを読みます。その一つの事実を理解すれば、綴りのつまずき、奇妙なコスト、コンテキスト制限の挙動が説明できます。