タグ

#attention

4件の記事

コンテキストウィンドウを長くするのは単純なつまみのように聞こえます。その裏では、テキストより速く増えるコストと、薄く広がる注意とが戦っています。

コンテキストウィンドウが大きいことは、記憶が良いことと同じではありません。それが本当は何で、なぜ長い入力が劣化し、どう設計すべきかを解説します。

アテンションは技術的に聞こえますが、その考え方はあなたが文章を読むたびにしていることです。数式なしで、言語モデルの中で本当に何を意味するのかを解説します。

Transformerは数式の壁として描かれがちです。それを取り払えば、残るのは一つの優雅なアイデア。すべての単語に、ほかのどの単語が重要かを決めさせるという発想です。