タグ

#transformers

3件の記事

コンテキストウィンドウを長くするのは単純なつまみのように聞こえます。その裏では、テキストより速く増えるコストと、薄く広がる注意とが戦っています。

アテンションは技術的に聞こえますが、その考え方はあなたが文章を読むたびにしていることです。数式なしで、言語モデルの中で本当に何を意味するのかを解説します。

Transformerは数式の壁として描かれがちです。それを取り払えば、残るのは一つの優雅なアイデア。すべての単語に、ほかのどの単語が重要かを決めさせるという発想です。