タグ

#architecture

3件の記事

実際のAIアプリを構成する各層――モデル、オーケストレーション、検索、評価、そしてそれらをつなぐ地味な接着剤――を明快に地図化します。

Transformerは数式の壁として描かれがちです。それを取り払えば、残るのは一つの優雅なアイデア。すべての単語に、ほかのどの単語が重要かを決めさせるという発想です。

Mixture-of-Expertsは、入力ごとに自身の一部だけを使うことで、巨大でありながら安価に動くモデルを可能にします。その考え方を平易に、そしてなぜ重要かを解説します。