タグ

#efficiency

4件の記事

知識蒸留は、大きなモデルを真似るよう小さなモデルを訓練します。コツは答えを写すことではなく、大きなモデルの迷い方を写すことです。

モデルを縮める二つの異なる方法。一方は数値を変え、もう一方は小さな複製を学習させます。それぞれの仕組みと、どちらに手を伸ばすべきかを解説します。

Mixture-of-Expertsは、入力ごとに自身の一部だけを使うことで、巨大でありながら安価に動くモデルを可能にします。その考え方を平易に、そしてなぜ重要かを解説します。

最大のモデルが正解であることはめったにありません。小さなオンデバイスモデルがまるごとの仕事を制する理由と、あなたの仕事がそれに当てはまるかの見分け方を解説します。