タグ
2件の記事
知識蒸留は、大きなモデルを真似るよう小さなモデルを訓練します。コツは答えを写すことではなく、大きなモデルの迷い方を写すことです。
モデルを縮める二つの異なる方法。一方は数値を変え、もう一方は小さな複製を学習させます。それぞれの仕組みと、どちらに手を伸ばすべきかを解説します。
