タグ
#training
7件の記事
research
破滅的忘却と継続学習
ニューラルネットワークに新しいことを教えると、知っていたことを忘れがちです。この頑固な問題こそ、モデルが流れの中ではなく大きなバッチで学習する理由です。
#continual-learning#forgetting#training
06-06 13:46·7 分
models
大規模言語モデルはどう訓練されるのか、平易な言葉で
言語モデルの訓練は1つの魔法のステップではなく、段階を踏んで進みます。各段階が何をするのか、なぜ順番が重要なのかを平易な言葉で解説します。
#training#pretraining#fine-tuning
06-01 12:06·7 分
policy
AIとあなたのデータ：入力で訓練するとは何を意味するのか
サービスが「入力を訓練に使うことがある」と言うとき、それはあなたのテキスト・ファイル・アイデアにとって実際に何を意味するのか。この取引のわかりやすい手引きです。
#data#privacy#training
05-26 17:18·7 分
research
蒸留：大きなモデルから小さなモデルへ教える
知識蒸留は、大きなモデルを真似るよう小さなモデルを訓練します。コツは答えを写すことではなく、大きなモデルの迷い方を写すことです。
#distillation#compression#training
05-21 13:52·7 分
research
合成データ：モデルの出力でモデルを訓練する
実データが尽きたとき、モデルは自らの訓練データを生成できます。強力で、わずかに循環的で、出どころを忘れれば危険です。
#synthetic-data#training#data
04-22 11:19·7 分
research
スケーリング則：大きく、しかしなぜ
"大きくしろ"は科学ではなくスローガンに聞こえます。スケーリング則はそれを科学に変えたものです。それが実際に言うこと、そして言わないことを解説します。
#scaling-laws#compute#training
04-17 16:38·7 分
research
事前学習・ファインチューニング・アライメントの違い
モデルがどう作られるかを説明するとき、三つの言葉が混同されがちです。これらは異なる役割を持つ別々の段階です。それぞれが何をするのかを解説します。
#pretraining#fine-tuning#alignment
04-08 17:04·7 分