タグ
#fine-tuning
5件の記事
research
破滅的忘却と継続学習
ニューラルネットワークに新しいことを教えると、知っていたことを忘れがちです。この頑固な問題こそ、モデルが流れの中ではなく大きなバッチで学習する理由です。
#continual-learning#forgetting#training
06-06 13:46·7 分
models
大規模言語モデルはどう訓練されるのか、平易な言葉で
言語モデルの訓練は1つの魔法のステップではなく、段階を踏んで進みます。各段階が何をするのか、なぜ順番が重要なのかを平易な言葉で解説します。
#training#pretraining#fine-tuning
06-01 12:06·7 分
research
RLHFが実際に行っていること
RLHFは、生のテキスト予測器を対話できる存在へと変えるステップです。それが実際に何を変えるのか——そして同じくらい重要な、何を変えないのかを解説します。
#rlhf#alignment#fine-tuning
05-25 15:07·7 分
research
ファインチューニング vs RAG vs プロンプティング：選び方の指針
モデルを思いどおりに動かす方法は3つ。多くのチームは最も重い手段に真っ先に飛びつきます。正しい順番で選ぶ方法を解説します。
#fine-tuning#rag#prompting
04-20 10:42·7 分
research
事前学習・ファインチューニング・アライメントの違い
モデルがどう作られるかを説明するとき、三つの言葉が混同されがちです。これらは異なる役割を持つ別々の段階です。それぞれが何をするのかを解説します。
#pretraining#fine-tuning#alignment
04-08 17:04·7 分