タグ
#scaling
5件の記事
research
なぜコンテキスト長のスケールは難しいのか
コンテキストウィンドウを長くするのは単純なつまみのように聞こえます。その裏では、テキストより速く増えるコストと、薄く広がる注意とが戦っています。
#context-window#attention#scaling
06-08 18:48·7 分
models
モデルの「パラメータ」とは実際には何なのか
「数十億のパラメータ」は馬力のように引用されます。パラメータとは本当は何か、その数がなぜ重要で、なぜ大きいほど自動的に良いわけではないのかを解説します。
#parameters#model-size#weights
04-21 18:59·7 分
policy
推論の経済学：なぜ「安いAI」も積み重なると効いてくるのか
AIの呼び出し一回はほぼ無料に見えます。ではなぜAIの請求額は膨らむのか。わずかな額を本物のお金に変える経済学を、平易な言葉で案内します。
#inference#cost#economics
04-16 14:07·7 分
models
Mixture-of-Expertsモデルを、シンプルに解説する
Mixture-of-Expertsは、入力ごとに自身の一部だけを使うことで、巨大でありながら安価に動くモデルを可能にします。その考え方を平易に、そしてなぜ重要かを解説します。
#mixture-of-experts#architecture#efficiency
04-11 13:35·7 分
research
創発的能力：本物か、それとも蜃気楼か
大きなモデルは、小さなモデルにない技能を突如「会得する」かに見えます。それは本物の相転移か、測り方の手品か。正直な答えは「両方」です。
#emergence#scaling#evaluation
04-03 08:35·7 分