スケーリング則：大きく、しかしなぜ

「とにかく大きくしろ」は、現代のAIの進歩がどう起きるかの戯画であり、ほとんどの戯画と同じく実在する顔を含んでいます。その考えの真面目な版はスケーリング則と呼ばれ、この分野で最も重大な発見の一つです。スケーリング則は「大きいほうが良い」を、勘から、数十億ドルのプロジェクトを計画できるほど予測可能な何かへと変えたものです。これらを理解すると、なぜモデルが改善し続けるのか、その改善が何を要するのかについての多くの混乱が晴れます。

核心的な発見を平易に述べると。モデルのサイズ、訓練するデータの量、訓練に費やす計算を増やすにつれて、モデルの性能は滑らかで予測可能な仕方で改善する。 幸運な跳躍によってではなく、滑らかに、予測できるほど確実に。

スケーリング則が実際に主張すること

スケーリング則は、モデルの訓練に投入する資源と、そのモデルがテキストの予測でどれだけうまくやるかとの間の、観測された関係です。研究者はこれを、異なるサイズの多くのモデルを、異なる量のデータで、異なる量の計算で訓練し、性能がどう変わったかをプロットして測定しました。

彼らが見出したのはノイズではありませんでした。点は驚くほどきれいな曲線に沿って並びました。性能は資源が増えるにつれ着実に改善し、しかも外挿できるほど規則的なパターンでそうしたのです。小さなモデルがどう振る舞ったかを所与とすれば、はるかに大きなものがどう振る舞うかを驚くべき正確さで予測できました。その予測可能性こそ、スケーリング則が重要なすべての理由です。それらはモデル作りを当て推量から、エンジニアリングに近い何か、つまり所与の投資が何を買うかを支出前に見積もれるものへと変えました。

曲線を駆動する材料は三つです。モデルのパラメータ数、訓練データの量、使われる総計算です。どれかを、他のものと釣り合いを取りつつ押し上げれば、性能は期待される道筋に沿って改善します。

なぜ大きくすることが助け続けるのか

サイズを積み増していけばすぐに壁に当たると予想するのは合理的です。モデルは結局、テキストの次の片を予測しているだけです。なぜ10倍大きくすることが、飽和するのではなく報われ続けるのでしょうか。

直観は、言語とその背後の世界が並外れて豊かだということです。学ぶべきパターンはほぼ底なしに供給されます。より稀な単語、より微妙な文法構造、あまり一般的でない事実、より込み入った推論の連鎖、より専門的なドメイン。小さなモデルは最も一般的で最も明白な規則性しか捉えられません。より多くのデータで訓練されたより大きなものは、長い裾、つまり稀にしか現れないが集合的には実際の言語の巨大な割合を占めるパターンを吸収する容量を持ちます。

ですからスケーリングが機能するのは、大きなモデルが魔法のように賢いからではありません。学ぶべき構造があまりに多く、モデルがそのすべてを捉えるほど大きくなかったから機能するのです。容量とデータを加えることで、モデルはその構造へとさらに深く手を伸ばせます。学べるパターンの供給が尽きていないので、曲線は下へ曲がり続けます。

サイズとデータの釣り合い

スケーリング則の最も有用な洗練の一つは、三つの材料が共に成長しなければならないということです。データを飢えさせてモデルを巨大にするだけでは不十分ですし、小さなモデルに吸収できる以上のテキストを浴びせるのも不十分です。所与の計算量に対して、釣り合いの取れた配分があります。ある一定のサイズのモデルを、ある一定量のデータで訓練することです。

この分野の初期、モデルはしばしば、見るデータに対して非常に大きく作られました。後の研究は、同じ計算予算に対して、やや小さなモデルを実質的により多くのデータで訓練したほうが良くなりうることを示しました。教訓は「サイズの重要性は低い」ではなく「サイズとデータは釣り合っていなければならない」でした。計算を正しい比率で費やすことは、どれだけの計算を持つかと同じくらい重要です。

この釣り合いこそ、モデルの品質をパラメータ数だけから読み取れない理由です。より多くのデータで、より良い釣り合いで訓練された小さなモデルは、データが少なすぎる大きなモデルを上回りえます。見出しの数字は物語の一部にすぎません。

なぜ予測可能性がすべてを変えたのか

スケーリング則の実践的な力は予測です。フロンティアモデルの訓練は莫大に高価で、それを行えるのは数回だけです。スケーリング則がなければ、各試みは賭けでした。手の届く最大のものを作り、うまくいくことを願うのです。

スケーリング則はその賭けの多くを取り除きます。性能が予測可能な曲線に従うので、チームは一連の小さく安価なモデルを訓練し、曲線をフィットし、外挿して、はるかに大きなモデルが作る前にどう振る舞うかを見積もれます。また、固定予算をどう費やすか、つまりモデルをどれだけ大きくし、どれだけのデータを集めるかを、最良の結果を得るために決めるのにもこの則を使えます。これがスケーリング則が現代AIの計画ツールと呼ばれることがある理由です。それらは高リスクの賭けを、計算された投資へと変えます。

落とし穴：スケーリング則が測るもの

ここが決定的な但し書きです。スケーリング則は、モデルが訓練目的、大まかに言えばテキストの予測でどれだけうまくやるかを予測します。人々が実際に気にかけるもの、つまりモデルが難しい問題を推論できるか、指示に従えるか、でっち上げを避けられるかを直接予測するわけではありません。

両者のつながりは実在しますが緩いものです。より良いテキスト予測はより良い下流の能力を伴いがちですが、その関係はきれいではなく、訓練目的での改善が特定のタスクでの改善にすっきり対応するわけではありません。モデルは、あなたが気にかける特定の能力がほとんど動かないか、予想外に跳ねる一方で、目的では測定可能なほど良くなりえます。ですからスケーリング則は一つの量への信頼できる指針であり、その量が裏打ちするはずの能力への間接的な指針にすぎません。

スケーリングが約束しないこと

スケーリング則を、より多くの資源がすべてを解決するという保証として読みたくなります。それらが約束するのはもっと少ないものです。研究された範囲で観測された傾向を記述しているのであり、これまで見られた滑らかな曲線は、それが永遠に続くという契約ではありません。あらゆるそうした傾向は、いずれ何らかの限界、つまり利用可能なデータ、有用な計算、学ぶべき残りのパターンの限界に行き当たります。

スケーリングはまた、それ自体では判断力、信頼性、誠実さをもたらしません。それらは、生の能力が築かれた後にモデルがどう形作られるかから来るのであって、サイズだけからではありません。そしてスケーリングには、その恩恵と同じ速さで増えるコストがあります。膨大な計算、エネルギー、データの要求です。スケーリング則は、なぜ大きくすることが助け続けてきたかを説明し、資源の使い方を計画するのに役立ちますが、それらはパターンの記述であって、パターンが決して終わらないと約束する自然法則ではありません。

まとめ

スケーリング則とは、モデルのサイズ、データ、計算を共に増やすにつれて、モデルの性能が滑らかに予測可能に改善するという発見です。その予測可能性こそが本当の意義です。それは「大きくしろ」をスローガンから計画ツールへと変え、チームが賭けるのではなく予測し予算を組めるようにしました。しかしこの則が測るのは、モデルがテキストをどれだけうまく予測するかであって、私たちが最終的に望む特定の能力ではなく、永遠の保証ではなく傾向を記述します。大きくすることが助け続けてきたのは、学ぶべき構造がまだ非常に多く残っているからです。そして、この則が主張することちょうどを、それ以上ではなく読み取ることこそ、それらを読み過ぎない方法です。