モデルの「パラメータ」とは実際には何なのか

どのモデルの発表にも、ある数字が付いてくるようです。何十億ものパラメータ、と。その数字は、まるで大きいほど自動的に良いかのように、車のスペック表の馬力のように引用されます。しかしその数字を繰り返す人のほとんどは、パラメータが実際に何なのかを言えないでしょう。そしてその知識の欠落は、悪い直感へとつながります——パラメータ数を追いかけたり、大きいモデルが常に賢いと思い込んだり、その数字がコストや能力について何を語っているかを読み違えたり。本稿は、パラメータとは本当は何なのかを平易な言葉で説明し、その数が何を予測し、何を予測しないのかを解き明かします。

パラメータとは学習された数値である

最もシンプルに言えば、パラメータとは、モデルが学習中に調整する一つの数値です。それだけです。モデルとは機械的に言えば、構造に配置された非常に大量の数値と、入力をそれらの数値と組み合わせて出力を生み出す規則の集まりです。パラメータとはそれらの数値です。「70億パラメータ」とは、モデル内部のおよそ70億個の個別の調整可能な値を意味します。

これらの数値はエンジニアが書き込むものではありません。最初は本質的にランダムで、学習の過程でほんの少しずつ微調整されていきます——モデルの予測が間違うたびに、多くのパラメータがわずかにずれ、次回その種の誤りが起こりにくくなります。膨大な量のデータにわたってこうした調整を十分に重ねた後、パラメータはモデルが学んだパターンを符号化する値に落ち着きます。モデルの「知識」は読める事実として保存されているのではありません。それはどんな人間も直接書いたわけではない形で、これら数十億の数値にわたって分散しているのです。

重みと、理解を助けるたとえ

パラメータはしばしば**重み(ウェイト)**と呼ばれ、その名は有用なイメージを示唆しています。モデルを、膨大なつながりのネットワークとして、各つながりが強さ——内部のある情報が別の情報にどれだけ影響するか——を持つものとして思い描いてください。それらの強さが重みです。高い重みは強い影響を、低いまたは負の重みは弱いまたは反対の影響を意味します。

テキストがモデルを流れるとき、それは何度もこれらの重みと組み合わされ——ここで増幅され、あそこで減衰され——そうした重み付き組み合わせすべての累積効果が、次のトークンの予測を生み出します。学習とは、正しい強さを見つける過程です。モデルがうまく予測するために、どのつながりが大いに重要であるべきで、どれがほとんど重要でないべきかを。だから「モデルが学習した」と聞くとき、物理的に起きたのは、膨大な数のこれらの重みがより良い値へ動いたということなのです。

だからこそ、モデルを開いて「パリはフランスの首都である」という事実がどこかに書かれているのを見つけることはできません。その事実は、モデルがそれを保持している限りにおいて、多くの重みが協働する特定のパターンとして存在しています。モデル内の知識は分散しており、整理して保管されているのではありません。

その数が実際に教えてくれること

パラメータ数は、モデルの容量——原理的にどれだけ学習し表現できるか——のおおまかな目安です。パラメータが多いほど、パターンを蓄える余地が大きく、複雑な関係をモデル化する柔軟性も大きくなります。ほかの条件が同じなら、大きいモデルの方が天井が高くなります。

しかし「ほかの条件が同じなら」が多くの仕事をこなしており、容量は実現された能力と同じではありません。その数が直接には教えてくれないことをいくつか挙げます。

• モデルが実際にどれだけ優れているか。 容量は潜在能力です。質の悪いデータで学習した、あるいは学習が不十分な大きいモデルは、うまく学習した小さいモデルに負けることがあります。その数は容器の大きさを教えても、中身の質は教えません。
• 何が得意か。 サイズの似た二つのモデルでも、学習データや調整次第でまったく異なる強みを持ちえます。その数字はこれについて沈黙しています。
• あなたにとって正しい選択かどうか。 より速く安い小さいモデルが、あなたのタスクを完璧にこなすかもしれません。生の容量のフロンティアは、ほとんどの実用的な仕事が住むべき場所ではめったにありません。

ですからパラメータ数は本物の情報ですが、「この車があなたを職場までどれだけ速く運ぶか」よりは「エンジンの排気量」に近いものです——関連はしているものの、話のすべてからは程遠いのです。

なぜ大きいほど自動的に良いわけではないのか

パラメータが多いモデルこそ賢いに違いない、という根強い直感があります。実際には、その関係はずっと緩く、いくつかの理由があります。

データと学習が途方もなく重要である。 モデルの質は、サイズだけでなく、どれだけ多くの良いデータを見て、どれだけうまく学習したかに左右されます。決して適切に満たされない容量は無駄になります。

技術は時とともに向上する。 より良い学習手法とより良いデータの選別は、より新しく小さいモデルが、より古く大きいモデルに肩を並べるか上回ることを可能にします。一年前のサイズは、今日のサイズが買うものを買ってはくれません。

大きいほど運用コストがかかる。 パラメータが一つ増えるごとに、モデルを使うのに必要な計算、メモリ、レイテンシが増えます。大きいモデルは一般に、リクエストあたり遅く高価です。多くのアプリケーションにとって、そのコストはわずかな能力向上に見合いません——そして手元のタスクでは向上がまったくないこともあります。

要するに、パラメータ数は判断への一つの入力であって、判断そのものではありません。二つのモデルを純粋にサイズだけで比較するのは、選択を誤る確実な方法です。

アクティブパラメータと総パラメータ

知っておく価値のある一つのひだがあります。モデルのスペックを読む人を混乱させるからです。一部の現代的なアーキテクチャは、入力ごとにすべてのパラメータを使うわけではありません。こうした設計では、モデルは非常に大きな総パラメータ数を持ちながら、任意のトークンを処理するのにそのうちのごく一部だけを起動させます。

これが重要なのは、サイズとコストの単純な結びつきを断ち切るからです。あるモデルは巨大な総パラメータ数をうたいながら、はるかに小さいモデルに近いコストで動くかもしれません。特定のリクエストではほとんどのパラメータが遊んでいるからです。ですからモデルを比較するときは、引用された数がパラメータの総数なのか、入力ごとに実際に使われる数なのかを知る価値があります——両者は能力とコストの両方について、まったく異なる物語を語りえます。

実際にパラメータ数を読むときに

次にパラメータの数字を目にしたとき、いくつかの習慣があなたを正直に保ってくれます。それを品質スコアではなく、おおまかな容量の指標として扱いましょう。特に異なる時代のモデルを比較するときは、学習データと手法が生のサイズより重要でありうることを思い出しましょう。大きいほど一般に運用が遅く高価だと想定し、それを実際のニーズと天秤にかけましょう。そしてコストについて結論を出す前に、その数が総パラメータを指すのかアクティブパラメータを指すのかを確認しましょう。こうした但し書きとともになら、その数は有用な文脈です。それらがなければ、それは誤った結論を招く数字です。

まとめ

パラメータとは学習された数値です——モデルがデータ内のパターンを捉えるために学習中に調整する、通常は重みと呼ばれる数十億の調整可能な値の一つです。その総数は容量のおおまかな目安、すなわちモデルが原理的にどれだけ表現できるかです。それは本物の情報ですが、能力スコアでも、品質の保証でも、どのモデルを使うべきかの判定でもありません。学習データ、手法、モデルの古さ、そして入力ごとに実際にいくつのパラメータがアクティブかが、すべて少なくとも見出しの数字と同じくらい結果を形づくります。スペック表のエンジンサイズを読むようにその数を読みましょう——潜在能力の手がかりであって、決して話のすべてではない、と。