LLMをローカルで動かす：1台のノートPCのための実践入門
いまや有能なオープンウェイトモデルを1台のノートPCで動かせます。動くかどうかを実際に決めるもの——メモリ、量子化、ツール——と各々の正直な期待値を解説します。
自分のマシンで言語モデルを動かすことは、かつては研究所の演習でした。いまや週末のプロジェクトです。その理由は単一のブレークスルーではなく、オープンウェイトモデルとその周辺ツールの成熟です。本入門は誇大宣伝を飛ばし、ローカル推論があなたにとって機能するかを実際に左右するもの、つまりメモリ、量子化、ツール、そして何を得て何を諦めるかの現実的な感覚を説明します。
そもそもなぜローカルで動かすのか
おおむね説得力の順に、三つの正直な動機があります。
- プライバシーと制御。 何もマシンの外に出ません。機密のメモ、下書き、顧客文書、社内コードについては、クラウドのどんな設定も完全には再現できない実質的な利点です。読むべきデータ保持ポリシーはありません。出ていくデータがないからです。
- 安定した量でのコスト。 多くの呼び出しを行い、すでにハードウェアを所有しているなら、限界費用はおおむね電気代です。バースト的または低量なら、セットアップにかかる自分の時間を数えれば、ホスト型のAPIが通常は安くつきます。
- 学習といじること。 モデルをローカルで動かすと、その仕組みの謎が解けます。メモリ、速度、品質といったトレードオフを、それらを隠すAPIの背後ではなく、直接目にできます。
期待すべきでないこと。最大のホスト型モデルの天井です。ローカルモデルは日常的なタスクではギャップの多くを縮めましたが、最も難しい推論と最も長いコンテキストの作業は、いまだフロンティアのホスト型システムに分があります。その期待を持って臨むことが、感心することとがっかりすることの分かれ目です。
最も重要な唯一の数値：メモリ
最大の制約は、モデルの重みが占めるメモリの量です。経験則として、モデルのフットプリントはパラメータ数にパラメータあたりのバイト数を掛けたものに比例します。フル精度の重みは大きく、ノートPCを現実的にする秘訣が量子化です。重みをより低い精度（たとえば16ビットの代わりに4ビット）で保存し、フットプリントを数分の一に縮めます。
これが実際に何を意味するか、平易に言えば。
- 小型モデル（数十億パラメータ）を4ビットに量子化すれば、最新のノートPCのメモリに余裕で収まり、使える速度で動きます。
- 中型モデル（おおよそ7〜14Bの範囲）を量子化したものは、十分なユニファイドメモリまたはGPUメモリを持つ多くのノートPCにとって最適な落としどころです。
- より大型のモデルも可能ですが、遅くなるか、本格的なハードウェアなしには単に収まりません。
Apple Siliconでは、ユニファイドメモリがCPUとGPUの間で共有されます。これがこれらのマシンがローカル推論で実力以上の働きをする理由です。GPUが大きなメモリプールにアクセスできるのです。典型的なWindowsやLinuxのマシンでは、GPUの専用メモリが通常の制約要因であり、それを超えるモデルはより遅いシステムメモリに溢れ出すか、ロードに失敗します。
量子化：トレードオフを一節で
低い精度は、品質を多少犠牲にして、より小さく速くなることを意味します。良い知らせは、16ビットから約4ビットへの低下による損失は、ほとんどの日常的なタスクでは人々が恐れるより小さく、通常の使用ではほとんど気づかないことが多いということです。4ビットよりずっと下に押し下げると、劣化が明白になります。モデルは一貫性を失い始め、指示を取りこぼし、繰り返したりします。
実践的な助言はシンプルなルールです。収まる最大のモデルの4ビット量子化から始め、自分自身のタスクで品質問題を測定できる場合にのみ精度を上げる。 ほとんどの人はそうする必要がありません。「念のため」とより高い精度を追い求めても、たいていより遅いモデルとより大きなメモリ代しか買えません。
ツールについて、手短に
何かをゼロからコンパイルする必要はありません。成熟し、よく文書化された二つの選択肢が主流です。
- llama.cpp — すべての主要プラットフォームでCPUとGPUにまたがり量子化モデルを効率的に動かす、無駄のない高速な推論エンジン。多くの他のツールが土台とするもので、ラッパーを使うとしても知っておく価値があります。
- Ollama — ダウンロード、量子化フォーマット、いくつかのコマンドでのローカルサーバーを扱う、より親しみやすい層。始めたばかりのほとんどの人にとって、これが最も抵抗の少ない道です。
モデル自体は、オープンウェイトのリリースがライセンスを添えて公開されるHugging Faceのようなオープンなハブから来ます。個人利用以外の前にライセンスを読みましょう。「オープンウェイト」は必ずしも「商用利用が自由」を意味せず、条件は人々が想定する以上に多様です。
現実的な初回実行
特定のバージョンに縛られない、まともな開始手順です。
- Ollamaをインストールする（もっと制御したければllama.cppをビルドする）。
- 評価の高い小型のオープンウェイトモデルを4ビット量子化で取ってくる。
- 雑学テストではなく、実際に気にかける種類の質問をする。秒あたりのトークン数を見て、自分のワークフローに速度が使えるか判断する。
- 品質が足りなければ、精度を上げる前にモデルサイズを上げる。速度が足りなければ、サイズを下げる。
- 何かが使えると感じたら、正確なモデルと設定を保存する。再現性が戦いの半分です。
ローカル推論がひそかに壊れる場所
驚かされないよう予期すべき三つの失敗モードです。
- コンテキスト長もメモリを食う。 長い入力は重みに加えてメモリを消費します。短いプロンプトでは問題なくロードできるモデルでも、長い文書では依然として場所が足りなくなることがあり、その失敗は明確な「メモリ不足」ではなくクラッシュのように見えることがあります。
- スループットはレイテンシではない。 モデルは短い返信では速く感じられ、長い返信では這うことがあります。一行の挨拶ではなく、実際に使う出力長で常に測定しましょう。
- 初回の実行は遅い実行。 初回のロード、ときには初回の生成には、後続が省くセットアップが含まれます。2回目と3回目の実行で速度を判断しましょう。
わざわざやらないほうがよいとき
ローカル推論が常に正解とは限らず、それについて正直であることに価値があります。量が低く散発的なら、ホスト型のAPIのほうが安く、セットアップも速いです。能力の絶対的な頂点や非常に長いコンテキストが必要なら、ホスト型のフロンティアモデルがいまだ先行しています。そしてセットアップの保守に使う時間が、使う時間より多くなるなら、クラウドはあなたに恩恵を施しています。ローカルが理にかなうのは、プライバシー、安定した量、好奇心が天秤を傾けるときであって、デフォルトとしてではありません。
セキュリティについて手短に
ローカルで動かすことはネットワーク送信のリスクを取り除きますが、すべてのリスクを取り除くわけではありません。モデルとツールは評判の良い情報源からダウンロードし、ライセンスに気を配り、ローカルモデルでも誤ったり安全でない出力を生み出しうることを忘れないでください。「ローカル」はどこで動くかを表すのであって、その言うことをどれだけ信頼すべきかを表すのではありません。
まとめ
ローカルLLMはもはや珍奇なものではありません。判断は三つの正直な問いに帰着します。モデルはメモリに収まるか、量子化された品質はあなたのタスクに十分良いか、速度はあなたのワークフローに使えるか。自分のマシンで自分のプロンプトを使ってこれらに答えれば、ローカル推論があなたの道具箱に属するかどうかが午後のうちにわかります。どんなベンチマークやブログ記事が告げるよりもはるかに確実に。この記事自身も含めて。