研究
論文・技術をわかりやすく解説
検索拡張生成（RAG）を第一原理から理解する
RAGはツールの積み重ねとして説明されがちです。それを取り払えば、一つの単純な考えに行き着きます。モデルが答える前に適切な資料を読ませること。その本当の仕組みを解説します。
なぜコンテキスト長のスケールは難しいのか
コンテキストウィンドウを長くするのは単純なつまみのように聞こえます。その裏では、テキストより速く増えるコストと、薄く広がる注意とが戦っています。
破滅的忘却と継続学習
ニューラルネットワークに新しいことを教えると、知っていたことを忘れがちです。この頑固な問題こそ、モデルが流れの中ではなく大きなバッチで学習する理由です。
Chain-of-thought:なぜ推論ステップが効くのか
モデルに「順を追って考えて」と頼むだけで、難問への正答率が目に見えて上がります。考えてみれば不思議な話です。なぜそれが効くのかを解説します。
RLHFが実際に行っていること
RLHFは、生のテキスト予測器を対話できる存在へと変えるステップです。それが実際に何を変えるのか——そして同じくらい重要な、何を変えないのかを解説します。
蒸留：大きなモデルから小さなモデルへ教える
知識蒸留は、大きなモデルを真似るよう小さなモデルを訓練します。コツは答えを写すことではなく、大きなモデルの迷い方を写すことです。
ベンチマークを越えた評価：人間とモデルの審判
ベンチマークは採点しやすいものを測ります。自由形式の仕事には判断が要ります——人から、あるいは人の代わりを務めるモデルから。どちらも人を惑わせえます。
モデルはどう評価されるのか：ベンチマークと、それが嘘をつく理由
ベンチマークのスコアは測定値に見えますが、実は主張です。モデル評価が実際にどう働くのか、なぜ高い数字でも人を惑わせうるのかを解説します。
トークナイザーと、それが言語にとって重要な理由
言語モデルは単語を見ません。トークンを見ています。テキストがどうトークンに刻まれるかが、言語間のコスト・速度・公平性を静かに決めます。
アテンション、平易な言葉で
アテンションは技術的に聞こえますが、その考え方はあなたが文章を読むたびにしていることです。数式なしで、言語モデルの中で本当に何を意味するのかを解説します。
パニックなしで理解するハルシネーション
でっち上げをする言語モデルは故障しているのではなく、作られたとおりに動いているだけです。なぜハルシネーションが起き、どう管理するかを解説します。
合成データ：モデルの出力でモデルを訓練する
実データが尽きたとき、モデルは自らの訓練データを生成できます。強力で、わずかに循環的で、出どころを忘れれば危険です。
ファインチューニング vs RAG vs プロンプティング：選び方の指針
モデルを思いどおりに動かす方法は3つ。多くのチームは最も重い手段に真っ先に飛びつきます。正しい順番で選ぶ方法を解説します。
スケーリング則：大きく、しかしなぜ
"大きくしろ"は科学ではなくスローガンに聞こえます。スケーリング則はそれを科学に変えたものです。それが実際に言うこと、そして言わないことを解説します。
数式なしで理解するTransformerアーキテクチャ
Transformerは数式の壁として描かれがちです。それを取り払えば、残るのは一つの優雅なアイデア。すべての単語に、ほかのどの単語が重要かを決めさせるという発想です。
事前学習・ファインチューニング・アライメントの違い
モデルがどう作られるかを説明するとき、三つの言葉が混同されがちです。これらは異なる役割を持つ別々の段階です。それぞれが何をするのかを解説します。
創発的能力：本物か、それとも蜃気楼か
大きなモデルは、小さなモデルにない技能を突如「会得する」かに見えます。それは本物の相転移か、測り方の手品か。正直な答えは「両方」です。