AIの回答に出典を付ける

出典のない回答は、信じるしかないものです。出典のある回答は、確かめられるものです。この違いこそが出典のすべての価値です。出典は、モデルの自信に満ちた文章を、読者が源までたどれる主張へと変えてくれます。本ガイドでは、言語モデルに回答の裏付けとなる出典を引用させる方法、そして——同じくらい重要なこととして——もっともらしく見える参考文献をでっち上げるのではなく、誠実に引用させる方法を扱います。

出典が手間をかける価値のある理由

出典は同時に3つの仕事をこなします。読者が主張を鵜呑みにするのではなく検証できるようにします。信頼を築きます。出典付きの回答は、システムが思いつきではなく実在の資料に基づいていることを示すからです。そして作り手であるあなたに検出の仕組みを与えます。モデルが出典をたどれない主張は、まさに捏造である可能性が最も高い種類の主張です。引用するという行為は、純粋な生成では飛ばされてしまうチェックを強制します。

最後の点は、過小評価されがちです。モデルに引用を求めることは、読者のための機能であるだけではありません。それはモデルの振る舞いそのものを変えます。指示が「回答し、各主張の出典を引用せよ」であれば、モデルは自分が述べることの裏付けを見つけなければならず、裏付けのない記述が可視化されます。出典は、単なる礼儀ではなく、出力フォーマットに組み込まれた品質管理なのです。

モデルが実際に指し示せる出典を与える

モデルが誠実に引用できるのは、引用すべき実在の出典が目の前にある場合だけです。学習した記憶から回答して出典を付けるよう求めれば、モデルは出典を生成します——そしてそのかなりの割合がでっち上げになります。もっともらしい事実を生成するのと同じやり方で、もっともらしく見える参考文献を生成しているからです。対処法は構造的です。プロンプトの中に出典資料を供給し、その資料からのみ引用するよう求めることです。

各出典には、モデルが参照できる安定した識別子——番号、短いラベル、タイトル——を付けます。そうすれば引用は、モデルの記憶への手探りではなく、あなたが管理する資料への指し示しになります。回答が「出典2によれば」と述べたら、出典2を見て確認できます。これこそ、すべてが乗る土台です。引用が信頼に足るのは、それが供給されたテキストを指し示すときだけであり、思い出されたテキストを指すときは決してそうではありません。

引用フォーマットを明示的に求める

モデルはあなたの好みの引用スタイルを推測しません。指定してください。出力における引用がどう見えるべきか——各主張の後ろのインライン記号、末尾の番号付き参照リスト、出典ラベル付きの引用スニペット——を決め、できれば短い例を1つ添えて正確に指定します。「出典を含めよ」といった曖昧な指示は一貫性のない結果を生みます。あるときはリスト、あるときはインライン、あるときは「文書」への漠然とした言及になります。

フォーマットは、回答がどう使われるかに合わせます。読者がクリックして遷移するUIなら、参照リストに紐づくインライン記号がうまく機能します。監査される回答なら、各主張に引用スニペットを添えると検証が即座にできます。どれを選ぶにせよ、正確な形を一度示し、すべての主張でそれに従うよう求めます。引用フォーマットの一貫性こそが、引用を装飾ではなく後工程で使えるものにします。

各主張をその裏付けに紐づける。回答全体をリンクの山にではなく

よくある弱いパターンは、自信に満ちた回答の後に、供給されたすべての出典を並べた参考文献を付け、どの出典がどの主張を裏付けるのかを示さないものです。これは本当の引用ではなく、ジェスチャーにすぎません。回答が「どこかでこれらの文書に基づいている」と読者に伝えるだけで、特定の記述を確かめさせてはくれません。引用の核心は、特定の主張とそれを裏付ける特定のテキストとの間のリンクにあります。

その粒度を明示的に求めてください。事実に関する各主張は、それを裏付ける特定の出典を指し示す自前の引用を伴うべきです。これはモデルにとってより多くの作業であり、より誠実な回答を生みます。どの出典にも紐づけられない主張は、もはや隠れる場所がないからです。すべての記述が裏付けを名指ししなければならないとき、裏付けのない記述は際立ちます——書いているモデルにとっても、読んでいるあなたにとっても。

裏付けがない場合に対処する

供給された出典に答えが含まれていないこともあります。これに備えていないと、モデルは引用なしの断定でその穴を埋めるか、もっと悪い場合には、主張されている内容を実際には述べていない出典を指す捏造された引用で埋めます。裏付けが欠けているときに何をすべきか、モデルに指示してください。答えをでっち上げたり主張を裏付けないものを引用したりするのではなく、出典には答えが含まれていないと述べるように、と。

これは引用を誠実さに結びつけます。すべての主張を引用しなければならず、できないときはそれを認めなければならないシステムは、裏付けられることしか言えないシステムです。「裏付けなし」の経路こそが、引用の要件がいつのまにか捏造の要件へと変わるのを防ぎます——それがなければ、「すべての主張を引用せよ」を満たそうと決めたモデルは、必要な引用を単に製造してしまうかもしれません。

引用を表示するだけでなく検証する

モデルが生成する引用も他の主張と同じ主張であり、間違っていることがあります。誤った理由で正しい出典を指していたり、引用された事実を実際には含まない出典を指していたり。チェックせずに読者へ引用を見せることは、厳密さの誤った印象を与えます。最も強固なシステムは、少なくともプログラム的に、引用された各出典が、それが付された主張を裏付けるテキストを含むことを検証します。

これが可能なのは、まさにあなたが出典を供給し、粒度の細かい引用を求めたからです。引用された出典IDが存在するか、引用されたスニペットがその中に現れるか、主張がその引用箇所によってもっともらしく裏付けられるかをチェックできます。チェックに通らない引用はフラグが立てられるか除去されます。その結果、引用が見かけどおりの意味を持つパイプラインが生まれます。チェックされていないのに読者がチェック済みと思い込む装飾ではなく。

まとめ

出典は、AIの回答が信頼を勝ち取る手段です。主張を確かめられるようにし、根拠があることを示し、モデルに自分の述べることの裏付けを見つけさせます。それを誠実にするには、モデルに指し示すべき実在の出典を与え、引用フォーマットを正確に指定し、各主張がリンクの山を指すのではなく自前の裏付けを伴うよう求めます。裏付けがない場合に備え、要件が捏造された参考文献を生まないようにし、引用を鵜呑みで表示するのではなく検証します。こうすれば、引用は装飾であることをやめ、本来あるべきもの——読者が引いて回答が本物だと確認できる糸——になります。