社内のAI検索：現実的なバージョン

どの会社も同じ夢を抱いています。何でも尋ねられるアシスタントが、社内のあらゆる知識から答えてくれる――wiki、ドキュメント、チャット履歴、誰も見つけられない古い提案書。よく書かれた文書のきれいなフォルダの上に作られたデモは、本当に魔法のようです。ところがそれを本物の会社に向けると、文書はぐちゃぐちゃで、権限は地雷原で、人々が実際に尋ねる質問はデモとは似ても似つかないと分かります。本記事はその現実的なバージョンです。なぜ社内AI検索は外部検索より難しいのか、そして使われる導入と、静かに放棄される導入を分けるものは何か。

あなたの文書は思っているより酷い

第一の現実はコーパスです。デモは、誰かが厳選した文書の上で動きます。会社は、何年もかけて溜まった文書の上で動きます。わずかに異なる重複コピー、下書きと記されなかった下書き、三度の組織再編前のポリシーがその後継のすぐ隣に座っている、そして最も必要とされる唯一の答えが、誰かの頭の中か埋もれたチャットスレッドにしか存在しない。AI検索はこれを直しません。それを表面化させるのです。二つの文書が互いに矛盾するとき、システムは、検索がたまたま上位にランク付けしたほうから自信満々に答えます。

だからこそ、成功するプロジェクトはモデルよりもコーパスに多くの労力を割きます。重複排除し、文書を正式版か廃止版かと印付けし、古いものを取り除くことは、どれほどの調整よりも答えの質に効きます。地味な真実は、社内検索とはAIの衣装をまとった知識衛生のプロジェクトだということです。

検索がすべてを決める

文書から答えるどんなシステムとも同じく、品質の天井は生成ではなく検索が定めます。関連する箇所がモデルの前に引き出されなければ、どれほど流暢に書いても正しい答えは出ず――代わりに自信満々の間違った答えが出ます。社内検索の失敗のほとんどは検索の失敗であり、それでも答えはうまく読めるので、誤診されやすいのです。

社内コーパスは検索を特に難しくします。人々は社内特有の略語、プロジェクトのコードネーム、財務では一つの意味、エンジニアリングでは別の意味になる頭字語で検索します。関連する文書は、質問とまったく違う言葉を使っているかもしれません。正しい文書が実際に検索されたかを――答えがうまく聞こえるかとは別に――測ることは、チームができる最も有用な一つのことであり、ほとんどのチームが省くことです。

権限は、あなたを窮地に陥れうる部分

外部検索の対象は一つです。社内検索には多くの対象があり、それらは同じものを見ることを許されていません。営業担当者は未発表のロードマップを取り出すべきではなく、業務委託者は給与表を取り出すべきではなく、新入社員は役員専用と記された文書を取り出すべきではありません。検索インデックスが「誰が尋ねているか」を無視した瞬間、それは、尋ね手が見る権限を一度も得ていない情報を、流暢かつ親切に答える漏洩エンジンになります。

これを正しくやるのは聞こえるより難しいのです。モデルは検索の下流に座っているからです。検索がユーザーのアクセスできない箇所を引き出してモデルに渡せば、モデルは喜んでそれを要約します。したがって権限は、いかなる文書もモデルに届く前に、検索の層で、ユーザーごとに強制されねばなりません――後から付け足すのではなく。これはまさに、NIST AI Risk Management Frameworkのような枠組みが、チームに促そうと存在する、結果を意識した制御の類いです。間違った答えのコストは軽微ですが、機密漏洩のコストはそうではなく、制御はその違いを反映すべきなのです。

質問はデモの質問ではない

デモは、きれいな事実の答えを伴う、きれいな事実の質問を使います。実際の質問はもっと厄介です。人々は、多くの文書にまたがること、変更の履歴から現在の状態を統合する必要があること、どの文書も捉えなかった暗黙知についてのこと、そして本当に曖昧なことを尋ねます。一つの箇所を見つけて引用するよう調整されたシステムは、正直な答えが「これは五つの文書に散らばっていて、そのうち二つは食い違っている」であるとき、苦戦します。

もう一つの驚きは、人々がシステムに、無知を潔く認めることを期待して質問するということです。関連するものが何もないときでも常に答えを出すシステムは、「これについて正式なものは見つかりませんでした」と言うシステムより悪いのです。自信に満ちた空虚は、正直な穴よりも速く信頼を破壊します。

なぜこうしたプロジェクトは放棄されるのか

社内検索プロジェクトが派手に失敗することはまれです。静かに失敗するのです。デモでは動き、展開され、人々が試し、答えを知っていた質問でいくつか自信満々の間違った答えをもらい、信頼を失い、同僚に尋ねる習慣へ戻っていく。ツールは取り除かれません。ただ、もう開かれないだけです。いったん信頼が失われると、正しい答えさえ信じてもらえません。

このパターンは避けられます。信頼は、まず簡単でアクセスの多い質問で正しくあること、出典文書を引用して人々が検証できるようにすること、そして当て推量せず「分かりません」と言うことで築かれます。仕事ぶりを見せ、限界を認めるシステムは疑いの利益を得ます。すべてを流暢に答えるシステムは、最初の自信満々の間違いで信用を使い果たします。

機能している導入がしていること

生き残る社内検索システムは、ある共通の特徴を持ちます。コーパスの整備を、セットアップではなく中核の仕事として扱う。権限を検索で、ユーザーごとに強制する。答えの流暢さだけでなく、検索の質を直接測る。出典を引用し、すべての答えを検証可能にする。「分かりません」の経路を意図して設計する。そして野心の範囲を定める。頻出する上位百の質問を確実に押さえることは、すべてを中途半端に答えるより勝ります。どれも風変わりではありませんが、どれもデモが省かせてくれる仕事です――まさにそれが、デモが導入よりずっと簡単な理由です。

まとめ

社内AI検索は、会社に散らばった知識を、一つの答えられる資源に変えると約束し、デモはそれを楽々に見せます。現実は四つの面でより難しい。文書は思っているより乱雑で、品質の天井を定めるのは生成ではなく検索で、権限は検索の層でユーザーごとに強制しなければシステムは漏洩し、実際の質問はデモの質問とは似ても似つかない。コーパスを整え、検索を測り、アクセスを制御し、出典を引用し、システムに無知を認めさせましょう。そうすれば、誰もが望んだ資源になります。それを省いてデモのまま出せば、ツールは、人々が自信満々の間違いを捉えた最初の週に、静かに放棄されます。