不気味がられずにAIでパーソナライズする

パーソナライズはかつて粗いものでした。メールの件名に名前を入れる、いくつかの大まかな顧客セグメント。AIはその経済性を変えました。モデルは今や、好みを推測し、意図を予測し、かつては不可能だった規模で一人の体験に合わせられます。うまくやれば、自分を理解してくれる製品のように感じられます。下手にやれば、見張られているように感じられます。両者の間の線は細く、それを越えることは信頼に持続的な損害を与えます。本稿はその正しい側に留まることについてです。

なぜパーソナライズは不気味に転じるのか

不快感は、ほとんど決してパーソナライズそのものから来ません。それは気づきから来ます。関連性のある推奨は、ユーザーが「待って、なぜそれを知っているの?」と思う瞬間まで、役立つと感じられます。その気づきの閃光――本人が知って共有したわけでない何かが、観察され、推測され、あるいは結びつけられたという閃光――こそが、不気味な感覚です。データが間違っていることではありません。データが、決して説明されなかったやり方で正しいことなのです。

つまり目標はパーソナライズを減らすことではありません。その閃光を決して引き起こさないパーソナライズです。同じ推奨が、ユーザーがそれがどう起きたかを理解できるかどうかだけで、思いやりにも侵害的にも感じられます。関連性に透明性を足せばサービスのように感じられます。関連性から透明性を引けば監視のように感じられます。

推測したデータは慎重に――見えているデータは自由に

人が知って与えたデータと、あなたがその人について推測したデータの間には、有用な区別があります。誰かがハイキング用品が欲しいと言ったなら、ブーツを勧めるのは明らかに問題ありません――本人もそれを期待しています。無関係な行動から、その人がおそらく旅行を計画していると推測し、その推測に基づいて公然と行動すれば、推測が当たっていても不気味な閃光のリスクを冒します。

実践的なルールはこうです。行動が推測されたデータや機微なデータに依存するほど、その仕組みが見えないか、明示的に説明される必要があります。誰かが明示的に言ったことに基づくパーソナライズは安全です。その人について推論したこと――特に健康、財務、人間関係、アイデンティティに触れる何か――に基づくパーソナライズは、本物の注意を要します。AIは推論を安くします。だからこそ、その周囲の規律は意図的でなければならないのです。

「なぜ」を説明せよ――それがすべてを変える

不気味さに対する最も効果的な防御は、見える理由です。「あなたがXを見たから」「これを買った人はこれも買っています」は、推奨を不気味から理解可能なものへと変えます。ユーザーは論理の連鎖を見て、それを公正だと認識し、不安は蒸発します。パーソナライズを減らしたのではありません。パーソナライズを読み取れるようにしたのです。

これはほとんどコストがかからず、膨大な信頼を買います。なぜそれを見ているか人が理解すれば、それを評価し、修正し、自分が制御していると感じられます。理由が隠されていれば、正確な推奨でさえ、製品が知るべきでないことを知っているように感じられます。推論を示しましょう。そうすれば不気味さの問題の大半は、ひとりでに消えます。

制御を人々に与えよ――そして尊重せよ

制御のないパーソナライズは、人に「対して」なされる何かです。制御のあるパーソナライズは、人の「ために」なされる何かです。違いは、システムが知っていると思っていることを見られるか、間違っているときに修正できるか、望むときにオフにできるか、です。誰かを明らかに見誤ったモデルが、それを直す術もなく存在するのは、パーソナライズがないより悪いものです――間違っていて、しかも逃れられないからです。

制御は本物でなければならず、見せかけであってはなりません。実際には体験を変えないオプトアウトや、システムが静かに無視する設定は、ないより悪いものです。表明した望みが重要でないと、ユーザーに教えてしまうからです。ユーザーの制御を、提案ではなく拘束力ある制約として扱うことは、制御を賭け金に合わせることの一部であり、それはNIST AI Risk Management Frameworkのようなフレームワークが提唱する中核的な姿勢です。

AIが持ち込む失敗モードに注意

AIのパーソナライズには、粗いパーソナライズには決してなかった失敗モードがあります。一つの瞬間に過剰適合しうるのです――誰か別の人へのプレゼントを一度買っただけで、いまや体験全体が、あなたのものでない好みを中心に再編成されてしまう。人をループに閉じ込めうるのです――すでに関わったものをもっと見せ続け、体験が袋小路へと狭まるまで。そして本人が決して開示せず、システムに行動されたくない機微な属性を、静かにでも推測しうるのです。

これらは例外的なケースではありません。抑制なしにエンゲージメントを最適化するシステムの正常な挙動です。防御策は、次のクリックだけでなく、ユーザーの実際の利益のために設計することです。システムが思っていることを人々がリセットできるようにする。パーソナライズが狭まる螺旋に崩れないよう多様性を組み込む。そして機微な推論には固い限度を設け、本人が明確に招かない限り立ち入り禁止として扱う。

人ではなく体験をパーソナライズする

有用な思考の枠組みです。あなたが思うその人の正体ではなく、その人がしていることをパーソナライズしましょう。明示的で現在のタスク――「あなたは今テントを買い物中です」――に合わせるのは役立ち、めったに不気味になりません。本人が公然としていることを追っているからです。その人の正体――推測された特性、予測された未来、私的な事情――のプロファイルに合わせることこそ、不安とリスクが集中する場所です。

第一の種類のパーソナライズは応答的で、良いサービスのように感じられます。第二の種類は出しゃばりで、プロファイリングされているように感じられます。AIは第二の種類を技術的に容易にします。だからこそ、第一の種類を好む抑制が、いまや差別化要因になるのです。信頼を勝ち取る企業は、深くプロファイリングできるのに、軽くパーソナライズすることを選ぶ企業です。

まとめ

AIはパーソナライズを、侵害的に感じられるほど精密にしました。ですから新しい技能は、到達範囲ではなく抑制です。不気味な感覚は、助けられたことからではなく、観察されたと気づくことから来ます――ですから治療法は透明性です。なぜかを説明し、人々が知って与えたデータに頼り、推論は慎重に扱い、制御を本物にすること。あなたが思うその人の正体のプロファイルではなく、目の前のタスクをパーソナライズすること。これを正しくやれば、パーソナライズは敬意のように感じられます。間違えれば、世界で最も正確な推奨でさえ、なお侵害のように感じられるのです。