搭建一个反馈闭环来改进回答

发布一个 AI 功能是开始，而非结束。第一个版本是一次猜测——一个提示词和一个在少数测试用例上看起来不错的模型。真实用户会把它推向你从未设想过的方向，而有些回答会是错的、没帮助的，或语气不对的。那些 AI 功能随时间变得更好的团队，并不是第一天猜得最准的那些。他们是那些搭建了一个闭环、捕获哪里出了错并把它反馈回系统的团队。本文要讲的，正是搭建那个闭环。

反馈闭环究竟是什么

反馈闭环是一个循环：功能产出一个回答，你收集关于它是否好的信号，你把那个信号转化为改进，然后你发布改进后的版本——它产出新的回答，循环再度开始。没有这个闭环，每一次发布都是一次全新的猜测。有了它，每一次发布都立足于你从上一次学到的东西。

这个闭环有四个值得命名的阶段：捕获（记录发生了什么）、评判（判定什么是好或坏）、改进（据此修改提示词、示例或模型）、验证（确认这个改动确实有帮助）。大多数团队径直跳到"改进"——凭感觉调提示词——然后纳闷质量为什么停滞不前。纪律在于捕获与验证，这个循环里不那么光鲜的两端。把这两端做对，改进几乎会自动随之而来。

捕获正确的信号

你无法改进你不记录的东西。这个闭环的根基是记录真实的交互：输入、你发送的完整上下文，以及模型产出的回答。没有这些，一个用户报告"它昨天给了我一个糟糕的回答"，就无从调查。有了它们，你就能复现那个确切的用例。

在原始日志之外，还要捕获质量的显式与隐式信号。显式信号是用户直接告诉你的——点赞或点踩、星级评分、一个"举报"按钮、他们打出的一处更正。让给出这种信号毫不费力；一次点击得到的回应，远多于一份问卷。隐式信号是那些无需刻意评分就揭示满意度的行为：用户接受了那个回答、复制了它、改述后再问一遍，还是放弃了会话？一个立刻重新措辞问题的用户，刚刚就告诉了你第一个回答没中——哪怕他什么都没点。两者都要收集，并在这么做时尊重隐私——记录你为改进所需的，不多记。

把信号变成数据集

原始信号在被组织起来之前都是噪声。一个反馈闭环所产出的最有价值的产物，是一个不断增长的真实示例集合，每个都被标记为好或坏，理想情况下坏的那些还配上回答本应是什么。这个评估集就是那项资产。它让你能够客观地测量质量，而不是为它争论不休。

要刻意地构建它。定期审阅捕获到的交互，尤其是那些带负面信号的，把有启发性的用例加进你的集合。把常见或代价高的失败，置于罕见的怪例之上优先处理。当你发现一个错误回答时，把正确的那个写下来——那一对，比十个没有上下文的点踩更有价值，因为它不只告诉你某物失败了，还告诉你成功是什么样子。久而久之，这个集合就成了一幅你的功能实际在何处吃力的肖像，取自现实，而非想象。

用有针对性的改动闭合这个闭环

现在你可以有意图地改进了。审视你数据集里成簇的失败，问问它们有什么共同点。许多问题都可追溯到同样的那么几个原因：一条含糊的指令、一个提示词从未预料到的情形、一个缺失的示例、一个对某类输入而言太小的模型。修复原因，而非单个症状。

最便宜的修复通常先来。一个反复出现的失败，往往通过澄清提示词、或添加一个失败情形的代表性示例就能解决——直接把从数据集学到的教训，反馈回指令里。有时修复在于检索：模型失败是因为它缺少你本可以提供的信息。偶尔，诚实的答案是这个任务对当前模型而言太难了，而你需要为那条路径换一个更大的模型。不论是什么改动，一次只做一个，这样你才能归因结果。

在信任修复之前先验证

这是把闭环与猜测区分开来的一步。做出一个改动后，拿它去跑你的评估集——整个集合，而非只有你试图修复的那些用例。一个解决了三个失败、却悄悄弄坏五个其他用例的改动，是一个伪装成修复的回退，而你只有靠核查整个集合才能逮住它。保留那个总体上更好的版本。

尽你所能把这个对比自动化。哪怕一个粗糙的自动评判者——一个对照你标注的答案给输出打分的模型，或对所需属性的简单核查——也能让你在几分钟内重跑整个集合，而不必逐条人工阅读每个输出。把人工复审留给自动化标记为不确定的用例。目标是让验证便宜到你真的每次都做，因为你跳过验证的那些改动，恰恰是引入无声回退的那些。

让闭环持续运转

反馈闭环不是一个你做完的项目；它是一个你维持的习惯。设定一个节奏——视体量而定，每周或每月——去审阅新信号、扩充数据集、做一轮改动并验证它们。警惕漂移：随着你的用户群及其需求变化，新的失败模式会出现，而你旧的数据集从未涵盖它们，所以要持续从近期流量中喂给它新的用例。

提防对你自己的集合过拟合。如果你永远只对照同一组固定示例去优化，你可能把那些特定用例打磨得锃亮，而现实世界的质量却停滞不前。定期用新的真实交互刷新这个集合，并偶尔留出一些用例，作为一个你不去调优的核查。这个闭环之所以管用，是因为它始终连着现实——它一旦变成一项对照陈旧示例的封闭练习，就停止了改进任何要紧的东西。

总结

当错误回流到系统、而非凭空消失时，一个 AI 功能就会改进。捕获真实的交互以及显式和隐式的信号，把有启发性的用例变成一个不断增长的标注数据集，并用那个数据集对提示词、检索或模型选择做出有针对性的修复。在信任一个改动之前，永远拿它对照整个集合验证，并把对比自动化，好让你真的去做。然后让这个循环按节奏持续运转，用新用例刷新它，使它永不偏离现实。是那个闭环，而非第一个版本，让回答变得越来越好。