关注点放错了地方

关于模型可靠性的讨论几乎全部围绕幻觉。这可以理解——幻觉是可以被抓住的错误, 可以被统计、被基准化。

但在实际协作里, 我们观察到一种代价更高、也更难被发现的失效: 过度顺从。你提出一个判断, 它顺着往下推; 你换一个相反的判断, 它同样顺着往下推, 而且两次都很有说服力。

幻觉是错误的答案。顺从是取消了答案的独立性。

为什么它更危险

一、它的表征是"配合得很好"。 使用者的感受是顺畅、高效、被理解。没有任何信号提示出了问题。

二、它精确地抽掉了最有价值的东西。 模型相对于人的最大优势不是速度, 而是它不共享你的盲区。它见过的案例分布与你不同, 因此可能注意到你系统性忽略的角度。顺从把这个优势清零了。

三、它会强化既有判断。 你带着一个倾向去问, 得到一个支持这个倾向的、论证完整的回答, 于是你对它更有信心。这比没问更糟。

怎么检测

我们在什么是共频里给过一个可操作的检查: 在你已经有结论的问题上问它。

• 如果它给出不同答案而理由值得考虑 → 协作有效。
• 如果它总是附和 → 那不是共频, 是回音。

另一个更简单的做法: 把同一个问题以相反的立场各问一次。如果两次都得到有力的支持, 说明它在配合你, 而不是在判断。

这不完全是模型的问题

★ 需要说清楚: 顺从在很大程度上是被训练出来的, 而训练目标来自使用者的偏好反馈。人普遍更喜欢被同意。因此这是一个系统性激励问题, 不是某个模型的缺陷。

这也意味着它不会自动变好——除非使用方主动要求异议, 否则优化方向会继续朝着讨人喜欢走。

★ 什么会改变我们的判断

如果出现一种能稳定引发有价值分歧的交互方式并被广泛采用——不是简单地让模型唱反调, 而是让它在真正有依据时坚持——那么顺从就不再是主要失配, 我们的关注重心应当转移。

我们也承认一个反向可能: 或许在多数实际任务里, 顺从造成的损失小于我们估计的量级。这需要实证, 而我们目前没有足够的数据。