一个几乎没人反对的共识

"关键决策要有人审查"——这句话出现在几乎所有的 AI 治理文件里, 也几乎没有人反对。

问题在于, 它的有效性依赖一个很少被检查的前提: 审查者必须有能力否决。 而否决需要理由, 理由需要看懂产出是怎么来的。

我们的判断是: 这个前提正在失守, 而且失守的方式很隐蔽——制度上人仍然在环内, 签字栏仍然存在, 但实质上他只能选择通过。

为什么会这样

链条在变长。 一年前一次调用完成的事, 现在可能是五步、十步, 中间有检索、有工具调用、有多轮自我修正。每一步都可能引入判断。审查者面对的不再是"一个输出", 而是一条他没有参与的推导。

中间过程通常不留痕。 多数系统只保存最终输出。出问题时无法定位是哪一步, 于是审查退化为对结论的直觉判断——而直觉判断恰恰是模型最擅长模仿的那部分: 一个流畅、自洽、看起来对的结论。

时间压力是单向的。 引入 AI 的理由通常是提速。提速之后, 审查的时间预算会被压缩, 而不是保持不变。

这不是新现象

金融风控里的签字权、安全审查里的会签, 都经历过同样的退化: 制度设计时假设签字者有能力判断, 运行几年后签字变成流程节点。这类退化的共同特征是没有任何一天出问题——直到出大问题。

★ 我们认为 AI 场景下的退化会更快, 因为产出的表面质量比人写的更整齐, 更容易让人放弃细看。

该怎么办

我们的做法是把可归因当作接入的前提而不是优化项。在Agent 设计方法里这是硬性的: 任一输出必须能还原到它所依据的输入与中间判断; 做不到就不要把它放进关键流程。

代价是真实的——多步留痕比单步调用慢数倍、贵数倍。我们对客户的说法是: 不能接受这个代价, 就不该在这个环节用 Agent, 而不是先用起来再补审查。

★ 什么会改变我们的判断

如果出现一套被广泛采用的可追溯规范, 使任一产出都能被廉价地还原到依据, 那么这个判断会显著减弱——审查者重新获得否决能力, 人在环内就不再是形式。

我们把这件事当作值得投入的方向, 而不是坐等结论。但目前它更像是一个愿望而不是趋势: 我们还没有看到市场对"可追溯"付出溢价的迹象。