研究
Agent
自主性与可归因性之间的取舍
这个方向在问什么
Agent 的吸引力在于自主: 给一个目标, 它自己拆解、调用、迭代, 直到完成。而问题也在自主: 自主程度越高, 产出越难被归因。链条变长、中间判断变多, 出错时无法定位是哪一环。
这个方向要问的是: 这条张力是否存在一个可以稳定停留的位置, 还是必须逐场景重新取舍。
为什么现在值得研究
因为大量团队正在从"能演示"走向"想接入生产", 而这一步的失败率很高, 且失败原因高度一致——不是模型不行, 而是没有把 Agent 当作系统组件设计: 没有可判定的成败标准、没有权限边界、没有输入契约、失败时行为未定义。
这些是可以被方法解决的问题, 因此值得投入。
我们目前的工作立场
一、可归因优先于自主。 在后果不对称的场景里, 我们倾向于牺牲自主换取可复核。多步留痕比单步黑箱慢数倍、贵数倍, 但它是把 Agent 放进关键流程的前提。
二、"默许补全"是当前最危险的默认行为。 信息缺失时模型会给出一个合理填充, 而合理的填充与真实信息在文本上不可区分。因此输入契约必须显式规定: 缺失即标注缺失, 不得推断。
三、没有评测集就没有工程。 缺少评测集时, 所有改动都是盲改; 而评测集的构建成本往往高于 Agent 本身。这个成本应当在立项时就被算进去, 而不是事后补。
四、多 Agent 编排的收益被高估。 在我们目前见到的案例里, 增加 Agent 数量带来的复杂度增长快于能力增长, 且失败模式更难定位。★ 这是一个我们持保留态度的方向, 但把握不高。
什么会改变我们的判断
- 如果出现低成本的自动归因手段, 使长链条也能被廉价复核, 那么"可归因优先于自主"的取舍应当放松。
- 如果多 Agent 系统在可归因性上给出令人信服的实证, 我们对第四条的保留应当撤回。
- 如果模型在主动声明不确定上出现实质改进, "默许补全"的危险程度会显著下降。
我们如何观察
用Agent 设计方法的五步作为观察框架, 在自己的项目中记录: 每一次生产事故落在哪一步、评测集的构建成本占比、以及放松自主约束后错误率的变化。自己实现是这个方向的必要条件——没有实现过, 就不会遇到真正的失败模式。