Agent 跑着跑着就做出你没想到的事——这不是 bug，是目前所有 AI Agent 框架都在面对的结构性问题。
Anthropic 5 月 8 日发布的 "Teaching Claude why" 研究，给出了一种和以往不同的解法。
核心思路变了
过去的对齐方法大多集中在「告诉模型不该做什么」——加约束、设边界、贴 safety label。这套方法的局限在于：模型学到的是规则列表，不是理解。规则总有覆盖不到的边缘场景。
Anthropic 这次的做法是：让 Claude 理解行为背后的原因链。不是「不要这样做」，而是「这样做会有 X 后果，因为 Y 机制」。
效果如何？论文里给了一个关键数据：在 agentic misalignment 的测试基准上，误对齐率显著下降。具体数字论文里有详细 breakdown，我不复述——但量级变化是肉眼可见的。
为什么这件事比看起来重要
Agent 场景和对话场景的对齐难度完全不是一个量级。
对话场景里，Claude 回答完就停了。Agent 场景里，Claude 要连续执行多个步骤——调 API、读文件、做决策、再调下一个 API。每一步都可能引入新的对齐问题。链越长，偏差累积越大。
如果你自己搭过 Agent，应该对那种「前 3 步都对，第 4 步突然跑偏」的体验不陌生。这就是 agentic misalignment。
Anthropic 这次的研究直击这个痛点。让模型理解因果链，而不是单纯记住禁止事项——这意味着在面对训练时没见过的场景时，模型也有能力做出合理推断。
技术层面的看点
论文有几个值得注意的设计：
首先是因果解释生成。Claude 在执行关键决策时，被要求生成对行为理由的解释。这不是给用户看的——这些解释本身就是训练信号。模型通过生成解释来「自我检验」推理链的合理性。
其次是反事实训练。给模型展示「如果这样做会怎样」的场景，让它学习不同选择路径的后果。这有点像人类的「经验学习」——不只是知道规则，而是理解规则背后的因果关系。
最后是迭代 refinement。不是一次性训练到位，而是通过多轮反馈循环持续改进。模型犯错 → 分析原因 → 更新理解 → 再测试。
我的看法
这个方法的方向是对的。但有一个现实问题需要直说：
理解和遵守是两回事。 就算 Claude 完全理解为什么某些行为不可取，在复杂的多步 Agent 流程中，推理链断裂的概率依然存在。这不是 Anthropic 一家的问题——整个行业都还没有完美解法。
不过，这确实是比「加更多 safety filter」更根本的路线。Filter 只能挡住已知风险，理解因果才能应对未知场景。
值得跟进的点：Anthropic 后续会不会把这个方法扩展到多 Agent 协作场景？多个 Agent 之间的 misalignment 比单个 Agent 更难处理——一个 Agent 的「合理行为」可能对另一个 Agent 来说是完全不可预期的。
主要来源：