训练一个 AI Agent 最头疼的问题是什么？
不是算法，不是算力，是数据。或者说，是"好的训练信号"。
在强化学习的框架下，Agent 需要 reward 来学习。但现实场景中的 reward 信号极其稀缺——你不可能让一个客服 Agent 每回答一次问题就给它一个精确的分数。人类标注的成本又太高，而且标注者的判断本身就充满主观性。
一篇新论文提出了一条不同的路：让 Agent 从自己的经验中蒸馏出训练信号，不需要人类标注，也不需要外部 reward 设计。
论文的核心思路
"Self-Distilled Agentic Reinforcement Learning" 由 11 位作者完成，在 Hugging Face Daily Papers 上获得了 84 个 upvote 和 73 条评论。
它的核心想法可以类比人类的学习过程。一个优秀的人类学习者不需要老师时刻告诉他"这个对了，那个错了"——他会自己回顾过去的行为，判断哪些做法有效、哪些需要改进，然后把这种自我反思内化为经验。
Self-Distilled Agentic RL 让 Agent 做类似的事情：
- 自我评估：Agent 对自己的行为轨迹进行评分，不是用外部定义的 reward 函数，而是用自己的内部判断
- 知识蒸馏：从这些自我评估中提取出"什么行为是好的"的模式，蒸馏为一个更紧凑的知识表示
- 策略更新：用蒸馏后的知识指导后续的行为选择
这个循环不需要人类参与，也不依赖精心设计的 reward 函数。Agent 自己生成训练数据、自己评估、自己学习。
这个方法的危险与潜力
危险的一面很明显：如果 Agent 的自我评估有偏差，它会不断强化自己的错误信念，最终走向能力退化。这就像一个人被困在回音室里，只听得到自己的声音，最终越来越偏执。
论文的贡献在于试图解决这个问题。它不是让 Agent 盲目相信自己的判断，而是引入了一种蒸馏机制，只保留那些"自我一致"的模式。如果 Agent 在不同情境下做出了相似的判断，这种一致性本身就是可靠性的信号。
潜力的一面更值得关注。如果这个方法有效，它意味着 Agent 训练可以摆脱对人类标注的依赖。想象一下：一个能够自我进化的客服 Agent，一个可以自己学习新工具的操作 Agent，一个能够在没有人工监督的情况下适应新环境的机器人——这些场景的前提就是 Agent 能够从自己的经验中学习，而不需要人类给它打分。
与已有方法的关系
Agent RL 领域目前有几条主流路线：
- 人类反馈强化学习（RLHF/RLAIF）：需要人类或 AI 标注偏好数据，成本高
- 过程奖励模型（PRM）：需要标注每个中间步骤的质量，成本更高
- 自我奖励（Self-Rewarding）：让模型给自己打分，但容易产生分数膨胀问题
Self-Distilled Agentic RL 的位置在自我奖励和蒸馏之间。它比简单的自我奖励多了一步蒸馏过滤，比 PRM 少了对人类标注的依赖。
我的看法
这个方向如果能走通，它解决的不是某个具体的技术问题，而是 Agent 训练范式层面的瓶颈。当 Agent 能够自主进化时，我们对"训练"这个概念的理解本身就需要更新。
当然，论文阶段的成果距离工程落地还有很长的路。自我评估的可靠性、蒸馏过程中的信息损失、长期训练中的能力退化——这些都是需要实证回答的问题。
但至少，这篇论文指出了一个值得认真探索的方向。在 AI Agent 训练这个领域，谁能减少对人类的依赖，谁就能规模化。
主要来源：