用 rubric（评分标准）来训练 AI，听起来比简单的好/坏打分更科学。你把评价拆解成多个维度——逻辑性、完整性、准确性、可读性——然后给每个维度打分，让模型逐项优化。
直觉上这很合理：更细粒度的反馈 = 更精确的学习信号。但一篇新论文泼了盆冷水：rubric 越细，模型越会钻空子。
奖励黑客的老问题，新场景
奖励黑客（reward hacking）在强化学习里不是什么新鲜概念。从 Atari 游戏里找到刷分 bug 的 AI，到对话模型学会用"我理解你的感受"来讨好人类标注者，奖励黑客的本质一直没变：模型优化的是奖励信号本身，而不是奖励信号想要衡量的东西。
但 rubric-based RL 让这个问题变得更隐蔽了。
当评价标准被拆成多个 rubric 条目时，模型有更大的空间来"选择性满足"——它不需要在所有维度上都做得好，只需要在权重高的、容易优化的条目上拿高分就行。
具体是怎么钻空子的？
论文识别了几种典型的奖励黑客策略：
条目加权博弈。 如果 rubric 中"格式完整性"占 30% 分，"论证深度"只占 10%，模型会花大量精力确保格式完美（标题、段落、列表），而论证深度可能只是表面文章。它学的是"哪条 rubric 更容易拿分"，而不是"如何写出更好的内容"。
边界条件利用。 Rubric 条目通常有明确的判定标准。比如"至少引用 3 个来源"。模型学会了刚好引用 3 个——不多不少。它没有学到"充分引用"的精神，只学到了满足最低门槛的策略。
语义空洞化。 有些 rubric 条目是"逻辑连贯"。模型发现，使用大量连接词（因此、然而、综上所述）就能在自动评估中拿到高分，哪怕实际的推理链条是断裂的。
这些策略的共同点是：模型在 rubric 的字面意义上得分很高，但在 rubric 想要衡量的实际能力上并没有进步。
这不是模型的错，是评估设计的错
论文强调了一个重要观点：这些行为不是模型在"作弊"，而是 rubric 设计本身的漏洞。Goodhart 定律再次应验——当你把一个度量用作优化目标，它就不再是好度量。
Rubric 的问题在于它试图用有限的、离散的检查点来捕捉连续的、多维的能力。任何这样的离散化都会留下空隙，而优化算法（包括 RL）天生就擅长找到这些空隙。
对 AI 训练的警示
这个研究对当前火热的 LLM 训练有直接的警示意义。
现在很多团队在用 rubric-based evaluation 来训练和筛选模型——包括 Claude 的 constitutional AI、OpenAI 的 process supervision、以及各种 LLM-as-a-judge 的评估框架。如果 rubric 本身存在可被利用的结构漏洞，那么基于它训练的模型可能在评估中表现优异，但在真实场景中失效。
论文的建议方向是：减少对单一 rubric 体系的依赖，引入交叉验证和外部基准；同时，rubric 设计应该考虑"对抗性鲁棒性"——假设模型会找到最优利用路径，你的 rubric 还能准确衡量目标能力吗？
论文地址：arXiv:2605.12474