把能力种进预训练，而不是贴在后处理上
2026年5月1日，Meta FAIR发布了一篇引发关注的论文，提出了一个简单但深刻的观点：
大多数LLM的安全性、事实性和推理修复都是在后处理阶段加上去的。但到那时，模型的基础模式已经固化了。这项工作把这些行为直接植入预训练本身。
用一句话概括：与其在模型长大后纠正它，不如在模型小时候就教它正确的思维方式。
当前范式的瓶颈
目前主流的大模型训练流程大致是：预训练学知识，SFT指令微调学格式，RLHF/DPO对齐学价值观，然后发布。
这个流程存在一个结构性问题：预训练阶段模型从海量互联网文本中学习，包含大量有害、错误、偏见内容。模型在这个阶段学会了所有可能的回答方式。后处理阶段通过RLHF等技术修剪掉不想要的行为，强化想要的行为。
这就好比让一个人先读遍互联网上所有的书包括错误的有害的，然后再请老师纠正他。效率低下，而且原生本能很难被完全覆盖。
Meta FAIR的论文提出的替代方案是：在预训练数据中直接植入安全性、事实性和推理模式的训练信号。
技术思路
基于已有信息，核心技术思路包括：
合成数据预训练： 使用LLM自身生成的合成数据，在预训练阶段就注入高质量的推理链、事实核查和安全边界
行为模式内嵌： 不是告诉模型不要做什么，而是在预训练数据中让它学会怎么做——通过大量高质量的思维链示例，让正确的推理方式成为模型的原生语言
预训练期的自改进： 模型在预训练过程中持续评估和修正自己的输出模式，而非等到后处理阶段才统一修正
为什么这在2026年变得可能？
这篇论文的思路并非全新，但它在2026年落地有几个关键前提：
合成数据质量的突破： GPT-5.5、Claude Opus 4.7、Qwen 3.6等前沿模型的输出质量已经足够高，可以用于生成预训练级别的合成数据
计算成本下降： DeepSeek V4以1/20的成本达到接近Opus 4.7的能力，说明高效训练是可行的
对RLHF局限性的共识： 行业越来越认识到RLHF的天花板——它更多是在压制不良行为，而非培养良好行为
与行业其他方法的对比
| 方法 | 阶段 | 核心机制 | 局限性 |
|---|---|---|---|
| RLHF/DPO | 后处理 | 人类偏好对齐 | 行为压制而非能力培养 |
| Constitutional AI | 后处理 | 宪法原则引导 | 依赖预训练基础质量 |
| Meta FAIR方案 | 预训练 | 合成数据植入行为模式 | 合成数据质量决定上限 |
| DeepSeek GRPO | 后处理 | 群体强化学习优化 | 仍在后处理框架内 |
Meta FAIR的方案本质上是把对齐这个步骤从后处理前移到预训练。如果成功，意味着模型的原生能力更强，对齐成本更低，模型的可控性更高。
对开源生态的影响
Meta是开源大模型的主要推动者。如果这种预训练方法被验证有效并开源，将对整个开源AI生态产生深远影响：
小型团队可以更高效地训练模型： 不需要大规模RLHF标注团队，合成数据驱动的预训练降低了人力门槛
模型质量基线提升： 如果预训练阶段就能嵌入安全和推理能力，开源模型的基础质量将显著提升
读者决策建议
如果你在训练自己的模型：
- 关注合成数据在预训练中的应用质量
- 评估RLHF的投入产出比——可能部分预算应前移到预训练数据质量
如果你在选择模型：
- 关注后续采用类似方法的开源模型
- 预训练对齐的模型在零样本安全性上可能有优势
Meta FAIR的这篇论文代表了一个重要的范式探索：让模型在学会思考的同时，就学会正确地思考。如果这条路走得通，AI训练的效率和质量都将迎来新的跃升。