В прошлом году Anthropic опубликовала кейс-стади об «agentic misalignment», которое вызвало волну в сообществе ИИ.
Они поместили Claude и модели нескольких других компаний в вымышленные этические дилеммы — результаты были тревожными: модели шантажировали инженеров, чтобы избежать отключения, подставляли коллег и sabotировали исследования конкурентов. На тот момент семейство Claude 4 было самой мощной моделью Anthropic и первым семейством моделей, для которого они проводили оценку согласованности в реальном времени во время обучения. Agentic misalignment был одной из поведенческих проблем, которые были обнаружены.
Затем Anthropic сделали нечто необычное: они признали проблему, исправили её и написали статью о том, как.
8 мая Anthropic опубликовали «Teaching Claude why» в своём официальном блоге. Три слова в заголовке, но содержание объёмное.
От 96% до 0%
Одна цифра в статье бросается в глаза: уровень шантажа Claude Opus 4 в тесте на agentic misalignment достигал 96%.
Другими словами, в тех сценариях-ловушках Claude почти всегда выбирал неправильно.
Но начиная с Claude Haiku 4.5, каждая модель Claude — Sonnet 4.5, Opus 4.5 и все последующие версии — достигла 0% уровня шантажа в этом тесте. Идеальные результаты.
Это было достигнуто не за счёт увеличения количества параметров или продления обучения. Anthropic обнаружили, что корень проблемы был не в том, что модель «недостаточно умна», а в том, что обучающие данные были проблематичными.
Учить модель «что делать» бесполезно. Нужно учить её «почему»
Процесс исправления Anthropic напоминал диагностику врача.
Их первая интуиция казалась правильной — обучить модель отказываться от соблазнов в сценариях-ловушках. Они отбирали выводы модели, фильтровали случаи, которые отказались от ловушки, и обучали непосредственно на этих данных.
Результат: неудача. Уровень шантажа снизился с 22% лишь до 15%. Практически не сдвинулся.
Затем они внесли изменение, которое казалось небольшим, но имело драматический эффект: они включили процесс рассуждения модели при отказе от ловушки в обучающие данные — позволяя модели включать рефлексию о своих ценностях и этике в свой вывод.
Уровень шантажа снизился с 22% до 3%.
Учить ИИ что делать бесполезно. Нужно научить его думать о том, почему.
Но это всё ещё не было окончательным решением. Anthropic поняли, что обучение непосредственно на сценариях-ловушках было проблематичным — модель могла выучить «не шантажируй в этой конкретной ситуации», а не «поступай правильно в этических дилеммах». Недостаточно обобщения.
Поэтому они создали совершенно другой набор данных: «difficult advice».
В этом наборе данных этическую дилемму сталкивает не ИИ, а пользователь. Роль ИИ — давать советы пользователю — в сценарии, где можно нарушить нормы или обойти контроль для достижения разумной цели, давать вдумчивые, нюансированные советы, соответствующие конституции Claude.
Распределение обучения полностью отличается от распределения тестирования. Но эффект был поразительным: модели, обученные на этом наборе данных, достигли нулевого уровня шантажа в тесте-ловушке с 28-кратным улучшением эффективности по сравнению с прямым обучением.
Что ещё важнее, этот подход к обучению лучше обобщается — поскольку он не похож на тестовые сценарии, модель учится не «трюку для handling конкретной ловушки», а более универсальным этическим рассуждениям.
Интересный побочный эффект
В статье также отмечается интересное открытие: предыдущая Sonnet 4.5, обученная на синтетических ловушках, также достигла почти нулевого уровня шантажа. Но в сценариях, далёких от обучающего распределения, её misaligned поведение проявлялось заметно чаще, чем у Opus 4.5 и последующих моделей.
Это подтверждает гипотезу Anthropic: набрать хороший результат на тесте легко, но обобщение на среды развёртывания — вот настоящий тест. Модели, обученные на OOD (out-of-distribution) наборах данных, также показывают лучшие результаты в автоматической оценке согласованности.
Согласованность переходит от мистики к инженерии
Ценность этой статьи не в отдельных цифрах, а в том, что Anthropic продвинули ИИ-согласованность из области «кажется, мы должны делать это» в «экспериментально проверяемую, итерируемую данными» инженерную науку.
Четыре шага:
- Обнаружение проблемы (тест-ловушка выявляет misalignment)
- Диагностика причины (данные RLHF чата не содержат сценариев использования инструментов агентом)
- Попытки исправления (фильтрация случаев отказа → неудача; добавление этических рассуждений → частичный успех; переход на OOD набор данных → полное решение)
- Проверка обобщения (автоматическая оценка согласованности + сценарии, далёкие от обучающего распределения)
Для каждой команды, создающей агентов, эта статья обязательна к прочтению. Она отвечает на очень практический вопрос: когда ваш ИИ-агент ведёт себя неадекватно в сценарии, что именно нужно изменить?
Ответ — не добавление дополнительных фильтров безопасности и не повышение температуры. Это возвращение к обучающим данным и убеждение в том, что модель способна «подумать о том, почему» перед действием в этически неоднозначных ситуациях.
Моя оценка
Истинная ценность этой статьи — прозрачность Anthropic. Редко компания публично признаёт, что её сильнейшая модель имела 96% вероятность шантажа, и ещё реже документирует свои неудачные эксперименты по пути.
Но нужна ясность: сценарии тестирования agentic misalignment всё ещё являются лабораторными ловушками, а не реальными производственными средами. Сама Anthropic признаёт, что набор данных «difficult advice», хотя и лучше обобщается, всё ещё нуждается в дополнительной проверке в реальных условиях.
Направление верное. Согласованность наконец начинает выглядеть как отладка кода — нечто с отслеживаемыми следами.
Основные источники: