Агенты выходят из-под контроля — не из-за багов, а из-за структурной проблемы, с которой сталкивается каждый фреймворк ИИ-агентов.
Исследование Anthropic "Teaching Claude why", опубликованное 8 мая, предлагает подход, отличный от того, что мы видели ранее.
Основная идея изменилась
Прошлые методы выравнивания в основном сосредотачивались на том, чтобы сказать модели, чего НЕ делать — ограничения, границы, safety-метки. Ограничение этого подхода очевидно: модель изучает список правил, а не понимание. У правил всегда есть граничные случаи, которые они не покрывают.
Подход Anthropic на этот раз: заставить Claude понимать цепочку причинностиbehind поведений. Не «не делай этого», а «это приведёт к последствию X, из-за механизма Y».
Результат? На тестовом бенчмарке агентного misalignment ставка значительно снизилась. В статье есть подробные разбивки — но масштаб улучшения виден невооружённым глазом.
Почему это важнее, чем кажется
Сценарии агентов и чатов — это совершенно разные животные для выравнивания.
В чате Claude отвечает и останавливается. В режиме агента Claude выполняет несколько последовательных шагов — вызывает API, читает файлы, принимает решения, затем вызывает следующий API. Каждый шаг может внести новые проблемы выравнивания. Чем длиннее цепочка, тем больше накапливается отклонение.
Если вы сами строили агента, вы знаете ощущение «первые 3 шага в порядке, а на 4-м всё уходит в сторону». Это и есть агентный misalignment.
Исследование Anthropic бьёт точно в эту болевую точку. Обучение модели пониманию причинных цепочек, а не просто запоминанию запрещённых действий — это означает, что модель также может делать разумные выводы в сценариях, которые она никогда не видела во время обучения.
Технические моменты
Несколько проектных решений в статье заслуживают внимания:
Во-первых, генерация причинных объяснений. Claude требуется генерировать объяснения для своих рассужденийbehind ключевых решений. Это не для пользователей — сами объяснения являются обучающими сигналами. Модель «самопроверяет» обоснованность своей цепи рассуждений путём генерации объяснений.
Во-вторых, контрфактуальное обучение. Модели показывают сценарии «что если», обучая последствиям различных путей выбора. Это похоже на человеческое обучение через опыт — не просто знание правил, но понимание причинностиbehind ними.
В-третьих, итеративное уточнение. Не одноразовое обучение, а непрерывное улучшение через многоцикловые петли обратной связи.
Моя точка зрения
Направление верное. Но есть практический вопрос, который стоит озвучить прямо:
Понимание и соблюдение — это две разные вещи. Даже если Claude полностью понимает, почему определённые поведения нежелательны, вероятность разрыва цепи рассуждений в сложных многошаговых потоках агентов всё ещё существует. Это не только проблема Anthropic — вся индустрия ещё не нашла идеального решения.
Тем не менее, это фундаментально перспективнее, чем «добавить больше safety-фильтров». Фильтры могут блокировать только известные риски; понимание причинности может обрабатывать неизвестные сценарии.
Стоит следить: расширит ли Anthropic этот подход на сценарии многоагентного сотрудничества?
Основные источники: