C
ChaoBro

Фреймворк Microsoft Orchard: парадигма обучения агентов, полученная путем дистилляции из 107 000 траекторий

В обучении агентов давно существует противоречие: закрытые системы показывают отличные результаты, но их код недоступен, а открытые фреймворки гибки, однако в основном ограничиваются оркестровкой и оценкой, не обладая масштабируемыми возможностями для обучения. Статья Orchard, представленная исследовательским подразделением Microsoft 14 мая, призвана преодолеть этот разрыв.

Ключевая идея: легкий слой среды

Основой Orchard является Orchard Env — легковесный сервис среды, предоставляющий повторно используемые примитивы управления жизненным циклом песочниц для различных предметных областей задач. Он не привязан к какому-либо конкретному фреймворку и настолько агностичен, что способен поддерживать обучение агентов разных типов.

Поверх этого слоя среды Orchard предлагает три набора рецептов (recipe) для обучения агентов, охватывающих кодовых агентов, GUI-агентов и персональных помощников.

Orchard-SWE: 67,5% на SWE-bench Verified

Это самая технически сложная часть. Команда дистиллировала 107 000 траекторий из моделей MiniMax-M2.5 и Qwen3.5-397B, внедрив технику под названием credit-assignment SFT, которая позволяет извлекать полезные промежуточные фрагменты из нерешенных траекторий. В сочетании с методом Balanced Adaptive Rollout это используется для обучения с усилением (RL).

Результат: на базе модели Qwen3-30B-A3B-Thinking после SFT показатель на SWE-bench Verified достиг 64,3%, а после добавления RL — 67,5%, что является новым SOTA среди открытых моделей аналогичного размера.

Orchard-GUI: достаточно 400 траекторий

Визуально-языковая модель с 4 млрд параметров, используя всего 400 дистиллированных траекторий и 2200 открытых задач, достигла 74,1% на WebVoyager и 67,0% на Online-Mind2Web. Это лучший результат среди открытых моделей, позволяющий конкурировать с закрытыми системами.

Orchard-Claw: персональный помощник

Обученный всего на 200 синтетических задачах, он показал 59,6% pass@3 на Claw-Eval, а в сочетании с обвязкой (harness) ZeroClaw результат вырос до 73,9%.

Значение

Orchard доказывает, что легкий, открытый и независимый от тестовой обвязки (harness-agnostic) слой среды позволяет повторно использовать данные агентов, рецепты обучения и методы оценки в различных предметных областях. Для команд, занимающихся обучением агентов, но не имеющих доступа к закрытой инфраструктуре, это на данный момент одно из наиболее полных решений в открытом сообществе.