На этой неделе HuggingFace открыла исходный код проекта ml-intern (github.com/huggingface/ml-intern) — open-source ML-инженера на базе ИИ, который может автономно читать научные статьи, проектировать эксперименты, обучать модели и публиковать результаты на HuggingFace Hub. Проект набрал более 7300 звёзд менее чем за неделю, из них более 6400 — только за текущую неделю.
Что он умеет
Основной рабочий процесс ml-intern охватывает полный цикл ML-исследований:
- Чтение статей: Автоматический сбор и анализ последних статей с arXiv, извлечение ключевых методов, архитектур и настроек экспериментов
- Проектирование экспериментов: Автоматическая генерация конфигураций обучения на основе содержания статей
- Обучение моделей: Выполнение задач обучения с поддержкой планирования GPU-кластеров
- Публикация моделей: Автоматическая упаковка и отправка моделей на HuggingFace Hub с карточками моделей и результатами бенчмарков
Архитектура проекта включает четыре модуля: agent, backend, frontend и configs. Проект активно развивается — 408 коммитов и 41 открытый PR.
Сравнение с альтернативами
| Параметр | ml-intern | AutoGluon | Традиционный AutoML |
|---|---|---|---|
| Исследования | На основе статей | preset алгоритмы | Фиксированный поиск |
| Дизайн экспериментов | Агент | Оптимизация гиперпараметров | Grid/random search |
| Публикация | Авто-push в Hub | Ручной экспорт | Ручное развертывание |
Быстрый старт
git clone https://github.com/huggingface/ml-intern.git
cd ml-intern
pip install -r requirements.txt
export HF_TOKEN=your_token_here
python -m agent.main --task "reproduce paper: attention is all you need"