Перед экраном сидит человек, не умеющий программировать. Он указывает на монитор и говорит: «Помоги опубликовать это фото в Instagram». Затем ИИ берёт управление мышью и клавиатурой на себя: самостоятельно открывает браузер, входит в аккаунт, загружает изображение, пишет подпись и публикует пост.
Это не научная фантастика. Именно этим сейчас занимается UI-TARS Desktop.
Что это такое
UI-TARS Desktop — это открытый стек мультимодальных ИИ-агентов от ByteDance. Его ключевая идея заключается в том, чтобы заставить ИИ управлять десктопными приложениями так же, как человек — смотреть на экран, понимать элементы интерфейса, выполнять клики и вводить текст. Это не утилита командной строки и не вызов API, а полноценная GUI-автоматизация.
33.5k star, прирост более 3200 за неделю — популярность действительно высокая. Однако между хайпом и практической пользой лежит значительный разрыв.
Краткий обзор архитектуры
UI-TARS Desktop состоит из нескольких ключевых компонентов:
- Слой визуального понимания: мультимодальная модель делает скриншоты и распознаёт UI-элементы на экране (кнопки, поля ввода, меню)
- Слой принятия решений: на основе визуальных данных определяет следующее действие
- Слой исполнения: имитирует действия мыши и клавиатуры через API операционной системы
- Цикл обратной связи: после выполнения действия снова делается скриншот для проверки достижения ожидаемого результата
На первый взгляд этот цикл выглядит просто, но на каждом этапе скрыты свои подводные камни.
Результаты тестирования
Точность визуального распознавания: на стандартных интерфейсах (веб-страницы, распространённые десктопные приложения) точность распознавания вполне достойная. Однако на кастомных UI, в игровых интерфейсах или при работе с нестандартными элементами управления система часто «ошибается». Например, принимает декоративную иконку за кликабельную кнопку или пропускает важную кнопку отправки.
Надёжность выполнения: это самое слабое место. Даже при корректном распознавании цели точность координат клика мыши, скорость ввода с клавиатуры, тайминг переключения окон — все эти детали на практике регулярно вызывают сбои. Я протестировал 10 простых задач (отправка письма, заполнение формы, аннотирование скриншотов), и успешность составила около 60–70%.
Задержка: каждый цикл «посмотреть на экран → подумать → выполнить действие → проверить» занимает около 3–5 секунд. Сложные задачи требуют нескольких итераций, и одна простая операция может затянуться на полминуты. По сравнению с 1–2 секундами у человека, эффективность ниже в десять раз.
Сравнение с аналогами
| Решение | Точность распознавания | Надёжность выполнения | Задержка | Открытый код | Коммерческое использование |
|---|---|---|---|---|---|
| UI-TARS Desktop | Средняя | Средне-низкая | Высокая | Да | Зависит от лицензии |
| Anthropic Computer Use | Средне-высокая | Средняя | Высокая | Нет | API |
| Open Interpreter | Низкая | Низкая | Средняя | Да | Да |
| AutoGPT GUI | Низкая | Низкая | Высокая | Да | Да |
UI-TARS входит в первый эшелон среди открытых решений, но по сравнению с Computer Use от Anthropic всё ещё заметно уступает в стабильности и точности.
Для каких сценариев подходит
На данный момент наиболее реалистичными сценариями использования я считаю:
- Повторяющиеся десктопные операции: ежедневные фиксированные процессы, например, экспорт данных из одной системы и их перенос в другую. Даже при 60% успешности, когда оставшиеся 40% приходится доделывать вручную, это всё равно быстрее, чем полностью ручная работа.
- Автоматизация тестирования: регрессионные UI-тесты, где агент проходит пользовательский сценарий, а затем сравнивает скриншоты.
- Доступность и инклюзивность: помощь слабовидящим пользователям в работе с графическим интерфейсом. Социальная ценность этого направления важнее, чем просто повышение эффективности.
Для чего не подходит
- Критические бизнес-процессы: при успешности менее 80% запуск в production-среде превращается в бомбу замедленного действия
- Операции, требующие точного тайминга: например, высокочастотный трейдинг или системы мониторинга в реальном времени
- Нестандартные UI: кастомные интерфейсы корпоративных внутренних систем, где точность распознавания резко падает
На что стоит обратить внимание
ByteDance серьёзно относится к развитию UI-TARS — 275 веток, 547 тегов, 1100+ коммитов. Однако недавно они прекратили поддержку функции remote operator в Agent TARS Desktop, что говорит о корректировке продуктовой стратегии. Это не обязательно плохой сигнал: крупные компании часто упрощают свои открытые проекты, но это означает, что вам стоит следить за темпами дальнейшего сопровождения.
Кроме того, среди 316 открытых issues немало жалоб на ошибки установки и конфликты зависимостей. Опыт пользователей Windows заметно хуже, чем у владельцев macOS. Если вы работаете на Windows, рекомендую сначала протестировать проект в виртуальной машине.
Мой вывод
Направление GUI-агентов выбрано верно. В конечном итоге ИИ неизбежно возьмёт на себя всё больше десктопных операций. Однако на данный момент UI-TARS Desktop больше напоминает «технологическое демо + ранние исследования», а не «готовое к использованию production-решение».
Если вы занимаетесь соответствующими исследованиями или хотите заранее занять нишу, за проектом определённо стоит следить. Если же вы рассчитываете, что он сразу автоматизирует вашу повседневную работу, — лучше подождать или пока использовать более надёжные RPA-решения.
Основные источники:
- bytedance/UI-TARS-desktop GitHub
- Официальная документация Anthropic Computer Use