Способность агентов к запоминанию становится одним из ключевых направлений исследований в области ИИ в 2026 году. Однако, в отличие от MemLens, которая фокусируется на памяти самой модели LVLM, MemEye направляет внимание на другой вопрос: как именно работает система памяти агента при выполнении задач в мультимодальной среде?
MemEye была разработана в сотрудничестве 17 исследователей, включая Boxuan Zhang, Yihao Quan и Zeru Shi, и получила 52 голоса поддержки (upvote) в разделе Hugging Face Daily Papers.
Визуальный фокус: почему именно зрение
Ключевая концепция дизайна MemEye — «visual-centric» (визуально-ориентированная). Логика здесь проста: в рабочих сценариях мультимодальных агентов визуальная информация часто оказывается самой насыщенной, но при этом наиболее подверженной забыванию.
Агенту необходимо запоминать:
- как выглядели скриншоты интерфейса, которые он видел ранее
- ключевые данные из графиков, которыми делился пользователь
- расположение визуальных элементов, задействованных в ходе выполнения операций
- содержание изображений, на которые ссылались в ходе многоэтапного диалога
Традиционные платформы оценки в основном ориентированы на текст и игнорируют уникальные вызовы, связанные с визуальной памятью агентов. MemEye восполняет этот пробел.
Измерения оценки
MemEye оценивает способность мультимодальных агентов к запоминанию по нескольким направлениям:
- Память на извлеченную визуальную информацию: способен ли агент запомнить ключевые данные, извлеченные из изображений
- Память на визуал-текстовые связи: сохраняется ли долгосрочная связь между изображением и его текстовым описанием
- Временная визуальная память: способность запоминать визуальную информацию в рамках временных последовательностей
- Устойчивость к визуальным помехам: не происходит ли путаницы в памяти при столкновении с похожими, но не идентичными визуальными входными данными
Отличия от MemLens
В тот же день на Hugging Face появилась разработка NVIDIA — MemLens. Обе системы фокусируются на мультимодальной памяти, но их акценты различаются:
- MemLens оценивает способность самой модели LVLM к долгосрочному запоминанию — может ли модель «запоминать»
- MemEye оценивает модуль памяти в системе агента — способен ли агент эффективно использовать память при выполнении задач
Один представляет собой бенчмарк на уровне модели, другой — фреймворк на уровне системы. Они дополняют друг друга.
Почему это заслуживает внимания
По мере внедрения мультимодальных агентов в сферы обслуживания клиентов, образования и здравоохранения оценка их памяти становится всё более важной. Агент, который не помнит, что говорил пользователь ранее или какие изображения показывал, значительно снижает качество взаимодействия.
MemEye предоставляет набор практических инструментов оценки, позволяющих разработчикам количественно измерять показатели памяти агента и целенаправленно оптимизировать модули памяти.
Статья подготовлена в сотрудничестве 17 исследователей и получила 52 голоса поддержки в сообществе HuggingFace, что свидетельствует о растущем интересе исследователей к данному направлению.