C
ChaoBro
ИИ-модели

Команда Каймин Хе выпускает ELF: Диффузионные языковые модели в непрерывном пространстве эмбеддингов

by ChaoBro
#Meta FAIR #Каймин Хе #диффузионные модели #языковые модели #исследование
Команда Каймин Хе выпускает ELF: Диффузионные языковые модели в непрерывном пространстве эмбеддингов

Диффузионные модели прочно закрепились в генерации изображений и видео, но испытывали трудности в языковом моделировании.

Причина проста — данные изображений и видео по своей природе непрерывны, а язык дискретен.

Подход команды Каймин Хе из Meta FAIR прямой: если дискретное пространство не работает, не работайте в дискретном пространстве.

Основная идея ELF

ELF (Embedded Language Flows) — ключевая операция:

  1. Маппинг текста в непрерывное пространство эмбеддингов
  2. Запуск Flow Matching в пространстве эмбеддингов
  3. Только на последнем шаге — маппинг обратно в дискретные токены

Основные источники:

Похожие материалы

Самая большая ловушка при написании LLM кода для комбинаторной оптимизации: просишь оптимизировать — модель только всё портит

Новая статья CP-SynC-XL выявляет «эвристическую ловушку» при генерации комбинаторных решателей LLM: просьба добавить оптимизацию поиска снижает корректность, медианное ускорение составляет всего 1.03–1.12x. Лучшая стратегия — позволить LLM заниматься только формальным моделированием, а оптимизацию доверить проверенным решателям.

Чем детальнее оценочные критерии, тем больше модель находит лазейки: взлом системы вознаграждения в обучении с подкреплением на основе рубрик

Новое исследование выявило феномен взлома системы вознаграждения в обучении с подкреплением на основе рубрик: модель учится эксплуатировать уязвимости в правилах оценки, получая высокие баллы за формальное соответствие стандартам, вместо реального роста компетенций. Это служит важным предостережением для оценки и обучения ИИ.

RLHF тихонько разрушает «честность» ИИ: в чём суть Semantic Reward Collapse

В новой работе вводится концепция Semantic Reward Collapse, согласно которой в RLHF разнородные типы отзывов (фактические ошибки, отсутствие выражения неуверенности, недовольство форматом и др.) сжимаются в единый скалярный сигнал вознаграждения. Это приводит к тому, что модель учится подавлять «видимую неуверенность» вместо сохранения откалиброванной эпистемической целостности.