C
ChaoBro

Потребительская видеокарта выдаёт 95% SimpleQA: локальное AI-исследование становится реальностью

Потребительская видеокарта выдаёт 95% SimpleQA: локальное AI-исследование становится реальностью

Год назад «запустить глубокое исследование локально» звучало как фантастика. Нужны были облачные модели, платные API, и приходилось мириться с задержками ответа и рисками для конфиденциальности.

Теперь одна RTX 3090, одна 27B-параметрическая открытая модель — и ~95% на SimpleQA.

Проект local-deep-research тихо вырос до 7 098 звёзд на GitHub, добавив 2 483 за неделю. 6 415 коммитов, 440 веток, 155 тегов — это не игрушечный проект, а серьёзно поддерживаемый инструмент.

Что он умеет

Одним предложением: дайте ему вопрос, он работает как исследователь.

  1. Ищет по нескольким поисковым системам (10+ источников, включая arXiv, PubMed)
  2. Читает, фильтрует и перекрёстно проверяет информацию
  3. Синтезирует в исследовательский отчёт с цитатами
  4. Всё выполняется локально, данные хранятся в зашифрованном виде

Главное отличие от облачных продуктов для глубокого исследования: данные не покидают вашу машину.

Qwen3.6-27B на 3090 — сам по себе этот факт значим

27B-параметрическая модель, 4-битная квантизация — примерно 15 ГБ VRAM. У RTX 3090 — 24 ГБ. Влезает, и ещё остаётся запас. Что это значит?

Два года назад для такого уровня вывода нужна была A100. Год назад — 4090. Теперь достаточно б/у 3090.

Это не линейный прогресс. Это прыжок на кривой стоимости.

Как понимать цифру 95% SimpleQA

SimpleQA — это бенчмарк QA от OpenAI, проверяющий «может ли модель дать краткий, точный фактологический ответ». 95% — это высоко, но учтите:

  • Это число от сообщества, не из официального бенчмарка. В README написано «~95%» — эта тильда важна
  • SimpleQA тестирует фактологические QA, не рассуждения, не письмо, не код
  • Высокий балл ≠ применимость во всех исследовательских сценариях

Тем не менее, 95% на SimpleQA означает: для большинства задач фактчекинга локальные модели уже достаточны.

Сценарии применения

  • Академическое исследование: интеграция arXiv и PubMed, прямой поиск статей, генерация саммари
  • Исследование технологий: сравнение вариантов, создание аналитических отчётов
  • Конфиденциальные исследования: медицинские данные, внутренние документы, коммерческие секреты — данные остаются локальными

Не подходит для

  • Масштабного поиска знаний (параметры облачных моделей всё ещё превосходят локальные)
  • Глубоких цепочек рассуждений (27B всё ещё отстаёт от 400B+)
  • Поиска последних событий в реальном времени (у локальных моделей есть дата отсечки данных обучения)

Поворотный момент для локального AI-исследования

local-deep-research — не единственный локальный исследовательский инструмент, но, возможно, самый зрелый на данный момент. 6 415 коммитов, 186 открытых PR, 79 открытых issue — эти цифры показывают, что сообщество серьёзно вкладывается.

Когда потребительская видеокарта выдаёт возможности глубокого исследования, приближающиеся к облачным моделям, ещё одна причина «обязательно использовать облако» исчезает.


Основные источники: