C
ChaoBro

Локальное глубокое исследование с точностью 95%: перенос deep research из облака на одну 3090

Локальное глубокое исследование с точностью 95%: перенос deep research из облака на одну 3090

Deep Research от OpenAI хорош, но у него две проблемы: дорого, и нужно отправлять свои исследовательские темы и данные на чужие серверы.

Ответ local-deep-research: не нужно ничего никуда отправлять — одной 3090 достаточно.

7545 звёзд, рост на 2046 за неделю. Запуск Qwen3.6-27B на одной RTX 3090, результат SimpleQA — примерно 95%.

Что означает 95%

SimpleQA — это бенчмарк от OpenAI, специально разработанный для тестирования способности модели «простые, но требующие фактологического поиска» вопросы. Не задачи на рассуждение — «знаете ли вы этот факт».

Контекст для 95%? Собственный o3 от OpenAI набрал 93.6% на этом бенчмарке (по официальной системной карте OpenAI).

Конечно, прямое сравнение требует осторожности. local-deep-research использует не голую модель — он оборачивает поиск с дополнением, мульти-движковую агрегацию и верификацию ответов в полный пайплайн. Но даже так, достижение этого уровня на потребительском оборудовании — сам по себе сигнал.

Разбор рабочего процесса

Ядро этого проекта — не модель, а инженерия исследовательского процесса. Он делает следующее:

Мульти-поисковая агрегация. Поддерживает 10+ поисковых систем, включая arXiv, PubMed и ваши приватные документы. Не просто вызов нескольких API — дедупликация результатов, ранжирование релевантности, перекрёстная верификация.

Итеративное исследование. Не выдаёт ответ после одного поиска. Как человек, делающий исследование: сначала поиск, нахождение ключевой информации, затем углублённый поиск, и наконец синтез вывода.

Локальное шифрование. Все данные хранятся локально, поиск через зашифрованные каналы. Для отраслей, чувствительных к конфиденциальности данных — здравоохранение, юриспруденция, финансы — это необходимость.

Независимость от модели. Поддерживает llama.cpp, Ollama, Google, OpenAI — практически все локальные и облачные LLM. Можно переключаться свободно в зависимости от оборудования.

Мои сценарии использования

Я протестировал в двух сценариях:

Первый — техническое исследование: «сравнение векторного и невекторного поиска в RAG-системах». Он нашёл релевантные статьи на arXiv, агрегировал несколько источников и выдал структурированный сравнительный отчёт. Качество не уступает тому, что я написал бы сам за два часа.

Второй — рыночное исследование: «ландшафт инструментов AI-кодинга во 2 квартале 2026». Здесь немного слабее, потому что покрытие данных реального времени не так хорошо, как у профессиональных платных инструментов. Но для начальной разведки вполне достаточно.

Недостатки

Не обольщайтесь цифрой 95%.

  • Скорость. Полный цикл исследования на 3090 занимает от нескольких минут до более десяти, в зависимости от сложности запроса. Облачный Deep Research тоже медленный, но использует более мощные модели.
  • Нет мультимодальности. Только текст. Диаграммы, изображения в PDF, видеоконтент — это он не обрабатывает.
  • Порог настройки. README написан хорошо, но для запуска полного пайплайна всё ещё нужны знания конфигурации Ollama/llama.cpp. Это не «установка в один клик».
  • Ограничение знаний. У локальных моделей есть дата окончания обучающих данных. Хотя поисковое дополнение помогает, реакция на «события сегодняшнего дня» не такая быстрая, как у облачных сервисов.

Когда использовать

Использовать, когда:

  • Исследование включает конфиденциальные данные, которые нельзя отправлять в облако
  • Нужно repeatedly запускать один тип исследования, и облачные расходы накапливаются
  • Требуется суверенитет данных (академические учреждения, государственные проекты)

Не использовать, когда:

  • Нужна последняя информация в реальном времени (например, «что компания X выпустила сегодня»)
  • Нужен мультимодальный анализ
  • У вас нет оборудования уровня 3090 — запуск 27B-моделей на CPU или GPU с малой памятью будет плохим опытом

Мой вывод

local-deep-research представляет зрелое направление локальных AI-рабочих процессов: больше не «может ли это работать локально», а «могут ли локальные результаты конкурировать с облаком».

Это не полная замена Deep Research. Но для конкретных сценариев уже достаточно.

И тренд ясен: по мере усиления open-source моделей уровня 27B качество локального глубокого исследования будет только расти.


Основные источники: