C
ChaoBro

Поиск кода для Agent экономит 98% токенов по сравнению с grep: как Semble это делает

Поиск кода для Agent экономит 98% токенов по сравнению с grep: как Semble это делает

Когда AI-агент ищет функцию в кодовой базе, традиционный подход выглядит так:

Агент отправляет запрос: «Прочитай src/auth/login.py» → Вы получаете весь файл, 500 строк → Агент говорит «не этот, прочитай src/auth/handler.py» → Ещё 800 строк → Повторяете пять-шесть раз, и агент наконец находит 3 нужные строки кода.

Вы заплатили токены за 5000 строк кода, а использовали 3.

Именно эту проблему решает Semble.

Подход Semble

Название Semble происходит от «semantic» + «assemble». Его базовая логика: вместо того чтобы скармливать агенту целые файлы, сначала используйте семантический индекс для поиска релевантных фрагментов кода, затем верните только то, что агенту действительно нужно.

Как это работает?

Гибридная стратегия поиска. Не чистый семантический векторный поиск, не чистое ключевое совпадение — а комбинация обоих. Сначала грубая фильтрация по ключевым словам, затем точная ранжировка по семантическому сходству. Так он не пропустит точные совпадения кода и одновременно поймёт семантические связи вроде «эта функция связана с той функцией».

Механизм игнорирования файлов. Как .gitignore, Semble поддерживает .sembleignore, автоматически пропуская директории вроде node_modules, vendor, dist, которые агентам не интересны.

Количественное измерение токенов. Они не просто говорят «экономит токены» — они провели бенчмарки: сравнение потребления токенов между Semble и grep+read на кодовых базах разного размера. Проект на 858 звёзд, осмелившийся опубликовать данные бенчмарков прямо в README, говорит о том, что цифры выдерживают проверку.

Почему это важно

Возможно, вы думаете, что 98% — это маркетинговая цифра. Но тренд за ней реален.

Самое большое узкое место по стоимости для AI-агентов программирования — не скорость推理, а контекстное окно. Средняя кодовая база, и агент, прочитав несколько файлов, может сжечь десятки тысяч токенов. Входные токены GPT-4o стоят $2.50 за миллион, Claude Sonnet — $3 за миллион. Сложная многофайловая задача может сжечь несколько долларов только на чтении контекста.

Когда агент выполняет тысячи задач ежедневно, эта стоимость экспоненциальна.

Semble решает именно эту «невидимую утечку стоимости».


Основные источники:

  • MinishLab/semble на GitHub — 858 звёзд, 67 форков, 76 коммитов
  • Директория benchmarks проекта: данные сравнения эффективности токенов
  • Пост Show HN: 12 очков, 12 комментариев