Какая математическая модель лучше всего подходит для прогнозирования следующего пика гриппа?
Это непростой вопрос. Эпидемиологическое моделирование — чрезвычайно сложная область: модели SEIR, модели временных рядов, модели машинного обучения, гибридные модели — каждый из этих крупных классов включает бесчисленное множество вариаций. Выбор конкретной модели, настройка её гиперпараметров, учёт взаимодействий между различными патогенами — все эти решения напрямую влияют на точность прогноза.
Исследовательская группа Гарвардского университета и Массачусетской общей больницы (MGH) недавно опубликовала статью под названием «Prospective Multi-Pathogen Disease Forecasting Using Autonomous LLM-Guided Tree Search» («Перспективное прогнозирование заболеваний, вызываемых несколькими патогенами, с использованием автономного древовидного поиска, управляемого LLM»), в которой предлагается интересное решение: поручить LLM самостоятельно осуществлять поиск оптимальной стратегии моделирования.
Древовидный поиск под управлением LLM
Ключевой методологический элемент статьи — «автономный древовидный поиск, управляемый LLM».
Представьте пространство решений при эпидемиологическом моделировании как дерево. Каждый узел дерева соответствует одному выбору в процессе построения модели: какой использовать каркас модели, какие переменные включить, как учитывать сезонные факторы, следует ли учитывать конкурентные взаимодействия между патогенами. Путь от корневого узла к листовому узлу представляет собой полную, полностью заданную стратегию моделирования.
Традиционный подход заключается в ручном поиске по этому пространству: эксперты в предметной области выбирают модели и настраивают параметры, опираясь на свой опыт. Такой процесс трудоёмок и подвержен субъективным предпочтениям исследователя.
В предложенной в статье методике LLM выступает в роли автономного агента поиска, исследующего это дерево. При этом LLM действует не случайным образом: она принимает информативные решения, основываясь на анализе исторической эффективности различных ветвей дерева. Именно LLM сама определяет, какие пути стоит исследовать глубже, а какие — отсечь («prune»).
Сложность прогнозирования заболеваний, вызываемых несколькими патогенами
Статья фокусируется на особенно сложном сценарии: одновременном прогнозировании динамики распространения нескольких патогенов.
Прогнозирование даже одного патогена уже представляет значительную трудность. Прогнозирование нескольких патогенов ещё сложнее — между ними существуют сложные взаимодействия. Например, после заражения одним респираторным вирусом восприимчивость человека к другим вирусам в краткосрочной перспективе может измениться. Такие факторы, как школьные каникулы, климатические изменения или миграция населения, по-разному влияют на различные патогены.
Ценность LLM здесь заключается не в том, что она лучше понимает механизмы распространения заболеваний, чем эксперты-эпидемиологи, а в её способности систематически исследовать значительно более широкое пространство гипотез. Эксперт может быть ограничен моделями, с которыми он знаком, тогда как LLM способна комбинировать и инновационно объединять подходы из разных классов моделей и методов.
Перспективная валидация
Один из ключевых методологических аспектов статьи — использование перспективной валидации: вместо проверки на исторических данных (что чревато переобучением), прогнозы делаются в реальном времени в конкретные моменты, а затем сравниваются с фактическими данными по мере их поступления.
Такой подход к валидации имеет исключительно важное значение в эпидемиологических исследованиях. Хорошие результаты ретроспективной проверки (backtesting) вовсе не гарантируют высокой прогностической силы — возможно, модель просто «запомнила» исторические закономерности. Только перспективные, реальные во времени прогнозы могут по-настоящему продемонстрировать ценность модели.
Связь с другими работами в области AI for Science
В последнее время применение ИИ в научных исследованиях развивается в рамках нескольких различных парадигм:
Парадигма замещения: ИИ полностью заменяет традиционные научные методы. Например, сквозные (end-to-end) модели напрямую прогнозируют результаты, минуя физическое или биологическое моделирование. Этот подход остаётся спорным из-за низкой интерпретируемости.
Парадигма вспомогательных инструментов: ИИ выступает в роли вспомогательного средства для учёных — ускоряет расчёты, автоматизирует анализ литературы или генерирует гипотезы. Эта парадигма достаточно зрелая, однако роль ИИ здесь ограничена функцией «инструмента», а не «соавтора».
Парадигма автономного исследования: ИИ самостоятельно проводит научное исследование. Именно такую парадигму представляют собой как проект ARIS (автономный научно-исследовательский агент Шанхайского Цзяотунского университета), так и данная статья. ИИ здесь не просто исполняет команды, а активно исследует пространство гипотез, разрабатывает экспериментальные схемы и принимает самостоятельные решения.
Древовидный поиск под управлением LLM относится к парадигме автономного исследования, но он более сфокусирован, чем ARIS: задача LLM — не выполнение всего цикла научного исследования, а автономное исследование в заранее определённом, структурированном пространстве поиска.
Моё мнение
Эта статья демонстрирует новую роль LLM в научном моделировании: она перестаёт быть партнёром по диалогу или генератором текста и становится автономным агентом поиска.
Такой сдвиг в роли крайне важен. Когда мы рассматриваем LLM как «инструмент диалога», наши ожидания сводятся к фразе: «Ответь мне на мой вопрос». Но когда LMM становится «агентом поиска», наши ожидания меняются: «Осуществи ценное исследование в направлениях, которые я сам не указал».
Второй сценарий предъявляет к LLM гораздо более высокие требования. Ей необходимо обладать достаточным пониманием предметной области для принятия обоснованных решений поиска, иметь способность к самооценке, чтобы определять, какие направления стоит продолжать исследовать, а также проявлять гибкость при комбинировании знаний из разных областей для генерации инновационных решений.
Заслуживает особого упоминания и дизайн перспективной валидации в статье. В области AI for Science слишком много работ ограничиваются ретроспективной проверкой. Только перспективные, реальные во времени валидации позволяют по-настоящему выстроить доверие к прогностическим возможностям ИИ.
Разумеется, у данного метода есть и ограничения. Качество поиска со стороны LLM сильно зависит от дизайна промптов и стратегии поиска. Если пространство поиска определено некорректно или критерии оценки LMM смещены, весь процесс поиска может сместиться в неверном направлении.
Тем не менее, сама идея — позволить ИИ автономно исследовать пространство научных гипотез в правильной концептуальной рамке — уже сама по себе чрезвычайно вдохновляюща.
Основные источники: