А вот противоположное anecdotal evidence.
Небольшой пример, без лишних деталей. Словами описываю структуру матрицы и выдвигаю гипотезу о распределении её собственных значений вблизи нуля. Да, важный момент: это всё в режиме "глубокого исследования". Чат уходит в себя. Медленно заполняется шкала прогресса, ниже которой высвечиваются текущие этапы. Вот он насилует Википедию, вот пишет код на питоне, вот ищет внешний ресурс, чтобы этот код выполнить, вот анализирует результаты, и вот он, наконец, разродился отчётом. В отчёте: рекуррентная формула, позволяющая связать последовательность определителей с классическими полиномами, ссылка на их асимптотику при стремлении степени к бесконечности, подтверждение моей гипотезы и вдобавок зачем-то ещё несколько результатов вычислений по той самой программе. Для практически мыслящих, видать. И всё это за пять минут реального времени.
С этими LLM вообще все сложно и никакой стабильности. Однако "на переднем крае науки" работают точно не LLM общего назначения, а узкоспециализированные сети, которые, вообще говоря, не обязательно LLM. Результаты бывают, например, такие:
Компания Google DeepMind в статье (Merchant et al., 2023) представила нейросеть GNoME (graph networks for materials exploration). Это графовая нейросеть для предсказания устойчивых неорганических кристаллов. Она предсказала 381 000 кристаллов, устойчивых согласно расчетам по теории функционала плотности (density functional theory, DFT). При этом в базах данных Materials Project, OQMD, AFLOWLIB и NOMAD авторы насчитали всего 48 000 стабильных кристаллов, даже дополнив голые данные собственными (без GNoME) расчетами по DFT. То есть, если прогнозы GNoME подтвердятся, количество известных стабильных кристаллов вырастет на порядок. При этом авторы обнаружили в литературе 736 синтезированных кристаллов, отсутствовавших в обучающей выборке, но предсказанных GNoME.
Одновременно в статье (Szymanski et al, 2023) представлена автоматизированная лаборатория A-Lab. Платформа состоит из нескольких систем ИИ, робота-манипулятора и стандартного химического оборудования.
A-Lab выполняет задания «синтезируй это, сама придумаешь, как». Инструкции для синтеза она вырабатывает самостоятельно. Здесь первую скрипку играет языковая модель, обученная на научных статьях. Но, насколько я понял без детального вчитывания в статью, в нее еще и руками заложены какие-то алгоритмы и эвристики. Робот синтезирует вещество, выполняет рентгеноструктурный анализ и решает, похож ли результат на целевой продукт. Т.е. тут и компьютерное зрение в полный рост, как на этапе размахивания пробирками, так и на этапе анализа рентгенограмм. Если результат плох, вырабатывается новый алгоритм синтеза.
Согласно статье, за 17 дней A-Lab синтезировала 41 соединение из 58 целевых (само собой, ни одного из них не было в обучающей выборке). По-моему, более чем приличный результат для задачи такой сложности.
ЛитератураMerchant, A., Batzner, S., Schoenholz, S.S. et al. Scaling deep learning for materials discovery. Nature (2023).
https://doi.org/10.1038/s41586-023-06735-9Szymanski, N.J., Rendy, B., Fei, Y. et al. An autonomous laboratory for the accelerated synthesis of novel materials. Nature (2023).
https://doi.org/10.1038/s41586-023-06734-wПопулярно в
блоге Google DeepMind.