Применение дифференциальных уравнений в ML - реально?

[Dmitri314]

Доброго времени суток!
Заинтересовал меня на досуге вопрос: есть ли уместное применение дифференциальных уравнений
в машинном обучении и создании искусственного интеллекта?

Мне недавно попалась в руки книга "Дифференциальные уравнения в приложениях". В этой книге
рассматриваются примеры динамических моделей, возникающие в самых разных ситуациях:
- остывание кофе
- теория эпидемий (привет, Ковид)
- кривая погони
- остывание туши убитого зверя.
Можно подумать, что возможности дифференциальных уравнений гигантски, но потребность в полном
решении уравнения появляется очень редко.

При этом, корпоративная школа по ML с уважаемыми профссионалами (я имею ввиду академию анализа
данных Made от Mail.ru) выставляет в качестве требований к поступающим знание дифференциальных уравнений.
Как знание ДУ может помочь в создании моделей искусственного интеллекта?

Рассмотрим нейронные сети. Их, по сути, обучают путем перебора целого набора возможных гиперпараметров
и выбирают лучшие комбинации.
Во-первых, никакой речи не идет о предсказании наперед подходящего числа слоев в глубокой сети
или подходящего темпа обучения (leearning rate). Все показатели выбираются по результатам опытов.
Во-вторых, конкретную модель признаков и детекторов, формирующихся внутри слоев сети, тоже практически не изучают даже в крупных статьях.
В-третьих, есть кривая обучения (эволюция loss-функции). Да, она динамична. Да, можно придумать уравнение, которое будет описывать
ее эволюцию во времени - убывание, колебания и стагнацию. Подобрать параметры для уравнения (скорость убывания, нарастания) можно будет только
имею конкретную кривую обучения. В таком случае мы всего на всего получаем интерполяцию кривой при помощи несвязанных с архитектурой сети параметров.

Мне честно хочется понять, где я заблуждаюсь. Одно время в университете я сам увлекался математикой и изучал ее просто так.
Сейчас все чаще в голову приходит мысль о том, что знание глубин математики без уместного применения на практике мертвы.
Есть ли жизнь ДУ в ML?

[ShMaxG]

Dmitri314 в сообщении #1526710 писал(а):

есть ли уместное применение дифференциальных уравнений в машинном обучении

Конечно, и еще какое! Есть такая вещь, называется нейродинамика. Она основывается на теории устойчивости Ляпунова и сводит обучение нейронной сети к интегрированию некоторой системы дифференциальных уравнений, вместо оптимизации классическими способами. Польза такого подхода в том, что теория устойчивости дает теоремы о сходимости. Почитать об этом можете у Хайкина "Нейронные сети", Bertsekas "Neuro-dynamic programming", статье Wang C. "Learning from Neural Control" 2006 года и др. статьях, гуглите.

[novichok2018]

Про остывание кофе - это книга Амелькина?

[Dmitri314]

novichok2018 в сообщении #1526739 писал(а):

Про остывание кофе - это книга Амелькина?

Она самая