2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки





Встречали ли вы уместное и полезное применение ДУ в машинном обучении?
Да 50%  50%  [ 3 ]
Нет 33%  33%  [ 2 ]
Смотрю результаты 17%  17%  [ 1 ]
Всего голосов : 6
 
 Применение дифференциальных уравнений в ML - реально?
Сообщение22.07.2021, 09:31 
Доброго времени суток!
Заинтересовал меня на досуге вопрос: есть ли уместное применение дифференциальных уравнений
в машинном обучении и создании искусственного интеллекта?

Мне недавно попалась в руки книга "Дифференциальные уравнения в приложениях". В этой книге
рассматриваются примеры динамических моделей, возникающие в самых разных ситуациях:
- остывание кофе
- теория эпидемий (привет, Ковид)
- кривая погони
- остывание туши убитого зверя.
Можно подумать, что возможности дифференциальных уравнений гигантски, но потребность в полном
решении уравнения появляется очень редко.

При этом, корпоративная школа по ML с уважаемыми профссионалами (я имею ввиду академию анализа
данных Made от Mail.ru) выставляет в качестве требований к поступающим знание дифференциальных уравнений.
Как знание ДУ может помочь в создании моделей искусственного интеллекта?

Рассмотрим нейронные сети. Их, по сути, обучают путем перебора целого набора возможных гиперпараметров
и выбирают лучшие комбинации.
Во-первых, никакой речи не идет о предсказании наперед подходящего числа слоев в глубокой сети
или подходящего темпа обучения (leearning rate). Все показатели выбираются по результатам опытов.
Во-вторых, конкретную модель признаков и детекторов, формирующихся внутри слоев сети, тоже практически не изучают даже в крупных статьях.
В-третьих, есть кривая обучения (эволюция loss-функции). Да, она динамична. Да, можно придумать уравнение, которое будет описывать
ее эволюцию во времени - убывание, колебания и стагнацию. Подобрать параметры для уравнения (скорость убывания, нарастания) можно будет только
имею конкретную кривую обучения. В таком случае мы всего на всего получаем интерполяцию кривой при помощи несвязанных с архитектурой сети параметров.

Мне честно хочется понять, где я заблуждаюсь. Одно время в университете я сам увлекался математикой и изучал ее просто так.
Сейчас все чаще в голову приходит мысль о том, что знание глубин математики без уместного применения на практике мертвы.
Есть ли жизнь ДУ в ML?

 
 
 
 Re: Применение дифференциальных уравнений в ML - реально?
Сообщение22.07.2021, 10:13 
Аватара пользователя
Dmitri314 в сообщении #1526710 писал(а):
есть ли уместное применение дифференциальных уравнений в машинном обучении
Конечно, и еще какое! Есть такая вещь, называется нейродинамика. Она основывается на теории устойчивости Ляпунова и сводит обучение нейронной сети к интегрированию некоторой системы дифференциальных уравнений, вместо оптимизации классическими способами. Польза такого подхода в том, что теория устойчивости дает теоремы о сходимости. Почитать об этом можете у Хайкина "Нейронные сети", Bertsekas "Neuro-dynamic programming", статье Wang C. "Learning from Neural Control" 2006 года и др. статьях, гуглите.

 
 
 
 Re: Применение дифференциальных уравнений в ML - реально?
Сообщение22.07.2021, 15:54 
Про остывание кофе - это книга Амелькина?

 
 
 
 Re: Применение дифференциальных уравнений в ML - реально?
Сообщение23.07.2021, 11:11 
novichok2018 в сообщении #1526739 писал(а):
Про остывание кофе - это книга Амелькина?

Она самая

 
 
 [ Сообщений: 4 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group