2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему

Встречали ли вы уместное и полезное применение ДУ в машинном обучении?
Да 100%  100%  [ 2 ]
Нет 0%  0%  [ 0 ]
Смотрю результаты 0%  0%  [ 0 ]
Всего голосов : 2
 
 Применение дифференциальных уравнений в ML - реально?
Сообщение22.07.2021, 09:31 


24/07/18
5
Доброго времени суток!
Заинтересовал меня на досуге вопрос: есть ли уместное применение дифференциальных уравнений
в машинном обучении и создании искусственного интеллекта?

Мне недавно попалась в руки книга "Дифференциальные уравнения в приложениях". В этой книге
рассматриваются примеры динамических моделей, возникающие в самых разных ситуациях:
- остывание кофе
- теория эпидемий (привет, Ковид)
- кривая погони
- остывание туши убитого зверя.
Можно подумать, что возможности дифференциальных уравнений гигантски, но потребность в полном
решении уравнения появляется очень редко.

При этом, корпоративная школа по ML с уважаемыми профссионалами (я имею ввиду академию анализа
данных Made от Mail.ru) выставляет в качестве требований к поступающим знание дифференциальных уравнений.
Как знание ДУ может помочь в создании моделей искусственного интеллекта?

Рассмотрим нейронные сети. Их, по сути, обучают путем перебора целого набора возможных гиперпараметров
и выбирают лучшие комбинации.
Во-первых, никакой речи не идет о предсказании наперед подходящего числа слоев в глубокой сети
или подходящего темпа обучения (leearning rate). Все показатели выбираются по результатам опытов.
Во-вторых, конкретную модель признаков и детекторов, формирующихся внутри слоев сети, тоже практически не изучают даже в крупных статьях.
В-третьих, есть кривая обучения (эволюция loss-функции). Да, она динамична. Да, можно придумать уравнение, которое будет описывать
ее эволюцию во времени - убывание, колебания и стагнацию. Подобрать параметры для уравнения (скорость убывания, нарастания) можно будет только
имею конкретную кривую обучения. В таком случае мы всего на всего получаем интерполяцию кривой при помощи несвязанных с архитектурой сети параметров.

Мне честно хочется понять, где я заблуждаюсь. Одно время в университете я сам увлекался математикой и изучал ее просто так.
Сейчас все чаще в голову приходит мысль о том, что знание глубин математики без уместного применения на практике мертвы.
Есть ли жизнь ДУ в ML?

 Профиль  
                  
 
 Re: Применение дифференциальных уравнений в ML - реально?
Сообщение22.07.2021, 10:13 
Заслуженный участник
Аватара пользователя


11/04/08
2593
Физтех
Dmitri314 в сообщении #1526710 писал(а):
есть ли уместное применение дифференциальных уравнений в машинном обучении
Конечно, и еще какое! Есть такая вещь, называется нейродинамика. Она основывается на теории устойчивости Ляпунова и сводит обучение нейронной сети к интегрированию некоторой системы дифференциальных уравнений, вместо оптимизации классическими способами. Польза такого подхода в том, что теория устойчивости дает теоремы о сходимости. Почитать об этом можете у Хайкина "Нейронные сети", Bertsekas "Neuro-dynamic programming", статье Wang C. "Learning from Neural Control" 2006 года и др. статьях, гуглите.

 Профиль  
                  
 
 Re: Применение дифференциальных уравнений в ML - реально?
Сообщение22.07.2021, 15:54 


16/04/18
818
Про остывание кофе - это книга Амелькина?

 Профиль  
                  
 
 Re: Применение дифференциальных уравнений в ML - реально?
Сообщение23.07.2021, 11:11 


24/07/18
5
novichok2018 в сообщении #1526739 писал(а):
Про остывание кофе - это книга Амелькина?

Она самая

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Модераторы: Jnrty, Модераторы, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group