2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Дополнительные данные замедляют поиск минимума
Сообщение20.11.2024, 10:51 
Пытаюсь найти параметры функции с помощью случайного задания стартовой точки и последующего градиентного спуска. Для проверки делал следующее: задавал параметры функции, вычислял по ним N значений функции, а потом по ним искал те параметры, которые задал. Если значений N, глобальный минимум находится в течение 20 минут, а если значений 3N, решение ищется несколько часов или даже несколько суток. Я понимаю, добавление новых точек функции увеличивает число локальных минимумов по степенному закону, но можно ли как-то с этим бороться? Есть ли для этого какие-то методы?

 
 
 
 Re: Дополнительные данные замедляют поиск минимума
Сообщение20.11.2024, 11:23 
Аватара пользователя
Здесь бы какой-то минимальный пример, и общее впечатление о размере задачи. И от скольки переменных функция. Про пример - имею в виду следующее: наблюдаемая проблема воспроизводится ли для какой-нибудь функции простого вида, где глобальный минимум виден аналитически?

 
 
 
 Re: Дополнительные данные замедляют поиск минимума
Сообщение20.11.2024, 11:39 
Я понимаю, что есть частные приёмы, которые могут значительно упростить задачу. Но меня интересуют именно общие методы. Есть ли они и если есть, то где можно с ними ознакомиться.

 
 
 
 Re: Дополнительные данные замедляют поиск минимума
Сообщение20.11.2024, 16:54 
vladimir-2013 в сообщении #1662144 писал(а):
Для проверки делал следующее: задавал параметры функции, вычислял по ним N значений функции, а потом по ним искал те параметры, которые задал.
Это вы функцию аппроксимировать пытаетесь?

 
 
 
 Re: Дополнительные данные замедляют поиск минимума
Сообщение20.11.2024, 17:49 
Я пытался понять, найдёт ли алгоритм оптимальные параметры у функции, которая построена по этим параметрам.

 
 
 
 Re: Дополнительные данные замедляют поиск минимума
Сообщение27.12.2024, 19:04 
То, что вы проделываете, называется идентификацией систем. Мне кажется градиентный спуск тут - последнее дело. Несмотря на то, что градиентный спуск популярен благодаря использованию в бэкпроп-алгоритме нейронных сетей, у него есть более сильные альтернативы при аппроксимации с помощью произвольной функции.

 
 
 
 Re: Дополнительные данные замедляют поиск минимума
Сообщение16.04.2025, 17:29 
Mihaylo в сообщении #1667366 писал(а):
Несмотря на то, что градиентный спуск популярен благодаря использованию в бэкпроп-алгоритме нейронных сетей, у него есть более сильные альтернативы при аппроксимации с помощью произвольной функции.


Приведите, пожалуйста, примеры. Желательно, чтобы инструмены были в Matlab.

 
 
 [ Сообщений: 7 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group