Дополнительные данные замедляют поиск минимума

[vladimir-2013]

Пытаюсь найти параметры функции с помощью случайного задания стартовой точки и последующего градиентного спуска. Для проверки делал следующее: задавал параметры функции, вычислял по ним N значений функции, а потом по ним искал те параметры, которые задал. Если значений N, глобальный минимум находится в течение 20 минут, а если значений 3N, решение ищется несколько часов или даже несколько суток. Я понимаю, добавление новых точек функции увеличивает число локальных минимумов по степенному закону, но можно ли как-то с этим бороться? Есть ли для этого какие-то методы?

[waxtep]

Здесь бы какой-то минимальный пример, и общее впечатление о размере задачи. И от скольки переменных функция. Про пример - имею в виду следующее: наблюдаемая проблема воспроизводится ли для какой-нибудь функции простого вида, где глобальный минимум виден аналитически?

[vladimir-2013]

Я понимаю, что есть частные приёмы, которые могут значительно упростить задачу. Но меня интересуют именно общие методы. Есть ли они и если есть, то где можно с ними ознакомиться.

[Null]

vladimir-2013 в сообщении #1662144 писал(а):

Для проверки делал следующее: задавал параметры функции, вычислял по ним N значений функции, а потом по ним искал те параметры, которые задал.

Это вы функцию аппроксимировать пытаетесь?

[vladimir-2013]

Я пытался понять, найдёт ли алгоритм оптимальные параметры у функции, которая построена по этим параметрам.

[Mihaylo]

То, что вы проделываете, называется идентификацией систем. Мне кажется градиентный спуск тут - последнее дело. Несмотря на то, что градиентный спуск популярен благодаря использованию в бэкпроп-алгоритме нейронных сетей, у него есть более сильные альтернативы при аппроксимации с помощью произвольной функции.

[vladimir-2013]

Mihaylo в сообщении #1667366 писал(а):

Несмотря на то, что градиентный спуск популярен благодаря использованию в бэкпроп-алгоритме нейронных сетей, у него есть более сильные альтернативы при аппроксимации с помощью произвольной функции.

Приведите, пожалуйста, примеры. Желательно, чтобы инструмены были в Matlab.