При какой минимальной длине шага градиентный спуск не сможет

[qweasdzxcqweasd]

Добрый день. Встречалась задача, формулировка которой гласит: при какой минимальной длине шага градиентный спуск не сможет найти минимум функции, дана функция и начальная точка, правильно ли я понимаю, что шаг должен соответствовать >2L, где L - Lipschitz Continuous Gradient? Спасибо.

[ewert]

Вообще-то у градиентного спуска нет вообще никакого шага.

Если же имелся в виду конечноразностный градиент, то ответ тоже очевиден: он, в принципе, всегда что-то найдёт; вопрос только, с какой точностью.

Или, между прочим, вообще ничего не найдёт (но практически значимых критериев на этот счёт не существует).

Есть модификации метода, которые гарантируют (практически) сходимость. При определённых условиях. Но и для них практически значимых оценок не существует.

[qweasdzxcqweasd]

Для градиентного спуска формула с постоянным шагом α:

x(k+1)=x(k)−α∇f(x(k)).

При каком α и начальной точке, я не смогу достичь минимума функции? Стоит ли просто забить задачу на python?

[ewert]

qweasdzxcqweasd в сообщении #1460389 писал(а):

Стоит ли просто забить задачу на python?

Стоит просто забить на задачу. Во-первых, это не градиентный спуск (в стандартном понимании). Во-вторых, хоть мало-мальски универсальных оценок для альфы нет и быть не может. В принципе. Возможные учебные извращения -- откровенно неспортивны.

[Pphantom]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
по следующим причинам:

- неправильно набраны формулы (краткие инструкции: «Краткий FAQ по тегу [math]» и видеоролик Как записывать формулы).

Исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.