Генетические алгоритмы

[A_I]

Скоро появится уже давно не новая, но не устаревшая ещё пока (по-крайней мере для обучения НС) тесла v100 на 16 гигов.
Хочется опробовать и на новых для себя алгоритмах.
Например, таких - для эффективного векторного управления эл. машинками, про которые в моем случае мало чего известно, кроме самых основных характеристик, и чем сейчас занимаюсь, требуется оптимизация/подбор пары десятков параметров (это опять же - только основных).
В принципе, если мат модель эл. машины сама по себе достаточно адекватна (в идеале - рассчитанная ЭМ), то матлаб довольно неплохо и относительно быстро справляется с оптимизацией полдюжины параметров.
Но в том то и дело, что адекватную модель также нужно грубо говоря "подбирать", но пока не удается (например, для 3 различных движков имеющихся в наличии).
Вот и подумалось, - а что если "генетику" напрячь? Да, требуются существенные вычислительные мощности, вот тут тесла и поможет..
Кто-нибудь имел дело с генетическими алгоритмами?

[Mihaylo]

Не понятно, как векторно-ориентированные девайсы помогут с генетическими алгоритмами... Например, для нейронных сетей, есть специальные CUDA- или ROCM-библиотеки. Их ещё поискать/подождать надо, а для генетических алгоритмов какой смысл?

[ozheredov]

A_I в сообщении #1724650 писал(а):

Кто-нибудь имел дело с генетическими алгоритмами?

Кто-нибудь имел. Спрашивайте свои вопросы)

[ozheredov]

A_I, всё, вопросы закончились?

[dsge]

A_I в сообщении #1724650 писал(а):

Кто-нибудь имел дело с генетическими алгоритмами?

Мутные и мутарные эти мутации.
Матлабовский Optimization toolbox долго-долго считает и потом выдает совершенно идиотские результаты.
Оптимизировалась, правда, гладкая функция, а энтузиасты генетических алгоритмов утверждают, что они особенно хорошо работают на ненепрерывных (разрывных) функциях. На таких функциях классические алгоритмы и не должны работать.

[ozheredov]

dsge в сообщении #1724744 писал(а):

Оптимизировалась, правда, гладкая функция, а энтузиасты генетических алгоритмов утверждают, что они особенно хорошо работают на ненепрерывных (разрывных) функциях.

Энтузиасты генетических алгоритмов утверждают, что гладкость функции им по барабану (именно гладкость - непрерывность в некотором вероятностном смысле нужна). Но если она есть, она ничему не мешает. А что за функция или хотя бы какова размерность пространства входа?

[dsge]

ozheredov в сообщении #1724751 писал(а):

гладкость функции им по барабану (именно гладкость - непрерывность в некотором вероятностном смысле нужна). Но если она есть, она ничему не мешает.

Если задача гладкая, да еще и выпуклая, ГА, возможно, худшее, что можно придумать для решения.

ozheredov в сообщении #1724751 писал(а):

А что за функция или хотя бы какова размерность пространства входа?

Функция правдоподобия, но заданная не аналитически, а с помощью реккурентной процедуры. Число параметров было невелико, 3-5.

[ozheredov]

dsge в сообщении #1724755 писал(а):

Если задача гладкая, да еще и выпуклая, ГА, возможно, худшее, что можно придумать для решения.

В плане скорости сходимости (в смысле количества вызовов targetFun для достижения заданной точности) - безусловно. Я имел в виду, что ГА все равно найдет решение, пусть и крайне медленно.

dsge в сообщении #1724755 писал(а):

Функция правдоподобия, но заданная не аналитически, а с помощью реккурентной процедуры. Число параметров было невелико, 3-5.

А детерминированные алгоритмы дают более правдоподобный результат?

[dsge]

ozheredov в сообщении #1724765 писал(а):

А детерминированные алгоритмы дают более правдоподобный результат?

Не давали достаточно правдоподобных. Обращение к ГА было шагом отчаяния, а вдруг поможет.

ozheredov в сообщении #1724765 писал(а):

В плане скорости сходимости (в смысле количества вызовов targetFun для достижения заданной точности) - безусловно... пусть и крайне медленно.

Может просто нехватило терпения ( 2 дня непрерывной работы алгоритма).

ozheredov в сообщении #1724765 писал(а):

что ГА все равно найдет решение

Может алгоритм просто застревал не в том локальном минимуме.

[ozheredov]

dsge в сообщении #1724795 писал(а):

Может просто нехватило терпения ( 2 дня непрерывной работы алгоритма).

А можете выложить здесь зависимость дисперсии целевой функции (по популяции) от номера итерации?

dsge в сообщении #1724795 писал(а):

Может алгоритм просто застревал не в том локальном минимуме.

Можно попытаться заюзать crowd function, которая препятствует скоплению особей вюлизи самой приспособленной

[dsge]

ozheredov в сообщении #1724810 писал(а):

А можете выложить здесь зависимость дисперсии целевой функции (по популяции) от номера итерации?

Коды где-то сохранились. Давно это было, остались только болезненные воспоминания. Сейчас уже не актуально.