Генетический алгоритм обучается быстрее, чем нейронная сеть?

[Mihaylo]

mserg в сообщении #1328071 писал(а):

"Мода" на нейронные сети связана с развитием аппаратных возможностей и "открытием" эффективных алгоритмов обучения

Один пункт упущен и он самый главный: расцвет случился благодаря, в первую очередь, появлению размеченных датасетов больших размеров (миллионы объектов). Ранее работали с выборками размером тысячи/десятки тысяч объектов.

[dsge]

ozheredov в сообщении #1328044 писал(а):

Может быть человек путает их с конволюционными. Может прикалывается. А может мы с вами не знаем их в силу узости кругозора )

Это довольно новое понятие, введенное только в 2017г.:
https://en.wikipedia.org/wiki/Capsule_neural_network

[kotenok gav]

ozheredov в сообщении #1328044 писал(а):

А может мы с вами не знаем

Я знаю. Ktina говорил.

[mserg]

Mihaylo в сообщении #1328165 писал(а):

mserg в сообщении #1328071 писал(а):

"Мода" на нейронные сети связана с развитием аппаратных возможностей и "открытием" эффективных алгоритмов обучения

Один пункт упущен и он самый главный: расцвет случился благодаря, в первую очередь, появлению размеченных датасетов больших размеров (миллионы объектов). Ранее работали с выборками размером тысячи/десятки тысяч объектов.

Уберите аппаратные возможности - и случится не расцвет, а закат нейросетей, невзирая на наличие "самого главного" - на размеченные большие датасеты.

Можно привести и контрпример - "кино для взрослых". Как и полагается в мире товаров и услуг, требуется рубикатор продукции, индексация и поиск. До недавнего времени разметку делали люди вручную, просматривая кино. Но, как утверждает один представитель индустрии, в связи с ростом материала и контента, созданного пользователями, требуется выполнять эту работу автоматически. Для обучения вполне подойдет уже имеющийся видеоматериал. Датасеты данного сегмента видео - не тысячи и не десятки тысяч - побольше будет даже на рубеже 2000-х.

Другой контрпример - это электронные медицинские карты, включая результаты исследований и лечения. Тут я не могу быть категоричным, но, вероятно миллионные датасеты были накоплены еще в 90-е.

На IBM-ком семинаре по Ватсону, припоминаю, речь шла о покупке медицинских данных - база ренгеновских снимком (скорее всего, с диагнозами). По моему представлению, такие базы нарабатываются десятилетиями, и большая часть из них закрыта от общего доступа.

Т.е. большие датасеты были "давно".

Тут скорее развитие самого интернета привело к появлению открытых датасетов, что и подстегивает массовый интерес (моду). Интернет-магазины, интернет-барахолки (типа Авито), социальные сети, и т.п. действительно накапливают огромное количество размеченных данных. Но вряд-ли работа с этими данными имеет решающее значение для развития технологий. Разве что социальные сети... Хотя черт его знает.

[Mihaylo]

mserg в сообщении #1328253 писал(а):

Уберите аппаратные возможности - и случится не расцвет, а закат нейросетей, невзирая на наличие "самого главного" - на размеченные большие датасеты.

Уберите "миллионные" датасеты, замените на "тысячные", и у Вас ничего не получится.

[mserg]

Mihaylo в сообщении #1328452 писал(а):

Уберите "миллионные" датасеты, замените на "тысячные", и у Вас ничего не получится.

А как же десятки тысяч из вашего первого сообщения? Чо сразу тысячи?
Датасеты для классификация планктона и галактик на Kaggle, припоминаю, содержали десятки тысяч фотографий. И "все получилось".

Основной мессадж был какой?
Хронологически, сначала появились большие объемы данных. Бума не случилось. А когда появилась соответствующая математика и железа, случился бум, - это и явилось триггером. Если хронологически двигаться назад, то можно уйти куда угодно, вплоть до цифровой фотографии и объявить это необходимым и самым главным. Среди тех, кто хоть немного интересуется ML, несомненно знает об необходимости больших объемов для обучения нейросетей.

P.S. От себя лично я редко пишу. Насчет нейросетей, - вспомнил статью Моргана (м.б. из клана банкиров Морганов - не изучал вопрос), размещенной на сайте нумераи. Так вот, он рассуждал на тему прогресса в машинном обучении, и отмечал ключевые моменты. Акцентированы эффективная математика и железо для NN, и также отмечал технологию случайных деревьев.

Далее он рассуждал на тему, как ML прикрутить к финансам - игра на бирже и все такое. Проблема в том, данные в финансах закрыты, а любители ML - рассредоточены по всему земному шару. Решением он видит особый вид криптографии, когда данные преобразуются таким образом, чтобы затруднительно было понять, к чему они относятся, но (возможные) существующие закономерности сохранились. Результаты прогнозирования любителей ИИ можно объединять по принципу голосующих деревьев, и т.д. выстроена целая бизнес-модель.

Поэтому, сам я не причем. В битве мнений о "главном" Mihaylo vs Морган ставлю на Моргана.

[Mihaylo]

Не думаю, что Морган в курсе, в каком году был бум и что там произошло. Он зашёл, как и остальные, на пятом гребне.

[Mihaylo]

mserg в сообщении #1328488 писал(а):

А как же десятки тысяч из вашего первого сообщения? Чо сразу тысячи?

Вы же наверное понимаете, что деление по размеру датасетов условное. Всё зависит от интеллектуальной задачи: если нужно отличить собаку от кошки, то это одна задача; если нужно отличить немецкую овчарку от дога по цветной фотографии, то это может быть потребует меньшего числа обучающих примеров. А может наоборот?
Ключевым является размер датасета для конкретной задачи. Такой задачей всегда стояло распознавание образов на фотографии. И вот: бум 2012 года.
У Моргана был бум немного другой - бум денег. Ну у банкира задача такая - денюжки считать.

[Eugeen1948]

В пакете "Neurosolution" (см. инет) генетические алгоритмы используются, напр., для выбора оптимального количества нейронов в НС. Там в процессе обучения НС можно включать большое разнообразие ГА для ускорения обучения и повышения точности. Процесс использования ГА можно сравнить с компьютерной игрой, весьма затягивает и результаты впечатляющие и польза несомненная.

[ozheredov]

Eugeen1948

Спасибо ) А какой численности популяции там достаточно и каковы при этом примерно временные затраты на один call целевой функции?

[Eugeen1948]

[Затраты зависят от размера обучающего множества, как собственно численности популяции. В пакете NS это процесс регулируется всякими ограничениями, иначе поиск оптимальной популяции буде неразумно долгим. Я где-то здесь писал, что NS - это большой тренажер, где и Вы - участник тренинга. Тренажер не дает однозначных ответов, он показывает характеристики процесса, по которым Вы принимаете решение.
Вот пример: https://cloud.mail.ru/public/9suk/FJREMT3K1

[binom]

Генетические алгоритмы в определенных ситуациях, работают намного быстрее нейросетей.

[Ktina]

binom в сообщении #1350096 писал(а):

Генетические алгоритмы в определенных ситуациях, работают намного быстрее нейросетей.

А можно узнать, в каких именно ситуациях? И насколько быстрее?

[ozheredov]

Ktina в сообщении #1350114 писал(а):

А можно узнать

Запросто )

Ktina в сообщении #1350114 писал(а):

в каких именно ситуациях?

1. Если стартовая популяция содержит миллионы особей. 2. Если в вашем распоряжении есть кластер видеокарт. 3. Если у погромиста прямые руки и он распараллелил эволюционный алгоритм с коэффициентом, близким к максимальному.

Вот представьте себе, что у вас нет ничего кроме стандартного рабочего инструмента нормального человека -- ультрабука за ~ $2000 c интегрированной видяхой, и всё что есть вы запускаете на нем и только на нем. Тогда нейросеть - это элитный спецназовец Моссада со Steyr AUG (надеюсь винтовку правильно назвал?), а GA - фанатичный ИГИЛОвец (запрещён в России (уупс, зачем я это снова написал?)) с кухонным ножом. Кто кого переплюнет -- без вопросов. Теперь начинаем их обоих клонировать -- миллиард солдат и миллиард фанатиков. Миллиардом солдат командовать проблематично, тогда как миллиард фанатиков забросают любого противника собственным мясом.

Ktina в сообщении #1350114 писал(а):

И насколько быстрее?

Настолько, насколько хватит денег на погромиста и кластер. То есть реально очень-очень намного. Конкретные числа писать не буду, боюсь ошибиться, CUDA не мой конёк.

Пока что не мой конёк

[Ktina]

ozheredov
Большое спасибо за вдохновляющий ответ!