2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение22.07.2018, 09:28 


12/07/15
2907
г. Чехов
mserg в сообщении #1328071 писал(а):
"Мода" на нейронные сети связана с развитием аппаратных возможностей и "открытием" эффективных алгоритмов обучения

Один пункт упущен и он самый главный: расцвет случился благодаря, в первую очередь, появлению размеченных датасетов больших размеров (миллионы объектов). Ранее работали с выборками размером тысячи/десятки тысяч объектов.

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение22.07.2018, 20:16 
Заслуженный участник


05/08/14
1564
ozheredov в сообщении #1328044 писал(а):
Может быть человек путает их с конволюционными. Может прикалывается. А может мы с вами не знаем их в силу узости кругозора )

Это довольно новое понятие, введенное только в 2017г.:
https://en.wikipedia.org/wiki/Capsule_neural_network

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение22.07.2018, 21:13 


21/05/16
4292
Аделаида
ozheredov в сообщении #1328044 писал(а):
А может мы с вами не знаем

Я знаю. Ktina говорил.

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение22.07.2018, 22:47 


17/10/08

1313
Mihaylo в сообщении #1328165 писал(а):
mserg в сообщении #1328071 писал(а):
"Мода" на нейронные сети связана с развитием аппаратных возможностей и "открытием" эффективных алгоритмов обучения

Один пункт упущен и он самый главный: расцвет случился благодаря, в первую очередь, появлению размеченных датасетов больших размеров (миллионы объектов). Ранее работали с выборками размером тысячи/десятки тысяч объектов.

Уберите аппаратные возможности - и случится не расцвет, а закат нейросетей, невзирая на наличие "самого главного" - на размеченные большие датасеты.

Можно привести и контрпример - "кино для взрослых". Как и полагается в мире товаров и услуг, требуется рубикатор продукции, индексация и поиск. До недавнего времени разметку делали люди вручную, просматривая кино. Но, как утверждает один представитель индустрии, в связи с ростом материала и контента, созданного пользователями, требуется выполнять эту работу автоматически. Для обучения вполне подойдет уже имеющийся видеоматериал. Датасеты данного сегмента видео - не тысячи и не десятки тысяч - побольше будет даже на рубеже 2000-х.

Другой контрпример - это электронные медицинские карты, включая результаты исследований и лечения. Тут я не могу быть категоричным, но, вероятно миллионные датасеты были накоплены еще в 90-е.

На IBM-ком семинаре по Ватсону, припоминаю, речь шла о покупке медицинских данных - база ренгеновских снимком (скорее всего, с диагнозами). По моему представлению, такие базы нарабатываются десятилетиями, и большая часть из них закрыта от общего доступа.

Т.е. большие датасеты были "давно".

Тут скорее развитие самого интернета привело к появлению открытых датасетов, что и подстегивает массовый интерес (моду). Интернет-магазины, интернет-барахолки (типа Авито), социальные сети, и т.п. действительно накапливают огромное количество размеченных данных. Но вряд-ли работа с этими данными имеет решающее значение для развития технологий. Разве что социальные сети... Хотя черт его знает.

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение24.07.2018, 07:54 


12/07/15
2907
г. Чехов
mserg в сообщении #1328253 писал(а):
Уберите аппаратные возможности - и случится не расцвет, а закат нейросетей, невзирая на наличие "самого главного" - на размеченные большие датасеты.

Уберите "миллионные" датасеты, замените на "тысячные", и у Вас ничего не получится.

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение24.07.2018, 12:34 


17/10/08

1313
Mihaylo в сообщении #1328452 писал(а):
Уберите "миллионные" датасеты, замените на "тысячные", и у Вас ничего не получится.

А как же десятки тысяч из вашего первого сообщения? :D Чо сразу тысячи?
Датасеты для классификация планктона и галактик на Kaggle, припоминаю, содержали десятки тысяч фотографий. И "все получилось".

Основной мессадж был какой?
Хронологически, сначала появились большие объемы данных. Бума не случилось. А когда появилась соответствующая математика и железа, случился бум, - это и явилось триггером. Если хронологически двигаться назад, то можно уйти куда угодно, вплоть до цифровой фотографии и объявить это необходимым и самым главным. Среди тех, кто хоть немного интересуется ML, несомненно знает об необходимости больших объемов для обучения нейросетей.

P.S. От себя лично я редко пишу. Насчет нейросетей, - вспомнил статью Моргана (м.б. из клана банкиров Морганов - не изучал вопрос), размещенной на сайте нумераи. Так вот, он рассуждал на тему прогресса в машинном обучении, и отмечал ключевые моменты. Акцентированы эффективная математика и железо для NN, и также отмечал технологию случайных деревьев.

Далее он рассуждал на тему, как ML прикрутить к финансам - игра на бирже и все такое. Проблема в том, данные в финансах закрыты, а любители ML - рассредоточены по всему земному шару. Решением он видит особый вид криптографии, когда данные преобразуются таким образом, чтобы затруднительно было понять, к чему они относятся, но (возможные) существующие закономерности сохранились. Результаты прогнозирования любителей ИИ можно объединять по принципу голосующих деревьев, и т.д. выстроена целая бизнес-модель.

Поэтому, сам я не причем. В битве мнений о "главном" Mihaylo vs Морган ставлю на Моргана.

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение25.07.2018, 17:01 


12/07/15
2907
г. Чехов
Не думаю, что Морган в курсе, в каком году был бум и что там произошло. :D Он зашёл, как и остальные, на пятом гребне.

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение26.07.2018, 20:09 


12/07/15
2907
г. Чехов
mserg в сообщении #1328488 писал(а):
А как же десятки тысяч из вашего первого сообщения? :D Чо сразу тысячи?

Вы же наверное понимаете, что деление по размеру датасетов условное. Всё зависит от интеллектуальной задачи: если нужно отличить собаку от кошки, то это одна задача; если нужно отличить немецкую овчарку от дога по цветной фотографии, то это может быть потребует меньшего числа обучающих примеров. А может наоборот?
Ключевым является размер датасета для конкретной задачи. Такой задачей всегда стояло распознавание образов на фотографии. И вот: бум 2012 года.
У Моргана был бум немного другой - бум денег. Ну у банкира задача такая - денюжки считать.

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение18.08.2018, 23:41 
Аватара пользователя


17/07/08
322
В пакете "Neurosolution" (см. инет) генетические алгоритмы используются, напр., для выбора оптимального количества нейронов в НС. Там в процессе обучения НС можно включать большое разнообразие ГА для ускорения обучения и повышения точности. Процесс использования ГА можно сравнить с компьютерной игрой, весьма затягивает и результаты впечатляющие и польза несомненная.

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение19.08.2018, 16:03 


10/03/16
3860
Aeroport
Eugeen1948

Спасибо ) А какой численности популяции там достаточно и каковы при этом примерно временные затраты на один call целевой функции?

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение19.08.2018, 16:45 
Аватара пользователя


17/07/08
322
[Затраты зависят от размера обучающего множества, как собственно численности популяции. В пакете NS это процесс регулируется всякими ограничениями, иначе поиск оптимальной популяции буде неразумно долгим. Я где-то здесь писал, что NS - это большой тренажер, где и Вы - участник тренинга. Тренажер не дает однозначных ответов, он показывает характеристики процесса, по которым Вы принимаете решение.
Вот пример: https://cloud.mail.ru/public/9suk/FJREMT3K1

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение29.10.2018, 21:23 


31/01/12
18
Генетические алгоритмы в определенных ситуациях, работают намного быстрее нейросетей.

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение29.10.2018, 23:26 
Аватара пользователя


01/12/11

8634
binom в сообщении #1350096 писал(а):
Генетические алгоритмы в определенных ситуациях, работают намного быстрее нейросетей.

А можно узнать, в каких именно ситуациях? И насколько быстрее?

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение30.10.2018, 00:42 


10/03/16
3860
Aeroport
Ktina в сообщении #1350114 писал(а):
А можно узнать


Запросто )

Ktina в сообщении #1350114 писал(а):
в каких именно ситуациях?


1. Если стартовая популяция содержит миллионы особей. 2. Если в вашем распоряжении есть кластер видеокарт. 3. Если у погромиста прямые руки и он распараллелил эволюционный алгоритм с коэффициентом, близким к максимальному.

Вот представьте себе, что у вас нет ничего кроме стандартного рабочего инструмента нормального человека :-) -- ультрабука за ~ $2000 c интегрированной видяхой, и всё что есть вы запускаете на нем и только на нем. Тогда нейросеть - это элитный спецназовец Моссада со Steyr AUG (надеюсь винтовку правильно назвал?), а GA - фанатичный ИГИЛОвец (запрещён в России (уупс, зачем я это снова написал?)) с кухонным ножом. Кто кого переплюнет -- без вопросов. Теперь начинаем их обоих клонировать -- миллиард солдат и миллиард фанатиков. Миллиардом солдат командовать проблематично, тогда как миллиард фанатиков забросают любого противника собственным мясом.

Ktina в сообщении #1350114 писал(а):
И насколько быстрее?

Настолько, насколько хватит денег на погромиста и кластер. То есть реально очень-очень намного. Конкретные числа писать не буду, боюсь ошибиться, CUDA не мой конёк.

Пока что не мой конёк

 Профиль  
                  
 
 Re: Генетический алгоритм обучается быстрее, чем нейронная сеть?
Сообщение30.10.2018, 01:30 
Аватара пользователя


01/12/11

8634
ozheredov
Большое спасибо за вдохновляющий ответ!

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 30 ]  На страницу Пред.  1, 2

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group