2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8  След.
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 04:09 


10/03/16
4444
Aeroport
Andrey_Kireew

То есть dL это особые методы подстройки весов в глубоко расположенных СЛОЯХ (вставил слово) многослойных сетях прямого распространения, для которых backprop не работает, правильно?

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 04:14 


07/10/15

2400
Теперь понятно. Насколько я знаю метод обратного распространения, с некоторыми доработками, в них как раз и используется. Чем "глубже" сеть тем медленнее и труднее она обучается. Но это не суть DeepLearning, это просто технические аспекты.

Между тем, давно известно, что и двухслойная сеть способна аппроксимировать произвольную многомерную решающую функцию. Обучаются такие сети, как так же всем давно известно, намного эффективнее и быстрее многослойных.

Вы вот как специалист поясните, зачем тогда такие усложнения, ведь не просто же так на них сознательно идут? какая выгода от этого?

-- 17.06.2018, 05:46 --

... а в ответ тишина. Ладно, пока посплю, может поутру ответ уже будет найден (советую почитать в википедии, там много всего написано полезного)

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 05:58 


10/03/16
4444
Aeroport
Andrey_Kireew

От слоя к слою происходит отбраковка размерностей, что обуславливает устойчивость к шуму. Ваш двухслойный перцептрон аппроксимирует всё что угодно — это теорема, но любое отклонение в данных его разнесёт. Поэтому нужно дофига слоёв, самый глубокий из которых при backprop не обучается вообще (учитывая ограниченный объём обучающих данных).

Диванософское объяснение: знания человека или животного всегда строго иерархичны. Чтобы узнать человека в толпе, я соответствующем образом подготовлен: я знаю, что он ходит по земле, а не летает (я знаю куда смотреть), выделяется на окружающем фоне, имеет вытянутую форму. То есть вначале я заготавливаю для себя объект узнавания, ориентируясь на малое число признаков, среди которых НЕТ подробностей того, как выглядит мой знакомый, а потом начинаю детектить лица, и на последнем этапе — черты.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 11:06 


07/10/15

2400
ozheredov ну можно так сказать - хотя это и опосредовано.
То что вы описываете - это сокращение размерности пространства описаний. Выполняется оно на этапе предобучения сети. На этом этапе, действительно, последний, самый глубокий слой не затрагивается, но не потому, что это технически сложно, а потому, что этот слой нужно обучать "с учителем" если пользоваться терминологией нейросетей.

Объяснять это можно как угодно, хоть устранением шума, хоть привлечением априорной информации - всё это не самоцель, но на самом деле здесь решается конкретная проблемма - инициализация весов сети. Звучит может не так красиво но в этом всё дело. Просто удалось найти более или менее адекватный способ инициализации весов многослойного перцептрона, путём раздельного последовательного обучения разных слоёв (обычно внутренние слои обучаются без учителя, а последний - с учителем).

И про двухслойную сеть Вы не правы, если её правильно инициализировать - ничего не разнесёт, она точно так же обучится, и при том гораздо быстрее. Просто неизвестен общий способ инициализации таких сетей. В этом всё и дело. И совсем не значит, что таких способов не может быть в принципе. Так что DeepLearning это не метод, в лучшем случае методика - удачное сочетание уже известных методов.

PS: и нужно различать пред обучение и собственно обучение (tuning) глубокой сети. На этапе тюнинга (а это название очень удачное на мой взгляд название) все слои равноправны и обучаются с помощью одного и того же алгоритма, и процесс этот почти не отличается от обучения обычной нейросети.

Беда то вся в том, что tuning только улучшает уже существующее решение. Причём исходное решение должно быть уже достаточно хорошим, чтобы алгоритм не "застрял" в ложном локальном экстремуме. И, судя по работам Hinton, настолько хорошим, что оно уже в исходном виде пригодно для использования и без какого либо дополнительного тюнинга. А улучшение от тюнинга хоть и есть - но оно не такое существенное как хотелось бы, если не сказать больше. Вот Вам вся суть DeepLearning.

Так что закончу я тем с чего и начинал, значение DeepLearning очень сильно преувеличено, и это просто очередной хайп.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 12:20 
Заслуженный участник
Аватара пользователя


30/01/06
72407
Andrey_Kireew в сообщении #1320494 писал(а):
Это каких же методов не было, которые вдруг появились? Вы уж приведите хоть один пример?

Я привёл, вы проигнорировали. Пора мне игнорировать вас.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 12:42 


07/10/15

2400
Munin я конечно извиняюсь, если чего то не заметил, но сейчас прочитал всю ветку по новой, и кажется, кроме как метод обратного распространения ошибки, Вы ничего не приводили. Ну а если Вы речь ведёте про него, то впервые он появился в 1974 году, о чём свидетельствует всё та же википедия. В 1986 году его уже во всю пользовал сам Хинтон. Так, что никак не тянет он на что то недавно появившееся, и что то кардинально изменившее.

И вовсе я Вас не игнорировал, и прокомментировал Ваше сообщение:
Andrey_Kireew в сообщении #1320489 писал(а):
ozheredov
-- 17.06.2018, 03:52 --
Вроде когда появился back error propagation термина DeepLearning не было как такового, или я что то путаю?
-- 17.06.2018, 03:54 --
Или вы отождествляете back error propagation и DeepLearning?


если Вы о чём то ещё, то пожалуйста сообщите об этом

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 13:00 
Заслуженный участник
Аватара пользователя


30/01/06
72407
Andrey_Kireew в сообщении #1320547 писал(а):
впервые он появился в 1974 году

Угу, и тогда же был построен искусственный интеллект и AlphaGo. В 1980 был построен коммунизм, а в 2000 каждая семья получила отдельную квартиру.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 13:31 


07/10/15

2400
Munin в сообщении #1320490 писал(а):
Мощности многие годы были, а вот конкретных методов не было, а как только они появились, так и очень скоро (в течение нескольких лет) был получен результат. В общем, как ни выдавай вы желаемое за действительное, факты остаются фактами.


Мне кажется Вы противоречите сами себе (сравните предыдущее своё сообщение и это, 1987-2017 это несколько лет по Вашему? мне раньше казалось, что 30 лет это целое поколение ... И какие же это такие мощности были в те времена? 8-битные CPU? носители на магнитной ленте, или на перфокартах?), и сему есть только одна причина. Последнее предложение цитируемого мной сообщение попало точно в цель - да не в ту.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 17:27 


20/09/09
2039
Уфа
Rasool в сообщении #1320419 писал(а):
Munin в сообщении #1306763 писал(а):
Сама DS - нет, конечно.

А какого мнения уважаемые присутствующие о Deep Learning - это простой хайп или же восходящий тренд?

Просто я хочу определиться с тем, чем можно заняться в ближайшие годы, то есть, что стоит читать и учить. А заняться хотелось бы чем-нибудь интересным и перспективным, то есть востребованным в будущем.
Вот, сейчас размышляю о Data Science, машинном обучении и нейронных сетях глубокого обучения.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 19:09 


07/10/15

2400
Rasool как совет, тут лучше чтобы был проблемно ориентированный подход, взять конкретную задачу и на ней всё пробовать и изучать. Ну уж в крайнем случае можно прогнозированием временных рядов заняться, многих это по началу очень захватывает, правда не на долго ... По крайней мере методы Data Science вы на них опробовать и изучить сможете точно. Вообще Data Science это чрезвычайно общая область, нужно конкретизировать область своих интересов. В каждой конкретной области своя специфика, в распознавании изображений одно, в распознавании речи - совсем другое и т.д. Всё это изучить до такой степени, чтобы что стало реально работать - на мой взгляд нельзя и за всю жизнь.

Ну вот к примеру тот же Hinton, он работал над RBM 30 лет, прежде чем получилось что то действительно стоящее. Вот Вам и сроки, на которые можно ориентироваться. И таких как он немного, в большинстве случаев бывает так - занимается всю жизнь человек, а у него так ничего толком и не получилось ...

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 19:30 


10/03/16
4444
Aeroport
Andrey_Kireew в сообщении #1320531 писал(а):
На этапе тюнинга (а это название очень удачное на мой взгляд название) все слои равноправны и обучаются с помощью одного и того же алгоритма, и процесс этот почти не отличается от обучения обычной нейросети.


И модуль приращения весов первого слоя по порядку величины равен модулю приращени весов последнего (у нас щас будут все слои одного размера для простоты). Так?

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 21:27 


07/10/15

2400
Я сейчас только понял к чему Вы клоните, и у меня возникли очень серьёзные подозрения.
Значит утверждаете
ozheredov в сообщении #1320503 писал(а):
... самый глубокий из которых при backprop не обучается вообще (учитывая ограниченный объём обучающих данных).


Просветите, какие же методы используются для обучения "самого глубокого" слоя, и почему "backprop" вообще не используется?
Обоснуйте так же своё утверждение в плане того, как ограниченный объём обучающих данных на возможность или невозможность использования "backprop" для обучения последнего слоя нейросети, пусть даже и "глубокой"?
Сообщите, может ли двухслойный перцептрон при определённых условиях стать "глубокой сетью"?

Пожалуйста не используйте вульгарный слэнг и эти "диванософские" объяснения, придерживайтесь академического стиля - уверяю, люди здесь "в теме", Вас поймут.

P.S: Вопросы заданы заданы чтобы выяснить, действительно ли Вы разбираетесь в том, о чём пишете.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 22:48 


20/09/09
2039
Уфа
Andrey_Kireew в сообщении #1320632 писал(а):
Ну вот к примеру тот же Hinton, он работал над RBM 30 лет, прежде чем получилось что то действительно стоящее. Вот Вам и сроки, на которые можно ориентироваться. И таких как он немного, в большинстве случаев бывает так - занимается всю жизнь человек, а у него так ничего толком и не получилось ...

Просто сейчас наблюдается взрывной интерес к области так называемого "искусственного интеллекта", новости следуют одна за другой. Тут как бы стремишься вскочить на подножки вагонов уходящего поезда.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 23:32 


07/10/15

2400
Rasool я Вас прекрасно понимаю. Так и есть, но и Вы наверное понимаете, этот ажиотаж быстро спадёт и по ТВ начнут муссировать что то ещё. Что же теперь так и бросаться из огня да полымя? Позиция догоняющего невыгодна, потому что это всегда позиция отстающего.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение18.06.2018, 00:26 


10/03/16
4444
Aeroport
Andrey_Kireew в сообщении #1320661 писал(а):
P.S: Вопросы заданы заданы чтобы выяснить, действительно ли Вы разбираетесь в том, о чём пишете.


Хорошо. Только небольшая просьба: замотивируйте меня позязя <тут должна быть фота рыжего котёнка с полными мольбы большими зелёными глазами>. Например, вы рассматриваете моё трудоустройство в вашей компании, где мне будут платить больше чем я получаю сейчас. Или вручите мне диплом «Настоящему Датасайентисту (даже нет, лучше Датасайентологу)», о котором я давно и безнадёжно мечтаю. Ну ладно, на худой конец угостите вкусной шоколадкой. Ок?

-- 18.06.2018, 00:31 --

Rasool в сообщении #1320678 писал(а):
Тут как бы стремишься вскочить на подножки вагонов уходящего поезда.


Если вам это интересно само по себе, то спокойно занимайтесь, и оно получится. Сами разберётесь, что хайп, а что нет. Если же вам просто обидно, что без вас может уйти снизу доверху гружённый ништяками поезд, то лучше не надо.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 110 ]  На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8  След.

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: schekn


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group