2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8  След.
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 04:09 


10/03/16
4444
Aeroport
Andrey_Kireew

То есть dL это особые методы подстройки весов в глубоко расположенных СЛОЯХ (вставил слово) многослойных сетях прямого распространения, для которых backprop не работает, правильно?

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 04:14 


07/10/15

2400
Теперь понятно. Насколько я знаю метод обратного распространения, с некоторыми доработками, в них как раз и используется. Чем "глубже" сеть тем медленнее и труднее она обучается. Но это не суть DeepLearning, это просто технические аспекты.

Между тем, давно известно, что и двухслойная сеть способна аппроксимировать произвольную многомерную решающую функцию. Обучаются такие сети, как так же всем давно известно, намного эффективнее и быстрее многослойных.

Вы вот как специалист поясните, зачем тогда такие усложнения, ведь не просто же так на них сознательно идут? какая выгода от этого?

-- 17.06.2018, 05:46 --

... а в ответ тишина. Ладно, пока посплю, может поутру ответ уже будет найден (советую почитать в википедии, там много всего написано полезного)

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 05:58 


10/03/16
4444
Aeroport
Andrey_Kireew

От слоя к слою происходит отбраковка размерностей, что обуславливает устойчивость к шуму. Ваш двухслойный перцептрон аппроксимирует всё что угодно — это теорема, но любое отклонение в данных его разнесёт. Поэтому нужно дофига слоёв, самый глубокий из которых при backprop не обучается вообще (учитывая ограниченный объём обучающих данных).

Диванософское объяснение: знания человека или животного всегда строго иерархичны. Чтобы узнать человека в толпе, я соответствующем образом подготовлен: я знаю, что он ходит по земле, а не летает (я знаю куда смотреть), выделяется на окружающем фоне, имеет вытянутую форму. То есть вначале я заготавливаю для себя объект узнавания, ориентируясь на малое число признаков, среди которых НЕТ подробностей того, как выглядит мой знакомый, а потом начинаю детектить лица, и на последнем этапе — черты.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 11:06 


07/10/15

2400
ozheredov ну можно так сказать - хотя это и опосредовано.
То что вы описываете - это сокращение размерности пространства описаний. Выполняется оно на этапе предобучения сети. На этом этапе, действительно, последний, самый глубокий слой не затрагивается, но не потому, что это технически сложно, а потому, что этот слой нужно обучать "с учителем" если пользоваться терминологией нейросетей.

Объяснять это можно как угодно, хоть устранением шума, хоть привлечением априорной информации - всё это не самоцель, но на самом деле здесь решается конкретная проблемма - инициализация весов сети. Звучит может не так красиво но в этом всё дело. Просто удалось найти более или менее адекватный способ инициализации весов многослойного перцептрона, путём раздельного последовательного обучения разных слоёв (обычно внутренние слои обучаются без учителя, а последний - с учителем).

И про двухслойную сеть Вы не правы, если её правильно инициализировать - ничего не разнесёт, она точно так же обучится, и при том гораздо быстрее. Просто неизвестен общий способ инициализации таких сетей. В этом всё и дело. И совсем не значит, что таких способов не может быть в принципе. Так что DeepLearning это не метод, в лучшем случае методика - удачное сочетание уже известных методов.

PS: и нужно различать пред обучение и собственно обучение (tuning) глубокой сети. На этапе тюнинга (а это название очень удачное на мой взгляд название) все слои равноправны и обучаются с помощью одного и того же алгоритма, и процесс этот почти не отличается от обучения обычной нейросети.

Беда то вся в том, что tuning только улучшает уже существующее решение. Причём исходное решение должно быть уже достаточно хорошим, чтобы алгоритм не "застрял" в ложном локальном экстремуме. И, судя по работам Hinton, настолько хорошим, что оно уже в исходном виде пригодно для использования и без какого либо дополнительного тюнинга. А улучшение от тюнинга хоть и есть - но оно не такое существенное как хотелось бы, если не сказать больше. Вот Вам вся суть DeepLearning.

Так что закончу я тем с чего и начинал, значение DeepLearning очень сильно преувеличено, и это просто очередной хайп.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 12:20 
Заслуженный участник
Аватара пользователя


30/01/06
72407
Andrey_Kireew в сообщении #1320494 писал(а):
Это каких же методов не было, которые вдруг появились? Вы уж приведите хоть один пример?

Я привёл, вы проигнорировали. Пора мне игнорировать вас.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 12:42 


07/10/15

2400
Munin я конечно извиняюсь, если чего то не заметил, но сейчас прочитал всю ветку по новой, и кажется, кроме как метод обратного распространения ошибки, Вы ничего не приводили. Ну а если Вы речь ведёте про него, то впервые он появился в 1974 году, о чём свидетельствует всё та же википедия. В 1986 году его уже во всю пользовал сам Хинтон. Так, что никак не тянет он на что то недавно появившееся, и что то кардинально изменившее.

И вовсе я Вас не игнорировал, и прокомментировал Ваше сообщение:
Andrey_Kireew в сообщении #1320489 писал(а):
ozheredov
-- 17.06.2018, 03:52 --
Вроде когда появился back error propagation термина DeepLearning не было как такового, или я что то путаю?
-- 17.06.2018, 03:54 --
Или вы отождествляете back error propagation и DeepLearning?


если Вы о чём то ещё, то пожалуйста сообщите об этом

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 13:00 
Заслуженный участник
Аватара пользователя


30/01/06
72407
Andrey_Kireew в сообщении #1320547 писал(а):
впервые он появился в 1974 году

Угу, и тогда же был построен искусственный интеллект и AlphaGo. В 1980 был построен коммунизм, а в 2000 каждая семья получила отдельную квартиру.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 13:31 


07/10/15

2400
Munin в сообщении #1320490 писал(а):
Мощности многие годы были, а вот конкретных методов не было, а как только они появились, так и очень скоро (в течение нескольких лет) был получен результат. В общем, как ни выдавай вы желаемое за действительное, факты остаются фактами.


Мне кажется Вы противоречите сами себе (сравните предыдущее своё сообщение и это, 1987-2017 это несколько лет по Вашему? мне раньше казалось, что 30 лет это целое поколение ... И какие же это такие мощности были в те времена? 8-битные CPU? носители на магнитной ленте, или на перфокартах?), и сему есть только одна причина. Последнее предложение цитируемого мной сообщение попало точно в цель - да не в ту.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 17:27 


20/09/09
2039
Уфа
Rasool в сообщении #1320419 писал(а):
Munin в сообщении #1306763 писал(а):
Сама DS - нет, конечно.

А какого мнения уважаемые присутствующие о Deep Learning - это простой хайп или же восходящий тренд?

Просто я хочу определиться с тем, чем можно заняться в ближайшие годы, то есть, что стоит читать и учить. А заняться хотелось бы чем-нибудь интересным и перспективным, то есть востребованным в будущем.
Вот, сейчас размышляю о Data Science, машинном обучении и нейронных сетях глубокого обучения.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 19:09 


07/10/15

2400
Rasool как совет, тут лучше чтобы был проблемно ориентированный подход, взять конкретную задачу и на ней всё пробовать и изучать. Ну уж в крайнем случае можно прогнозированием временных рядов заняться, многих это по началу очень захватывает, правда не на долго ... По крайней мере методы Data Science вы на них опробовать и изучить сможете точно. Вообще Data Science это чрезвычайно общая область, нужно конкретизировать область своих интересов. В каждой конкретной области своя специфика, в распознавании изображений одно, в распознавании речи - совсем другое и т.д. Всё это изучить до такой степени, чтобы что стало реально работать - на мой взгляд нельзя и за всю жизнь.

Ну вот к примеру тот же Hinton, он работал над RBM 30 лет, прежде чем получилось что то действительно стоящее. Вот Вам и сроки, на которые можно ориентироваться. И таких как он немного, в большинстве случаев бывает так - занимается всю жизнь человек, а у него так ничего толком и не получилось ...

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 19:30 


10/03/16
4444
Aeroport
Andrey_Kireew в сообщении #1320531 писал(а):
На этапе тюнинга (а это название очень удачное на мой взгляд название) все слои равноправны и обучаются с помощью одного и того же алгоритма, и процесс этот почти не отличается от обучения обычной нейросети.


И модуль приращения весов первого слоя по порядку величины равен модулю приращени весов последнего (у нас щас будут все слои одного размера для простоты). Так?

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 21:27 


07/10/15

2400
Я сейчас только понял к чему Вы клоните, и у меня возникли очень серьёзные подозрения.
Значит утверждаете
ozheredov в сообщении #1320503 писал(а):
... самый глубокий из которых при backprop не обучается вообще (учитывая ограниченный объём обучающих данных).


Просветите, какие же методы используются для обучения "самого глубокого" слоя, и почему "backprop" вообще не используется?
Обоснуйте так же своё утверждение в плане того, как ограниченный объём обучающих данных на возможность или невозможность использования "backprop" для обучения последнего слоя нейросети, пусть даже и "глубокой"?
Сообщите, может ли двухслойный перцептрон при определённых условиях стать "глубокой сетью"?

Пожалуйста не используйте вульгарный слэнг и эти "диванософские" объяснения, придерживайтесь академического стиля - уверяю, люди здесь "в теме", Вас поймут.

P.S: Вопросы заданы заданы чтобы выяснить, действительно ли Вы разбираетесь в том, о чём пишете.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 22:48 


20/09/09
2039
Уфа
Andrey_Kireew в сообщении #1320632 писал(а):
Ну вот к примеру тот же Hinton, он работал над RBM 30 лет, прежде чем получилось что то действительно стоящее. Вот Вам и сроки, на которые можно ориентироваться. И таких как он немного, в большинстве случаев бывает так - занимается всю жизнь человек, а у него так ничего толком и не получилось ...

Просто сейчас наблюдается взрывной интерес к области так называемого "искусственного интеллекта", новости следуют одна за другой. Тут как бы стремишься вскочить на подножки вагонов уходящего поезда.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение17.06.2018, 23:32 


07/10/15

2400
Rasool я Вас прекрасно понимаю. Так и есть, но и Вы наверное понимаете, этот ажиотаж быстро спадёт и по ТВ начнут муссировать что то ещё. Что же теперь так и бросаться из огня да полымя? Позиция догоняющего невыгодна, потому что это всегда позиция отстающего.

 Профиль  
                  
 
 Re: Как стать data scientist ?
Сообщение18.06.2018, 00:26 


10/03/16
4444
Aeroport
Andrey_Kireew в сообщении #1320661 писал(а):
P.S: Вопросы заданы заданы чтобы выяснить, действительно ли Вы разбираетесь в том, о чём пишете.


Хорошо. Только небольшая просьба: замотивируйте меня позязя <тут должна быть фота рыжего котёнка с полными мольбы большими зелёными глазами>. Например, вы рассматриваете моё трудоустройство в вашей компании, где мне будут платить больше чем я получаю сейчас. Или вручите мне диплом «Настоящему Датасайентисту (даже нет, лучше Датасайентологу)», о котором я давно и безнадёжно мечтаю. Ну ладно, на худой конец угостите вкусной шоколадкой. Ок?

-- 18.06.2018, 00:31 --

Rasool в сообщении #1320678 писал(а):
Тут как бы стремишься вскочить на подножки вагонов уходящего поезда.


Если вам это интересно само по себе, то спокойно занимайтесь, и оно получится. Сами разберётесь, что хайп, а что нет. Если же вам просто обидно, что без вас может уйти снизу доверху гружённый ништяками поезд, то лучше не надо.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 110 ]  На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8  След.

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group