Как стать data scientist ?

[ozheredov]

Andrey_Kireew

То есть dL это особые методы подстройки весов в глубоко расположенных СЛОЯХ (вставил слово) многослойных сетях прямого распространения, для которых backprop не работает, правильно?

[Andrey_Kireew]

Теперь понятно. Насколько я знаю метод обратного распространения, с некоторыми доработками, в них как раз и используется. Чем "глубже" сеть тем медленнее и труднее она обучается. Но это не суть DeepLearning, это просто технические аспекты.

Между тем, давно известно, что и двухслойная сеть способна аппроксимировать произвольную многомерную решающую функцию. Обучаются такие сети, как так же всем давно известно, намного эффективнее и быстрее многослойных.

Вы вот как специалист поясните, зачем тогда такие усложнения, ведь не просто же так на них сознательно идут? какая выгода от этого?

-- 17.06.2018, 05:46 --

... а в ответ тишина. Ладно, пока посплю, может поутру ответ уже будет найден (советую почитать в википедии, там много всего написано полезного)

[ozheredov]

Andrey_Kireew

От слоя к слою происходит отбраковка размерностей, что обуславливает устойчивость к шуму. Ваш двухслойный перцептрон аппроксимирует всё что угодно — это теорема, но любое отклонение в данных его разнесёт. Поэтому нужно дофига слоёв, самый глубокий из которых при backprop не обучается вообще (учитывая ограниченный объём обучающих данных).

Диванософское объяснение: знания человека или животного всегда строго иерархичны. Чтобы узнать человека в толпе, я соответствующем образом подготовлен: я знаю, что он ходит по земле, а не летает (я знаю куда смотреть), выделяется на окружающем фоне, имеет вытянутую форму. То есть вначале я заготавливаю для себя объект узнавания, ориентируясь на малое число признаков, среди которых НЕТ подробностей того, как выглядит мой знакомый, а потом начинаю детектить лица, и на последнем этапе — черты.

[Andrey_Kireew]

ozheredov ну можно так сказать - хотя это и опосредовано.
То что вы описываете - это сокращение размерности пространства описаний. Выполняется оно на этапе предобучения сети. На этом этапе, действительно, последний, самый глубокий слой не затрагивается, но не потому, что это технически сложно, а потому, что этот слой нужно обучать "с учителем" если пользоваться терминологией нейросетей.

Объяснять это можно как угодно, хоть устранением шума, хоть привлечением априорной информации - всё это не самоцель, но на самом деле здесь решается конкретная проблемма - инициализация весов сети. Звучит может не так красиво но в этом всё дело. Просто удалось найти более или менее адекватный способ инициализации весов многослойного перцептрона, путём раздельного последовательного обучения разных слоёв (обычно внутренние слои обучаются без учителя, а последний - с учителем).

И про двухслойную сеть Вы не правы, если её правильно инициализировать - ничего не разнесёт, она точно так же обучится, и при том гораздо быстрее. Просто неизвестен общий способ инициализации таких сетей. В этом всё и дело. И совсем не значит, что таких способов не может быть в принципе. Так что DeepLearning это не метод, в лучшем случае методика - удачное сочетание уже известных методов.

PS: и нужно различать пред обучение и собственно обучение (tuning) глубокой сети. На этапе тюнинга (а это название очень удачное на мой взгляд название) все слои равноправны и обучаются с помощью одного и того же алгоритма, и процесс этот почти не отличается от обучения обычной нейросети.

Беда то вся в том, что tuning только улучшает уже существующее решение. Причём исходное решение должно быть уже достаточно хорошим, чтобы алгоритм не "застрял" в ложном локальном экстремуме. И, судя по работам Hinton, настолько хорошим, что оно уже в исходном виде пригодно для использования и без какого либо дополнительного тюнинга. А улучшение от тюнинга хоть и есть - но оно не такое существенное как хотелось бы, если не сказать больше. Вот Вам вся суть DeepLearning.

Так что закончу я тем с чего и начинал, значение DeepLearning очень сильно преувеличено, и это просто очередной хайп.

[Munin]

Andrey_Kireew в сообщении #1320494 писал(а):

Это каких же методов не было, которые вдруг появились? Вы уж приведите хоть один пример?

Я привёл, вы проигнорировали. Пора мне игнорировать вас.

[Andrey_Kireew]

Munin я конечно извиняюсь, если чего то не заметил, но сейчас прочитал всю ветку по новой, и кажется, кроме как метод обратного распространения ошибки, Вы ничего не приводили. Ну а если Вы речь ведёте про него, то впервые он появился в 1974 году, о чём свидетельствует всё та же википедия. В 1986 году его уже во всю пользовал сам Хинтон. Так, что никак не тянет он на что то недавно появившееся, и что то кардинально изменившее.

И вовсе я Вас не игнорировал, и прокомментировал Ваше сообщение:

Andrey_Kireew в сообщении #1320489 писал(а):

ozheredov
-- 17.06.2018, 03:52 --
Вроде когда появился back error propagation термина DeepLearning не было как такового, или я что то путаю?
-- 17.06.2018, 03:54 --
Или вы отождествляете back error propagation и DeepLearning?

если Вы о чём то ещё, то пожалуйста сообщите об этом

[Munin]

Andrey_Kireew в сообщении #1320547 писал(а):

впервые он появился в 1974 году

Угу, и тогда же был построен искусственный интеллект и AlphaGo. В 1980 был построен коммунизм, а в 2000 каждая семья получила отдельную квартиру.

[Andrey_Kireew]

Munin в сообщении #1320490 писал(а):

Мощности многие годы были, а вот конкретных методов не было, а как только они появились, так и очень скоро (в течение нескольких лет) был получен результат. В общем, как ни выдавай вы желаемое за действительное, факты остаются фактами.

Мне кажется Вы противоречите сами себе (сравните предыдущее своё сообщение и это, 1987-2017 это несколько лет по Вашему? мне раньше казалось, что 30 лет это целое поколение ... И какие же это такие мощности были в те времена? 8-битные CPU? носители на магнитной ленте, или на перфокартах?), и сему есть только одна причина. Последнее предложение цитируемого мной сообщение попало точно в цель - да не в ту.

[Rasool]

Rasool в сообщении #1320419 писал(а):

Munin в сообщении #1306763 писал(а):

Сама DS - нет, конечно.

А какого мнения уважаемые присутствующие о Deep Learning - это простой хайп или же восходящий тренд?

Просто я хочу определиться с тем, чем можно заняться в ближайшие годы, то есть, что стоит читать и учить. А заняться хотелось бы чем-нибудь интересным и перспективным, то есть востребованным в будущем.
Вот, сейчас размышляю о Data Science, машинном обучении и нейронных сетях глубокого обучения.

[Andrey_Kireew]

Rasool как совет, тут лучше чтобы был проблемно ориентированный подход, взять конкретную задачу и на ней всё пробовать и изучать. Ну уж в крайнем случае можно прогнозированием временных рядов заняться, многих это по началу очень захватывает, правда не на долго ... По крайней мере методы Data Science вы на них опробовать и изучить сможете точно. Вообще Data Science это чрезвычайно общая область, нужно конкретизировать область своих интересов. В каждой конкретной области своя специфика, в распознавании изображений одно, в распознавании речи - совсем другое и т.д. Всё это изучить до такой степени, чтобы что стало реально работать - на мой взгляд нельзя и за всю жизнь.

Ну вот к примеру тот же Hinton, он работал над RBM 30 лет, прежде чем получилось что то действительно стоящее. Вот Вам и сроки, на которые можно ориентироваться. И таких как он немного, в большинстве случаев бывает так - занимается всю жизнь человек, а у него так ничего толком и не получилось ...

[ozheredov]

Andrey_Kireew в сообщении #1320531 писал(а):

На этапе тюнинга (а это название очень удачное на мой взгляд название) все слои равноправны и обучаются с помощью одного и того же алгоритма, и процесс этот почти не отличается от обучения обычной нейросети.

И модуль приращения весов первого слоя по порядку величины равен модулю приращени весов последнего (у нас щас будут все слои одного размера для простоты). Так?

[Andrey_Kireew]

Я сейчас только понял к чему Вы клоните, и у меня возникли очень серьёзные подозрения.
Значит утверждаете

ozheredov в сообщении #1320503 писал(а):

... самый глубокий из которых при backprop не обучается вообще (учитывая ограниченный объём обучающих данных).

Просветите, какие же методы используются для обучения "самого глубокого" слоя, и почему "backprop" вообще не используется?
Обоснуйте так же своё утверждение в плане того, как ограниченный объём обучающих данных на возможность или невозможность использования "backprop" для обучения последнего слоя нейросети, пусть даже и "глубокой"?
Сообщите, может ли двухслойный перцептрон при определённых условиях стать "глубокой сетью"?

Пожалуйста не используйте вульгарный слэнг и эти "диванософские" объяснения, придерживайтесь академического стиля - уверяю, люди здесь "в теме", Вас поймут.

P.S: Вопросы заданы заданы чтобы выяснить, действительно ли Вы разбираетесь в том, о чём пишете.

[Rasool]

Andrey_Kireew в сообщении #1320632 писал(а):

Ну вот к примеру тот же Hinton, он работал над RBM 30 лет, прежде чем получилось что то действительно стоящее. Вот Вам и сроки, на которые можно ориентироваться. И таких как он немного, в большинстве случаев бывает так - занимается всю жизнь человек, а у него так ничего толком и не получилось ...

Просто сейчас наблюдается взрывной интерес к области так называемого "искусственного интеллекта", новости следуют одна за другой. Тут как бы стремишься вскочить на подножки вагонов уходящего поезда.

[Andrey_Kireew]

Rasool я Вас прекрасно понимаю. Так и есть, но и Вы наверное понимаете, этот ажиотаж быстро спадёт и по ТВ начнут муссировать что то ещё. Что же теперь так и бросаться из огня да полымя? Позиция догоняющего невыгодна, потому что это всегда позиция отстающего.

[ozheredov]

Andrey_Kireew в сообщении #1320661 писал(а):

P.S: Вопросы заданы заданы чтобы выяснить, действительно ли Вы разбираетесь в том, о чём пишете.

Хорошо. Только небольшая просьба: замотивируйте меня позязя <тут должна быть фота рыжего котёнка с полными мольбы большими зелёными глазами>. Например, вы рассматриваете моё трудоустройство в вашей компании, где мне будут платить больше чем я получаю сейчас. Или вручите мне диплом «Настоящему Датасайентисту (даже нет, лучше Датасайентологу)», о котором я давно и безнадёжно мечтаю. Ну ладно, на худой конец угостите вкусной шоколадкой. Ок?

-- 18.06.2018, 00:31 --

Rasool в сообщении #1320678 писал(а):

Тут как бы стремишься вскочить на подножки вагонов уходящего поезда.

Если вам это интересно само по себе, то спокойно занимайтесь, и оно получится. Сами разберётесь, что хайп, а что нет. Если же вам просто обидно, что без вас может уйти снизу доверху гружённый ништяками поезд, то лучше не надо.