2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 с чем не могут в принципе справиться нейросети?
Сообщение16.12.2012, 02:13 


15/01/12
196
Интересуют:

простые задачи (например, есть 2 класса: один описывается векторами на кривой $y=x^2$, а второй -- векторами $y=2x^2$, сам не знаю, может ли нейросеть такие классы отличать друг от друга, если на вход подаются только x и y, но ни в коем случае не подаются степени x и y, а сами x и y могут иметь любое значение (т.е. созданием трафарета в ограниченной области не обойдёшься)).

сложные задачи, которы в принципе нельзя ими решить (среди сложных задач можно выделить те, которые решаются тяжело типа распознавания сложных изображений, они не так сильно интересуют, большой интерес представляют именно те, которые ими никак не решишь).

Приведите примеры, если кто знает.

Кроме того, есть ещё один вопрос: насколько я знаю, люди пишут дисеры по теме нейросетей. Исходя из ммоих небольших познаний, они отличаются друг от друга алгоритмами обучения, функцией нейрона (сигмоид, радиальная и т.д.), наличием петель, а также числом слоёв и числом нейронов в каждом слое. Чем нибудь ещё они отличаются? И если нет, то верно ли утверждение, что все исследования, за которые дают степени (кандидатские, докторские), связаны только с нахождением нужной нейросети к какой-либо задаче?

 i  Deggial: я формулы поправил. Просто обрамляйте их долларами, тег math проставится автоматом

 Профиль  
                  
 
 Posted automatically
Сообщение16.12.2012, 11:52 
Админ форума
Аватара пользователя


19/03/10
8952
 i  Тема перемещена из форума «Математика (общие вопросы)» в форум «Computer Science»

 Профиль  
                  
 
 Re: с чем не могут в принципе справиться нейросети?
Сообщение16.12.2012, 22:08 
Аватара пользователя


20/12/08
236
изниоткуда

(Оффтоп)

Цитата:
с чем не могут в принципе справиться нейросети?

Например, с задачей приготовить еду или сбегать за пивом... но я надеюсь это временно! :D


-- Вс дек 16, 2012 23:12:48 --

Igor_Dmitriev в сообщении #658962 писал(а):
Кроме того, есть ещё один вопрос: насколько я знаю, люди пишут дисеры по теме нейросетей. Исходя из ммоих небольших познаний, они отличаются друг от друга алгоритмами обучения, функцией нейрона (сигмоид, радиальная и т.д.), наличием петель, а также числом слоёв и числом нейронов в каждом слое. Чем нибудь ещё они отличаются? И если нет, то верно ли утверждение, что все исследования, за которые дают степени (кандидатские, докторские), связаны только с нахождением нужной нейросети к какой-либо задаче?


В первую очередь разрабатываются архитектуры, а обучение и параметры настройки это уже вторично. Архитектуры и комбинации архитектур и других методов data mining - вполне достойый предмет новых разработок.

 Профиль  
                  
 
 Re: с чем не могут в принципе справиться нейросети?
Сообщение16.12.2012, 22:30 


15/01/12
196
Цитата:
обучение и параметры настройки это уже вторично

Правильно ли я Вас понял, что имеет значание именно число слоёв, число нейронов, а также наличие связей между нейронами и наличие петель?

Если понял правильно, то получается, что строение сети более значимо, нежели обучающая выборка, так? Тогда выходит, что при правильном построении сети она сама выпрямит и выберет интересующие нас векторы, даже если изначально мы присылали не совсем точные данные, благодаря продуманному построению сети она хорошо обучится на непредназначенных для этого данных и будет хорошо всё различать (при допущении, что это осуществиммая задача)?

 Профиль  
                  
 
 Re: с чем не могут в принципе справиться нейросети?
Сообщение16.12.2012, 22:39 
Аватара пользователя


20/12/08
236
изниоткуда
Как при коммунизме - все равны, но некоторые равнее, так и тут - все важно, но архитектура важнее. Вы, похоже, под нейросетями понимаете только перцептроноподобные сети (отсюда и вопросы про наличие слоев, пороговые функции...), и очень напрасно, т.к это уже позавчерашний век. Чтобы нормально погрузиться в тему, исключите из подробного рассмотрения перцептронподобные сети и изучите другие архитектуры.
А еще лучше почитайте книгу Хайкина "Нейронные сети. полный курс" - имхо лучшее руководство, к тому же доступно в сети в русском переводе.

И еще по теме. При всей мощности методов data mining, есть огромное множество разных задач, которые труднорешаемы или нерешаемы с и помощью. Очень часто, чтобы попасть в воробья, достаточно простой рогатки, и не нужно разворачивать крупнокалиберный пулемет ;)

 Профиль  
                  
 
 Re: с чем не могут в принципе справиться нейросети?
Сообщение17.12.2012, 01:25 


15/01/12
196
Цитата:
почитайте книгу Хайкина "Нейронные сети. полный курс" - имхо лучшее руководство, к тому же доступно в сети в русском переводе.

Там одна теория и не совсем удачно написано, на мой взгляд. Читать пытался, решил, что лучше в инете пошариться.

Цитата:
т.к это уже позавчерашний век

А что является сегодняшним днём?


Цитата:
И еще по теме. При всей мощности методов data mining, есть огромное множество разных задач, которые труднорешаемы или нерешаемы с и помощью. Очень часто, чтобы попасть в воробья, достаточно простой рогатки, и не нужно разворачивать крупнокалиберный пулемет ;)


Согласен, классификаторы, в частоности, нейросети, не всегда самый лучший способ. Но для общего развития решил усвоить и его.

 Профиль  
                  
 
 Re: с чем не могут в принципе справиться нейросети?
Сообщение17.12.2012, 06:42 
Аватара пользователя


31/10/08
1244
Что делает учёный? Он перебирает варианты и ищет лучшие. Это грубо сказано. Что касается петель, функций октивации - это уже отработано. Пробуют в основном другие архитектуры и другие способы обучения.
На данный момент результаты примерно одинаковые.
На одной книге советую не зацикливаться прочитал переходи к другой.

 Профиль  
                  
 
 Re: с чем не могут в принципе справиться нейросети?
Сообщение17.12.2012, 12:02 
Аватара пользователя


20/12/08
236
изниоткуда
Igor_Dmitriev в сообщении #659554 писал(а):
Там одна теория и не совсем удачно написано, на мой взгляд. Читать пытался, решил, что лучше в инете пошариться.

Да, это в первую очередь книга теоретическая, но теория там описана великолепно, с погружением в смежные области. По своем опыту могу судить, что без хорошего понимания теории практика с нейросетями больше напоминает шаманские пляски вокруг костра "а давайте сделаем так и посмотрим что будет". Если свободно читаете по-английски, то выбор литературы существенно расширяется. Например, хорошая книга Bishop'а "Neural Networks for Pattern Recognition", но это более узкий круг вопросов. Еще есть тематические журналы, где часто описываются эксперименты с последними разработками. Вот, например, хороший список журналов. На русском языке хорошей литературы нет, кроме вышеупомянутого Хайкина. Основные понятия все равно лучше изучать на роднм языке, так что я бы начал с Хайкина. Кстати, я его тоже не с первой попытки осилил.

Цитата:
т.к это уже позавчерашний век

А что является сегодняшним днём?
Ну например разработки на основе SVM, новые алгоритмы бустинга, вечноживой неокогнитрон и т.д. Зависит от решаемой задачи.

 Профиль  
                  
 
 Re: с чем не могут в принципе справиться нейросети?
Сообщение17.12.2012, 16:12 


15/01/12
196
Цитата:
Что касается петель, функций октивации - это уже отработано. Пробуют в основном другие архитектуры и другие способы обучения.


Т.е., надо в нужных местах связывать нейроны друг с другом, грубо говоря? И при хорошем связывании можно даже выборку для обучения плохую подать, всё равно хорошо обучится, если удачно нейроны связаны?

Цитата:
Ну например разработки на основе SVM, новые алгоритмы бустинга, вечноживой неокогнитрон и т.д. Зависит от решаемой задачи.


А чем они лучше обыкновенной (многослойной) нейронной сети? До сегодняшнего разговора мне казалось, что надо просто понимать, что мы ищем, потом найти нужные образцы, обучить на них сеть с достаточно большим числом нейронов и всё будет хорошо.

Например, мы пытаемся найти на фондовом рынке какую-то закономероность, примерно знаем её (закономероности) отличительные черты, обучаем нейросеть, затем просто смотрим на увеличивающийся кошелёк Смысл состоит в нахождении верного признака. Какая разница, как выглядит сеть, если мы нашли верный признак?

Или Вы говорите о тех случаях, когда незнание признака мы пытаемя возместить за счёт продуманного построения? Если об этом, то возможно ли оно вообще?

 Профиль  
                  
 
 Re: с чем не могут в принципе справиться нейросети?
Сообщение17.12.2012, 17:39 
Аватара пользователя


20/12/08
236
изниоткуда
Igor_Dmitriev в сообщении #659727 писал(а):
Т.е., надо в нужных местах связывать нейроны друг с другом, грубо говоря? И при хорошем связывании можно даже выборку для обучения плохую подать, всё равно хорошо обучится, если удачно нейроны связаны?


Решается ли задача и с какими допущениями, зависит от степени ее обусловленности (грубо говоря, полноты и непротиворечивости входных данных). Как известно, недостаток данных нельзя скомпенсировать никакой математической хитростью.

Цитата:
А чем они лучше обыкновенной (многослойной) нейронной сети?

Точнее говоря, многослойного перцептрона? Ну это примерно как мерседес и москвич, хотя оба могут ехать.
Если конкретнее, то перцептрон со скрытым слоем - частный случай машины опорных векторов (svm), страдающий серьезными серьезными ограничениями.

Цитата:
До сегодняшнего разговора мне казалось, что надо просто понимать, что мы ищем, потом найти нужные образцы, обучить на них сеть с достаточно большим числом нейронов и всё будет хорошо.

Ну вообще говоря так. На достаточных подготовленных данных и перцептрон отработает успешно. Правда, такие задачи редкость, на практике приходится работать с явно малым набором противоречивых данных. Поэтому и приходится изголяться, выдумывая разные схемы и комбинации алгоритмов.

Цитата:
Например, мы пытаемся найти на фондовом рынке какую-то закономероность, примерно знаем её (закономероности) отличительные черты, обучаем нейросеть, затем просто смотрим на увеличивающийся кошелёк Смысл состоит в нахождении верного признака. Какая разница, как выглядит сеть, если мы нашли верный признак?

А вот пример прогнозирования фондовых рынков - во-первых пример задачи с отвратительной обусловленностью, во-вторых, это в основном задача прогнозирования временных рядов, где перцептронподобные сети даже с обратными связями очень, очень слабы. Если бы такие общеизвестные технологии давали бы приемлемый результат, мы бы все озолотились, но к сожалению... (впрочем, скорее к счастью :D )

(Оффтоп)

Чтобы прогнозировать котировки валют и цены на нефть, имхо гораздо эффективнее взломать нужные сервера и получать соответствующую инсайдерскую информацию. Можно ли это сделать с применением нейросетей - не знаю:)

 Профиль  
                  
 
 Re: с чем не могут в принципе справиться нейросети?
Сообщение17.12.2012, 19:27 


15/01/12
196
Спасибо, почти на все вопросы получил ответы.

Цитата:
Решается ли задача и с какими допущениями, зависит от степени ее обусловленности (грубо говоря, полноты и непротиворечивости входных данных). Как известно, недостаток данных нельзя скомпенсировать никакой математической хитростью.

Получается, что порог качества данных всё же существует, но при удачно подобранном строении этот самый порог качества можно понизить?

Цитата:
Точнее говоря, многослойного перцептрона? Ну это примерно как мерседес и москвич, хотя оба могут ехать.
Если конкретнее, то перцептрон со скрытым слоем - частный случай машины опорных векторов (svm), страдающий серьезными серьезными ограничениями.

SVM -- это же всего лишь повышение размерности с попытками линейно разделить данные, так? Чем он настолько крут?

Цитата:
А вот пример прогнозирования фондовых рынков - во-первых пример задачи с отвратительной обусловленностью, во-вторых, это в основном задача прогнозирования временных рядов, где перцептронподобные сети даже с обратными связями очень, очень слабы. Если бы такие общеизвестные технологии давали бы приемлемый результат, мы бы все озолотились, но к сожалению... (впрочем, скорее к счастью )

Согласен :D . Только что значит "перцептронподобные сети даже с обратными связями очень, очень слабы"? Плохо работают? И ещё вопрос: почему тогда находятся люди в фондах, которые успешно этим занимаются?

Ещё раз спрошу: продуманное построение сети необходимо для того, чтобы работать с менее качественными данными (понизить порог качества данных)?

 Профиль  
                  
 
 Re: с чем не могут в принципе справиться нейросети?
Сообщение17.12.2012, 20:31 
Аватара пользователя


20/12/08
236
изниоткуда
Igor_Dmitriev в сообщении #659830 писал(а):
Получается, что порог качества данных всё же существует, но при удачно подобранном строении этот самый порог качества можно понизить?
...
Ещё раз спрошу: продуманное построение сети необходимо для того, чтобы работать с менее качественными данными (понизить порог качества данных)?

Конечно, существует. На трех примерах даше самая супер-пупер-сеть разведет руками. Тут два вопроса - качество решения задачи и принципиальная возможность нахождения решения. Качество решения определяется количеством и качеством данных, сложностью сети и подбором ее параметров. Но бывает, что выбранная архитектура принципиально неспособна решить какую-то задачу. Простейший пример - однослойный перцептрон и задача xor. Это же касается и вопроса про svm, который может решать такие классы задач, которые многослойному перцептрону не под силу.

Цитата:
SVM -- это же всего лишь повышение размерности с попытками линейно разделить данные, так? Чем он настолько крут?

Не только. Там основную роль играет ядро. Вы говорите о линейном ядре, но это тоже тоько частный случай.

Цитата:
Только что значит "перцептронподобные сети даже с обратными связями очень, очень слабы"? Плохо работают? И ещё вопрос: почему тогда находятся люди в фондах, которые успешно этим занимаются?

Конечно находятся. Тема заманчивая, многие пытаются. Получается мало у кого, и я уверен, что они пользуются специализированными методами, заточенными под обработку временных рядов.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 12 ] 

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group