2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Вопросы по алгоритмам обучения нейросетей
Сообщение25.02.2015, 16:00 


15/01/12
196
1. Что прочесть, чтобы понять основные идеи различных алгоритмов обучения, не углубляясь в рутинные подробности (про обратное распространение ошибки я знаю, интересует что-то принципиально другое)?
2. Подскажите ресурс или книгу, посвящённую именно новейшим алгоритмам обучения.
3. У меня сложилось впечатление, что не так важно, какой алгоритм обучения применять: они все или одинаково хорошо, или одинаково плохо работают. Есть ли исключительные случаи, где один алгоритм имеет преимущетво в качестве перед другими, когда не качество увеличивается за счёт уменьшения скорости, а именно природа алгоритма при прочих сопоставимых условиях даёт лучшее качество?

4. Как расчитывают среднее и максимальное число выборок, которые может разделить заданная нейросеть?

 Профиль  
                  
 
 Re: Вопросы по алгоритмам обучения нейросетей
Сообщение26.02.2015, 23:40 
Аватара пользователя


31/10/08
1244
1. Метод наименьших квадратов и генетические алгоритмы.
2. Надо читать новейшие :D публикации в журналах.
У гугла есть поиск по журналам scholar.google.ru
Поиск надо делать с умом.
Смотрите в каких журналах больше публикаций по НС ищете этот журнал и смотрите свежие выпуски. А также уникальные работы могут попасться и не в специализированных журналах. Можно и просто перебирать варианты и комбинации ключевых слов.

3. К примеру: метод с встряской и без встряски.
Ещё пример: метод обучения на примерах один против всех и каждый против каждого.

 Профиль  
                  
 
 Re: Вопросы по алгоритмам обучения нейросетей
Сообщение05.03.2015, 15:27 


22/01/11
309
Igor_Dmitriev писал(а):
3. У меня сложилось впечатление, что не так важно, какой алгоритм обучения применять: они все или одинаково хорошо, или одинаково плохо работают. Есть ли исключительные случаи, где один алгоритм имеет преимущетво в качестве перед другими, когда не качество увеличивается за счёт уменьшения скорости, а именно природа алгоритма при прочих сопоставимых условиях даёт лучшее качество?

4. Как расчитывают среднее и максимальное число выборок, которые может разделить заданная нейросеть?


По 3: То о чем вы пишите - это основной вопрос машинного обучения. :) Никакой гарантии никто не дает.
Можно лишь говорить, на каких-то данных, например, batch метод обучения НС работает чуть хуже, чем стохастический градиент.

По 4: Ваш вопрос является некорректным. На него можно дать много ответов. Можете описать подробнее проблему?

 Профиль  
                  
 
 Re: Вопросы по алгоритмам обучения нейросетей
Сообщение06.03.2015, 09:15 


15/01/12
196
Цитата:
По 4: Ваш вопрос является некорректным. На него можно дать много ответов. Можете описать подробнее проблему?

Допустим, у нас каждый вектор соответствует определённому классу. Какое максимальное число таких векторов может отличить друг от друга нейросеть при известной размерности пространства и числе нейронов в каждом из слоёв?
Когда сам пытался разобраться в вопросе, нашёл упомнинание о VC и формулы с ним для каждой из нейросетей. Но не знаю, правильно ли "догадался". Также не совсем понятно про число свободных параметров в нейросети. Допустим, у нас 2-слойная сеть из 3 нейронов в первом слое и 1 во втором, на входы которой подаются 2-мерные векторы. Тогда какое число параметров, которое берут для VC:
$4$ - число нейронов
$9 = 3 * 2 + 1 * 3$ - число нейронов * размерность входных векторов для каждого из слоёв
$13 = 3 * (2 + 1) + 1 * (3 + 1)$ - число нейронов * (размерность входных векторов + 1 смещение) для каждого из слоёв

 Профиль  
                  
 
 Re: Вопросы по алгоритмам обучения нейросетей
Сообщение06.03.2015, 14:29 


22/01/11
309
Igor_Dmitriev

Это сложный вопрос. Я бы полез в книжку Хайкина за ответом. Возможно, поможет теорема Баррона.
Но она скорее дает ответ о необходимом количестве нейронов, а не о размере выборки, имея заданное количество нейронов с такой то конфигурацией.

 Профиль  
                  
 
 Re: Вопросы по алгоритмам обучения нейросетей
Сообщение15.03.2015, 07:00 


15/01/12
196
Ещё: кто нибудь знает, где можно прочесть про архитектуру нейросетей?
В сети что-то сходу не нашёл ничего интересного.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 6 ] 

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group