Вопросы по алгоритмам обучения нейросетей

[Igor_Dmitriev]

1. Что прочесть, чтобы понять основные идеи различных алгоритмов обучения, не углубляясь в рутинные подробности (про обратное распространение ошибки я знаю, интересует что-то принципиально другое)?
2. Подскажите ресурс или книгу, посвящённую именно новейшим алгоритмам обучения.
3. У меня сложилось впечатление, что не так важно, какой алгоритм обучения применять: они все или одинаково хорошо, или одинаково плохо работают. Есть ли исключительные случаи, где один алгоритм имеет преимущетво в качестве перед другими, когда не качество увеличивается за счёт уменьшения скорости, а именно природа алгоритма при прочих сопоставимых условиях даёт лучшее качество?

4. Как расчитывают среднее и максимальное число выборок, которые может разделить заданная нейросеть?

[Pavia]

1. Метод наименьших квадратов и генетические алгоритмы.
2. Надо читать новейшие публикации в журналах.
У гугла есть поиск по журналам scholar.google.ru
Поиск надо делать с умом.
Смотрите в каких журналах больше публикаций по НС ищете этот журнал и смотрите свежие выпуски. А также уникальные работы могут попасться и не в специализированных журналах. Можно и просто перебирать варианты и комбинации ключевых слов.

3. К примеру: метод с встряской и без встряски.
Ещё пример: метод обучения на примерах один против всех и каждый против каждого.

[Esp_]

Igor_Dmitriev писал(а):

3. У меня сложилось впечатление, что не так важно, какой алгоритм обучения применять: они все или одинаково хорошо, или одинаково плохо работают. Есть ли исключительные случаи, где один алгоритм имеет преимущетво в качестве перед другими, когда не качество увеличивается за счёт уменьшения скорости, а именно природа алгоритма при прочих сопоставимых условиях даёт лучшее качество?

4. Как расчитывают среднее и максимальное число выборок, которые может разделить заданная нейросеть?

По 3: То о чем вы пишите - это основной вопрос машинного обучения. :) Никакой гарантии никто не дает.
Можно лишь говорить, на каких-то данных, например, batch метод обучения НС работает чуть хуже, чем стохастический градиент.

По 4: Ваш вопрос является некорректным. На него можно дать много ответов. Можете описать подробнее проблему?

[Igor_Dmitriev]

Цитата:

По 4: Ваш вопрос является некорректным. На него можно дать много ответов. Можете описать подробнее проблему?

Допустим, у нас каждый вектор соответствует определённому классу. Какое максимальное число таких векторов может отличить друг от друга нейросеть при известной размерности пространства и числе нейронов в каждом из слоёв?
Когда сам пытался разобраться в вопросе, нашёл упомнинание о VC и формулы с ним для каждой из нейросетей. Но не знаю, правильно ли "догадался". Также не совсем понятно про число свободных параметров в нейросети. Допустим, у нас 2-слойная сеть из 3 нейронов в первом слое и 1 во втором, на входы которой подаются 2-мерные векторы. Тогда какое число параметров, которое берут для VC:
$4$ - число нейронов
$9 = 3 * 2 + 1 * 3$ - число нейронов * размерность входных векторов для каждого из слоёв
$13 = 3 * (2 + 1) + 1 * (3 + 1)$ - число нейронов * (размерность входных векторов + 1 смещение) для каждого из слоёв

[Esp_]

Igor_Dmitriev

Это сложный вопрос. Я бы полез в книжку Хайкина за ответом. Возможно, поможет теорема Баррона.
Но она скорее дает ответ о необходимом количестве нейронов, а не о размере выборки, имея заданное количество нейронов с такой то конфигурацией.

[Igor_Dmitriev]

Ещё: кто нибудь знает, где можно прочесть про архитектуру нейросетей?
В сети что-то сходу не нашёл ничего интересного.