Теория нейронных сетей

[mserg]

Насчет 10 условий эксперимента. Предполагалось, что Вы априорно не знаете, что их было 10. Со всеми вытекающими отсюда последствиями. Впрочем, Я знаю, что Вы и так все поняли.
Насчет того, во что я верю. Если очень грубо - то я верю в математические модели. Результат - не уйма коэффициентов, битов и т.п., а "произвольная" математическая модель.

[ha]

Могу рассказать о своем успешном опыте применения нейросети. Мне была нужна оценочная функция для одной игры (с элементом случайности). Слава богу, состояние игры в момент вычисления оценочной функции могло быть описано парой десятков числовых параметров, которые я и подал на вход сети. После чего я применил TimeDifference-learning в сочетании с алгебраическим алгоритмом обучения (из-за чего пришлось выполнять TD-обучение блоками по 500 игр) своей нейронной сети с одним скрытым слоем (около 20 нейронов) и получил отличные результаты. Никакой другой подход в моей задаче (я еще пробовал алгоритмы бустинга) и близко не подходит к нейронным сетям.

[grisania]

Circiter в сообщении #244850 писал(а):

Цитата:

Могу в личку прислать.

Мне интересна эта тематика. С удовольствием бы почитал препринт. Спасибо.

Отослал вам письмо. Результаты по распознаванию фонем получились неплохие, хотя я ожидал более лучших. Однако надо разобраться как вообще человек воспринимает фонемы как он осуществляет спектральный анализ, то есть нужна хорошая математическая модель. Надо наверно внимательно прочитать книжку Харкевич - Спектры и анализ, 1962 и разобраться с мгновенным спектром.
Тогда на этапе предварительной обработки можно будет устранить лишнию инфу из фонем, а уж потом распознавать.
Надо открыть ветку на эту тему.

[SamoilenkoGena]

Я вообще не разбираюсь в этом всем((( ужас

Jnrty:

Offtopic.

[Maslov]

grisania в сообщении #245443 писал(а):

Однако надо разобраться как вообще человек воспринимает фонемы как он осуществляет спектральный анализ, то есть нужна хорошая математическая модель.

С восприятием фонем все непросто. Существенную часть фонем человек не слышит, а домысливает.

[grisania]

Maslov в сообщении #245601 писал(а):

grisania в сообщении #245443 писал(а):

Однако надо разобраться как вообще человек воспринимает фонемы как он осуществляет спектральный анализ, то есть нужна хорошая математическая модель.

С восприятием фонем все непросто. Существенную часть фонем человек не слышит, а домысливает.

Это все понятно, что домысливает, когда он выучил язык или данный язык ему родной, но фонемы существуют объективно. Якобсон экспериментально установил для фонем 12 признаков, которые действуют для всех языков
У меня есть американская речевая база TIMIT, в которой амеры выделили фонемы.

[Ринат]

Нейронные сети действительно должны отображать строение и функции мозга (не только человеческого) на заданное пространство задач, но только с учетом следующих условий:
1) Количество элементов нейронной сети (нейронов) должно быть достаточно велико;
2) Нейроны должны состоять из многих выходных частей (дендриды), ядра обработки информации (сома) и одной выходной части (аксон);
3) Выходные части могут связываться только с входными (за исключением некоторых редких случаев);
4) Нейронную сеть следует рассматривать не как обычную группу однотипных нейронов, а как структурированную сеть из различных групп нейронов, решающих только вложенный в них тип (типы) задач(и);
5) Скорость обработки информации в ядре и передачи ее другим элементам должна быть очень большой;
6) Алгебра (или логика, как вам угодно) в каждом ядре должна быть не булевой (хотя бы средствами эмуляции, скажем, при помощи фази-логики), что уже было отмечено многоуважаемым grisania;
7) На вход/выход может подаваться/выдаваться информация не только с заданным количеством параметров, но и нечетким (в пределах какого-то заранее заданного промежутка).

Возможно, кто-то сможет добавить свои условия.
Как следствие скажу одно. Нейронные сети сегодня не способны решать задачи ИИ не потому, что они действительно не способны их решать, а потому, что мы не владеем необходимыми средствами для устранения той части этих условий, которые устранить мы еще не можем. Нам нужны, по крайней мере, скорость, мощность процессоров, объем быстрой памяти, небулева логика. Многие из этих условий устраняют новые архитектуры компьютеров (квантовые, био и др.), которые сконструировать сегодня не представляется возможным по техническим причинам. Вот потому gsm и слышал, что ее "забросили" в конце 80-х, 90-х. Никто ее не забрасывал, не убивал. Просто теорию придумали, а полной технической возможности ее реализации пока нет.

[Nxx]

http://www.corticaldb.com/corticaldb_ccortex/

[AKalinin]

Мне кажется, основная проблема нейронных сетей состоит в том, что вокруг них очень много маркетингового шума и околонаучных рассуждений. За всем этим, к сожалению, скрываются весьма интересные и достаточно актуальные математические вещи.

Возьмем, например, самую распространенную архитектуру нейронных сетей -- многослойный персептрон. Собственно говоря, многослойный персептрон есть функция от n-параметров (весов): $J = f(w_1, w_2, \ldots, w_n)$. Во-первых, доказано, что эта функция является универсальным аппроксиматором. Т.е. может описать сколь угодно сложные многомерные явления. А во-вторых, что самое интересное, градиент этой функции можно вычислить точно и за очень короткое время, примерно всего раза в три дольше, чем вычисление самой функции! Это, так называемый, алгоритм обратного распространения ошибки.

Грубо говоря, такое быстрое вычисление градиента многомерной функции, вещь очень даже замечательная. Это позволяет использовать эффективные методы градиентной оптимизации. Т.е. если какая-либо задача может быть сформулирована в терминах минимизации многомерной функции, то если представить ее в виде многослойного персептора, процесс ее минимизации можно ускорить на порядки.

[Maslov]

AKalinin в сообщении #251499 писал(а):

Мне кажется, основная проблема нейронных сетей состоит в том, что вокруг них очень много маркетингового шума и околонаучных рассуждений.

Да, тут уже говорилось об этом.

AKalinin в сообщении #251499 писал(а):

Собственно говоря, многослойный персептрон есть функция от n-параметров (весов): $J = f(w_1, w_2, \ldots, w_n)$.

Немного неточно. Если уж называть многослойный персептрон функцией, то это функция от входного вектора, параметризованная вектором весов.

AKalinin в сообщении #251499 писал(а):

Т.е. может описать сколь угодно сложные многомерные явления.

Извините, но эта фраза - из области того самого "маркетингового шума", о котором Вы писали С помощью многослойного персептрона можно аппроксимировать модель сложного многомерного явления, если такая модель существует и является устойчивой, обучающий набор данных содержит достаточное количество точек и т.д. и т.п.. А то народ сразу бросается описывать сложное многомерное явление "завтрашний курс доллара", у него, естественно, ничего не получается, в результате чего делается логичный вывод, что НС - это полное барахло.
Так что лучше использвать формулировки типа пересмотренного закона Ома из книжки "Физики продолжают шутить":

Цитата:

Если использовать тщательно отобранные и безупречно подготовленные исходные материалы, то при наличии некоторого навыка из них можно сконструировать электрическую цепь, для которой измерения отношения тока к напряжению, даже если они производятся в течение ограниченного времени, дают значения, которые после введения соответствующих поправок оказываются равными постоянной величине.

AKalinin в сообщении #251499 писал(а):

...А во-вторых, что самое интересное, градиент этой функции можно вычислить точно и за очень короткое время...

Это тоже немного неточно. При обучении многослойного персептрона минимизируется не фукция персептрона, а невязка (обычно, сумма квадратов отклонений рассчитанных значений выходов от "плановых"). И градиент (в пространстве весов) вычисляется именно для невязки.

AKalinin в сообщении #251499 писал(а):

...Т.е. если какая-либо задача может быть сформулирована в терминах минимизации многомерной функции, то если представить ее в виде многослойного персептора, процесс ее минимизации можно ускорить на порядки.

Ах, если бы... Оптимизации в процессе обучения НС свойственны те же проблемы, что и другим методам. А именно, хождение по оврагам, сползание в локальные минимумы, плохая обусловленность якобиана и т.п. Так что проблем везде хватает

[grisania]

Maslov в сообщении #251515 писал(а):

[
----------------------------------------

AKalinin в сообщении #251499 писал(а):

...А во-вторых, что самое интересное, градиент этой функции можно вычислить точно и за очень короткое время...

Это тоже немного неточно. При обучении многослойного персептрона минимизируется не фукция персептрона, а невязка (обычно, сумма квадратов отклонений рассчитанных значений выходов от "плановых"). И градиент (в пространстве весов) вычисляется именно для невязки.
--------------------------------------------

У меня большие сомнения, что человеческий мозг минимизирует невязку. Метод обратного распространения ошибки несвойственен биологическим системам, это просто математический трюк полезный при обучении многослойного персептрона.

[Maslov]

grisania в сообщении #251543 писал(а):

У меня большие сомнения, что человеческий мозг минимизирует невязку.

А при чем здесь человеческий мозг?

[AKalinin]

Maslov в сообщении #251515 писал(а):

Ах, если бы... Оптимизации в процессе обучения НС свойственны те же проблемы, что и другим методам. А именно, хождение по оврагам, сползание в локальные минимумы, плохая обусловленность якобиана и т.п. Так что проблем везде хватает

Я не спорю, проблем хватает. Но они решаемы. И несмотря на это.... Вот, к примеру, возьмем стандартную задачу. Нужно решить систему линейных алгебраических уравнений

$$Az=f,$$

где матрица $A$ плохо обусловлена. Задача, кстати, весьма актуальна. Стандартные методы решения это, например, псевдообращение с регуляризацией по Тихонову, т.е. $ z = (A^T A + \alpha E)^{-1}A^T f $, где параметр $\alpha$ согласуется с уровнем погрешности. Или решение с помощью итерационных методов с ограничением числа итераций.

Используя многослойный персептрон мы минимизируем функционал невязки $\|Az - f \|$, при этом здесь параметром регуляризации выступает количество нейронов в сети. Т.е. начиная с небольшого количества мы наращиваем их число до тех пор, пока невязка не стает меньше требуемой $\epsilon$. За счет того, что мы начинаем с небольшого количества нейронов и за счет оч. быстрого вычисления градиента эта задача решается эффективно.

Таким образом нейронные сети позволяют реализовать еще один способ решения актуальной задачи. Это уже немало, на мой взгляд. А кроме того, нейронные сети это же исходно параллельный объект. А с учетом того, что современные процессоры перешли в русло наращивания ядер, то не удивлюсь, что это самый быстрый на сегодняшний момент решения этой задачи. По этой теме как раз можно глянуть книгу В.И. Горбаченко "Нейрокомпьютеры в решении краевых задач теории поля".

Вообще, крайне рекомендую еще сайт Yann LeCun. Он одним из первых как раз и придумал алгоритм обратного распространения ошибки. И, кстати, был одним из разработчиков формата DjVu. Из отечественных исследователей крайне рекомендую сайт В. Царегородцева. Он о нейросетях пишет по делу и правду.

[Nxx]

Maslov в сообщении #251550 писал(а):

grisania в сообщении #251543 писал(а):

У меня большие сомнения, что человеческий мозг минимизирует невязку.

А при чем здесь человеческий мозг?

Не человеческий мозг вроде бы, считается самой эффективной нейронной сетью?

[Maslov]

Nxx в сообщении #251568 писал(а):

Не человеческий мозг вроде бы, считается самой эффективной нейронной сетью?

Это он "околонаучной общественностью" считается "самой эффективной нейронной сетью". Я тут уже немного писал об аналогии мозга и НС (да простится мне самоцитирование )
Вы же сами ссылку на CCortex приводили. Вот там действительно делается попытка имитации мозговой деятельности с помощью НС. Только у них в сети $20\cdot10^9$ нейронов и $20\cdot10^{12}$ связей. И то не факт, что что-то получится