Теория нейронных сетей

[Lyoha]

maxal в сообщении #243641 писал(а):

Ну в банкоматах на самом деле своя специфика, лучше рассмотреть пример с покупкой по кредитке в интернете - в этом случае банк загоняет в нейронную сеть всю доступнаю информацию: о карте, о магазине, о покупаемом товаре, о владельце карты, об адресе доставки и т.д. (общее количество параметров может достигать нескольких сотен, но не все из них всегда известны). Она в ответ выдает вероятность того, что данная транзакция является мошенничеством - а банк уже по своему разумению решает пропустить ее или отказать в авторизации. Результирующая вероятность складывается из многих параметров - например, если почтовый индекс доставки соответствует неблагополучному району (известному большим числом мошенничеств), то это ее повышает; если транзакция не вписывается в схему предыдущих транзакций по этой же карте (например, раньше было не более одной покупки в интернете в месяц, а тут вдруг пять в один день), то это тоже повышает результирующую вероятность и т.п. В то время как каждый из этих небольших "красных флажков" сам по себе не может служить причиной для отказа в авторизации транзакции, сумма определенного их количества (с весовыми коэффициентами и взаимной корреляцией, зашитой в нейронной сети) может послужить весомой причиной для отказа.

Это оценивание известной функцией по известным параметрам. В этой задаче даже сами слова "нейронная сеть" вставить некуда.

В качестве другого примера: уч0ных, предлагающих нейросетевое, генетическое и прочее щастье не бухгалтерам, а специалистам в лице Гугла и Яндекса, сразу выставляют за дверь.

[maxal]

Lyoha в сообщении #243803 писал(а):

Это оценивание известной функцией по известным параметрам. В этой задаче даже сами слова "нейронная сеть" вставить некуда.

В то-то и дело, что функция полностью не определена. Ее точные параметры (взаимосвязь входных аргументов, их веса и т.п.) получаются внутри нейронной сети на основе ее обучения по данным транзакций за предыдущие годы.

-- Wed Sep 16, 2009 07:20:15 --

Чтобы не быть голословным - цитата с официального сайта FICO:
FICO Falcon Transfer provides real-time fraud detection capabilities based on FICO's neural network technology and patented fraud detection profiling.

[e2e4]

Что-то грустно, товарищи. Мне казалось, что нейросети имеют реальную практическиу ценность, а Вы убеждаете в обратном. Поправьте тогда, если я в чем-то неправ: любая нейросеть может быть заменена функцией от некоторого числа многочленов с коэффициентами, равными весам конкретных нейронных связей в данной нейросети (простите за нестрогость определения, чисто интуитивное определение). Я прав? Однако, именно в терминах нейросетей такая концепция выглядит наиболее понятно и, следовательно, способна развиваться дальше, ибо человеческий мозг мысли образами, а банальное n-ое кол-во многочленов довольно трудно для понимания. Еще раз извиняюсь за неформальность.

[grisania]

e2e4 в сообщении #243811 писал(а):

Что-то грустно, товарищи. Мне казалось, что нейросети имеют реальную практическиу ценность, а Вы убеждаете в обратном. Поправьте тогда, если я в чем-то неправ: любая нейросеть может быть заменена функцией от некоторого числа многочленов с коэффициентами, равными весам конкретных нейронных связей в данной нейросети (простите за нестрогость определения, чисто интуитивное определение). Я прав? Однако, именно в терминах нейросетей такая концепция выглядит наиболее понятно и, следовательно, способна развиваться дальше, ибо человеческий мозг мысли образами, а банальное n-ое кол-во многочленов довольно трудно для понимания. Еще раз извиняюсь за неформальность.

А какая была реальная ценность из коммунистического учения, да и любого религиозного учения. Аднака многие, причастные к распространению таких учений хорошо живут, и даже очень хорошо. Так и с нейросетями

[Maslov]

grisania в сообщении #243816 писал(а):

А какая была реальная ценность из коммунистического учения, да и любого религиозного учения. Аднака многие, причастные к распространению таких учений хорошо живут, и даже очень хорошо. Так и с нейросетями

Все-таки сравнивать нейронные сети с религиозными учениями, мне кажется, не совсем корректно. Нейронные сети - это просто инструмент, и, как любой инструмент, применять его надо с использованием головы. Для многих задач, связанных с построением регрессионных моделей, многослойный персептрон является вполне работоспособным. Естественно, эти же задачи можно решать и с помощью других подходов.

Одна из основных проблем нейронных сетей, как мне кажется, - недобросовестный маркетинг, которым пользовались фирмы - производители нейросетевых пакетов в 90-х годах. Компаниям, выпускающим, например, статистические пакеты, обычно не приходит в голову утверждать, что с их помощью любой человек, не имеющий представления ни о математике, ни о решаемой задаче, сможет, тем не менее, все свои задачи решить. С нейронными сетями это происходило сплошь и рядом. Кроме того, статистика - это же какие-то скучные формулы, а нейронные сети - это замечательно красивые кружочки и стрелочки. В результате, народ купился, попробовал, у большинства ничего не получилось, и был сделан вывод, что нейросетети - полная ерунда. Типа "Велосипед изобрел идиот - два месяца пробую и все время падаю!". Истина, как всегда, где-то посередине

[grisania]

Maslov в сообщении #243848 писал(а):

grisania в сообщении #243816 писал(а):

А какая была реальная ценность из коммунистического учения, да и любого религиозного учения. Аднака многие, причастные к распространению таких учений хорошо живут, и даже очень хорошо. Так и с нейросетями

Все-таки сравнивать нейронные сети с религиозными учениями, мне кажется, не совсем корректно. Нейронные сети - это просто инструмент, и, как любой инструмент, применять его надо с использованием головы. Для многих задач, связанных с построением регрессионных моделей, многослойный персептрон является вполне работоспособным. Естественно, эти же задачи можно решать и с помощью других подходов.

Я не сравниваю, а просто указываю на феномен использования хороших идей борзыми членами общества для своего блага

Maslov в сообщении #243848 писал(а):

Одна из основных проблем нейронных сетей, как мне кажется, - недобросовестный маркетинг, которым пользовались фирмы - производители нейросетевых пакетов в 90-х годах. Компаниям, выпускающим, например, статистические пакеты, обычно не приходит в голову утверждать, что с их помощью любой человек, не имеющий представления ни о математике, ни о решаемой задаче, сможет, тем не менее, все свои задачи решить. С нейронными сетями это происходило сплошь и рядом. Кроме того, статистика - это же какие-то скучные формулы, а нейронные сети - это замечательно красивые кружочки и стрелочки. В результате, народ купился, попробовал, у большинства ничего не получилось, и был сделан вывод, что нейросетети - полная ерунда. Типа "Велосипед изобрел идиот - два месяца пробую и все время падаю!". Истина, как всегда, где-то посередине

Где-то читал, что оборот продаж софта по нейросетям не меньше, чем по обычному софту.

Для обсуждения нейросетей лучше обратиться к специализированным форумам

http://www.forum.aicommunity.org
Конференция по Искусственному Интеллекту
[url]http://forum.aicommunity.org/index.php?sid=7fcf8d92fe23a3c8d3b316544ed66065
[/url]
Очень хороший форум, люди очень на нем квалифицированные в этой области

Искусственный интеллект: Ваши идеи
ИИ, AI, интеллектуальные программы, агенты
http://ai.obrazec.ru/forum/index.php

Это вроде ведущие форумы. Но тема действительно интересная, её можно обсуждать и на этом форуме.

[Circiter]

2В.О.

Цитата:

Цифровой компьютер и нейронная сеть, в принципе, эквивалентны.

Не совсем так. Дело в том, что НС параллельны по своей сути. Поэтому эмуляция НС на цифровом компьютере с обычной последовательной архитектурой ничего не стоит. А вот НС, реализованные на специализированных чипах могут решать задачи довольно быстро.

[grisania]

Circiter в сообщении #244502 писал(а):

2В.О.

Цитата:

Цифровой компьютер и нейронная сеть, в принципе, эквивалентны.

Не совсем так. Дело в том, что НС параллельны по своей сути. Поэтому эмуляция НС на цифровом компьютере с обычной последовательной архитектурой ничего не стоит. А вот НС, реализованные на специализированных чипах могут решать задачи довольно быстро.

Я пытался объяснить нейтронщикам, что моделирование нейронной сетью логических операций - путь ведущий никуда, если ставить себе задачу понимать как человек думает. Скорей всего нейроны ведут себя как фильтры. Например, в ухе человека имеется 30 000 тысяч волосиков, которые возбуждаются на определенные частоты. То есть волосики ведут себя как фильтры, разлагая звуковой сигнал на синусоиды. Возникает другая логика - волосик возбудился - true, не возбудился - false. Но при этом мы имеем модальность возбуждения - это энергия, поглощенная волосиком как камертоном. Если энергия маленькая у всех камертонов, то у нас белый шум.

[Circiter]

2grisania

Цитата:

в ухе человека имеется 30 000 тысяч волосиков, которые возбуждаются на определенные частоты

Кажется, чуть меньше. У W. Keidel, W. Neef (1974-1976) упоминается 3,5 тысяч внутренних и 12 тысяч наружных волосковых сенсорных клеток. А вот иннервирующих их афферентных волокон конечно гораздо больше, те самые 3-4 десятка тысяч. Или вы для обоих ушей числа привели?

Цитата:

Скорей всего нейроны ведут себя как фильтры.

Например, упомянутый вами кортиев орган и сетчатка глаза действительно выполняют фильтрующие функции, можно даже сказать спектральный анализ (похоже на Фурье, но наверняка сложнее ).
Но вот с самими нейронами не все ясно, т.е. аналогия интересная, но я её не понял. При чем тут нейроны? Можно поподробнее?

Цитата:

моделирование нейронной сетью логических операций - путь ведущий никуда, если ставить себе задачу понимать как человек думает

Исследования ИНС с целью изучения мышления привлекательны тем, что на определенном уровне сложности ИНС может взять да и начать мыслить. Конечно в действительности такого не происходит, да и наврятли произойдет.

Ещё есть проблемы с самими попытками смоделировать реальные мозги. Дело в том, что многое известно о деятельности мозга, очень многое. Можно сказать, что известны почти все используемые в мозге алгоритмы обработки поступающих данных. И про зрение и про слух многое известно. Можно сказать где и когда в мозге обрабатывается такая-то порция данных, и можно даже сказать, что именно с ней происходит. Но все эти известные операции обладают общей для них странностью: они производят своеобразную предварительную подготовку информации (тот же спектральный анализ, или выделение каких-либо признаков), а вот что происходит дальше с подготовленными сигналами -- не совсем понятно. Непонятно, где же сам интеллект-то располагается, где находится сознание, где находится "Я".

Я когда-то философствуя на тему моделирования мышления пришел к, скажем так, функциональной его теории; позже я узнал, что при исследованиях ИИ интенсивно применяют Lisp и другие функциональные языки, что добавило мне энтузиазма.

Я просто пытался моделировать мысли как $\lambda$-функции. Процесс решения какой-либо задачи соответствовал вычислению функции. Моделью разума была программулька (написанная на самопальном диалекте Lisp'а) в виде рекурсивной функции с аккумулятором. Эта функция генерировала сложные функции (задания), затем вычисляла их (решение заданий) и анализировала результаты (отладочная печать ). В процессе решения заданий вся совокупность промежуточных результатов была достаточно велика и необозрима (я назвал эту фазу подсознательной деятельностью), а вот множество готовых результатов было вполне себе маленьким (момент получения такого решения я называл точкой внимания). В сумме все точки внимания являлись, по-сути, сознательной деятельностью смоделированного разума.

Потом энтузиазм исчез, интерес пропал, но на последок я успел поразмышлять (в первые дни Нового Года ) о соотнесении функциональной модели с каким-нибудь статичным субстратом. Вычисления функций естественным образом воспринимались как распространение данных в какой-нибудь сети (в терминах теории графов можно было бы говорить о поиске кратчайшего пути волновым алгоритмом), но почему-бы не взять за основу НС? Периодический характер вычислений хорошо бы соотносился с мозговыми волнами, возникающих при деятельности реальной нервной ткани, модель позволяла бы объяснить феномен концентрации внимания, позволяла бы даже локализовать сущность "Я" ("Я" находится в тех участках мозгов, куда быстрее всего пришли нужные результаты).

Как я уже говорил, в основе модели была рекурсивная функция, т.е. своеобразный цикл. Поэтому, при сопоставлении функциональной модели с НС появилось ощущение необходимости дополнить сеть цепочками обратной связи (для зацикливания). Вот я до сих пор уверен, что если и пытаться моделировать мышления с помощью ИНС, то надо позаботиться об обратных связях, грубо говоря, нужно как-то связать выходы с входами.

Ужас, в общем.

[grisania]

Circiter в сообщении #244726 писал(а):

2grisania

Цитата:

в ухе человека имеется 30 000 тысяч волосиков, которые возбуждаются на определенные частоты

Кажется, чуть меньше. У W. Keidel, W. Neef (1974-1976) упоминается 3,5 тысяч внутренних и 12 тысяч наружных волосковых сенсорных клеток. А вот иннервирующих их афферентных волокон конечно гораздо больше, те самые 3-4 десятка тысяч. Или вы для обоих ушей числа привели?

Circiter в сообщении #244726 писал(а):

Цитата:

Скорей всего нейроны ведут себя как фильтры.

Например, упомянутый вами кортиев орган и сетчатка глаза действительно выполняют фильтрующие функции, можно даже сказать спектральный анализ (похоже на Фурье, но наверняка сложнее ).
Но вот с самими нейронами не все ясно, т.е. аналогия интересная, но я её не понял. При чем тут нейроны? Можно поподробнее?

Я участвовал на форуме "Форум на Исходниках.RU=>Речевые Технологии", где я пытался реализовать эту идею на задаче распознавания фонем, которая до сих пор не решена удовлетворительно.
В частности, я пытался построить фильтры, которые соответствовали бы 12 бинарным фонемным признакам Якобсона, о которых хорошо написано в популярной книжонке - "Звуки и символы". Автора забыл.
Там есть интересный пример.
-Девочка как твою маму зовут?
-Лита.
-Не понял, наверно, Рита.
-Да, Лита.
-Девочка уже распознает фонемы "р" и "л", но не умеет включать вибрацию своего голоса.
В этой книжке пишется, что для всех языков мира достаточно 12-13 бинарных фонемных признаков. В каждом языке 38-45 фонем. Больше всего у абхазов и бушменов.
Лучше почитать ветки, где я участвовал.
"Фонемное распознавание речи"
http://forum.sources.ru/index.php?showtopic=145994

Что слышим? Гармоники или их огибающую
В этой ветке много говорится о кортиев органе.
http://forum.sources.ru/index.php?showtopic=143082&hl=%C3%E0%F0%EC%EE%ED%E8%EA%E8

"Охота потягаться в создании системы распознавания речи"
http://forum.sources.ru/index.php?showtopic=9020&st=60

"Модель слуховой системы, Как устроено ухо? Как мы слышим?"
http://forum.sources.ru/index.php?showtopic=152406&hl=%C3%E0%F0%EC%EE%ED%E8%EA%E8

Circiter в сообщении #244726 писал(а):

Цитата:

моделирование нейронной сетью логических операций - путь ведущий никуда, если ставить себе задачу понимать как человек думает

Исследования ИНС с целью изучения мышления привлекательны тем, что на определенном уровне сложности ИНС может взять да и начать мыслить. Конечно в действительности такого не происходит, да и наврятли произойдет.

Никогда не произойдет, ибо нет воздействие информации на человека. Человек потребляет ифу из внешнего мира, и если кругом будет тишина, то он сойдет с ума.

Circiter в сообщении #244726 писал(а):

Ещё есть проблемы с самими попытками смоделировать реальные мозги. Дело в том, что многое известно о деятельности мозга, очень многое. Можно сказать, что известны почти все используемые в мозге алгоритмы обработки поступающих данных. И про зрение и про слух многое известно. Можно сказать где и когда в мозге обрабатывается такая-то порция данных, и можно даже сказать, что именно с ней происходит. Но все эти известные операции обладают общей для них странностью: они производят своеобразную предварительную подготовку информации (тот же спектральный анализ, или выделение каких-либо признаков), а вот что происходит дальше с подготовленными сигналами -- не совсем понятно. Непонятно, где же сам интеллект-то располагается, где находится сознание, где находится "Я".

Все методы распознавания не активны. Образы складываются у нас в голове как на складе, но перед этим кладовщик их описывает по признакам. Кто тогда выполняет функцию кладовщика выполняет у нас в голове, и кто их оттуда извлекает?

Например, образ фонемы как звукового сигнала активен, он несет энергию и жаждет быть опознанным, т.е. пытается пролезть по всяким фильтрам в голове. Для распознавания применяют классическую коммутативную логику- то бишь теоретико-множественную - все рассортировать по полкам, то бишь по областям пространства признаков. Работу по сортировке по полкам осуществляет какой-то непонятный кладовщик.
Например, пусть у нас каждая фонема - это 3000 временных отсчетов. Тогда мы должны все 3000 –мерное пространство разбить на 41 области или подмножества. Пришел сигнал фонемы, и если он как точка принадлежит определенной области, значит, фонема распознана, т. е. применять теоретико-множественную логику.

Как пишет Архангельский в книге "Путь программиста" человек информацию получает из внешнего мира в виде звуковых и световых волн.
Однако попытка представить мозг как память, где складируются знания - образы объектов, вещей как точки n-мерного пространства, ничего не дает.
Сигнал из внешнего мира моментально вызывает у человека ассоциацию, т.е. энергия сигнала пробивается через кучу фильтров, ища, что она может возбудить.
Объектно-вещное представление мира перенесено на базы данных. Объект или вещь для нас куча признаков и его по этим признакам надо отнести к какому-то изученному классу.
Я думаю, что у человека в мозгу действует логика возбуждения – наборы линейных и (может быть и не линейных) фильтров, которые пропускают сигнал.
Сигнал извне несет энергию, которая на нас воздействует. Например, белый шум все возбуждает, поэтому он не информативен.

Кластерный анализ изучает звуки как мертвый объект. Вы пытаетесь выделить признаки фонем и их классифицировать по кластерам. Так как кластерный анализ происходит в n-мерном пространстве (n-число признаков), то вы разбиваете всё n-мерное пространство на области по числу классов. Теперь у вас есть простейший предикат. Принадлежит сигнал данному кластеру (множеству) или нет. Булева логика - да или нет.
Эта классическая логика и является тормозом распознавания речи и нейронных сетей.
Рассмотрим другую логику. У вас два камертона (1-ый и 2-ой) настроенные на разные частоты. Приходит сигнал, и камертоны возбуждаются. Если возбудился 1-ый камертон, то он принадлежит 1-ому классу, а 2-ой, то 2-ому классу. У вас получилась логика возбуждения. А если оба возбудились, то естественно принять по максимуму энергии. Камертоны тихо звучат, но оба, наверно, это шум. А если ни один не возбудился, то, значит, нет сигнала, но это не верно может это ультразвуковая волна, а она для нас как бы из параллельного мира, т.е. нет прибора- камертона, который ее наблюдает.
В этом и есть коренное отличие логики возбуждения от теоретико-множественной или как я ее называю - объектно-вещной. Объект как бы принадлежит обоим классам.
Человечество уже столкнулось с этим явлением в квантовой механике. Электрон как волна пролезает через две дырки, так как на электрон смотрели как на объект с признаками – 3 координаты, 3 импульса. Хотели, что бы он лез только через одну дырку на экране. Однако электрон оказался не объектом, локализованным в точке, а волной и его надо изучать фильтрами. Квантовая механика учит, что области 3-мерного пространства – фильтры, локализующие электрон в пространстве как камертоны звуковую волну.
Каждый камертон выделяет свою гармонику и является проектором на одномерное пространство – простейший фильтр. Значит, используя логику возбуждения, надо найти такие подпространства, чтобы в каком-то смысле уменьшить какую-то ошибку распознавания. Я знаю точно, что я уменьшаю в каком-то смысле -энергию неправильного распознавания
Попарно сравнивая фонемы как это делает Якобсон, можно искать подпространства, т.е. фильтры, максимально реагирующие на свою фонему.

На эту тему у меня есть научная статья, где подвожу под это математику, скоро выйдет в США. Могу в личку прислать.

Circiter в сообщении #244726 писал(а):

Я когда-то философствуя на тему моделирования мышления пришел к, скажем так, функциональной его теории; позже я узнал, что при исследованиях ИИ интенсивно применяют Lisp и другие функциональные языки, что добавило мне энтузиазма.

Я просто пытался моделировать мысли как $\lambda$-функции. Процесс решения какой-либо задачи соответствовал вычислению функции. Моделью разума была программулька (написанная на самопальном диалекте Lisp'а) в виде рекурсивной функции с аккумулятором. Эта функция генерировала сложные функции (задания), затем вычисляла их (решение заданий) и анализировала результаты (отладочная печать ). В процессе решения заданий вся совокупность промежуточных результатов была достаточно велика и необозрима (я назвал эту фазу подсознательной деятельностью), а вот множество готовых результатов было вполне себе маленьким (момент получения такого решения я называл точкой внимания). В сумме все точки внимания являлись, по-сути, сознательной деятельностью смоделированного разума.

Потом энтузиазм исчез, интерес пропал, но на последок я успел поразмышлять (в первые дни Нового Года ) о соотнесении функциональной модели с каким-нибудь статичным субстратом. Вычисления функций естественным образом воспринимались как распространение данных в какой-нибудь сети (в терминах теории графов можно было бы говорить о поиске кратчайшего пути волновым алгоритмом), но почему-бы не взять за основу НС? Периодический характер вычислений хорошо бы соотносился с мозговыми волнами, возникающих при деятельности реальной нервной ткани, модель позволяла бы объяснить феномен концентрации внимания, позволяла бы даже локализовать сущность "Я" ("Я" находится в тех участках мозгов, куда быстрее всего пришли нужные результаты).

Как я уже говорил, в основе модели была рекурсивная функция, т.е. своеобразный цикл. Поэтому, при сопоставлении функциональной модели с НС появилось ощущение необходимости дополнить сеть цепочками обратной связи (для зацикливания). Вот я до сих пор уверен, что если и пытаться моделировать мышления с помощью ИНС, то надо позаботиться об обратных связях, грубо говоря, нужно как-то связать выходы с входами.

Ужас, в общем.

Пытался выучить Lisp и Prolog, но руки до этого не дошли.

[Circiter]

Цитата:

Могу в личку прислать.

Мне интересна эта тематика. С удовольствием бы почитал препринт. Спасибо.

[mserg]

Добавлю свою копейку в общую копилку. Я исследовал задачу автоматизации построения моделей по экспериментальным данным. Существенными оказались три аспекта:
* Точность соответствия модели экспериментальным данным
* Объем используемых (вычислительных) ресурсов
* Уровень доверия к экспериментальным данным и результатам
С этих позиций нейросети выглядят ужасно. Низкая точность, чудовищные объемы вычислений и доверие к результатам, бесконечно близкое нулю (из-за огромного числа подбираемых параметров сети).

[Maslov]

НС - нормальный инструмент, если уметь его готовить. Аналогия НС и человеческого мозга - это просто маркетинговый ход, ничего больше:
1. Структура реального нейрона и его модель возбудимости/проводимости существенно сложнее нейрона нейросети.
2. Структура мозга бесконечно сложнее структуры нейросети.
3. Мозг содержит десятки миллиардов нейронов, а нейронная сеть - несколько десятков. Разница в девять порядков порождает настолько существенные качественные различия в поведении, что говорить о сходстве просто бессмысленно. Я думаю, что никому не придет в голову утверждать, что несколько десятков реальных нейронов способны "мыслить"

mserg в сообщении #244880 писал(а):

Добавлю свою копейку в общую копилку. Я исследовал задачу автоматизации построения моделей по экспериментальным данным. Существенными оказались три аспекта:
* Точность соответствия модели экспериментальным данным
* Объем используемых (вычислительных) ресурсов
* Уровень доверия к экспериментальным данным и результатам
С этих позиций нейросети выглядят ужасно. Низкая точность, чудовищные объемы вычислений и доверие к результатам, бесконечно близкое нулю (из-за огромного числа подбираемых параметров сети).

Здесь, скорее, методологические проблемы.
Задача обучения многослойного персептрона - это просто задача построения регрессионной модели и подбора ее параметров по критерию наименьших квадратов, поэтому здесь присутствуют ровно те же сложности.
1. Если количество настраиваемых весов больше или равно количеству экспериментальных точек, то точность описания обучающей последовательности будет 100%, но предсказательная сила модели в этом случае - нулевая. Точно так же, если любым другим способом пытаться описать 10 экспериментальных точек полиномом 9-й степени, описание имеющихся данных будет очень хорошим, но аппроксимационные свойства модели будут отвратительными. В теории НС это называется переобучением. Существует общее правило, что количество параметров модели должно быть как минимум в 3 раза меньше, чем количество экспериментальных точек, по которым выполняется оценивание, вне зависимости от того, строится нейросетевая модель или любая другая.
2. По поводу чудовищного объема вычислений. Насколько я понимаю, речь идет об объеме вычислений на стадии обучения. Но проблема объема вычислений - это общая проблема решения задачи оптимизации при оценивании параметров. При обучении нейросети методом "обратного проникновения ошибки" осуществляется примерно такой же поиск минимума невязки в пространстве параметров, как и при использовании других способов оценивания, и скорость сходимости примерно такая же.
3. По поводу степени доверия к модели. Степень доверия ко всем формальным моделям (т.е., моделям, не претендующим на описание реальных процессов в моделируемом объекте) примерно одинаковая и определяется исключительно тем, насколько хорошо построенная модель описывает тестовые наборы экспериментальных данных (не обучающие, а именно тестовые).
Конечно, если взять одну "универсальную" нейросеть и пытаться с ее помощью решать все задачи, ничего хорошего получиться не может. Для каждой конкретной задачи структура сети, количество нейронов в слоях и переменные модели, используемые в качестве независимых, должны подбираться индивидуально. Тогда и "огромного количества подбираемых параметров сети", скорее всего, не будет.

[mserg]

Ваша позиция мне понятна. Но я уже знал о том, что Вы написали. Знал, и все равно написал то, что написал.
Представьте себе, что обучающие данные были получены следующим образом. Создавались некоторые условия и были произведены 1000 измерений (для получения более высокой точности и борьбы с «шумами/случайностями»). Условий экспериментов было 10. Итого, обучающих данных 10*1000=10000. Далее эти данные отдаются нейросети. «Она» считает, что их 10000, а на самом деле – всего 10. В реальности могут быть более сложные «корреляции», о которых заранее неизвестно, и количество обучающих данных, в общем случае, не значит ровным счетом ничего.
Можно спорить и по другим пунктам, особенно по «методологической». Например, «настраиваем по обучающим данным, проверяем по тестовым». Слабое место – это способ получения самих выборок, т.е. деление данных на обучающие и тестовые. И т.д. и т.п. Куда ни сунься – везде «засада». Стоит только обратиться к реальным задачам, а не к подобранным/сфальсифицированным данным, – и все это обязательно всплывет.
Если верите в то, что «просто нужно уметь готовить нейросети» - пожалуйста. Я верю в более технологичные инструменты, чем «нейросети». Это, в некотором смысле, религиозный вопрос

[Maslov]

mserg в сообщении #245160 писал(а):

Представьте себе, что обучающие данные были получены следующим образом. Создавались некоторые условия и были произведены 1000 измерений (для получения более высокой точности и борьбы с «шумами/случайностями»). Условий экспериментов было 10. Итого, обучающих данных 10*1000=10000. Далее эти данные отдаются нейросети. «Она» считает, что их 10000, а на самом деле – всего 10.

Я не очень понимаю, как нейросеть может что-то "считать" по поводу количества экспериментов. Если у нас есть 10 наборов условий эксперимента (т.е., 10 наборов входных параметров нейросети), количество оцениваемых параметров модели (т.е., весовых коэффициентов нейросети) никак не может быть больше 10, вне зависимости от количества экспериментальных точек, полученных для каждого набора входных параметров. В противном случае якобиан невязки будет вырожденным, а задача минимизации невязки - некорректной, со всеми вытекающими отсюда последствиями.

mserg в сообщении #245160 писал(а):

Если верите в то, что «просто нужно уметь готовить нейросети» - пожалуйста.

Спасибо, но дело в том, что я довольно много занимался вопросами построения нелинейных моделей, в том числе, с использованием нейросетей, поэтому в данном случае я не верю, я просто знаю.

mserg в сообщении #245160 писал(а):

Я верю в более технологичные инструменты, чем «нейросети».

А в какие "более технологичные" (свободные от перечисленных Вами недостатков) инструменты Вы верите?