при этом алгоритм обучения, очевидно, должен обобщать в себе алгоритмы всех возможных знаний.
Вот тут ошибка. Мало того, что не очевидно, но и ложно.
Второй пункт не понял. Стараться понять нет смысла, так как Ваши суждения сплошь и рядом необоснованы, бездоказательны, предвзяты.
"В настоящее время хорошо известно, что хаос является ключевым аспектом многих физических явления. Возникает вопрос: играет ли хаос столь же важную роль в обучении нейронных сетей? В [310] утверждается, что в биологическом контексте ответ на этот вопрос является положительным. По мнению автора этой работы, образы нейронной активности не привносятся в мозг извне, а содержаться в нём самом. В частности, хаотическая динамика представляет базис для описания условий, необходимых для проявления свойств эмерджентности в процессе самоорганизации популяций нейронов."
"Нейронные сети. Полный курс."
https://books.google.ru/books/about/%D0 ... Mr0iA0muwCПоэтому от низшего уровня к высшему. От хаоса к конкретике. От смысла к образу, решению. Например, нейроны зрительной коры, рецептивное поле которых содержит объект внимания, сильнее синхронизированы, чем нейроны, которые реагируют на объекты вне внимания. Вспышки нейронной синхронизации регистрируются также и в других областях мозга — например, соответствующих моторным функциям, когда внимание обращено на проводимое действие. Гуглите - Синхронизация (нейробиология).
-- 09.03.2017, 12:09 --Ещё две ссылки (пока нет времени подробно ответить):
«Blue brain project: связи и хаос.»
http://biomolecula.ru/content/1970«Пространственно-временное моделирование в биологии.»
http://biomolecula.ru/content/1084-- 09.03.2017, 12:47 --Цитата:
Возможно, что любое знание может быть представлено одной и той же формулой, просто с разными коэффициентами (подобно универсальной машине Тьюринга или полным задачам). ...
Разными нейронными сетями, то есть? Так речь, по сути, о том и идёт, что сеть сетей - формула всех формул, знание всех знаний - не имеет смысла.
Цитата:
Возможно, что любое знание может быть представлено одной и той же формулой, просто с разными коэффициентами (подобно универсальной машине Тьюринга или полным задачам). Соответственно, любое обучение - это подбор коэффициентов. Можно посмотреть, например, на ту же AlphaGo, про которую все хорошо известно в плане знания процесса появления знаний, а вот с результатом этого процесса не все так ясно.
Всё ясно с результатом — нейронные сети непонятны, и в целом именно аргумент про обучение делает их непонятными.
Привычно считать, что любое явление можно свести к формуле — содержащей абстрактную суть явления, его алгоритм. И применив эту формулу, можно заранее «компактно» рассчитать ход явления в тех или иных условиях, и уже затем воспроизводить это явление непосредственно и применять его. Однако нейронная сеть уже и есть «формула» — преобразования значений на входе в значения на выходе, и потому любое изменение сети — будь это изменение в процессе обучения или добавление нового элемента — это изменение этого преобразования, новая «формула». Аналогично так как вся целиком нейронная сеть от её общей архитектуры до частных особенностей нейронов — это её опыт, то любое изменение сети — это изменение её опыта.
В результате чтобы проверить пригодность сети для решения задачи, необходимо воспроизводить работу сети всегда в полном объёме. И так как мысленно это сделать невозможно, то приходится вначале создать сеть — наугад, по общим соображениям, и уже затем можно проверить правильно ли был сделан выбор. В той же степени, естественно, это касается и программных реализаций нейронных сетей — если программируемый процесс неясен, то и программу также можно создать только наугад. Таким образом, нейронные сети «непонятны» принципиально — их можно создавать только целиком и только наугад. Теории же поэтому могут описывать отдельные аспекты нейронных сетей, но не формализовать явление в целом — «формула всех формул», «опыт всех опытов» или «знание всех знаний» не имеет смысла. В итоге применение нейронных сетей на практике всегда больше экспериментальное исследование, а не решение хорошо изученной инженерной задачи.
"К сожалению, в настоящее время не существует какой-либо формализованной теории оптимизации структуры нейронных сетей или оценки влияния архитектуры на представление знаний в ней. Ответы на этот вопрос обычно получают экспериментальным путём. ... Независимо от того, как выбирается архитектура сети, знания о предметной области выделяются нейронной сетью в процессе обучения. Эти знания представляются в компактно распределённом виде весов синаптических связей сети. Такая форма представления знаний позволяет нейронной сети адаптироваться и выполнять обобщения, однако не обеспечивает полноценного описания вычислительного процесса, используемого для принятия решения или формирования выходного сигнала. Это может накладывать серьёзные ограничения на использование нейросетевого подхода, особенно в тех областях, где решающим является принцип безопасности, например, в области диспетчеризации движения самолётов или в медицинской диагностике."
Нейронные сети. Полный курс.
https://books.google.ru/books/about/%D0 ... Mr0iA0muwC Цитата:
Смысл формальной системе придает интерпретация, а невыводимая формула имеет ровно столько же смысла, что и остальные формулы и придает его системе в той же мере.
Смысл формальной системе придаёт наше мышление, его особенности — что у меня и указано. Вам нужно прочитать внимательнее.