Пишу статью в этой области, столкнулся с повальным не знанием у оппонентов, что такое перцептрон Розенблатта. На самом деле это сильно мешает, вместо того чтобы сосредоточится на исследовании, приходится значительную часть статьи тратить на базовые объяснения. Думаю будет полезным обсудить почему так произошло. Для затравки дам введение к моей статье.
Цитата:
Введение. Перцептрон, как искусственная нейронная сеть, разрабатывался Ф.Розенблаттом в 1957-61 года [1, 2]. Только 1969 г. М. Минский и С. Паперт публикуют свой анализ ограничений перцептрона [3]. К сожалению, в 1971 г. Розенблатт погибает, так и не ответив на их критику. А DARPA прекращает финансирование, о чем упоминается в отчете 1989 года [4], в связи с желанием возобновить финансирование работ в области коннективизма. В центре, внимания тогда рассматривалась работа о новом подходе к обучению нейросетей – backpropagation [5]. Благодаря, упрощенному изложению в отчете DARPA и борьбе за финансирование возникают множественные неточности и недоразумения, которые отмечали некоторые ученые как раньше [6], так и по сей день [7]. Показывают успешность применения классического перцептрона Розенблатта с архитектурой S-A-R на задаче MNIST [8]. Но в целом, о перцептроне Розенблатта в научном сообществе забывают, и понимание о нем вырождается в однослойный перцептрон, которым он никогда не был. Поэтому следует напомнить, что хотя Розенблатт и предлагал свой “метод коррекции с обратной передачей сигнала ошибки”, он был стохастическим и имел плохую сходимость. К сожалению, последующие ученые недооценили роль случайности, используемую в работе перцептрона. Автором ранее уже были предложены практические уточнения [9] достаточных условий для того, чтобы перцептрон был в состоянии сформировать пространство, удовлетворяющее гипотезе компактности. Но на практике так и оставалось не ясным как обучать скрытый слой перцептрона, без вычисления градиентов, в отличии от того, как это делается в алгоритме backpropagation. Конечно, автор понимает, что успех метода backpropagation и его результаты может затмевать любые альтернативные способы обучения нейросетей. И мы их покажем в сравнении на простой задаче четность. Но учитывая, как много времени и усилий различных ученых прямо или косвенно были посвящены различным аспектам работы нейросетей, в основе которых находится алгоритм backpropagation, не стоит ждать от альтернативных методов сразу потрясающих результатов. Дело в том, что прямо сравнивать MLP+backpropagation vs. Perceptron сложно, т.к. они принципиально по-разному решают задачи классификации. И мы постепенно, пройдем от наивной реализации на C#, через анализ и интерпретацию работы перцептрона, и только затем сделаем отдельные оптимизации
[1] Rosenblatt, F. (1957). The Perceptron—a perceiving and recognizing automaton. Report 85-460-1. Cornell Aeronautical Laboratory
[2] Rosenblatt, F. (1961). Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Report No. VG-II96-G-8. Cornell Aeronautical Laboratory
[3] Minsky, M., Papert, S. (1969). Perceptrons: An Introduction to Computational Geometry. United Kingdom: MIT Press.
[4] DARPA (1987) Neural Network Study Final Report. United States: The Laboratory.
[5] Rumelhart, D. E., Hinton, G. E., Williams, R. J. (1985). Learning Internal Representations by Error Propagation. United States: Institute for Cognitive Science, University of California, San Diego.
[6] Olazaran, M. (1971) A Sociological History of the Neural Network Controversy. Advances in Computers. United Kingdom: Academic Press.
[7] Kirdin, A. N., Sidorova, S. V., & Zolotykh, N. Y. (2022). Rosenblatt's first theorem and frugality of deep learning. Entropy, 24(11), 1635
[8] Kussul E., Baidyk T., Kasatkina L., Lukovich V., (2001) Rosenblatt Perceptrons for Handwritten Digit Recognition. — P. 1516—1520.
[9] Yakovlev, S., (2009) Perceptron architecture ensuring pattern description compactnes, Scientific proceedings of Riga Technical University, RTU, Riga
14.10.2025, 04:51 