О перцептроне Розенблатта

[Mihaylo]

tac в сообщении #1706006 писал(а):

Но это странно, обычно он всех устраивает.

Уточню. На входе - все нули, значит на выходе нули, и хоть что поделай. Это не есть хорошо - без нейронов смещения.

[gevaraweb]

tac в сообщении #1706006 писал(а):

Но это вопрос интерпретации выходов, если там нас не устраивает ноль - то ок

Что значит устраивает или не устраивает? А если, например, целевая функция на нулях - не ноль? Что бывает достаточно часто. Об этом речь.

Mihaylo в сообщении #1705896 писал(а):

Что касается обратного распространения ошибки.

Тутор как-нибудь, где-нибудь, приведите :) Вы его разбирали по винтикам. А то я, например, не разобралcя :)

[tac]

gevaraweb в сообщении #1706008 писал(а):

А если, например, целевая функция на нулях - не ноль? Что бывает достаточно часто.

Это одно единственное, причем сугубо специальное значение. Измените целевую функцию и всё. Впрочем, для этой темы это оффтоп. Мы обсуждаем перцептрон :)

Впрочем, как я понимаю, тут все люди грамотные и знают и не возражают (как я обычно привык), что перцептрон Розенблатта дает сходные с MLP + backprop результаты, то тему можно закрывать :)

[gevaraweb]

(Маккаллок-Питтс играл на лире, а Розенблатт ее забрал)

tac в сообщении #1706003 писал(а):

Как небо и земля.

Слишком категорично. Не было бы модели Маккаллока-Питтса, то, скорее всего, не было бы и перцептрона.

Цитата:

tac в сообщении #1706017 писал(а):

Измените целевую функцию и всё.

Сходная проблема может возникать на каждом слое.
Ну, ок.

[Mihaylo]

tac в сообщении #1706017 писал(а):

тут все люди грамотные и знают и не возражают

Мы не разбираемся в розенблаттовской теории, а в практике - и того более. Тутор, пожалуйста. :)

[tac]

Mihaylo в сообщении #1706033 писал(а):

Мы не разбираемся в розенблаттовской теории, а в практике - и того более. Тутор, пожалуйста. :)

Этого добра есть у меня :) Писал еще 10 лет назад

Перцептрон Розенблатта — что забыто и придумано историей?

Какова роль первого «случайного» слоя в перцептроне Розенблатта

Запрограммируем перцептрон Розенблатта?

Задание со звездочкой :)

Резюме проблемы «двух и более учителей» и субъективное мнение о ИИ-сообществе

Сейчас работаю над своей статьей

Цитата:

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов

Аннотация. Классический перцептрон Розенблатта с архитектурой S–A–R исторически не имел устойчивого алгоритма обучения многослойных структур. В результате в современном машинном обучении доминирует метод обратного распространения ошибки (backpropagation), основанный на градиентном спуске. Несмотря на успехи, этот подход имеет фундаментальные ограничения: необходимость вычисления производных нелинейных функций и высокая вычислительная сложность. В данной работе показано, что при интерпретации работы нейросети через алгоритм ID3 (Rule Extraction) скрытый слой автоматически формирует чистые окрестности в смысле кластерного анализа — признаки группируются по классам ещё до завершения обучения. На основе этого наблюдения автором предложен новый стохастический алгоритм обучения, восходящий к идеям Розенблатта, но принципиально расширяющий их: он позволяет обучать скрытые слои перцептрона без вычисления градиентов. Таким образом, впервые решается классическая проблема обучения архитектуры S–A–R без градиентных методов. Это открывает путь к созданию принципиально новых алгоритмов обучения нейросетей с более простой и интерпретируемой динамикой.

https://habr.com/ru/articles/952532

[gevaraweb]

tac в сообщении #1706043 писал(а):

Сейчас работаю над своей статьей

Тут не тем же занимаются? Optimizing Extreme Learning Machine via Generalized Hebbian Learning and Intrinsic Plasticity Learning

[tac]

gevaraweb в сообщении #1706066 писал(а):

Тут не тем же занимаются? Optimizing Extreme Learning Machine via Generalized Hebbian Learning and Intrinsic Plasticity Learning

Да, спасибо, видимо чем то похожим ... надо посмотреть будет и сравнить.

То, что они называют Basic ELM - по сути и есть перцептрон Розенблатта, только у перцептрона нет смещения, что мы определили как по сути лишние, и случайные веса первого слоя только -1 и +1, а в Basic ELM видимо произвольные, скорее всего на отрезке [1;-1] . Ну, и обучение у них другое, хотя они и вспоминают про правило Хебба, но в оригинале используют другое ...

-- Чт окт 16, 2025 16:09:20 --

В целом, они делают все по другому, что не удивительно и как то слишком сложно по мне, их математическое описание сложно понять, и нужно смотреть код, если вы знаете где найти исходники - подскажите.

-- Чт окт 16, 2025 16:14:25 --

Впрочем я нашел https://github.com/5663015/elm

-- Чт окт 16, 2025 16:17:40 --

Похоже переоткрыли Розенблатта, интересно в оригинале ссылались на него или не знали о нем :)

-- Чт окт 16, 2025 16:27:12 --

Нет, в оригинальной статье Хуанга - ни слова про Розенблатта, значит похоже, но не то :) Там в статье важна теорема названая JL Theorem, она как раз показывает что делает сеть Розенблатта, он её не формулировал, но по факту это и реализовал, за счет его перцептрон и работает, и не является однослойным

[Mihaylo]

tac в сообщении #1706043 писал(а):

Этого добра есть у меня :) Писал еще 10 лет назад

Есть что-то более качественное? Неохота читать про то, какие люди вас окружили вместе с Розенблаттом.

Я вот видел принцип Хебба. Если два связанных нейрона в соседних слоях возбудились, то связь между ними крепнет. Если нейроны разнополярны, то связь слабеет.

[tac]

Mihaylo в сообщении #1706151 писал(а):

Есть что-то более качественное?

Оригинал от Розенблатта

-- Чт окт 16, 2025 21:55:46 --

Mihaylo в сообщении #1706151 писал(а):

Неохота читать про то, какие люди вас окружили вместе с Розенблаттом.

со звездочкой, вам действительно еще рано читать. Есть ссылка о том как запрограммировать.

-- Чт окт 16, 2025 21:57:39 --

Mihaylo в сообщении #1706151 писал(а):

Я вот видел принцип Хебба. Если два связанных нейрона в соседних слоях возбудились, то связь между ними крепнет. Если нейроны разнополярны, то связь слабеет.

Это не принцип Хебба, как минимум не тот принцип Хебба, который используется в перцептроне. Принцип Хебба проще - если нейрон делает ошибку, то все веса от активных нейронов подкрепляются +1, если выход должен быть выше порога, и тормозятся (-1), если ниже порога.

private void LearnedStimul(int ReactionNumber)
{
    for (int j = 1; j < RCount + 1; j++)
    {
        for (int i = 1; i < AHConnections[ReactionNumber].Count + 1; i++)
        {
            Weight[AHConnections[ReactionNumber].Value[i]].Value[j] += ReactionError[j];
        }
    }
}

-- Чт окт 16, 2025 22:02:34 --

https://habr.com/ru/articles/102305

[tac]

На хабре опубликовал результаты тестов своей модификации перцептрона на задаче MNIST, может быть кому то будет интересно

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2

[this]

Идея использования "ассоциативных нейронов" в качестве фиксированного, нелинейного слоя предобработки данных — по сути, проекция исходных признаков в пространство более высокой размерности — действительно, элегантна и теоретически обоснована. Это прямой аналог кернел трика в свм.

Однако, как наглядно демонстрирует пример ЕЛМ и других моделей, следующих этой парадигме, их фундаментальные лимиты заключается в пассивной, статической природе такого рандомного фичаинжиниринга. Случайное проецирование, каким бы мощным оно ни было в теории, является слепым по отношению к специфике данных и конечной задачи. Оно создаёт множество потенциальных признаков в надежде, что какие-то из них окажутся релевантными, но не способно к целенаправленному синтезу семантически значимых инвариантов.

Фокус современного МЛ сместился с задач чистой классификации и регрессии на основе "табличных данных" (где каждый компонент вектора имеет строго закреплённую, интерпретируемую семантику — например, "возраст", "зарплата", "давление") на задачи работы с "сырыми", низкоуровневыми данными. В этих новых задачах (компьютерное зрение, текст, аудио) Отдельные компоненты вектора мало что значат. Пиксель в координате (12, 45) или слово под индексом 1045 в контексте не несут самостоятельной смысловой нагрузки, по крайней мере, далеко не весь смысл. Важна не позиция и даже не значение, а структура и взаимосвязи. Ключевая задача — автоматический фичаинжиниринг, извлечение инвариантных, абстрактных представлений непосредственно из данных в процессе обучения.

Именно здесь подходы вроде ЕЛМ показывают свою принципиальную ограниченность. Они не занимаются целенаправленным обучением признаков. Их "ассоциативные нейроны" — это артиллерийский залп по площади, в то время как современные модели — это снайперы, которые сами учатся находить уязвимые точки.

Люди исчерпали лимит ручного алгоритмического конструирования признаков для изображений, текстов и звуков. Человек не в состоянии придумать все необходимые инварианты для распознавания кота в любом ракурсе, при любом освещении. Точнее сказать не исчерпали, а поняли что это очень масштабная задача, которую можно делегировать мета-алгоритму.

Глубокие сети с обучаемыми слоями цнн, трансформеры, демонстрируют способность строить иерархию признаков — от простых краев и текстур к сложным объектам и сценам или от морфем и синтаксических конструкций к семантике и контексту. Каждый следующий слой обучается комбинировать признаки предыдущего, создавая всё более содержательные инварианты. Обучаемые признаки подстраиваются под конкретную задачу. Признаки, полезные для классификации пород собак, будут отличаться от признаков для диагностики медицинских снимков, даже если на вход подаются одни и те же пиксели.

В общем, хотя идея Розенблата/ЕЛМ о фиксированном проекционном слое остаётся важной вехой и находит нишевое применение в специфичных задачах (где данные уже хорошо структурированы или требуются минимальные временные затраты на обучение), она оказалась в стороне от мейнстрима. Мейнстрим же определяется не просто "умными классификаторами", а архитектурами, способными к целенаправленному, иерархическому и адаптивному обучению представлений данных (обучению репрезентации). Современная модель — это не просто функция, приближающая отображение X -> Y, а система, которая сама строит оптимальное пространство признаков Φ(X) для этого отображения, и в этом её главная сила.

[tac]

this в сообщении #1706852 писал(а):

Глубокие сети с обучаемыми слоями цнн, трансформеры, демонстрируют способность строить иерархию признаков — от простых краев и текстур к сложным объектам и сценам или от морфем и синтаксических конструкций к семантике и контексту. Каждый следующий слой обучается комбинировать признаки предыдущего, создавая всё более содержательные инварианты.

Только это никто не показал, это лирика, а на самом деле эти слои - это черный ящик, который работает и никто не видит там ни краев, ни морфем, ни чего то осмысленного

[mihaild]

tac в сообщении #1706868 писал(а):

Только это никто не показал

Вообще в картиночных моделях, например, если посмотреть на примеры, на которых выход конкретного нейрона самый большой / самый маленький - в них часто можно заметить что-то общее.
Или из давнего поста Карпаты

Вложение:

under1.jpg

Верхняя строчка - читаемый RNN текст, цвет - выход нейрона после символа (синий $-1$, белый $0$, зеленый $+1$).

[tac]

Более точно я формулировал ранее ...

Цитата:

Причем тут LLM?
Хорошо, скажите вы, а причем тут вообще перцептрон Розенблатта, если LLM основаны на другом алгоритме backpropagation?

Важно подчеркнуть, что в этой статье мы не будем касаться задачи обобщения, когда то я об этом уже писал Понятие о структурной адаптации и введение в «чистое обобщение». А просто вернемся к вопросу, которым я задавался с начала статьи: почему ветка эволюции научного направления пошла не туда, а именно почему LLM основываются на backpropagation, а не на перцептроне Розенблатта. Я часто задаю этот провокационный вопрос, и почти никто не отвечает правильно.

А ответ простой: перцептрон Розенблатта не позволяет обучать больше одного слоя. Но тогда я спрашиваю: а что дает два, три и больше скрытых слоев? Опять же единственно правильный ответ был бы: каждый следующий слой дает иерархическое выделение признаков. Но это общие слова, а кто-то когда то показал это в научной статье? Подскажите если знаете, я лично таких статей не знаю. Вот и DeepSeek отмораживается от такого вопроса.
https://habr.com/ru/articles/941754

-- Чт окт 23, 2025 17:18:04 --

mihaild в сообщении #1706872 писал(а):

если посмотреть на примеры, на которых выход конкретного нейрона самый большой / самый маленький - в них часто можно заметить что-то общее

честно говоря, я это не понял, может объясните подробнее?