О перцептроне Розенблатта

[mihaild]

tac в сообщении #1706893 писал(а):

честно говоря, я это не понял, может объясните подробнее?

Пример ниже - вот в RNN есть явно нейрон, который активируется внутри доменных имен.
Или https://www.pnas.org/doi/10.1073/pnas.1907375117 - конкретный нейрон активируется на картинках с самолетами, хотя никакой разметки непосредственно про самолеты в обучающей выборке не было.

[tac]

Так .... а слои тут причем?

Если вы хотите сказать, что у нейронов возникает специализация - то это очевидно, не соответствует истине, от слова совсем. Ну, или как минимум требует доказательства, т.к. у перцептрона этьо точно не так, а вот в каких нейросетях это так это нужно показать, хотя уверен, что этого нет ни в каких.

[mihaild]

tac в сообщении #1706899 писал(а):

Если вы хотите сказать, что у нейронов возникает специализация - то это очевидно, не соответствует истине, от слова совсем

Это, очевидно, соответствует истине, и я привёл Вам два подтверждающих это эксперимента.

[tac]

Вторая статья действительно заявляет нечто подобное

Цитата:

Интересно, что в современных глубоких сетях было замечено, что многие отдельные элементы соответствуют понятию, которое может интерпретироваться человеком, но сеть не была явно обучена этому: было обнаружено, что элементы способны распознавать объекты, части, текстуры, время, пол, контекст и тональность (1–7). Поиск таких содержательных абстракций — одна из основных целей глубокого обучения (8), но возникновение и роль таких концептуально-специфичных элементов изучены недостаточно. Поэтому мы задаемся вопросом: как можно количественно оценить возникновение концептуальных элементов на разных уровнях сети?

Но это на самом деле детский сад. Это даже не нужно доказывать, т.к. очевидно, что память нейросети не локализована нигде. А они именно это и заявляют. В таком случае, они превращают нейросеть в базу данных, что очевидным образом не так.

Вообще, как я понимаю, эта сеть (во второй статье) генерирует сцены, а не наоборот распознает? Это существенное отличие ... боюсь мы просто говорим о разных задачах и видах сетей. Времени углубляться в детали нет, да и желания тоже. Я говорю о MLP обученных методом backpropagation - и там этого нет и быть не может, на другие сети я свои выводы не распространяю, а вы видимо несправедливо делаете такое обобщение.

Ах, да там CNN еще есть ... тогда можно сделать вывод, что чтобы появились специализированные нейроны, нужно создать свёрточный слой дополнительно к полносвязному. Тогда в этом сверточном слое могут появится иерархические признаки ... это интересно, но несколько не то. Я говорю про полносвязные слои, а вы про сверточные.

[mihaild]

tac
Откуда цитата? Не гуглится.

tac в сообщении #1706904 писал(а):

Это даже не нужно доказывать, т.к. очевидно, что память нейросети не локализована нигде

Что такое "локализованная память"?

tac в сообщении #1706904 писал(а):

Вообще, как я понимаю, эта сеть (во второй статье) генерирует сцены, а не наоборот распознает?

Нет. Она учится распознавать место, где сделана фотография (ресторан, фудкорт, ярмарка, болото и т.д. - 365 классов).

tac в сообщении #1706904 писал(а):

Я говорю о MLP обученных методом backpropagation

Примерно все современные нейросети, в том числе генеративные, подходят под это описание. Есть некоторые эксперименты по другим методам обучения, но ни про какие существенные результаты мне не известно.

tac в сообщении #1706904 писал(а):

и там этого нет и быть не может

Как же не может быть, если есть?

tac в сообщении #1706904 писал(а):

Я говорю про полносвязные слои, а вы про сверточные.

Полносвязные нейронки - прошлый век (почти буквально). Сверточные, рекуррентные, трансформеры - все не полносвязные.
И в них у нейронов иногда появляется интерпретируемая специализация (есть исследования, как это поощрять, но, насколько мне известно, опять же без существенных продвижений).
Кстати в изначально процитированном Вами сообщении явно сказано о более продвинутых архитектурах

this в сообщении #1706852 писал(а):

Глубокие сети с обучаемыми слоями цнн, трансформеры

Так что непонятно, в какой момент и зачем Вы решили говорить о полносвязных.
(там, подозреваю, тоже можно найти интерпретируемые нейроны, но в целом т.к. полносвязные сети никому не нужны, то это никто особо и не проверяет)

-- 23.10.2025, 17:21 --

mihaild в сообщении #1706920 писал(а):

Она учится распознавать место, где сделана фотография

Пардон, я не дочитал (я эту статью раньше не видел, взял первую попавшуюся по теме, их много). Там отдельно эксперимент с классификатором, и отдельно с генеративной.

[this]

Слои нужны для иерархий, картинки, текст — иерархичны, так как физическая реальность иерархична. Один слой может запомнить список объектов, много слоев сложные(например из краёв — линии, из линий — формы, из форм — объекты, а из объектов — сцены. итд.) это как рекурсивные функции, что реализуется слоями. Отличие как между списком и деревом, для иерархических структур второе будет экспоненциально оптимальнее. Если структуры в основном уникальные, то тогда не будет разницы, слои не нужны. Иначе придётся запоминать не пару тысяч структур и из них как в лего затем собирать "весь мир", а сотни миллионов структур.

[tac]

mihaild в сообщении #1706920 писал(а):

Так что непонятно, в какой момент и зачем Вы решили говорить о полносвязных.

задолго до нашего разговора, выше я давал ссылку на заметку в хабре "На дворе LLM, а книгу о перцептроне так никто и не открыл!?", так вот как минимум с того момента. И недавно, я проверял нейроны как раз на специализацию у перцептрона, она крайне маловыражена. Просто не акцентируете на этом внимание, но это важно. Поэтому в этой формулировке

Цитата:

И в них у нейронов иногда появляется интерпретируемая специализация (есть исследования, как это поощрять, но, насколько мне известно, опять же без существенных продвижений).

это возможно и интересно. Не ясно, нужно ли ... но как факт интересно, но "не часто и не всегда".

-- Пт окт 24, 2025 09:10:47 --

this в сообщении #1706926 писал(а):

Отличие как между списком и деревом, для иерархических структур второе будет экспоненциально оптимальнее. Если структуры в основном уникальные, то тогда не будет разницы, слои не нужны. Иначе придётся запоминать не пару тысяч структур и из них как в лего затем собирать "весь мир", а сотни миллионов структур.

Это всё замечательно, но на это влияет структура сети и возможно что-то еще, а не способ обучения (бэкпроп).

-- Пт окт 24, 2025 09:49:32 --

Это в каком месте у трансформеров не полносвязная архитектура?

-- Пт окт 24, 2025 09:52:41 --

mihaild в сообщении #1706920 писал(а):

Откуда цитата? Не гуглится.

Ну, если бы вы читали статьи на которые ссылаетесь, то поняли бы ... это перевод из её первого абзаца

Цитата:

Can the individual hidden units of a deep network teach us how the network solves a complex task? Intriguingly, within state-of-the-art deep networks, it has been observed that many single units match human-interpretable concepts that were not explicitly taught to the network: Units have been found to detect objects, parts, textures, tense, gender, context, and sentiment (1–7). Finding such meaningful abstractions is one of the main goals of deep learning (8), but the emergence and role of such concept-specific units are not well understood. Thus, we ask: How can we quantify the emergence of concept units across the layers of a network? What types of concepts are matched, and what function do they serve? When a network contains a unit that activates on trees, we wish to understand if it is a spurious correlation or if the unit has a causal role that reveals how the network models its higher-level notions about trees.

[tac]

mihaild в сообщении #1706920 писал(а):

Что такое "локализованная память"?

так бывает, когда основы физиологии не учим прежде, чем изучать нейросети

Цитата:

В начале нашего века Павлов и другие ... выдвигали гипотезы относительно местонахождения "следов памяти" .. С постепенным накапливанием данных относительно "распределенной памяти" появились все более явные указания на то, что следы равномерно распределены по всей ткани коры. В то время как недавние работы по локализации позволили создать поразительно точные карты функций отдельных участков мозга, морфологические исследования указывают на статистический характер "тонкой структуры" нейронов и их связей.

так вот, когда вы утверждаете, что нейрон приобретает специализацию - вы тем самым утверждаете, что память локализована, что очевидным образом, не соответствует биологическому аналогу. Т.е. мне как стороннику биологически правдоподобных моделей - эти "математические сети" малоинтересны.

[mihaild]

tac в сообщении #1706992 писал(а):

Это всё замечательно, но на это влияет структура сети и возможно что-то еще, а не способ обучения (бэкпроп).

Способ обучения тоже на результат влияет. Вплоть до того, что иногда можно найти веса, которые дают меньшую функцию потерь на обучающей выборке, но худшее обобщение, чем полученные SGD.

tac в сообщении #1706992 писал(а):

Это в каком месте у трансформеров не полносвязная архитектура?

Там где attention.

tac в сообщении #1706992 писал(а):

это перевод из её первого абзаца

Первый абзац - это мёртвая зона :) Статью я целиком не читал, потому что в данном случае нужно было сослаться просто на существование нейронов, которые можно как-то интерпретировать.

tac в сообщении #1706994 писал(а):

так бывает, когда основы физиологии не учим прежде, чем изучать нейросети

Я как-то ни в одном из курсов по нейронкам физиологию в пререквезитах не видел. Да и дойти до неё по ссылкам от статей про современные архитектуры, наверное, можно, но путь будет длинный.

tac в сообщении #1706994 писал(а):

Т.е. мне как стороннику биологически правдоподобных моделей - эти "математические сети" малоинтересны

А мне неинтересны биологические. Просто post1706868.html#p1706868 выглядит явно как утверждение именно о стандартных современных архитектурах, и именно оно вызвало мое возражение. Если имелись в виду какие-то другие, и просто неудачно процитировали - то возражений нет.

[tac]

mihaild в сообщении #1707005 писал(а):

Я как-то ни в одном из курсов по нейронкам физиологию в пререквезитах не видел.

Ну так то понятно, вот и я говорю куда катится современное обучение. Так то выше цитата это из Розенблатта Rosenblatt F. (1961). Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms.

-- Пт окт 24, 2025 13:23:33 --

mihaild в сообщении #1707005 писал(а):

как утверждение именно о стандартных современных архитектурах, и именно оно вызвало мое возражение

ну, ок .. повторюсь, если это возражение вида

Цитата:

И в них у нейронов иногда появляется интерпретируемая специализация (есть исследования, как это поощрять, но, насколько мне известно, опять же без существенных продвижений).

то это действительно нужно изучать как феномен, но это не является возражением на то, что нейросети не "черный ящик". По мне даже если и когда будет объяснено, что именно вызывает специализацию это будет мало, чтобы объяснить их работу, как понимание того, как они работают. Даже более, того, если объяснение будет исключительно в специализации нейронов - это очевидно будет вранье, т.к. самом по себе специализация это противоречие существованию самой сети.

В любом случае, как бы мы не относились субъективно к этим фактам, было бы полезно, если бы вы могли бы рассказать все что об этом знаете ... не то, где вы чисто по диагонали прочитали, а если действительно понимаете механизм "как это [специализацию] поощрять".

У меня к примеру, есть код, который вычисляет специализацию нейронов, было бы интересно, если вы бы его запустили бы на своих (если они у вас есть) архитектурах нейросетей и тогда бы мы реально увидели бы это в очию, а не по статьям.

[mihaild]

(Оффтоп)

tac в сообщении #1707015 писал(а):

Ну так то понятно, вот и я говорю куда катится современное обучение

Да как-то не видно кучи прорывов в нейронках за авторством людей, хорошо изучивших физиологию. Зато видны прорывы от других авторов.
Желающие, естественно, имеют полное право пытаться вытащить что-то полезное из наблюдений за природными сетями. Но критиковать работающий подход за игнорирование каких-то знаний, когда с их помощью ничего полезного сделать не получается - ИМХО странно.

[realeugene]

mihaild в сообщении #1706920 писал(а):

И в них у нейронов иногда появляется интерпретируемая специализация

Насколько эта специализация - стабильное свойство? Если обучить заново с нуля на другой выборке, она опять возникнет у какого-то нейрона?

[this]

tac в сообщении #1706992 писал(а):

Это всё замечательно, но на это влияет структура сети и возможно что-то еще, а не способ обучения (бэкпроп).

Вам нужно понять что бекпроп — это не просто эвристика в МЛ, а строгий и почти оптимальный метод градиентной оптимизации композитных функций.

Это математика, цепное правило, вложенная структура нейросети (многослойная композиция нелинейных преобразований) автоматически превращается в произведение якобианов, что позволяет вычислить точный градиент функции потерь по каждому параметру. При использовании полной выборки как одного батча это даёт аналитически корректное направление наискорейшего спуска, ещё раз - это не эвристика, это точная аналитическая формула.

Конечно, существуют и другие подходы — локальные правила, вот они уже эвристики, обучения (Хебба и тп), контрастивные схемы, форвард-форвард Хинтона и прочие биологически вдохновлённые методы. Некоторые из них действительно справляются с простыми задачами с ксор и даже мнист. Но стоит перейти к чему-то более сложному — масштабным архитектурам, тонкой настройке, большим данным — и разрыв в эффективности становится неприемлемым. Альтернативы требуют на порядки больше вычислений, не масштабируются без скрытого использования бекпроп-подобных идей.

Именно поэтому бекпроп остаётся основой глубокого обучения: он сочетает математическую строгость, вычислительную эффективность и масштабируемость. Другие методы интересны как гипотезы о том, как может учиться мозг, или как инструменты для специфических сценариев (например, при жёстких ограничениях на память), но пока ни один из них не предлагает столь же универсального и мощного механизма оптимизации.

Так что смиритесь.

(Оффтоп)

Немного офтопа, при всём уважении, но мне кажется у вас некая психологическая компонента присутствует в отношении бекпропа, возможно социально -психологическая травма, обида на работе, увольнение, доминирование вышестоящего коллеги, сторонника бекпропа и тп. Нужно проработать эту проблему у психолога.

[mihaild]

tac в сообщении #1707015 писал(а):

если бы вы могли бы рассказать все что об этом знаете ... не то, где вы чисто по диагонали прочитали, а если действительно понимаете механизм "как это [специализацию] поощрять"

Нет, в детали я не вдавался. Никаких достаточно обещающих результатов, чтобы вчитываться, не попадалось.
Из наиболее интересного - правда не про отдельные нейроны, а про ядра - Interpretable Convolutional Neural Networks. Учим каждое ядро активироваться только на картинках одной категории, причем на каждой картинке этой категории - только в одном месте.

tac в сообщении #1707015 писал(а):

У меня к примеру, есть код, который вычисляет специализацию нейронов, было бы интересно, если вы бы его запустили бы на своих (если они у вас есть) архитектурах нейросетей

Моих личных нет. А ничего конкретного про то, что происходит на работе, я рассказывать права не имею.

realeugene в сообщении #1707018 писал(а):

Если обучить заново с нуля на другой выборке, она опять возникнет у какого-то нейрона?

Интуитивно я бы ожидал, что обычно нет, но не уверен.

this в сообщении #1707020 писал(а):

Это математика, цепное правило, вложенная структура нейросети (многослойная композиция нелинейных преобразований) автоматически превращается в произведение якобианов, что позволяет вычислить точный градиент функции потерь по каждому параметру.

Только почему-то она не используется в чистом виде, а используются всякие эвристические дополнения, вроде momentum.
Но даже и чистый градиентный метод, единственное что гарантирует (для невыпуклых функций) - это приход в локальный минимум, если шаг "достаточно" мал.
И, видимо, градиентный спуск находит веса, в которых есть что-то хорошее кроме низкого значения функции потерь. См., например, Neural Word Embedding as Implicit Matrix Factorization - word2vec учит градиентным спуском некоторое матричное разложение. Которое можно посчитать точно, и loss будет меньше. Но результаты на практических задачах сильно лучше не будут, а иногда будут и хуже. Т.е. неоптимальные найденные градиентным спуском веса - это не случайные неоптимальные веса, а в каком-то смысле "хорошие".

[tac]

this в сообщении #1707020 писал(а):

Так что смиритесь.

Что за глупость?

mihaild в сообщении #1707025 писал(а):

приход в локальный минимум, если шаг "достаточно" мал

именно так, причем вот это "достаточно" мал не позволяет в ряде случаев обучать до нуля ошибок.

this в сообщении #1707020 писал(а):

Другие методы интересны как гипотезы о том, как может учиться мозг

Этого уже достаточно, чтобы этим серьезно заниматься. Но, не только. Я же выше дал ссылку на свою модификацию перцептрона, который дает аналогичные результаты по качеству прогноза как и бэкпроп, но быстрее сходится и сходится в отличии от бэкпропа до нуля.

Ссылку могу повторить https://habr.com/ru/articles/958498

(Оффтоп)

this в сообщении #1707020 писал(а):

но мне кажется у вас некая психологическая компонента присутствует в отношении бекпропа

А мне кажется, что у вас проблема с пониманием, что такое перцептрон Розенблатта, причем проблема именно психологическая - неспособность выучить основы, так что теперь? Будем дальше свои глупости придумывать?

-- Сб окт 25, 2025 09:47:31 --

(Оффтоп)

mihaild в сообщении #1707025 писал(а):

А ничего конкретного про то, что происходит на работе, я рассказывать права не имею.

а случайно на другом форуме мы с вами не общались? или это так много людей которые работают на оборонку?