О перцептроне Розенблатта

[mihaild]

tac в сообщении #1707898 писал(а):

mihaild в сообщении #1707897 писал(а):

не понимаю, зачем нужен выход $-1$

исключительно для обучения

Я имею в виду - почему там нужна $-1$, а $0$ не подходит.

tac в сообщении #1707893 писал(а):

Первый слой S-A - это не полносвязный слой, с фиксированными весами +1 или -1, или 0 если связи нет. В остальном этот слой стандартный и не обучаемый

Я думал, что вот этот слой матрица $A$ (и я забыл написать, что она с элементами $0, \pm 1$).

tac в сообщении #1707457 писал(а):

Таким образом, если в обучающей выборке содержится m примеров, мы получаем систему из m линейных неравенств относительно n+1 переменной (весов w₀, w₁, ..., wₙ)

А подбираем, соответственно, $k$ весов (для системы неравенств).

tac в сообщении #1707898 писал(а):

Случайным образом, есть разные стратегии, дающие разный результат, но сейчас это не важно

Опять же, какие-то ограничения нужны. Иначе я Вам непрерывную преобразую признак в целую часть по модулю $2$, и удачи после этого восстановить, был он больше 50 или меньше :)

[tac]

mihaild в сообщении #1707899 писал(а):

Я имею в виду - почему там нужна $-1$, а $0$ не подходит.

потому что когда Розенблатт будет определять правило обучения, он скажет что корректировать нужно на обратное значение от R. Если это держать в уме, то можно свести к нулю (но при обучении 0 представлять как -1)

-- Сб ноя 01, 2025 04:10:29 --

mihaild в сообщении #1707899 писал(а):

Я думал, что вот этот слой матрица $A$ (и я забыл написать, что она с элементами $0, \pm 1$).

Давайте чтобы не путаться, называть это матрицей весов обозначая или SA, и отличать её от матрицы весов AR, или W1 и W2, а еще лучше Wsa и War, первая с элементами $0, \pm 1$, вторую подбираем. Первая матрица собственно, это и есть отображение стимулов в признаки (после прохождения порога).

-- Сб ноя 01, 2025 04:15:55 --

mihaild в сообщении #1707899 писал(а):

Опять же, какие-то ограничения нужны.

Если классически, это алгоритм такого типа

Алгоритм 2: Случайно-чередуемая инициализация связей  
Вход: SCount = n
Выход: Матрица весов WeightSA
для каждого А-элемента a:
    для j = 1 до 2n:
        сенсор ← случайный(1, n)
        тип ← случайный({-1, 1})  // равновероятный выбор
        WeightSA[сенсор][a] ← тип

-- Сб ноя 01, 2025 04:25:12 --

mihaild в сообщении #1707899 писал(а):

Иначе я Вам непрерывную преобразую

я уже говорил, что перцептрон в оригинале не работает с непрерывными числами, их нужно бинаризировать, еще до того, как подать на входы S, ну или нормализировать в [0,1] - для MNIST градации серого делим на 255, и все хорошо работает без бинаризации

[mihaild]

$SA$ плохо, потому что выглядит как произведение матриц. Давайте $W_{sa}$.
А вторая - $W_{ar}$ - это же (для бинарной классификации) просто вектор?
И итоговый вид модели $y = \Theta(\theta(S(\vec x) \cdot W_{sa}) \cdot W_{ar})$?

tac в сообщении #1707900 писал(а):

Если классически, это алгоритм такого типа

Это для $W_{sa}$. А еще интересный вопрос - откуда брать $S$.

Так, стимул - это $S(\vec x)$? И два стимула "полностью отличаются", если $S(\vec x_1)$ и $S(\vec x_2)$ не имеют общих ненулевых координат?

[tac]

mihaild в сообщении #1707901 писал(а):

А вторая - $W_{ar}$ - это же (для бинарной классификации) просто вектор?

тут не понял, это такая же матрица как и для нейронной сети, размером число A элементов на число R элементов, если RCount = 1 , то да вектор из ACount элементов

mihaild в сообщении #1707901 писал(а):

$y = \Theta(\theta(S(\vec x) \cdot W_{sa}) \cdot W_{ar})$?

уже похоже на правду.

-- Сб ноя 01, 2025 04:39:50 --

mihaild в сообщении #1707901 писал(а):

стимул - это $S(\vec x)$?

тут нет функции S, стимул - это и есть входной бинарный вектор

-- Сб ноя 01, 2025 04:43:32 --

mihaild в сообщении #1707901 писал(а):

два стимула "полностью отличаются"

Предположим у нас поле 4х4 (размерностью 16)

Первый стимул
1100
1100
0000
0000

Второй стимул
0000
0000
0011
0011

вот эти стимулы полностью отличаются (хотя и представляют собой один образ "квадрат")

Третий стимул
0000
0110
0110
0000

частично перекрывает и первый и второй

-- Сб ноя 01, 2025 04:54:05 --

Дипсик предложил

Мера Жаккара (Jaccard Similarity) = 0 :)

это вам лучше знать, но выглядит наукообразно

-- Сб ноя 01, 2025 05:21:55 --

ну и наверно, еще более строго, это "мера взаимозависимости Райского" = 0, но я хз ...

[tac]

нет, как раз, мера взаимозависимости Райского - это не то .. а вот Жаккара да - то

[mihaild]

tac в сообщении #1707902 писал(а):

тут нет функции S, стимул - это и есть входной бинарный вектор

У нас же в MNIST данные не бинарные, их надо как-то перевести в бинарный вид. Я обозначил соответствующую функцию за $S$. Если она обозначает что-то еще - скажите, и дайте обозначение для функции из данных в бинарные вектора.

tac в сообщении #1707902 писал(а):

Мера Жаккара (Jaccard Similarity) = 0 :)

это вам лучше знать, но выглядит наукообразно

Мера Жаккара - это конкретное расстояние между (непустыми) множествами, и понятно как ее обобщить на ненулевые бинарные вектора. Но я не знаю, нужно Вам это расстояние или какое-то другое.

[tac]

mihaild в сообщении #1708172 писал(а):

У нас же в MNIST данные не бинарные, их надо как-то перевести в бинарный вид. Я обозначил соответствующую функцию за $S$.

а, если это как раз функция бинаризации, то ок.

-- Пн ноя 03, 2025 16:29:30 --

mihaild в сообщении #1708172 писал(а):

Мера Жаккара - это конкретное расстояние между (непустыми) множествами, и понятно как ее обобщить на ненулевые бинарные вектора. Но я не знаю, нужно Вам это расстояние или какое-то другое.

ну, выглядит, как то, что как раз имеется введу, как "чистое обобщение", когда мера Жаккара = 0, бонусом получаем некую меру пересечения, что может быть полезно на практике.

-- Пн ноя 03, 2025 17:11:57 --

tac в сообщении #1707902 писал(а):

$y = \Theta(\theta(S(\vec x) \cdot W_{sa}) \cdot W_{ar})$?

Итого, да - это перцептрон. Что же касается, "несвязанных выборок", дипсик предложил мне использовать термин "покрытие" с таким определением:

Цитата:

Множество L покрывает множество T относительно меры сходства J, если для каждого элемента t ∈ T существует хотя бы один элемент l ∈ L такой, что J(l, t) > 0. J - это мера Жаккара

[mihaild]

tac в сообщении #1708217 писал(а):

Что же касается, "несвязанных выборок", дипсик предложил мне использовать термин "покрытие" с таким определением

Мне не нравится это определение, потому что если мы просто добавим ни за чем не нужную всегда единичную координату, то любые выборки окажутся связанными. Ну да ладно.

Теперь определения чуть больше понятны, и можно вернуться к обучению и переобучению. $S$ у нас вообще фиксирована, и мы её берем с потолка, так? Главное чтобы не оказалось, что два разных объекта в обучающей выборке получили одинаковые метки.
Потом мы для каждого $n$ генерируем случайную $W_{sa}$ размера $n \times k$, и как-то подбираем $W_{ar}$, так?

(Оффтоп)

Когда цитируете, нажимайте кнопку "вставка" под цитируемым сообщением, иначе автор определяется неправильно.

[tac]

mihaild в сообщении #1708224 писал(а):

если мы просто добавим ни за чем не нужную всегда единичную координату, то любые выборки окажутся связанными

Если я правильно, понимаю то "всегда единичная координата" - это образ из всех единиц? Не, видимо это признак, который для всех примеров равен 1. Тогда да, он/я не учел, что это определение тогда становится справедливо только для одного класса. Для многоклассовой классификации это определение должно выполняться для каждого класса, а все примеры должны различаться.

-- Пн ноя 03, 2025 19:43:06 --

mihaild в сообщении #1708224 писал(а):

. $S$ у нас вообще фиксирована, и мы её берем с потолка, так? Главное чтобы не оказалось, что два разных объекта в обучающей выборке получили одинаковые метки.
Потом мы для каждого $n$ генерируем случайную $W_{sa}$ размера $n \times k$, и как-то подбираем $W_{ar}$, так?

вроде все так.

-- Пн ноя 03, 2025 19:49:17 --

Заодно проверьте правильно ли LLM формулирует, попросил её уточнить определение

Цитата:

Определение: Обучающая выборка L с метками Lm классово-покрывает тестовую выборку T с метками Tm относительно меры сходства J, если для каждого класса c и для каждого тестового примера t ∈ T с меткой c существует хотя бы один обучающий пример l ∈ L с той же меткой c такой, что J(l, t) > 0.

Формально:
∀c ∈ Classes, ∀t ∈ T_c, ∃l ∈ L_c: J(l, t) > 0

где:
Classes - множество всех классов
T_c = {t ∈ T | Tm(t) = c} - тестовые примеры класса c
L_c = {l ∈ L | Lm(l) = c} - обучающие примеры класса c

[mihaild]

tac в сообщении #1708225 писал(а):

Если я правильно, понимаю то "всегда единичная координата" - это образ из всех единиц?

Нет, у нас же образ $S$ - бинарный вектор. Давайте заменим $S$ на $S'$, $S'(\vec x) = (S(\vec x)_1, S(\vec x)_2, \ldots, S(\vec x)_n, 1)$.

tac в сообщении #1708225 писал(а):

вроде все так

Хорошо. Вроде бы правда, что если из $y_i \neq y_j$ следует $S(\vec x_i) \neq S(\vec x_j)$, то при большом $n$ и случайной $W_{sa}$ получающаяся система на $W_{ar}$ с большой вероятностью разрешима.
В Вашем утверждении об "отсутствии переобучения" какие-то ограничения на $n$ и $W_{ar}$ есть, или достаточно чтобы они давали нулевую ошибку на обучающей выборке?

-- 03.11.2025, 17:54 --

tac в сообщении #1708225 писал(а):

Заодно проверьте правильно ли LLM формулирует, попросил её уточнить определение

Не могу, глаза вытекли. Попросили бы уж $\LaTeX$ сгенерировать.
(но в целом у меня нет большого желания заниматься проверкой стохастических попугаев бесплатно, если я могу это делать за деньги )

[tac]

mihaild в сообщении #1708226 писал(а):

Нет, у нас же образ $S$ - бинарный вектор. Давайте заменим $S$ на $S'$, $S'(\vec x) = (S(\vec x)_1, S(\vec x)_2, \ldots, S(\vec x)_n, 1)$.

ага, я кажется догадался/понял, выше поправил

tac в сообщении #1708225 писал(а):

Не, видимо это признак, который для всех примеров равен 1

Теперь, добавив уточнения про класс, как раз получается логично - вы можете в обучающей выборке действительно разметить наперед разметить все классы, для класса 1 ввести, признак 1 и пометить соответствующие классы, и т.д. Но это читерство :) нужно ограничение чтобы сама выборка не содержала прямых меток ))

-- Пн ноя 03, 2025 20:05:26 --

mihaild в сообщении #1708226 писал(а):

но в целом у меня нет большого желания заниматься проверкой стохастических попугаев

думаю, в этом определении он все правильно написал, я же сам вряд ли сделаю лучше его - мне такой формальный язык противоестественен ... поэтому приходится полагаться на него, поэтому я же не прошу вас в целом, а в целях нашей дискуссии.

-- Пн ноя 03, 2025 20:10:23 --

mihaild в сообщении #1708224 писал(а):

для каждого $n$ генерируем случайную $W_{sa}$ размера $n \times k$

чуть назад, что такое n и k?

[mihaild]

tac в сообщении #1708228 писал(а):

Теперь, добавив уточнения про класс, как раз получается логично - вы можете в обучающей выборке действительно разметить наперед разметить все классы, для класса 1 ввести, признак 1 и пометить соответствующие классы, и т.д. Но это читерство :) нужно ограничение чтобы сама выборка не содержала прямых меток

Как-то странно. Если у нас в данных уже есть легко извлекаемый таргет, то это же хорошо.
Но я про то, что ограничение "тестовая выборка не содержит полностью отличающихся от обучающей стимулов" ничего содержательно не ограничивает, поэтому вряд ли можно что-то сказать про выборку с этим ограничением, чего нельзя сказать без него.

tac в сообщении #1708228 писал(а):

думаю, в этом определении он все правильно написал, я же сам вряд ли сделаю лучше его - мне такой формальный язык противоестественен

Как раз в этом случае важно писать самому. Даже если криво, то, по крайней мере, будет написано то, что Вы хотели, а не что-то похожее, но отличающееся.

-- 03.11.2025, 18:11 --

tac в сообщении #1708228 писал(а):

чуть назад, что такое n и k

Собственно размеры матрицы $W_{sa}$. $n$ - размерность выхода $S$, $k$ - размерность входа $R$.

[tac]

mihaild в сообщении #1708226 писал(а):

Вроде бы правда, что если из $y_i \neq y_j$ следует $S(\vec x_i) \neq S(\vec x_j)$, то при большом $n$ и случайной $W_{sa}$ получающаяся система на $W_{ar}$ с большой вероятностью разрешима.

mihaild в сообщении #1708230 писал(а):

размеры матрицы $W_{sa}$. $n$ - размерность выхода $S$, $k$ - размерность входа $R$.

Тут где-то ошибка из-за того, что путаются обозначения. Пока чисто программные названия: SCount, ACount, RCount - количество соответствующих элементов в задаче, например, для MNIST 784x10000x10. Тогда в наших обозначениях n = 784, k = 10000, и если у нас 2 класса, то 1 выход.

Тогда правильно, "... при большом к и случайной $W_{sa}$ получающаяся система на $W_{ar}$ с большой вероятностью разрешима"

-- Пн ноя 03, 2025 20:25:31 --

mihaild в сообщении #1708226 писал(а):

В Вашем утверждении об "отсутствии переобучения" какие-то ограничения на $n$ и $W_{ar}$ есть

и тогда, если я не ошибся выше, то есть ограничения на k, оно должно быть больше 1000 (условно, но порядок такой) и меньше числа обучающей выборки. На матрицу весов нет ограничений. Ну разве только, это будут натуральные числа int, проще говоря.

[mihaild]

tac в сообщении #1708232 писал(а):

Тогда правильно, "... при большом к и случайной $W_{sa}$ получающаяся система на $W_{ar}$ с большой вероятностью разрешима"

Да, правильно, я ошибся. $n$ это число признаков после бинаризации.

Вопрос тот же - ограничения на $k$ и $W_{ar}$, кроме того, что они дают решение системы, есть?

-- 03.11.2025, 18:29 --

tac в сообщении #1708232 писал(а):

и тогда, если я не ошибся выше, то есть ограничения на k, оно должно быть больше 1000 (условно, но порядок такой) и меньше числа обучающей выборки

И утверждается, что при таких ограничениях алгоритм "не переобучается" (видимо, с высокой вероятностью относительно матрицы $W_{sa}$) на "разумных" датасетах?

[tac]

mihaild в сообщении #1708233 писал(а):

Вопрос тот же - ограничения на $k$ и $W_{ar}$, кроме того, что они дают решение системы, есть?

выше ответил, одновременно писали