О перцептроне Розенблатта

[mihaild]

tac в сообщении #1707898 писал(а):

mihaild в сообщении #1707897 писал(а):

не понимаю, зачем нужен выход $-1$

исключительно для обучения

Я имею в виду - почему там нужна $-1$, а $0$ не подходит.

tac в сообщении #1707893 писал(а):

Первый слой S-A - это не полносвязный слой, с фиксированными весами +1 или -1, или 0 если связи нет. В остальном этот слой стандартный и не обучаемый

Я думал, что вот этот слой матрица $A$ (и я забыл написать, что она с элементами $0, \pm 1$).

tac в сообщении #1707457 писал(а):

Таким образом, если в обучающей выборке содержится m примеров, мы получаем систему из m линейных неравенств относительно n+1 переменной (весов w₀, w₁, ..., wₙ)

А подбираем, соответственно, $k$ весов (для системы неравенств).

tac в сообщении #1707898 писал(а):

Случайным образом, есть разные стратегии, дающие разный результат, но сейчас это не важно

Опять же, какие-то ограничения нужны. Иначе я Вам непрерывную преобразую признак в целую часть по модулю $2$, и удачи после этого восстановить, был он больше 50 или меньше :)

[tac]

mihaild в сообщении #1707899 писал(а):

Я имею в виду - почему там нужна $-1$, а $0$ не подходит.

потому что когда Розенблатт будет определять правило обучения, он скажет что корректировать нужно на обратное значение от R. Если это держать в уме, то можно свести к нулю (но при обучении 0 представлять как -1)

-- Сб ноя 01, 2025 04:10:29 --

mihaild в сообщении #1707899 писал(а):

Я думал, что вот этот слой матрица $A$ (и я забыл написать, что она с элементами $0, \pm 1$).

Давайте чтобы не путаться, называть это матрицей весов обозначая или SA, и отличать её от матрицы весов AR, или W1 и W2, а еще лучше Wsa и War, первая с элементами $0, \pm 1$, вторую подбираем. Первая матрица собственно, это и есть отображение стимулов в признаки (после прохождения порога).

-- Сб ноя 01, 2025 04:15:55 --

mihaild в сообщении #1707899 писал(а):

Опять же, какие-то ограничения нужны.

Если классически, это алгоритм такого типа

Алгоритм 2: Случайно-чередуемая инициализация связей  
Вход: SCount = n
Выход: Матрица весов WeightSA
для каждого А-элемента a:
    для j = 1 до 2n:
        сенсор ← случайный(1, n)
        тип ← случайный({-1, 1})  // равновероятный выбор
        WeightSA[сенсор][a] ← тип

-- Сб ноя 01, 2025 04:25:12 --

mihaild в сообщении #1707899 писал(а):

Иначе я Вам непрерывную преобразую

я уже говорил, что перцептрон в оригинале не работает с непрерывными числами, их нужно бинаризировать, еще до того, как подать на входы S, ну или нормализировать в [0,1] - для MNIST градации серого делим на 255, и все хорошо работает без бинаризации

[mihaild]

$SA$ плохо, потому что выглядит как произведение матриц. Давайте $W_{sa}$.
А вторая - $W_{ar}$ - это же (для бинарной классификации) просто вектор?
И итоговый вид модели $y = \Theta(\theta(S(\vec x) \cdot W_{sa}) \cdot W_{ar})$?

tac в сообщении #1707900 писал(а):

Если классически, это алгоритм такого типа

Это для $W_{sa}$. А еще интересный вопрос - откуда брать $S$.

Так, стимул - это $S(\vec x)$? И два стимула "полностью отличаются", если $S(\vec x_1)$ и $S(\vec x_2)$ не имеют общих ненулевых координат?

[tac]

mihaild в сообщении #1707901 писал(а):

А вторая - $W_{ar}$ - это же (для бинарной классификации) просто вектор?

тут не понял, это такая же матрица как и для нейронной сети, размером число A элементов на число R элементов, если RCount = 1 , то да вектор из ACount элементов

mihaild в сообщении #1707901 писал(а):

$y = \Theta(\theta(S(\vec x) \cdot W_{sa}) \cdot W_{ar})$?

уже похоже на правду.

-- Сб ноя 01, 2025 04:39:50 --

mihaild в сообщении #1707901 писал(а):

стимул - это $S(\vec x)$?

тут нет функции S, стимул - это и есть входной бинарный вектор

-- Сб ноя 01, 2025 04:43:32 --

mihaild в сообщении #1707901 писал(а):

два стимула "полностью отличаются"

Предположим у нас поле 4х4 (размерностью 16)

Первый стимул
1100
1100
0000
0000

Второй стимул
0000
0000
0011
0011

вот эти стимулы полностью отличаются (хотя и представляют собой один образ "квадрат")

Третий стимул
0000
0110
0110
0000

частично перекрывает и первый и второй

-- Сб ноя 01, 2025 04:54:05 --

Дипсик предложил

Мера Жаккара (Jaccard Similarity) = 0 :)

это вам лучше знать, но выглядит наукообразно

-- Сб ноя 01, 2025 05:21:55 --

ну и наверно, еще более строго, это "мера взаимозависимости Райского" = 0, но я хз ...

[tac]

нет, как раз, мера взаимозависимости Райского - это не то .. а вот Жаккара да - то