О перцептроне Розенблатта

[mihaild]

tac в сообщении #1708396 писал(а):

да, но в бинарной их тоже два, а не один

Вроде же у нас автоматически получится, что выходы отличаются умножинем на минус единицу (изначально это так, и в при обновлении весов это свойство сохраняется).

tac в сообщении #1708396 писал(а):

но вначале, что скажете по поводу простого исключения не информативных признаков?

Не спасёт гиганта мысли.
Чем больше условий, тем большего размера нужно строить датасет, чтобы им всем удовлетворял, но обойти no free lunch theorem не получится. Нужны именно условия на то, что данные сгенерированы распределением, хорошим для модели.

Кстати, попробуйте вот такой способ генерации.
Генерируем $z_i \sim U([-1, 1])$. Берём $x_i = z_i + \mathcal N(0, 1)$, $y_i = [z_i > 0]$. У меня, если я всё правильно понял в Вашем алгоритме, получаются вот такие графики

Вложение:

download (1).png

Каждый цвет - одна попытка обучения (100 примеров в обучающей, 100 в тестовой, $k = 200$). Сплошными линиями - ошибка на трейне, прерывистыми - средняя ошибка на тесте на итерациях, начиная с текущей и до последней. Подписаны для трейна минимальная и последняя скользящая ошибки на тесте.

[tac]

Ну, т.е. вы взяли совершенно случайные выборки никак не связанные - об этом говорит вероятность которой вы их обучили (около 0,5) и получили чуть чуть переобученные модели, а точнее небольшое отклонение. Так это и не удивительно.

Было бы не плохо посмотреть на ошибку на тесте (на трейне не особо и интересно). Можете скинуть файлом ваши обучающие/тестовые выборки?

-- Чт ноя 06, 2025 16:11:17 --

mihaild в сообщении #1708401 писал(а):

но обойти no free lunch theorem не получится.

Это та, которая работает на случайных, оторванных друг от друга обучающей и двух тестовых выборках, спасибо, малоинтересные для практики случаи. По сути мы детектируем шум.

[mihaild]

tac в сообщении #1708404 писал(а):

Ну, т.е. вы взяли совершенно случайные выборки никак не связанные

С чего это не связанные? Они сгенерированы одним и тем же распределением, и по нему можно предсказать сильно лучше монетки.
Правда я вышел дал неправильные картинки (они были от первой версии того, что я попробовал - добавляем шум не к признаку, а к генерации таргета). Эффект там тоже есть, но во второй версии лучше видно.

Вложение:

download (2).png

tac в сообщении #1708404 писал(а):

Можете скинуть файлом ваши обучающие/тестовые выборки?

https://drive.google.com/file/d/1VMjNEI ... sp=sharing Для каждого сида первые 100 примеров обучающие, вторые 100 тестовые.

tac в сообщении #1708404 писал(а):

спасибо, малоинтересные для практики случаи

Проблема в том, что пока что ни у кого не получилось дать определения "не оторванных друг от друга данных", пригодного для использования в нетривиальных практических случаях.

[tac]

mihaild в сообщении #1708401 писал(а):

попробуйте вот такой способ генерации

сколько бит в одном примере?

-- Чт ноя 06, 2025 16:28:00 --

И как вы их бинаризировали?

[mihaild]

tac в сообщении #1708406 писал(а):

сколько бит в одном примере?

Что это значит?

tac в сообщении #1708406 писал(а):

И как вы их бинаризировали?

По сетке. $S(x)_i = [x \leq x^i]$, где $x^i$ - значение $i$-го примера, если посортировать обучающую и тестовую выборки.
Да, мы тут подглядываем в тестовую выборку, но это единственный содержательный способ обеспечить Ваше "отсутствие противоречивых примеров"; все стандартные алгоритмы на "противоречивых примерах" прекрасно работают. Можно было бы просто взять достаточно мелкую сетку, но результат получился бы такой же, только считать дольше.

[tac]

и покажите абсолютную ошибку на тесте во время обучения

-- Чт ноя 06, 2025 16:36:52 --

mihaild в сообщении #1708407 писал(а):

Что это значит?

сколько признаков в примере, два судя по вышей генерации z и x, каждый из которых станет битом ?

-- Чт ноя 06, 2025 16:40:44 --

mihaild в сообщении #1708407 писал(а):

По сетке.

Я хз как это делать, я потом возможно научусь, но положите мне в выборку уже бинаризированные данные, как отдельные столбцы

[mihaild]

tac в сообщении #1708408 писал(а):

и покажите абсолютную ошибку на тесте во время обучения

Умножьте $Oy$ на 100, получится абсолютная ошибка.

tac в сообщении #1708408 писал(а):

сколько признаков в примере, два судя по вышей генерации z и x, каждый из которых станет битом ?

200 признаков, сгенерированных из $x$. $z$ напрямую не используется, это скрытая переменная для генерации $x$ и $y$.

[tac]

mihaild в сообщении #1708409 писал(а):

Умножьте $Oy$ на 100, получится абсолютная ошибка.

так вы показываете на трейне, а не на тесте

-- Чт ноя 06, 2025 16:45:35 --

mihaild в сообщении #1708409 писал(а):

200 признаков, сгенерированных из $x$. $z$ напрямую не используется, это скрытая переменная для генерации $x$ и $y$.

ничего не понял, входов у вас сколько в нейросеть? Один?

-- Чт ноя 06, 2025 16:46:17 --

архитектура в целом какая ? SCount-ACount-RCount ?

-- Чт ноя 06, 2025 16:47:24 --

так это вроде примеров 200, а не признаков?

-- Чт ноя 06, 2025 16:52:03 --

mihaild в сообщении #1708405 писал(а):

добавляем шум не к признаку, а к генерации таргета

если я правильно понял, то это как раз и есть шарлатанство, если шум на признаке алгоритм еще может компенсировать, что он и делает. То обучая его как угодно, а потом проверяя как получится - вы и получаете полную ерунду.

-- Чт ноя 06, 2025 16:55:47 --

в общем, дайте мне бинаризированные выборки и архитектуру на которой вы обучали, я перепроверю. А о лирике будем говорить потом.

[mihaild]

tac в сообщении #1708408 писал(а):

но положите мне в выборку уже бинаризированные данные, как отдельные столбцы

https://drive.google.com/file/d/19EdK7N ... drive_link

tac в сообщении #1708410 писал(а):

так вы показываете на трейне, а не на тесте

Тонкие линие - ошибка на тесте (тонкие, иначе совсем мешанина получается).

Вложение:

download (3).png

tac в сообщении #1708410 писал(а):

ничего не понял, входов у вас сколько в нейросеть? Один?

Один вещественный признак, который бинаризуется в 200 бинарных.
Если Вам не нравится мой способ бинаризации - предложите свой, который обеспечит Ваше требование непротиворечивости.
Если Ваш замечательный алгоритм не может справиться с простым примером, на котором работает банальная логистическая регрессия - то у меня вопрос, кто тут еще занимается искусственным подбором датасетов...

tac в сообщении #1708410 писал(а):

если я правильно понял, то это как раз и есть шарлатанство, если шум на признаке алгоритм еще может компенсировать, что он и делает

На практике встречается огромное количество случаев, когда у нас данных недостаточно, чтобы всегда делать абсолютно точные предсказания.
Можете думать об этом так: в природе есть $z$ и $\varepsilon$, но для наблюдения нам доступен только $z + \varepsilon$.

-- 06.11.2025, 14:24 --

На случай если захотите посмотреть код - https://colab.research.google.com/drive ... sp=sharing. Я не полностью уверен, что я реализовал по итогу то, что хотел, и очень сильно не уверен, что хотел реализовать то, что Вы имели в виду, так что перепроверка не помешает. Плохие примеры можно подобрать для любой модели, но для разных моделей они будут разными.

[tac]

mihaild в сообщении #1708413 писал(а):

https://drive.google.com/file/d/19EdK7N ... drive_link

доступ закрыт, запросил

[mihaild]

tac в сообщении #1708419 писал(а):

доступ закрыт, запросил

Пардон, fixed.

[tac]

mihaild в сообщении #1708413 писал(а):

Тонкие линие - ошибка на тесте

ну мы видим, ч.т.д. забудем о всех деталях, а здраво посмотрим на результат. Уже хорошо, вы обучили до нуля, но чему вы обучили? Предсказывать случайность? На тесте предсказание пляшет вокруг 0,5 - можно останавливать где хочешь, ну вот просто совершенно, можно даже не обучаться - результат такой модели будет одинаков. Но в данном случае, дело не в модели, вы добились просто того, что обучающие данные ни как не отражают те на которых вы тестируете.

Адекватный тест был бы, если бы вы не искусственно разделяли бы на тестовую и обучающую выборки, а взяли 200 примеров и случайно разделили бы на 100/100. И при условии что у вас не полный шум (в чем я не уверен), вы смогли научить модель предсказывать хотя бы с уверенностью выше 60 (по минимуму) - вот тогда таких странных результатов и не было бы.

[mihaild]

tac в сообщении #1708421 писал(а):

Предсказывать случайность?

Почему случайность?
Шумные данные, да. Часто бывает. Логистическая регрессия успешно выдает примерно 32% ошибок (с большой дисперсией в зависимости от сида, понятно).

tac в сообщении #1708421 писал(а):

Адекватный тест был бы, если бы вы не искусственно разделяли бы на тестовую и обучающую выборки, а взяли 200 примеров и случайно разделили бы на 100/100.

Если примеры генерируются независимо (как у меня), то неважно, брать 100 случайных или 100 последних.

[tac]

В целом у меня тоже получается блуждание около случайности. Но это слишком особенный тест, чтобы придавать ему хоть какое то внимание.

mihaild в сообщении #1708423 писал(а):

Шумные данные, да. Часто бывает. Логистическая регрессия успешно выдает примерно 32% ошибок (с большой дисперсией в зависимости от сида, понятно).

Не знаю что оно у вас там выдает, наверняка такое же блуждание от 32% до 68%, т.е. 50 $\pm$ 18

[mihaild]

tac в сообщении #1708426 писал(а):

Но это слишком особенный тест, чтобы придавать ему хоть какое то внимание

Предлагаю переименовать "слишком особенный" в "не нравящийся tac". И, соответственно, получится какое-нибудь утверждения вида "на нравящихся tac датасетах перцептрон Розенблатта не переобучается, работает лучше всех остальных моделей, и, скорее всего, даёт силу земли". С которым я спорить уже не буду.

tac в сообщении #1708426 писал(а):

Не знаю что оно у вас там выдает, наверняка такое же блуждание

Так "не знаете", или "наверняка"?
Логистическая регрессия исходит из сильного предположения о данных. В данным случае оно выполняется, поэтому она работает.