О перцептроне Розенблатта

[tac]

mihaild в сообщении #1709007 писал(а):

(жирный шрифт мой - mihaild)

Ну раз вы выделили нейронные сети жирным, и вообще-то весь раздел "Искусственный интеллект и Машинное обучение", а тема в частности перцептрон Розенблатта, то может это Вы перестанете тут обсуждать какую то другую не относящуюся к этому тему? В частности про переобучение вы можете еще поговорить в контексте педагогики - все ваши уточнения про гипотезы и прочие там будут уместнее.

-- Ср ноя 12, 2025 18:57:55 --

mihaild в сообщении #1709007 писал(а):

мы можем для одного и того же алгоритма при одном запуске получить переобучение, а для другого - нет.

Это возможно в следствии не выполнения условий постановки эксперимента, и да об этом я уже не раз написал. Как собственно и описал эти условия. Вам это не понравилось, и вы чтобы находится в том же "экспериментальном хаосе" саботируете мои попытки вразумить таких как вы как нужно делать эксперименты, чтобы не рассуждать о бессмысленном понятии "переобучения".

-- Ср ноя 12, 2025 19:00:19 --

mihaild в сообщении #1709007 писал(а):

Исходя из предыдушего предположу, что Вы перепутали realeugene со мной.

Тут не нужно предполагать, т.к. очевидно я отвечал ему. Впрочем, не думал, что вы чем то существенно отличаетесь, ну ок.

-- Ср ноя 12, 2025 19:02:24 --

mihaild в сообщении #1709007 писал(а):

Еще раз: early stopping - это всего лишь один из способов борьбы с переобучением. И уменьшение лишь одного, не самого важного, аспекта сложности модели.
Гораздо важнее для случая нейросетей - иметь поменьше весов. А для того, чтобы меньшим количеством весов всё равно получилось выразить нужные в данной задаче функции - брать более сложные, чем просто полносвязная, архитектуры.

але луя ... теперь вам, осталось узнать что такое гамма-перцептрон, и чем он отличается от альфа-перцептрона.

[mihaild]

tac в сообщении #1709010 писал(а):

Ну раз вы выделили нейронные сети жирным, и вообще-то весь раздел "Искусственный интеллект и Машинное обучение", а тема в частности перцептрон Розенблатта, то может это Вы перестанете тут обсуждать какую то другую не относящуюся к этому тему?

Машинное обучение - это не только нейронные сети. И определение переобучения у Митчелла применимо не только к ним.
Вы имеете полное право ограничить определение нейросетями, и вводить нужные Вам определения. Только не надо приписывать свои утверждения другим авторам.

tac в сообщении #1709010 писал(а):

Это возможно в следствии не выполнения условий постановки эксперимента, и да об этом я уже не раз написал

Вы согласны, что если повторить эксперимент достаточно много раз, то для любого разбиения на трейн и тест, а так же для любой случайной инициализации, мы рано или поздно получим именно такое разбиение и именно такую инициализацию?
Если да, то Ваше утверждение опровергается предъявлением конкретного разбиения и конкретной инициализации, на которой наблюдается переобучение. Это я сделать могу.

tac в сообщении #1709010 писал(а):

Тут не нужно предполагать, т.к. очевидно я отвечал ему

Не очевидно, потому что в этой теме, вроде бы, realeugene ничего не говорил о том, что занимается обучением каких-то моделей.

[tac]

mihaild в сообщении #1709007 писал(а):

Всем пока что завяленным Вам условиям на датасет CIFAR10 удовлетворяет.

Мы о каких условиях говорим?

-- Ср ноя 12, 2025 19:10:10 --

tac в сообщении #1708670 писал(а):

Постулируем, что если эксперимент использует следующую методологию для нейросети:
1. Перед обучением выборка должна случайно перемешиваться и с равновероятным распределением делиться на обучающую и тестовую. Число примеров каждого класса должно быть примерно одинаковым.
2. Перед каждой итерацией обучения нейросети должна проводиться перетасовка (например, алгоритм Фишера-Йетса).
3. Выходы нейросети должны быть организованы по принципу позиционного кодирования (one-hot encoding)

переобучение не наблюдается, на данных пригодных для прогноза. Другими словами, если переобучение наблюдается даже в этом случае, данная выборка для обучения построения модели прогнозирования не пригодна.

Вот о каких условиях шла речь, вы о них же?

-- Ср ноя 12, 2025 19:12:58 --

Так вот, для CIFAR10 их можно выполнить. Но для CIFAR10 будет наблюдаться то, что вы называете "переобучением" (не 100% факт, но я допускаю). Так вот это будет означать, что эта выборка не пригодна для обучения построения модели прогнозирования, а не то, что существует какое то там переобучение. Этим выборка MNIST или MNIST Fashion принципиально отличается, на них невозможно получить "переобучение", если выполнить условия к постановки эксперимента.

[mihaild]

tac в сообщении #1709012 писал(а):

Мы о каких условиях говорим?

Отсутствие противоречивых примеров (одинаковые признаки, разные метки), и наличие пересечения по признакам между экземплярами одного класса в трейне и тесте (для большинства разбиений на трейн/тест; для любой разумной бинаризации признаков - исходные признаки вещественные, и как по ним считать меру Жаккара - непонятно).

tac в сообщении #1709012 писал(а):

Вот о каких условиях шла речь, вы о них же?

Нет, это условие на процесс обучения, а не на датасет.
Разделяйте, пожалуйста, модели, датасеты, и процесс обучения. Это три разные вещи.

tac в сообщении #1709012 писал(а):

эта выборка не пригодна для обучения построения модели обучения, а не то, что существует какое то там переобучение

Извините, Вы уже дали своё определение переобучения. После этого вопрос о его наличии определяется экспериментом, и если он показывает, что есть, значит есть.
А в чём разница между "выборка не пригодна для построения модели прогнозирования" и "на выборке возможно переобучение по tac"?

tac в сообщении #1709012 писал(а):

на них невозможно получить "переобучение", если выполнить условия к постановки эксперимента

Я еще раз спрашиваю - учитывается ли в Вашем утверждении как-то вероятность? Если утверждается, что вероятность строго нулевая ("невозможно"), то это значит, что все перемешивания я могу сделать как мне нравится, и если хоть при одном переобучение возникнет, то, значит, его получить можно.

И уточните, на какие конкретно нейросети Ваше утверждение распространяется.

[mihaild]

tac в сообщении #1708702 писал(а):

переобучение это свойство алгоритма в условиях неправильно поставленного эксперимента, к выборке это никак не относится

tac в сообщении #1709012 писал(а):

Этим выборка MNIST или MNIST Fashion принципиально отличается, на них невозможно получить "переобучение"

Так свойство алгоритма, или выборки всё-таки?
(на самом деле обоих: одни алгоритмы переобучаются на одних выборках, другие - на других)

[tac]

mihaild в сообщении #1709015 писал(а):

Я еще раз спрашиваю - учитывается ли в Вашем утверждении как-то вероятность? Если утверждается, что вероятность строго нулевая ("невозможно"), то это значит, что все перемешивания я могу сделать как мне нравится, и если хоть при одном переобучение возникнет, то, значит, его получить можно.

И уточните, на какие конкретно нейросети Ваше утверждение распространяется.

Давайте начнем с этого. Нет ни какой вероятности. Только перемешивания вы должны делать ни как вам нравится, а с равновероятным распределением. А про нейросети я уже говорил, это относится к методу обучения, в первую очередь это касается перцептронного обучения, там это просто очень хорошо выражено. Но тоже самое относится и к бэкпропу.

-- Чт ноя 13, 2025 03:17:08 --

mihaild в сообщении #1709015 писал(а):

А в чём разница между "выборка не пригодна для построения модели прогнозирования" и "на выборке возможно переобучение по tac"?

Ничем. Как диагноз и наблюдение симптома. Пульса нет - значит мертв. вот такая простая связь. А вот почему заболел - это уже проверять нужно.

-- Чт ноя 13, 2025 03:29:52 --

mihaild в сообщении #1709062 писал(а):

одни алгоритмы переобучаются на одних выборках, другие - на других

Эко у вас глупо выходит. Бесполезное утверждение. Учитесь пока живой, давать сущностные определения. Для этого нужно отказаться от кванторов.

Алгоритмы которые представляю выборку как случайную - переобучаются в следствии того, что не видят в ней связи с тестовой. Алгоритмы же, которые могут найти инварианты, которые создают инвариантное представление, перестают видеть выборку как случайную, и не будут переобучаться. На шуме - используя условия правильного эксперимента, шум можно отличить, но к сожалению только в одну сторону - сказать, что это не шум. Но если не проверять на инвариантность - такая выборка как CIFAR10 будет выглядеть как шум (не на всей выборке, но как минимум в 50%).

-- Чт ноя 13, 2025 03:39:40 --

Так вот, когда мы пытались формализовать понятие "чистого обобщения", через меру Жаккара - на самом деле это частный случай запрета на инвариантность. Например, образ

0000
0110
0110
0000

является чистым обобщением этого

1111
1001
1001
1111

И если их разделить один в обучающей выборке, а другой в тестовой - будут выглядеть как случайные. И как не сортируй квадраты разных размеров - нейронная сеть не выработает инвариант квадрата.

Я то думал, вы это понимаете. Но похоже нет. Поэтому это нужно проговорить отдельно. Поэтому такого рода образы, которые выглядят (статистически) как случайные, на самом деле могут таковыми не быть, а являться инвариантами - ранее я просто эти случаи не рассматривал.

Если не учитывать их - то переобучение - это фейк или 100% шум. Но есть вот этот случай - "восприятие алгоритмом как шума, т.к. ему не известен инвариант".

[mihaild]

tac в сообщении #1709072 писал(а):

Нет ни какой вероятности. Только перемешивания вы должны делать ни как вам нравится, а с равновероятным распределением

Что значит "равновероятное распределение" в отсутствии "вероятности"?
Вы понимаете, что если два раза запустить код с перемешиванием, то результаты могут получиться разными?

tac в сообщении #1709072 писал(а):

это относится к методу обучения

Что "это"?

tac в сообщении #1709072 писал(а):

Ничем

Тогда зачем Вам два разных термина?

tac в сообщении #1709072 писал(а):

Для этого нужно отказаться от кванторов

Вы еще и в математике революцию собрались устроить?

tac в сообщении #1709072 писал(а):

Алгоритмы которые представляю выборку как случайную - переобучаются в следствии того, что не видят в ней связи с тестовой. Алгоритмы же, которые могут найти инварианты, которые создают инвариантное представление, перестают видеть выборку как случайную, и не будут переобучаться.

Что такое "инвариантное представление"? Что значит "алгоритм представляет выборку как случайную"? Что за "чистое обобщение"? Пишите, пожалуйста, определения не общепринятым терминам (если хотите, чтобы вас понимали).
Обучение нейросети - это просто нахождение весов, минимизирующих некоторую функцию потерь. Никакого "видения выборки" там нет.

[tac]

mihaild в сообщении #1709015 писал(а):

А в чём разница между "выборка не пригодна для построения модели прогнозирования" и "на выборке возможно переобучение по tac"?

mihaild в сообщении #1709073 писал(а):

Тогда зачем Вам два разных термина?

Потому что, "переобучение по tac" - это уточнение понятия "переобучения по Митчелу". А "выборка не пригодна для построения модели прогнозирования" - это не термин, а следствие "переобучения по tac"

-- Чт ноя 13, 2025 04:35:19 --

mihaild в сообщении #1709073 писал(а):

Пишите, пожалуйста, определения не общепринятым терминам

а я пишу общепринятые термины

-- Чт ноя 13, 2025 05:03:33 --

mihaild в сообщении #1709073 писал(а):

Что такое "инвариантное представление"?

Инвариантное представление - это такое "восприятие машины", которое например, инвариантно относительно группы переносов. Проще говоря, когда алгоритм воспринимает фигуру одинаково не зависимо от того как она сдвинута. Это пример, только одного вида инварианта.

[mihaild]

tac в сообщении #1709074 писал(а):

Потому что, "переобучение по tac" - это уточнение понятия "переобучения по Митчелу".

Это очень творческое понимание "обобщения". Переобучение по tac применимо к сильно более узкому классу алгоритмов. И даже в этом классе есть примеры ситуаций, когда есть переобучение по Митчеллу, но нет по tac.

tac в сообщении #1709074 писал(а):

а я пишу общепринятые термины

Тогда Вам не составит труда процитировать их определения, со ссылкой на источник.

tac в сообщении #1709074 писал(а):

Инвариантное представление - это такое "восприятие машины"

Что такое "восприятие машины"?

tac в сообщении #1709074 писал(а):

Это пример, только одного вида инварианта

А Вас просили привести определение, а не пример.
И еще несколько

mihaild в сообщении #1709073 писал(а):

Что значит "алгоритм представляет выборку как случайную"? Что за "чистое обобщение"?

И общий вопрос - в чем глобально Вы видите смысл этой темы? Желающих обсуждать её с Вами, кроме меня, особо не видно. Вроде бы из этого следует, что Вам придется либо говорить так, чтобы я Вас понимал, либо оставаться непонятым.

[tac]

mihaild в сообщении #1709091 писал(а):

А Вас просили привести определение

Знаете, если хотите играть в определения, то для этого должен быть практический смысл. До этого, мне было важно понять, что вы понимаете под "переобучением", чтобы сформулировать в чем это определение бесполезно. Я это сделал. Распространять это на инвариантность бесперспективно.

mihaild в сообщении #1709091 писал(а):

Желающих обсуждать её с Вами, кроме меня, особо не видно.

Хорошо, если вы действительно желаете это со мной обсуждать, то тогда вы могли бы помочь мне сформулировать, что именно вы не понимаете. Хотя у меня закрадывается подозрение, что вы на самом деле "дурачетесь". Если это не так, то что вам не понятно об инвариантности не понятно.

Более того, я не собираюсь играть в определения, много серьезных исследователей без этого как то обходятся. Вот к примеру,

mihaild в сообщении #1709091 писал(а):

Что такое "восприятие машины"?

это выражение Минского, и ничего как то все поняли? А вам понадобилось какое то определение.

А это не что иное, как модель прогнозирования, или ваше множество гипотез. Только, вы пытаетесь сузить понятие этого, непонятно для чего. С тем же успехом это можно назвать алгоритмом, любым алгоритмом, который строит какие то прогнозы, или что тоже самое обобщает. Всем все понятно, а вам нет.

-- Пт ноя 14, 2025 02:59:50 --

mihaild в сообщении #1709091 писал(а):

И даже в этом классе есть примеры ситуаций, когда есть переобучение по Митчеллу, но нет по tac.

это стоило бы пояснить. Вы интересный человек, требуете от оппонента формальной строгости, а сами даже не удосуживаетесь написать, что вы имеете в веду.

[mihaild]

tac в сообщении #1709195 писал(а):

Знаете, если хотите играть в определения, то для этого должен быть практический смысл

Это не "игра". Это то, как должно быть устроено обсуждение всего хотя бы минимально нетривиального.
Напоминаю, что форум научный. А в науке как раз принято давать определения, чтобы можно было понять, что все говорят об одном и том же.

tac в сообщении #1709195 писал(а):

Распространять это на инвариантность бесперспективно

Тогда не используйте это слово, если хотите быть понятым.

tac в сообщении #1709195 писал(а):

Хорошо, если вы действительно желаете это со мной обсуждать, то тогда вы могли бы помочь мне сформулировать, что именно вы не понимаете

Я уже сказал.

mihaild в сообщении #1709091 писал(а):

Что такое "восприятие машины"?

mihaild в сообщении #1709073 писал(а):

Что значит "алгоритм представляет выборку как случайную"? Что за "чистое обобщение"?

Видите ли, проблема в том, что пока что (насколько я знаю) никто не придумал хорошего способа рассуждать об "обобщениях", и как именно на практике работает индуктивный вывод. Есть разные попытки (например, моё любимое байесианство), но никакой содержательной теории, позволяющей сказать, например, будут ли на данном датасете работать нейронки или деревья, кроме как померить экспериментально, нет.
Поэтому я довольно сильно уверен, что любые попытки что-то теоретически обосновать, или даже сформулировать что-то нетривиальное про какой-то нетривиальный алгоритм, обречены на провал. Желающие могут попытаться, я готов посмотреть на попытки и указать на замеченные проблемы, но сам этим заниматься не хочу, по тем же причинам, что и не пытаюсь придумать полиномиальный алгоритм решения 3SAT.

tac в сообщении #1709195 писал(а):

это выражение Минского, и ничего как то все поняли?

Дайте чуть больше контекста. Подозреваю, что либо из контекста понятно четкое определение, либо это в рукомахательной части.

tac в сообщении #1709195 писал(а):

А это не что иное, как модель прогнозирования, или ваше множество гипотез

Зачем Вы называете одно и то же 10 разными вариантами?

tac в сообщении #1709195 писал(а):

Всем все понятно, а вам нет

Далеко не всем. Но да, замечать места, где идет рассуждение неизвестно о чем, тоже нужно учиться. На этом форуме, впрочем, довольно много умеющих.

tac в сообщении #1709195 писал(а):

Вы интересный человек, требуете от оппонента формальной строгости, а сами даже не удосуживаетесь написать, что вы имеете в веду

Я, как правило, пишу ровно то, что имею в виду. В данном случае это было именно так.
Кажется что выражение "существуют ситуации, удовлетворяющие Х, но не Y", можно понять ровно одним способом.
Вы могли бы запросить пример, или обоснование утверждения. Это был бы вполне нормальный запрос. Но Вы, насколько я понимаю, не подвергаете сомнению утверждение, а именно не понимаете его. Я не очень понимаю, что тут можно было бы пояснить, можете как-то больше развернуть вопрос?

[tac]

mihaild в сообщении #1709197 писал(а):

Напоминаю, что форум научный. А в науке как раз принято давать определения, чтобы можно было понять, что все говорят об одном и том же.

Так то оно так, но вы этим явно злоупотребляете.

-- Пт ноя 14, 2025 03:39:05 --

mihaild в сообщении #1709197 писал(а):

Поэтому я довольно сильно уверен, что любые попытки что-то теоретически обосновать, или даже сформулировать что-то нетривиальное про какой-то нетривиальный алгоритм, обречены на провал. Желающие могут попытаться, я готов посмотреть на попытки и указать на замеченные проблемы, но сам этим заниматься не хочу

Тогда какой у вас в этом интерес? Я понимаю, если бы вы действительно желали бы помочь "сформулировать что-то нетривиальное", скажем так используя свою мат. подготовку, а так больше похоже, что вы насмехаетесь над другими, и я почему то не могу отделаться от такого впечатления общаясь с вами.

-- Пт ноя 14, 2025 03:45:24 --

mihaild в сообщении #1709197 писал(а):

Вы могли бы запросить пример, или обоснование утверждения. Это был бы вполне нормальный запрос. Но Вы, насколько я понимаю, не подвергаете сомнению утверждение, а именно не понимаете его. Я не очень понимаю, что тут можно было бы пояснить, можете как-то больше развернуть вопрос?

Нет, уважаемый - если вы что-то утверждаете, это вы должны дать пример и обосновать свое утверждение. Тогда я могу понять или не понять, что вы имеете введу. Иначе совершенно не ясно, какие примеры вы имеете введу.

-- Пт ноя 14, 2025 04:10:15 --

mihaild в сообщении #1709197 писал(а):

Дайте чуть больше контекста. Подозреваю, что либо из контекста понятно четкое определение, либо это в рукомахательной части.

Хорошо, исключительно, в виде демонстрации того, что вы злоупотребляете определениями. Вот полный контекст:

Цитата:

Если требуется построить машину для чтения печатных букв или цифр, то возникает желание, чтобы эта машина могла распознавать их независимо от их положения на странице, т.е. чтобы на решение машины не оказывали влияния элементы группы переносов. Иными словами, восприятие машины должно быть инвариантно относительно группы переносов, т.е. её решение должно быть одним и тем же для каждого представителя какого либо класса эквивалентности относительно группы переносов.

Было бы интересным увидеть как вы тут найдете определение восприятия машины. Тем не менее, это не мешает Минскому объяснить за инвариантность.

[mihaild]

tac в сообщении #1709198 писал(а):

Так то оно так, но вы этим явно злоупотребляете

Скорее тут у Вас неявные переходы туда-сюда между формальными и неформальными рассуждениями. И еще Вы спорите с общеизвестными теоремами. Такое я сильно не люблю, и считаю, что любой человек, претендующий на опровержение известных результатов, должен выражаться очень аккуратно.

(Оффтоп)

tac в сообщении #1709198 писал(а):

Тогда какой у вас в этом интерес?

Да просто скучно.

tac в сообщении #1709198 писал(а):

Нет, уважаемый - если вы что-то утверждаете, это вы должны дать пример и обосновать свое утверждение

Это я сделать могу. Но "пояснить" и "обосновать" - это разные вещи.
Считая, что просили "обосновать".
Представьте себе, что в процессе обучения точность на обучающей выборке растет, на тестовой такая: $0.3, 0.5, 0.7, 0.9, 0.8, 0.7, 0.1, 0.1, 0.1, 0.8$. Тогда по Митчеллу переобучение (беря в качестве пространства гипотез шаги алгоритма) есть: точность на тестовой выборке на последнем шаге меньше, чем на четвертом (для простоты считаем, что тестовая выборка очень большая). А по Вашему определению переобучения нет.

tac в сообщении #1709198 писал(а):

Тем не менее, это не мешает Минскому объяснить за инвариантность

Потому что он как раз пишет то, что понятно как формализуется, в следующем предложении.

Минский писал(а):

её решение должно быть одним и тем же для каждого представителя какого либо класса эквивалентности относительно группы переносов

Что такое "инвариантное представление", и что такое "восприятие машины" само по себе - из этого понять нельзя.

[tac]

mihaild в сообщении #1709199 писал(а):

Представьте себе, что в процессе обучения точность на обучающей выборке растет, на тестовой такая: $0.3, 0.5, 0.7, 0.9, 0.8, 0.7, 0.1, 0.1, 0.1, 0.8$. Тогда по Митчеллу переобучение (беря в качестве пространства гипотез шаги алгоритма) есть: точность на тестовой выборке на последнем шаге меньше, чем на четвертом (для простоты считаем, что тестовая выборка очень большая). А по Вашему определению переобучения нет.
tac в сообщении #1709198

писал(а):

Все верно, и именно в этом мое определение лучше, чем его. Но от этого, мое определение не стало определять другое явление, оно говорит ровно о том же явлении.

-- Пт ноя 14, 2025 05:11:40 --

mihaild в сообщении #1709199 писал(а):

Что такое "инвариантное представление", и что такое "восприятие машины" само по себе - из этого понять нельзя.

в том то и дело, что можно, если немного напригетесь и составите слова так:

"восприятие машины" - это устройство машины, благодаря которому оно делает решение

"инвариантное представление" - это такое восприятие машины, которое обеспечивает, что "её решение одно и то же для каждого представителя какого либо класса эквивалентности относительно группы переносов"

это очевидно. и не нужно тут разводить ваш формализм на голом месте.

[mihaild]

tac в сообщении #1709200 писал(а):

Но от этого, мое определение не стало определять другое явление, оно говорит ровно о том же явлении

У Вас очень странное определение "ровно того же явления".

tac в сообщении #1709200 писал(а):

это очевидно. и не нужно тут разводить ваш формализм на голом месте

Это совершенно не очевидно, и, если не сформулировать нормально, очень легко не заметить, что одно и то же выражение в разных местах означает разное. Или (это менее страшно, но неприятно) сформулировать какую-то тавтологию так, что будет казаться, что это содержательное утверждение.
Язык множеств и функций - по всей видимости, самый удобный для избегания путаницы (сейчас, вроде бы, его пытается потеснить тоерия категорий, но пока с не очень большим успехом). Заметьте, что Минский пользуется именно им. Его "пояснения за инвариантность" - это не процитированный Вами фрагмент, а то, что идет после этого . Потому что процитированный Вами участок можно выкинуть без ущерба для дальнейшего изложения, а вот строгие определения после него - нельзя.

Я понимаю, что такое, например, "данный класс гипотез инвариантен относительно группы". Выяснить, что значит "алгоритм представляет что-то там и видет что-то еще" из этого - не получается. Алгоритм ничего не видит, у него глаз нет.