О перцептроне Розенблатта

[mihaild]

dsge в сообщении #1708846 писал(а):

множество гипотез - это просто множество рассматриваемых функций, необязательно функциональное пространство

А разве в статистике множество гипотез - это функциональное пространство?
Во-первых, есть ли там вообще строгое определение "гипотезы" отдельно от контекста?
Во-втоорых, если есть, то это, скорее всего, распределение. Как складывать и как умножать на скаляр распределения?

[realeugene]

mihaild в сообщении #1708773 писал(а):

$D \subset X \times Y$ - это $\frac{\sum\limits_{(x, y) \in D} l(y, h(x))}{|D|}$

Эта формула ведь применима только к конечным выборкам. У того же Митчелла $D$ не обязательно конечно. Но в определении переобучения у Митчелла мне не совсем понятен смысл слова instance. Это пример из какого множества?

[mihaild]

realeugene в сообщении #1708865 писал(а):

Эта формула ведь применима только к конечным выборкам. У того же Митчелла $D$ не обязательно конечно

Тогда нам на нём нужно распределение (на конечном тоже нужно, но там есть естественное равномерное). Про измеримость не спрашивайте.

realeugene в сообщении #1708865 писал(а):

Это пример из какого множества?

Из entire distribution

[realeugene]

mihaild в сообщении #1708868 писал(а):

Тогда нам на нём нужно распределение (на конечном тоже нужно, но там есть естественное равномерное). Про измеримость не спрашивайте.

Как я вижу, Митчелл параллельно тянет два определения ошибок гипотез: по $D$ и по $S$, то есть по распределению и по выборке.

[dsge]

realeugene в сообщении #1708859 писал(а):

В статистике вообще нет дискретных множеств гипотез?

Статистические гипотезы имеют дело со статистическими выводами относительно параметров вероятностных распределений. Обычно рассматриваются две гипотезы - $H_0, H_1$. Сама процедура называется тестированием гипотез.
В нейронных сетях нет никакого дела до вероятностных распределений и тестирований. Под множеством гипотез понимается континуальное множество весов (опять, почему-то параметрам нелинейной регрессии дали другое имя - веса) при данной архитектуре нейронной сети и активизационной функции. К каким конкретно значениям весов приведет стохастический градиент не имеет значения, поверхность ошибок довольно плоская в больших моделях.

mihaild в сообщении #1708861 писал(а):

А разве в статистике множество гипотез - это функциональное пространство?

Нет, речь шла про нейронные сети (НС). Любая сеть с одним выходом и фиксированных весах - это элемент $C(X)$. Все теоремы об аппроксимации нейронными сетями непрерывных функций используют этот факт. Однако множество гипотез в НС - это некоторое нелинейное подмножество в $C(X)$. Зачем этот объект называть гипотезами, непонятно и запутывает.

realeugene в сообщении #1708859 писал(а):

О, нет: каждой области своя терминология, в этом нет ничего плохого.

Плохо, когда люди называют одно и то же по разному, это ведет к непониманию. Машинное обучение постепенно оккупирует математическую статистику. В ведущих университетах факультеты мат.статистики переименовываются в факультеты машинного обучения и мат.статистики.
В Матлабе Statistics Toolbox сейчас называется Statistics and Machine Learning Toolbox. Коэффициенты линейной регрессии все чаще в литературе называются весами.

[mihaild]

dsge в сообщении #1708871 писал(а):

Обычно рассматриваются две гипотезы - $H_0, H_1$.

Причем $H_1$ это обычно непонятно что. Можно посчитать условное распределение какой-нибудь статистики при условии $H_0$ "средние равны" (только это не условное распределение в стандартном смысле), но вот посчитать распределение при условии "средние не равны" нельзя.

dsge в сообщении #1708871 писал(а):

Нет, речь шла про нейронные сети

dsge в сообщении #1708846 писал(а):

Гипотезы не имеют никакого отношения к статистических гипотезам. Под гипотезами они понимают параметрические функции, множество гипотез - это просто множество рассматриваемых функций, необязательно функциональное пространство

Мне показалось, что это означает, что где-то множество гипотез - это функциональное пространство. Нет?

dsge в сообщении #1708871 писал(а):

Зачем этот объект называть гипотезами, непонятно и запутывает

На самом деле обычно вроде бы и не называют. Не берусь точно оценить распространенность, я такую терминологию видел не только у Митчелла, но не очень много где.
Только тут всё же ситуация не ограничивается весами в нейронках; гипотезы у Митчелла - это, в конечном итоге, распределения на примерах. Оно может параметризоваться весами нейросети, но может и как-то иначе (структурой деревьев, например).

(Оффтоп)

dsge в сообщении #1708871 писал(а):

Плохо, когда люди называют одно и то же по разному, это ведет к непониманию

Пусть для начала топология и теория множеств договорятся о том, что такое континуум

[dsge]

mihaild в сообщении #1708872 писал(а):

Причем $H_1$ это обычно непонятно что.

В лемме Неймана-Пирсона (равномерно наиболее мощный критерий) используется и информация про $H_1$.

mihaild в сообщении #1708872 писал(а):

Мне показалось, что это означает, что где-то множество гипотез - это функциональное пространство. Нет?

Да, только нелинейное. Привычно такой объект называть многообразием.

[tac]

realeugene в сообщении #1708859 писал(а):

Тема о романтической любви к перцептронам. ТС от них прёт и перехватывает дыхание.

Тема действительно сместилась от описания/напоминания того, что такое перцептрон и какие могут быть модификации, к теме т.н. "переобучения". Термину выдуманному для оправдания подгонки модели прогнозирования, и неоправданного его обобщения на все модели.

-- Ср ноя 12, 2025 14:39:46 --

dsge в сообщении #1708871 писал(а):

Под множеством гипотез понимается континуальное множество весов ... при данной архитектуре нейронной сети и активизационной функции.

После того как очевидная истина прозвучала не только из моих уст, можно вернуться по стэку назад.

-- Ср ноя 12, 2025 14:41:31 --

Напомню, мое утверждение с которого дискуссия перестала быть конструктивной.

tac в сообщении #1708702 писал(а):

Начнем с того, что переобучение это свойство алгоритма в условиях неправильно поставленного эксперимента, к выборке это никак не относится.

-- Ср ноя 12, 2025 14:42:27 --

Итак, в части "переобучение это свойство алгоритма" - надеюсь возражений больше не осталось?

[realeugene]

tac в сообщении #1708980 писал(а):

Термину выдуманному для оправдания подгонки модели прогнозирования, и неоправданного его обобщения на все модели.

Любые модели в определённом смысле являются моделями прогнозирования. В том числе и задачи классификации.

[tac]

realeugene в сообщении #1708983 писал(а):

Любые модели в определённом смысле являются моделями прогнозирования. В том числе и задачи классификации.

Т.е. вы все еще никак не можете признать ,что модели - это модели, а задачи - это задачи?

[realeugene]

dsge в сообщении #1708871 писал(а):

Плохо, когда люди называют одно и то же по разному, это ведет к непониманию. Машинное обучение постепенно оккупирует математическую статистику. В ведущих университетах факультеты мат.статистики переименовываются в факультеты машинного обучения и мат.статистики.

В таком случае статистике, на самом деле, придётся перейти на терминологию машинного обучения. А старую терминологию признать устаревшей. В конце концов, они на самом деле об одном и том же, только модели в машинном обучении гораздо сложнее (имеют гораздо больше параметров) моделей в статистике.

-- 12.11.2025, 13:49 --

tac в сообщении #1708984 писал(а):

Т.е. вы все еще никак не можете признать ,что модели - это модели, а задачи - это задачи?

Задача - строить эффективную модель.

[tac]

realeugene в сообщении #1708985 писал(а):

Задача - строить эффективную модель.

Не знаю что это значит, но думаю мы тогда можем перейти к части "в условиях неправильно поставленного эксперимента", и обсудить какие такие условия делают эксперимент неправильно поставленным, что возникает переобучение?

-- Ср ноя 12, 2025 14:55:33 --

И я вам даже облегчу оппонирование ... на мелких рандомных задачках это действительно практически не видно, хоть вы и пытались. Но есть куда более хороший пример - это задача CIFAR10, все как вы любите - образ на фоне (аля шум), смещенный и перевернутый, так что никакой перцептрон и/или MLP не справляется (я надеюсь вы не будет утверждать, что нейросеть способна к инварианту?) ... самое время назвать это переобучением? Или все же нет?

я однозначно назову такие условия постановки эксперимента - неправильно поставленными.

-- Ср ноя 12, 2025 15:02:47 --

Это не означает, что их нельзя ставить. Это лишь означает, что для нейросети, которая не способна к выделению инвариантов - глупо предъявлять требования решить эту задачу. Вы же на моем месте, вместо того, чтобы это признать, назовете обучение сети переобучением и продолжите подгонку нуля к нулю. Вот и всё наше различие.

[realeugene]

tac в сообщении #1708984 писал(а):

Т.е. вы все еще никак не можете признать ,что модели - это модели, а задачи - это задачи?

А вообще, мне очень не нравится ваш крайне манипулятивный стиль беседы. Правило форума он не нарушает, но он мне неприятен.

Думаю, вы застряли в статьях начала разработки машинного обучения почти вековой давности, не желая прочитать и понять современные учебники и использовать современную терминологию. Ценность вашего знания близка к нулю.

[tac]

realeugene в сообщении #1709000 писал(а):

Ценность вашего знания близка к нулю.

Ну, если по сути вопроса вам нечего сказать, думайте дальше, но хотел бы заметить, что не вам оценивать знания других, тому кто даже основ не читал.

[mihaild]

tac в сообщении #1708980 писал(а):

После того как очевидная истина прозвучала не только из моих уст, можно вернуться по стэку назад

Нет, это можно будет сделать только после того, как Вы перестанете вырывать цитаты из контекста с кровью.

dsge в сообщении #1708871 писал(а):

В нейронных сетях нет никакого дела до вероятностных распределений и тестирований. Под множеством гипотез понимается континуальное множество весов

(жирный шрифт мой - mihaild)
Повторю вопрос

mihaild в сообщении #1708842 писал(а):

Какие веса в logical descriptions (10 часть)?

Можете не отвечать, если перестанете при этом нести бред о том, что все модели параметризуются весами, и что Митчелл не говорит о гипотезах как о функциях, при том, что Вы сами процитировали, где он это говорит.

tac в сообщении #1708980 писал(а):

Итак, в части "переобучение это свойство алгоритма" - надеюсь возражений больше не осталось?

Остались, все те же самые.
По Вашему определению переобучение - это свойство запуска алгоритма на конкретнй выборке на конкретном разбиении.
Потому что мы можем для одного и того же алгоритма при одном запуске получить переобучение, а для другого - нет.

tac в сообщении #1708986 писал(а):

Вы же на моем месте, вместо того, чтобы это признать, назовете обучение сети переобучением и продолжите подгонку нуля к нулю

Исходя из предыдушего предположу, что Вы перепутали realeugene со мной. Нет, я не буду заниматься такой фигней.
Еще раз: early stopping - это всего лишь один из способов борьбы с переобучением. И уменьшение лишь одного, не самого важного, аспекта сложности модели.
Гораздо важнее для случая нейросетей - иметь поменьше весов. А для того, чтобы меньшим количеством весов всё равно получилось выразить нужные в данной задаче функции - брать более сложные, чем просто полносвязная, архитектуры.

tac в сообщении #1708986 писал(а):

я однозначно назову такие условия постановки эксперимента - неправильно поставленными

Какие "такие"? Всем пока что завяленным Вам условиям на датасет CIFAR10 удовлетворяет.