2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1 ... 9, 10, 11, 12, 13, 14  След.
 
 Re: О перцептроне Розенблатта
Сообщение04.11.2025, 14:13 
mihaild в сообщении #1708273 писал(а):
$E_t$ - ошибка на обучающей выборке на шаге $t$

mihaild в сообщении #1708273 писал(а):
$E'_t$ - ошибка на тестовой выборке на шаге $t$


ошибка на обучающей нас почти никогда не интересует, поэтому надо или поменять местами, или верхний индекс дать точнее

$E^l_t$ - ошибка на обучающей выборке на шаге $t$
$E^v_t$ - ошибка на тестовой выборке на шаге $t$ (v - от слова верификация, т.к. t занято)

тогда всюду где было написано без верхнего индекса, это $E^v_t$, кроме $E^l_{end}$

-- Вт ноя 04, 2025 15:18:20 --

mihaild в сообщении #1708273 писал(а):
А что тогда такое "итерация, на которой остановлено обучение", и чем она отличается от $end$?


Здесь имеется введу принцип ранней остановки, т.е. точнее будет "итерация, на которой ДОСРОЧНО остановлено обучение". Таким образом, это такая итерация $t$ на которой было принято решение остановить обучение, до момента $E^l_t = 0$.

-- Вт ноя 04, 2025 15:36:50 --

mihaild в сообщении #1708273 писал(а):
Я думал, что в разговоре про шаги Вы как раз говорите о шагах формирования этих весов. Тогда можно пока что не говорить о том, чему они равны в точности, но какие-то их свойства нужны. Или же "шаги обучения" это что-то другое?


Да, это другие шаги. Если мы хотим говорить о формировании весов, то нам нужно говорить о показе перцептрону/подаче на вход примеров. Так вот веса меняются после каждого показа. Кажется $p$ у нас еще не занято, тогда обозначим через $p$ - один показ примера из обучающей выборки. Показ ВСЕХ примеров (последовательно или вперемешку) называется одним шагом $t$.

Тогда если во время показа $p$ на выходах $R$ у нас значение не равное желаемому $N$ (от слова Need), то все связи от активных A элементов к ошибочному R элементу, корректируются на 1 со знаком $N$

Код:
         for (int j = 0; j < RCount; j++)
         {
            for (int i = 0; i < ACount; i++)
            {
               if (AField[i] > 0)
               {
                  ReactionError[j] = 0;
                  if (ReactionOutput[j] != ReactionNeed) ReactionError[j] = ReactionNeed;
                  WeightAR[i][j] = WeightAR[i][j] + ReactionError[j];
               }
            }
         }


 
 
 
 Re: О перцептроне Розенблатта
Сообщение04.11.2025, 15:31 
Аватара пользователя
tac в сообщении #1708287 писал(а):
Таким образом, это такая итерация $t$ на которой было принято решение остановить обучение, до момента $E^l_t = 0$
В частности, если я решил сэкономить ресурсы, и вообще ничего не учить, то $t = 0$, и считаем среднее $E_0^v, E_1^v, \ldots, E_{end}^v$?

И перцептрон называется переобученным, если $E^l_{end} = 0$, то среднее $E^v_{end}, E^v_{end - 1}, \ldots, E^v_{end - q}$ - обозначим его за $E^v_{end - q, end}$ - меньше, чем $E^v_{end}$?
Определение немного странное, потому что если у нас, например, по какой-то причине $E^v_{end - 1}$ гигантское (на предпоследнем шаге сделан какой-то бред), то переобучения заведомо нет, даже если $E^v_{end}$ тоже большое, а $E^v_{end - 10}$ маленькое.

И что утверждается? Что для каких-то датасетов (каких?) $\forall q: E^v_{end - q, end} \geq E^v_{end}$?
tac в сообщении #1708287 писал(а):
Показ ВСЕХ примеров (последовательно или вперемешку) называется одним шагом $t$.
Сейчас популярное название одного показа всех примеров итеративному алгоритму - эпоха. Но не настаиваю.
Что у Вас по $Ox$ на графиках - $t$ или $p$?

 
 
 
 Re: О перцептроне Розенблатта
Сообщение04.11.2025, 15:58 
mihaild в сообщении #1708297 писал(а):
Сейчас популярное название одного показа всех примеров итеративному алгоритму - эпоха. Но не настаиваю.

Я в курсе, это странным образом прижилось из-за генетических алгоритмов, где такому названию есть обоснование, я его не использую, ибо оно пустое в нашем случае.

-- Вт ноя 04, 2025 16:59:20 --

mihaild в сообщении #1708297 писал(а):
Что у Вас по $Ox$ на графиках - $t$ или $p$?

$t$

-- Вт ноя 04, 2025 17:01:55 --

mihaild в сообщении #1708297 писал(а):
В частности, если я решил сэкономить ресурсы, и вообще ничего не учить


Ага, доведение алгоритмов до абсурда не пройдет :wink: Если не учил, значит ничего считать не нужно, то, что не научено, переобученным быть не может по определению.

-- Вт ноя 04, 2025 17:09:18 --

mihaild в сообщении #1708297 писал(а):
И перцептрон называется переобученным, если $E^l_{end} = 0$, то среднее $E^v_{end}, E^v_{end - 1}, \ldots, E^v_{end - q}$ - обозначим его за $E^v_{end - q, end}$ - меньше, чем $E^v_{end}$?


Похоже на правду.

mihaild в сообщении #1708297 писал(а):
Определение немного странное, потому что если у нас, например, по какой-то причине $E^v_{end - 1}$ гигантское (на предпоследнем шаге сделан какой-то бред), то переобучения заведомо нет, даже если $E^v_{end}$ тоже большое, а $E^v_{end - 10}$ маленькое.


Именно, это и есть. Переобучения нет, но если вы как то формализуете ваш случай, то это имеет другой термин. Перцептрон так и не смог обучиться стабильно различать образы. Ценность такого обучения в реальности близка к нулю. Выбор любого состояния при таком обучении, раньше end, бессмысленнен.

-- Вт ноя 04, 2025 17:15:29 --

mihaild в сообщении #1708297 писал(а):
И что утверждается? Что для каких-то датасетов (каких?) $\forall q: E^v_{end - q, end} \geq E^v_{end}$?


Да это. Для тех которые мы определили связанными, или предлагалось называть покрытыми по подобию, там где использовалась мера Жаккара.

Может быть, можно будет даже ослабить, вероятность этого будет увеличиваться, чем мера Жаккара будет расти. (но пока это кажется избыточным)

 
 
 
 Re: О перцептроне Розенблатта
Сообщение05.11.2025, 13:35 
Аватара пользователя
А как $W_{AR}$ инициализируется?
И я правильно понимаю из Вашего кода, что сначала считаются предсказания для всей обучающей выборки, а потом обновлются веса? (в современных терминах - размер батча равен размеру обучающей выборки)
tac в сообщении #1708298 писал(а):
то, что не научено, переобученным быть не может по определению
Я Вам выше процитировал определение из Митчелла, где никакого "обучения" в переобучении вообще нет.
tac в сообщении #1708298 писал(а):
Да это. Для тех которые мы определили связанными, или предлагалось называть покрытыми по подобию, там где использовалась мера Жаккара
Хорошо, выберите какое-нибудь слово. Потому что каждый раз говорить "для любого тестового примера существует обучающий пример, такой что мера Жаккара между ними положительная" неудобно.
Как я уже говорил, это ограничение ничего существенно не ограничивает.
Рассмотрите такой пример.
Обучающая выборка: [[1, 1, 0, 0], [1, 0, 1, 0]] с метками [0, 1].
И две тестовых: первая [[1, 0, 0, 1], [1, 0, 0, 1]] с метками [0, 1]. Вторая с теми же признаками, но метками [1, 0].
Всем озвученным критериям удовлетворяет: пересечение есть, противоречий нет. Но улучшение на первой тестовой выборке влечет ухудшение на второй.

 
 
 
 Re: О перцептроне Розенблатта
Сообщение05.11.2025, 22:00 
mihaild в сообщении #1708356 писал(а):
А как $W_{AR}$ инициализируется?

нулями

-- Ср ноя 05, 2025 23:02:20 --

mihaild в сообщении #1708356 писал(а):
И я правильно понимаю из Вашего кода, что сначала считаются предсказания для всей обучающей выборки, а потом обновлются веса?


Нет, ровно наоборот, после каждого показа обновляются веса.

-- Ср ноя 05, 2025 23:05:42 --

mihaild в сообщении #1708356 писал(а):
Хорошо, выберите какое-нибудь слово.

можем сократить "подобными по Жаккару" ?

-- Ср ноя 05, 2025 23:16:00 --

mihaild в сообщении #1708356 писал(а):
И две тестовых: первая [[1, 0, 0, 1], [1, 0, 0, 1]] с метками [0, 1]. Вторая с теми же признаками, но метками [1, 0].


Об этом я еще раньше говорил, что противоречивые примеры мы вообще не рассматриваем.

tac в сообщении #1707819 писал(а):
У нас 2 бита на входе, и 1 бит на выходе. Если комбинация помечена как 01 как класс 0, и точно такая же комбинация помечена 01 помечена как класс 1 - примеры в выборке противоречивы.

 
 
 
 Re: О перцептроне Розенблатта
Сообщение05.11.2025, 22:42 
Аватара пользователя
tac в сообщении #1708380 писал(а):
Об этом я еще раньше говорил, что противоречивые примеры мы вообще не рассматриваем
Так они не противоречивые. Я рассматриваю две отдельных ситуации. В каждой из них по отдельности никаких противоречий нет. Но хотя бы в одной из них алгоритм ведёт себя плохо.

-- 05.11.2025, 21:18 --

tac в сообщении #1708287 писал(а):
ReactionError[j] = 0;
if (ReactionOutput[j] != ReactionNeed) ReactionError[j] = ReactionNeed;

Я правильно понимаю, что этот блок можно вынести из цикла по i, и просто в него не заходить, если предсказание правильное?

 
 
 
 Re: О перцептроне Розенблатта
Сообщение05.11.2025, 23:27 
mihaild в сообщении #1708382 писал(а):
Так они не противоречивые.

Они противоречивы дважды.
Во-первых,
tac в сообщении #1708380 писал(а):
[[1, 0, 0, 1], [1, 0, 0, 1]]


У Вас в выборке - два одинаковых примера принадлежащие разным классам.

Во-вторых, вы говорите,
tac в сообщении #1708380 писал(а):
Вторая с теми же признаками, но метками [1, 0].

т.е. меняете классы без относительно к тому, что в обучающей выборке.

А теперь еще утверждаете, что они не противоречивы. Если вы делаете это осознано, тогда, вы занимаетесь шарлатанством.

-- Чт ноя 06, 2025 00:35:10 --

mihaild в сообщении #1708382 писал(а):
Я правильно понимаю, что этот блок можно вынести из цикла по i, и просто в него не заходить, если предсказание правильное?

Нет, для ReactionNeed я не поставил индексов, поэтому у вас не правильное впечатление видимо. Но он обладает двумя индексами, значение в конкретном номере бита соответствующего примера ReactionNeed[j][i] . Поэтому вытянуть не получится ... не поставил я индексов, оставив псевдокод, т.к. формально там еще нужно преобразование, как правило правильно не правильно задается как 1/0, а ReactionNeed должен быть 1/-1

-- Чт ноя 06, 2025 00:38:20 --

mihaild в сообщении #1708382 писал(а):
Я рассматриваю две отдельных ситуации.


Я кажется уже писал. Если вы хотите рассматривать две отдельные ситуации, у вас должно быть 2 обучающие выборки и 2 тестовых. И не одна из них не должна совпадать. Иначе это абсурд.

-- Чт ноя 06, 2025 00:40:50 --

Если вы инверсируете тестовую выборку во втором случае, будьте добры тоже самое делать с обучающей. Можете выбрать любую другую операцию (не инверсию) - но к обоим. Тогда это сохранит здравый смысл.

А то, что у вас не получаются "шарлатанские фокусы", так в этом и дело. Может они получатся, я не знаю, но уж точно не на таких примерах.

 
 
 
 Re: О перцептроне Розенблатта
Сообщение05.11.2025, 23:47 
Аватара пользователя
tac в сообщении #1708385 писал(а):
У Вас в выборке - два одинаковых примера принадлежащие разным классам
Простите, опечатка.
Правильно так:
Первая тестовая. Признаки [[1, 0, 1, 0], [1, 0, 0, 1]]. Метки [0, 1].
Вторая тестовая. Признаки [[1, 0, 1, 0], [1, 0, 0, 1]]. Метки [1, 0].
tac в сообщении #1708385 писал(а):
т.е. меняете классы без относительно к тому, что в обучающей выборке
Ничего я не меняю. Я приношу Вам два разных датасета, вообще никак не связанных друг с другом. И утверждаю, что если на одном из них алгоритм работает хорошо, то на другом - плохо.
tac в сообщении #1708385 писал(а):
Нет, для ReactionNeed я не поставил индексов, поэтому у вас не правильное впечатление видимо
Тогда напишите полностью, пожалуйста. Потому что я думал, что мы идем по всем примерам, и ReactionNeed - таргет для текущего примера.
tac в сообщении #1708385 писал(а):
Если вы хотите рассматривать две отдельные ситуации, у вас должно быть 2 обучающие выборки и 2 тестовых. И не одна из них не должна совпадать.
Не вижу нигде этого условия.
Я возьму Ваш алгоритм, запущу его на двух вариантах, Вам об этом не скажу, и покажу Вам только тот вариант, в котором алгоритм отработал плохо (такой найдётся). Как Вы это проверять собрались?

 
 
 
 Re: О перцептроне Розенблатта
Сообщение06.11.2025, 00:12 
mihaild в сообщении #1708356 писал(а):
Обучающая выборка: [[1, 1, 0, 0], [1, 0, 1, 0]] с метками [0, 1].

mihaild в сообщении #1708386 писал(а):
Правильно так:
Первая тестовая. Признаки [[1, 0, 1, 0], [1, 0, 0, 1]]. Метки [0, 1].
Вторая тестовая. Признаки [[1, 0, 1, 0], [1, 0, 0, 1]]. Метки [1, 0].


Похоже вы не хотите понимать, что такое противоречивые. :-(

теперь у вас [1, 0, 1, 0] в тестовой это класс 0, а учили вы что [1, 0, 1, 0] это класс 1.

Это мы еще не дошли до согласования второй тестовой, у вас нет второй обучающей. - они не могут совпадать.

-- Чт ноя 06, 2025 01:14:43 --

mihaild в сообщении #1708386 писал(а):
Не вижу нигде этого условия.

что значит не видите? я об этом давно говорил ... хотите описать формально - но так опишите

-- Чт ноя 06, 2025 01:15:56 --

mihaild в сообщении #1708386 писал(а):
Ничего я не меняю. Я приношу Вам два разных датасета, вообще никак не связанных друг с другом. И утверждаю, что если на одном из них алгоритм работает хорошо, то на другом - плохо.

похоже мы ходим по кругу

 
 
 
 Re: О перцептроне Розенблатта
Сообщение06.11.2025, 00:24 
Аватара пользователя
tac в сообщении #1708388 писал(а):
теперь у вас [1, 0, 1, 0] в тестовой это класс 0, а учили вы что [1, 0, 1, 0] это класс 1
Да что это со мной сегодня :facepalm: Хотел сэкономить место, получилась фигня.
Очередная попытка.
Первая обучающая выборка: [[1, 1, 0, 0, 0], [1, 0, 1, 0, 0]]. Таргеты [0, 1]
Первая тестовая выборка: [[1, 0, 0, 1, 0], [1, 0, 0, 0, 1]]. Таргеты [0, 1]
Вторая обучающая выборка: [[1, 1, 0, 0, 0], [1, 0, 1, 0, 0]]. Таргеты [0, 1]
Вторая тестовая выборка: [[1, 0, 0, 1, 0], [1, 0, 0, 0, 1]]. Таргеты [1, 0]
Вроде наконец всё правильно.
tac в сообщении #1708388 писал(а):
я об этом давно говорил
Можете дать цитату. Я видел, где Вы говорили про противоречивость внутри датасета, но не про совмещение разных датасетов.
tac в сообщении #1708388 писал(а):
похоже мы ходим по кругу
Ну, на предыдущий пример Вы поменяли условие, добавив запрет на "несвязанные" выборки. На самом деле он соблюдался и в исходном примере, но я не поленился составить (правда с кучей опечаток) новый, более простой, в котором он тоже соблюдается.

 
 
 
 Re: О перцептроне Розенблатта
Сообщение06.11.2025, 00:42 
mihaild в сообщении #1708386 писал(а):
Тогда напишите полностью, пожалуйста.


приходится много приводить

Код:
     
                    //Управляющий цикл обучения
               for (int i = 0; i < HCount; i++)
               {
                  int index = i;

                  SActivation(index);
                  RActivation(index);

                  // Узнаем ошибся перцептрон или нет, если ошибся отправляем на обучение
                  Reaction r = GetError(index, NecessaryReactions[index]);
                  if (r.E == true)
                  {
                     LearnedStimulAR(index, r.Error);
                     Error++; // Число ошибок, если в конце итерации =0, то выскакиваем из обучения.
                  }
               }
   
      private Reaction GetError(int argStimulNumber, sbyte[] need)
      {
         for (int i = 0; i < RCount; i++)
         {
            int output = (RField[i] > 0) ? 1 : -1;
            if (output != need[i])
            {
               r.E = true;
               r.Error[i] = need[i];
            }
         }
         return r;
      }

      void LearnedStimulAR(int argStimulNumber, float[] rError)
      {
          for (int j = 0; j < RCount; j++)
          {
             for (int i = 0; i < ACount; i++)
             {
               if (AField[i] > 0)
               {
                  WeightAR[i][j] = WeightAR[i][j] + rError[j];
               }
            }
         }
      }


-- Чт ноя 06, 2025 02:08:07 --

mihaild в сообщении #1708389 писал(а):
Первая обучающая выборка: [[1, 1, 0, 0, 0], [1, 0, 1, 0, 0]]. Таргеты [0, 1]
Первая тестовая выборка: [[1, 0, 0, 1, 0], [1, 0, 0, 0, 1]]. Таргеты [0, 1]
Вторая обучающая выборка: [[1, 1, 0, 0, 0], [1, 0, 1, 0, 0]]. Таргеты [0, 1]
Вторая тестовая выборка: [[1, 0, 0, 1, 0], [1, 0, 0, 0, 1]]. Таргеты [1, 0]


Уже лучше. Давайте разберемся с первой. Тут видимо нужно улучшить ограничение

tac в сообщении #1708225 писал(а):
Обучающая выборка L с метками Lm классово-покрывает тестовую выборку T с метками Tm относительно меры сходства J, если для каждого класса c и для каждого тестового примера t ∈ T с меткой c существует хотя бы один обучающий пример l ∈ L с той же меткой c такой, что J(l, t) > 0.


я понимал под этим, что для разных классов, должен существовать хотя бы один различающийся по координате признак который пересекается. Например,

обучающая выборка: [[0, 1, 1, 0, 0, 0], [1, 1, 0, 1, 0, 0]]. Таргеты [0, 1]
тестовая выборка: [[1, 1, 0, 0, 1, 0], [0, 1, 0, 0, 0, 1]]. Таргеты [0, 1]

у вас же первый признак совпадает всегда, и тогда J(l, t) = 0

-- Чт ноя 06, 2025 02:12:07 --

Про вторую выборку, я уже сказал, что это малоосмысленный пример, Если только не добавить такого пафоса, что один экспериментатор работал с первым набором, а второй экспериментатор со вторым .. и вывод видимо который вы хотите показать ,что у одного перцептрон будет работать без переобучения, а для второго с переобучением. Но вы не знаете у которого )

-- Чт ноя 06, 2025 02:22:01 --

Если я правильно понимаю, ваш пример как раз нарушает это

Цитата:
не должно существовать никакой подпоследовательности стимулов, содержащей по меньшей мере по одному стимулу каждого класса, которая приводила бы к одинаковому коэффициенту смещения для каждого А-элемента в множестве А-элементов, реагирующих на эту подпоследовательность.

Второе условие нуждается в пояснении. Коэффициентом смещения для А-элемента Ф. Розенблатт называл отношение n_i^+/n_i^- числа стимулов в обучающей выборке, которые относятся к одному классу, и возбуждают данный А — элемент, к числу стимулов, относящихся к другому классу, но также возбуждающие этот же А-элемент. Нарушение второго условия делает отношение n_i^+/n_i^- постоянным для А-элементов, реагирующих на стимулы из такой определённой подпоследовательности появления стимулов на входах перцептрона.



-- Чт ноя 06, 2025 02:32:35 --

Вообще иметь по одному примеру в обучающей выборке для класса это как минимум странно.

 
 
 
 Re: О перцептроне Розенблатта
Сообщение06.11.2025, 02:34 
Аватара пользователя
tac в сообщении #1708391 писал(а):
приходится много приводить
index - это номер примера в обучающей выборке? Что такое NecessaryReactions?
tac в сообщении #1708391 писал(а):
для разных классов, должен существовать хотя бы один различающийся по координате признак который пересекается
Я понимаю, что значат "примеры пересекаются по признаку" (он в них обоих единичный), а что значит "признак пересекается"?
tac в сообщении #1708391 писал(а):
Но вы не знаете у которого
Но поскольку я не интуиционист, то верю что $(\neg A \vee \neg B) \leftrigtharrow \neg (A \wedge B)$.
tac в сообщении #1708391 писал(а):
Второе условие нуждается в пояснении
Да, причем большом. Тут важны именно последовательности, или просто подмножества?
"Возбуждают данный А-элемент" - это значит, что $(\vec x \cdot W_{sa})_i > 0$?
И всё условие целиком означает, что у нас не бывает, например, группы примеров, в которой первый элемент возбуждают 20 элементов первого и 10 элементов второго класса, второй элемент возбуждают 56 элементов первого и 28 второго, и т.д.?

 
 
 
 Re: О перцептроне Розенблатта
Сообщение06.11.2025, 02:42 
mihaild в сообщении #1708393 писал(а):
index - это номер примера в обучающей выборке?

да
mihaild в сообщении #1708393 писал(а):
Что такое NecessaryReactions?

требуемые метки, представленные в бинарном виде, и 0 заменен на -1

-- Чт ноя 06, 2025 03:47:49 --

mihaild в сообщении #1708393 писал(а):
Да, причем большом.

на самом деле, я его не до конца понимаю, я могу вам указать, где оно в оригинале ... но хотя интуитивно это то что нужно, это определение тем не менее избыточно, т.к. примешивает сюда А-элементы ... давайте его пока оставим в покое ... и я попробую найти лучшие определение ... LLM зараза ничем не помогает :cry: Впрочем не ужели вы не понимаете о чем я на самом деле говорю?

-- Чт ноя 06, 2025 03:51:10 --

tac в сообщении #1708391 писал(а):
Первая обучающая выборка: [[1, 1, 0, 0, 0], [1, 0, 1, 0, 0]]. Таргеты [0, 1]
Первая тестовая выборка: [[1, 0, 0, 1, 0], [1, 0, 0, 0, 1]]. Таргеты [0, 1]


Значит давайте заново. И пока не формально. Мне не нравится что все признаки, кроме первого не связаны. А первый, одинаков для обоих классов, это все равно что он есть, что его нет.

-- Чт ноя 06, 2025 03:52:39 --

Мера Жаккара хорошо работает в рамках одного класса между обучающей и тестовой. Обобщить это на несколько классов пока у меня не получается.

-- Чт ноя 06, 2025 04:00:07 --

также думаю, что любое определение будет лишено смысла, если у нас всего по одному примеру в обучающей выборке одного класса, поэтому их должно как минимум 2

-- Чт ноя 06, 2025 04:07:22 --

Что если, пересечений между признаками должно быть как минимум столько же сколько классов. И сами эти пересечения должны различаться.

 
 
 
 Re: О перцептроне Розенблатта
Сообщение06.11.2025, 03:10 
Аватара пользователя
tac в сообщении #1708394 писал(а):
требуемые метки, представленные в бинарном виде, и 0 заменен на -1
А, это для случая мультикласса? И соответственно у нас может быть ошибка в части выходов, но не во всех?
(я как-то стараюсь для начала думать о бинарной классификации, когда выход один)
tac в сообщении #1708394 писал(а):
Впрочем не ужели вы не понимаете о чем я на самом деле говорю?
Я не уверен, что понимаю правильно. Во времена Розенблатта линал, системы координат и т.д. были уже отлично известны, почему нельзя было писать в нормальных терминах?
tac в сообщении #1708394 писал(а):
А первый, одинаков для обоих классов, это все равно что он есть, что его нет
Ага. Именно про это я говорил, что просто требование подобия по Жаккару ничего не дает.
tac в сообщении #1708394 писал(а):
Обобщить это на несколько классов пока у меня не получается
Давайте пока про бинарную классификацию.
tac в сообщении #1708394 писал(а):
И пока не формально. Мне не нравится что все признаки, кроме первого не связаны
Я подозреваю, в конечном итоге у Вас получится требование "есть вот такое семейство функций, и нужно, чтобы таргет выражался через признаки функцией из этого семейства, в том числе на тестовой выборке". Что, безусловно, сработает, но не особо полезно. И в таком виде любой классификатор может быть объявлен хорошим.

 
 
 
 Re: О перцептроне Розенблатта
Сообщение06.11.2025, 03:13 
Можно пойти с другой стороны. Мы должны исключить все не информативные признаки:
1. те которые встречаются лишь один раз в каком то примере
2. те которые встречаются во всех примерах

если после этого выполняется подобие по Жаккару, то все норм.

-- Чт ноя 06, 2025 04:14:07 --

mihaild в сообщении #1708395 писал(а):
А, это для случая мультикласса? И соответственно у нас может быть ошибка в части выходов, но не во всех?

да, именно так.

-- Чт ноя 06, 2025 04:17:17 --

mihaild в сообщении #1708395 писал(а):
Давайте пока про бинарную классификацию.

да, но в бинарной их тоже два, а не один .. впрочем, для бинарной исключение неинформативных признаков (см. выше) наверно будет достаточно, а вот для большего числа не уверен.

-- Чт ноя 06, 2025 04:25:54 --

интуитивно может помочь понятие энтропии (gain из деревьев решений), оно не должно быть = 1 например, а ваш вырожденный пример именно такой.

-- Чт ноя 06, 2025 04:26:46 --

но вначале, что скажете по поводу простого исключения не информативных признаков?

 
 
 [ Сообщений: 207 ]  На страницу Пред.  1 ... 9, 10, 11, 12, 13, 14  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group