2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Какими методами классифицировать такие вектора (см. внутрь)
Сообщение13.07.2017, 19:50 


15/01/12
216
Допустим, есть набор 50-мерных векторов, состоящие из (почти) случайных, равномерно распеределённых в $[-1, 1]$ чисел.
В первую группу попадают те вектора $x = (x_1 ... x_{50})$, у которых $\exists$ 1 < n < 50 : x_n = \frac{(x_{n-1} + x_{n+1})}{2}$
Остальные - во вторую группу.
Но простая нейросеть не в состоянии найти признак в групппе из $50 000$ элементов и разделить по нему вектора.

Есть ли специальные методы для выискивания подобных признаков?
И есть ли вообще какое-то общее описание признаков, которые являются понятными для человека и легко описываются математическим языком, но сложны для нейросетей и других классификаторов?

 Профиль  
                  
 
 Re: Какими методами классифицировать такие вектора (см. внутрь)
Сообщение13.07.2017, 21:27 


03/07/17
7

(Оффтоп)

Вообще-то слово "вектор" во множественном числе, это "векторы", а не "вектора". Слух режет.

 Профиль  
                  
 
 Re: Какими методами классифицировать такие вектора (см. внутрь)
Сообщение13.07.2017, 23:34 
Админ форума
Аватара пользователя


19/03/10
8952
 !  Semjons, замечание за оффтопик. Убрано в тег.

 Профиль  
                  
 
 Re: Какими методами классифицировать такие вектора (см. внутрь)
Сообщение15.07.2017, 19:59 


15/01/12
216
Даже более простой случай x_{n-1} = x_n = x_{n+1} = 0$ при $1 < n < 50$ нормально разделить не может.
Понятно, что разделяется обычными алгоритмами, но почему нейросеть разделить не в состоянии?

 Профиль  
                  
 
 Re: Какими методами классифицировать такие вектора (см. внутрь)
Сообщение15.07.2017, 22:28 
Заслуженный участник
Аватара пользователя


16/07/14
9611
Цюрих
А вы точное равенство требуете? Если да - то и не научится, выход - непрерывная функция от входа.
Если нет - то задача по сути сводится к "хотя бы один из модулей мал" (и второй вариант тут не проще первого). Надо смотреть, как это выразить через функции активации, скорее всего выражается плохо.

 Профиль  
                  
 
 Re: Какими методами классифицировать такие вектора (см. внутрь)
Сообщение15.07.2017, 22:59 


15/01/12
216
Я в курсе про малость модуля и про непрерывные функции.
Думал (и сейчас думаю), что при достаточном числе нейронов и большой обучающей выборки можно разделить всё, что угодно, если ограничение, пусть и совсем малое, задано заранее.
Но нейросеть почти не разделяет даже те образцы, на которых обучается.
Не исключаю неполадки в коде, но всё же мне кажется, что дело не в нём.
Кроме того, предположим, что в класс

$x_{n-1} = x_n = x_{n+1} = 0$

попадают векторы с

$\max(|x_{n-1}|, |x_n|, |x_{n+1}|) < \frac{1}{10}$

Если длина вектора равна $3$, вероятность того, что каждая его компонента не превышает

$P(|x_i| < \frac{1}{10} \forall i) = \frac{1}{1000}$

А при 50 компонентах частота встречи векторов не превышает (верхняя оценка)

$50 \cdot P = \frac{1}{20}$

Итак, лишь каждый двадцатый вектор можно считать "сомнительным" при указанных ограничениях, но классификация даёт явно худшие результаты.

P.S. в выборке количество векторов с 3 нулевыми компонентами подряд равно количеству остальных векторов.

 Профиль  
                  
 
 Re: Какими методами классифицировать такие вектора (см. внутрь)
Сообщение16.07.2017, 21:26 


15/01/12
216
$x_{n-1} = x_n = x_{n+1} = 1$

хорошо разделяется при

$-1 \leqslant x_n \leqslant 1, \forall 1 \leqslant n \leqslant 50$.

А

$x_{n-1} = x_n = x_{n+1} = 0$

почти не разделяется. Можно, конечно, объяснить коэффициентами при нулевых и ненулевых значениях, но, может, кто-то даст более простое толкование?

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 7 ] 

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: stalvoron


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group