2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Какими методами классифицировать такие вектора (см. внутрь)
Сообщение13.07.2017, 19:50 


15/01/12
215
Допустим, есть набор 50-мерных векторов, состоящие из (почти) случайных, равномерно распеределённых в $[-1, 1]$ чисел.
В первую группу попадают те вектора $x = (x_1 ... x_{50})$, у которых $\exists$ 1 < n < 50 : x_n = \frac{(x_{n-1} + x_{n+1})}{2}$
Остальные - во вторую группу.
Но простая нейросеть не в состоянии найти признак в групппе из $50 000$ элементов и разделить по нему вектора.

Есть ли специальные методы для выискивания подобных признаков?
И есть ли вообще какое-то общее описание признаков, которые являются понятными для человека и легко описываются математическим языком, но сложны для нейросетей и других классификаторов?

 Профиль  
                  
 
 Re: Какими методами классифицировать такие вектора (см. внутрь)
Сообщение13.07.2017, 21:27 


03/07/17
7

(Оффтоп)

Вообще-то слово "вектор" во множественном числе, это "векторы", а не "вектора". Слух режет.

 Профиль  
                  
 
 Re: Какими методами классифицировать такие вектора (см. внутрь)
Сообщение13.07.2017, 23:34 
Админ форума
Аватара пользователя


19/03/10
8952
 !  Semjons, замечание за оффтопик. Убрано в тег.

 Профиль  
                  
 
 Re: Какими методами классифицировать такие вектора (см. внутрь)
Сообщение15.07.2017, 19:59 


15/01/12
215
Даже более простой случай x_{n-1} = x_n = x_{n+1} = 0$ при $1 < n < 50$ нормально разделить не может.
Понятно, что разделяется обычными алгоритмами, но почему нейросеть разделить не в состоянии?

 Профиль  
                  
 
 Re: Какими методами классифицировать такие вектора (см. внутрь)
Сообщение15.07.2017, 22:28 
Заслуженный участник
Аватара пользователя


16/07/14
9149
Цюрих
А вы точное равенство требуете? Если да - то и не научится, выход - непрерывная функция от входа.
Если нет - то задача по сути сводится к "хотя бы один из модулей мал" (и второй вариант тут не проще первого). Надо смотреть, как это выразить через функции активации, скорее всего выражается плохо.

 Профиль  
                  
 
 Re: Какими методами классифицировать такие вектора (см. внутрь)
Сообщение15.07.2017, 22:59 


15/01/12
215
Я в курсе про малость модуля и про непрерывные функции.
Думал (и сейчас думаю), что при достаточном числе нейронов и большой обучающей выборки можно разделить всё, что угодно, если ограничение, пусть и совсем малое, задано заранее.
Но нейросеть почти не разделяет даже те образцы, на которых обучается.
Не исключаю неполадки в коде, но всё же мне кажется, что дело не в нём.
Кроме того, предположим, что в класс

$x_{n-1} = x_n = x_{n+1} = 0$

попадают векторы с

$\max(|x_{n-1}|, |x_n|, |x_{n+1}|) < \frac{1}{10}$

Если длина вектора равна $3$, вероятность того, что каждая его компонента не превышает

$P(|x_i| < \frac{1}{10} \forall i) = \frac{1}{1000}$

А при 50 компонентах частота встречи векторов не превышает (верхняя оценка)

$50 \cdot P = \frac{1}{20}$

Итак, лишь каждый двадцатый вектор можно считать "сомнительным" при указанных ограничениях, но классификация даёт явно худшие результаты.

P.S. в выборке количество векторов с 3 нулевыми компонентами подряд равно количеству остальных векторов.

 Профиль  
                  
 
 Re: Какими методами классифицировать такие вектора (см. внутрь)
Сообщение16.07.2017, 21:26 


15/01/12
215
$x_{n-1} = x_n = x_{n+1} = 1$

хорошо разделяется при

$-1 \leqslant x_n \leqslant 1, \forall 1 \leqslant n \leqslant 50$.

А

$x_{n-1} = x_n = x_{n+1} = 0$

почти не разделяется. Можно, конечно, объяснить коэффициентами при нулевых и ненулевых значениях, но, может, кто-то даст более простое толкование?

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 7 ] 

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group