2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Оценка "сложности" нейросети
Сообщение11.01.2017, 13:28 


20/12/14
148
Уже размещал вопрос на подобную тему. Но это не повторение, а совершенно новая идея!

Итак, меня интересует мера сложности графов (или сетей), которая была бы малой
как для полных графов, так и для сильно разреженных.

В свой время столкнулся с гипотезой, что если сети и связаны с мышлением и сознанием, то стоит рассматривать именно такие:

Изображение

В предыдущем посте мне посоветовали перевести матрицу графа в двоичный формат
и считать разные характеристики - энтропию, степень сжимаемости архиваторами и т.д.
Как-то не пошло это. Никаких явных результатов.

И вот идея другого рода. Очевидно, что у простой (что это точно значит - чуть далее) сети
есть лишь два варианта работы - цикл и стационарное состояние (которое можно считать циклом 1).
Наблюдения показывают, что при одинаковом количестве узлов и ребер $(N, K)$,
длины циклов у сетей разной "структуры" заметно отличаются.
Более того, как я и предполагал, наиболее длинные циклы выдают "средние" сети,
когда число связей заметно менее половины максимального $ N (N-1)/2$

Что значит "простая" сеть? Значения узлов и веса рёбер - только 0 и 1
(но матрица несимметрична, т.е. связи направлены и допустимы 0-циклы):

Изображение

Самый тонкий вопрос - это функция перехода, вычисляющая новое состояние
узла-персептрона по его входам.
Очевидно, она должна быть линейной (иначе можно и динамический хаос получить).
Собственно, простейший вариант:
Код:
int result;
switch ( total ) {
case 0:
  result = ?
  break;
case 1:
  result = ?
  break;
...
}


Здесь total - арифметическая сумма входов, а вместо ? ставится 0 или 1.
Т.к. входов конечное число, таких конструкций также будет конечное количество.

И наконец, собственно процедура оценки "сложности" данного графа.
Для всех возможных начальных условий (от {0, 0, 0, ...} до {1, 1, 1,...})
и всех типов функций перехода находится длина цикла, на который выходит сеть.
Максимальная длина и будет характеристикой сложности графа.


Для небольшого числа вершин не составляет труда найти максимум и по всем возможным графам
данного порядка.

Для "взрослых" графов приходится ограничиваться выборочными исследованиями.
Но уже ясно, что данная характеристика вполне рабочая.
Например, если сеть выдаёт длинные циклы для выборочно взятых сотни-другой начальных условий,
наверняка это подтвердится и для большего количества.

Интересно, есть ли исследования на эту тему?
Например, заинтересовали такие вопросы.
1. Очевидно, максимальная длина цикла формально равна $2^N$. Но я никогда не наблюдал подобное.
Реальные длины всегда меньше. Существуют ли теоретические оценки?

2. Тем не менее, для графов с числом вершин несколько сотен длина цикла уже может составлять
десятки тысяч. Любопытно, а что представляет собой собственно цикл как "набор данных"?
Чистый хаос? Возможна ли квазипериодическая структура?

 Профиль  
                  
 
 Re: Оценка "сложности" нейросети
Сообщение12.01.2017, 13:17 


13/05/14
476
denny
У меня есть предложение (какие критерии надо использовать и соответствующая литература) по Вашей предыдущей теме «Мера "сложности" графа».
Но я боюсь туда писать. Могут сделать замечание за оживление мертвой темы (забыл как это точно называется :oops:)
Может спросите у модераторов можно это сделать или нет. (Мне кажется это в Ваших интересах, если та тема по-прежнему Вам интересна)

 Профиль  
                  
 
 Re: Оценка "сложности" нейросети
Сообщение12.01.2017, 14:56 


14/01/11
3040
Насколько я могу судить, оживление "мёртвой" темы сколько-нибудь содержательными сообщениями никак не преследуется.

 Профиль  
                  
 
 Re: Оценка "сложности" нейросети
Сообщение12.01.2017, 16:32 
Супермодератор
Аватара пользователя


20/11/12
5728
sqribner48 в сообщении #1183951 писал(а):
Могут сделать замечание за оживление мертвой темы (забыл как это точно называется :oops:)
Пишите конечно, никто не будет Вас ругать.

Sender в сообщении #1183988 писал(а):
Насколько я могу судить, оживление "мёртвой" темы сколько-нибудь содержательными сообщениями никак не преследуется.
Именно так.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group