2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Оценка "сложности" нейросети
Сообщение11.01.2017, 13:28 


20/12/14
123
Уже размещал вопрос на подобную тему. Но это не повторение, а совершенно новая идея!

Итак, меня интересует мера сложности графов (или сетей), которая была бы малой
как для полных графов, так и для сильно разреженных.

В свой время столкнулся с гипотезой, что если сети и связаны с мышлением и сознанием, то стоит рассматривать именно такие:

Изображение

В предыдущем посте мне посоветовали перевести матрицу графа в двоичный формат
и считать разные характеристики - энтропию, степень сжимаемости архиваторами и т.д.
Как-то не пошло это. Никаких явных результатов.

И вот идея другого рода. Очевидно, что у простой (что это точно значит - чуть далее) сети
есть лишь два варианта работы - цикл и стационарное состояние (которое можно считать циклом 1).
Наблюдения показывают, что при одинаковом количестве узлов и ребер $(N, K)$,
длины циклов у сетей разной "структуры" заметно отличаются.
Более того, как я и предполагал, наиболее длинные циклы выдают "средние" сети,
когда число связей заметно менее половины максимального $ N (N-1)/2$

Что значит "простая" сеть? Значения узлов и веса рёбер - только 0 и 1
(но матрица несимметрична, т.е. связи направлены и допустимы 0-циклы):

Изображение

Самый тонкий вопрос - это функция перехода, вычисляющая новое состояние
узла-персептрона по его входам.
Очевидно, она должна быть линейной (иначе можно и динамический хаос получить).
Собственно, простейший вариант:
Код:
int result;
switch ( total ) {
case 0:
  result = ?
  break;
case 1:
  result = ?
  break;
...
}


Здесь total - арифметическая сумма входов, а вместо ? ставится 0 или 1.
Т.к. входов конечное число, таких конструкций также будет конечное количество.

И наконец, собственно процедура оценки "сложности" данного графа.
Для всех возможных начальных условий (от {0, 0, 0, ...} до {1, 1, 1,...})
и всех типов функций перехода находится длина цикла, на который выходит сеть.
Максимальная длина и будет характеристикой сложности графа.


Для небольшого числа вершин не составляет труда найти максимум и по всем возможным графам
данного порядка.

Для "взрослых" графов приходится ограничиваться выборочными исследованиями.
Но уже ясно, что данная характеристика вполне рабочая.
Например, если сеть выдаёт длинные циклы для выборочно взятых сотни-другой начальных условий,
наверняка это подтвердится и для большего количества.

Интересно, есть ли исследования на эту тему?
Например, заинтересовали такие вопросы.
1. Очевидно, максимальная длина цикла формально равна $2^N$. Но я никогда не наблюдал подобное.
Реальные длины всегда меньше. Существуют ли теоретические оценки?

2. Тем не менее, для графов с числом вершин несколько сотен длина цикла уже может составлять
десятки тысяч. Любопытно, а что представляет собой собственно цикл как "набор данных"?
Чистый хаос? Возможна ли квазипериодическая структура?

 Профиль  
                  
 
 Re: Оценка "сложности" нейросети
Сообщение12.01.2017, 13:17 


13/05/14
476
denny
У меня есть предложение (какие критерии надо использовать и соответствующая литература) по Вашей предыдущей теме «Мера "сложности" графа».
Но я боюсь туда писать. Могут сделать замечание за оживление мертвой темы (забыл как это точно называется :oops:)
Может спросите у модераторов можно это сделать или нет. (Мне кажется это в Ваших интересах, если та тема по-прежнему Вам интересна)

 Профиль  
                  
 
 Re: Оценка "сложности" нейросети
Сообщение12.01.2017, 14:56 


14/01/11
2918
Насколько я могу судить, оживление "мёртвой" темы сколько-нибудь содержательными сообщениями никак не преследуется.

 Профиль  
                  
 
 Re: Оценка "сложности" нейросети
Сообщение12.01.2017, 16:32 
Супермодератор
Аватара пользователя


20/11/12
5728
sqribner48 в сообщении #1183951 писал(а):
Могут сделать замечание за оживление мертвой темы (забыл как это точно называется :oops:)
Пишите конечно, никто не будет Вас ругать.

Sender в сообщении #1183988 писал(а):
Насколько я могу судить, оживление "мёртвой" темы сколько-нибудь содержательными сообщениями никак не преследуется.
Именно так.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Dmitriy40


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group