Нейронное поле

[granit201z]

Представьте пятиугольник со вписанной в него звездой. Получился граф, в котором один узел соединен с четырьмя остальными. Пусть это будут прямые связи (всего их 10). Пустите параллельно им обратные связи, соединяющие те же узлы, но в обратном направлении (тоже 10). Теперь каждый узел соедините еще сам с собой (еще 5).
Пусть эти 5 узлов испустили какой то начальный сигнал (5-ти мерный вектор). Пробегая по каждой связи этот сигнал умножается на ее вес (w_i). В итоге в каждый из этих 5-ти нейронов придет сигнал:

$$\sum\limits_{i=1}^{5} (x_i \cdot w_i)$$

После этого каждый из этих 5-ти нейронов испустит новый сигнал:

$F(\sum\limits_{i=1}^{5} (x_i \cdot w_i))$

где $F(x)$ - какая-либо непрерывная нелинейная функция. Для определенности пусть будет $\cos(x)$, но это совсем необязательно.

Таким образом после второго испускания для каждого нейрона получится что-то вроде:
$y_i = \cos( \sum\limits_{}^{} ( \cos( \sum\limits_{}^{} (x_i \cdot w_i) ) \cdot w_i ) )$

Ну и так далее...

где, $y_i$ - выходной сигнал $i$-го нейрона.

Вроде так работает полносвязная сеть.

А что будет. И главное как будет выглядеть уравнение, если от сети перейти к полю, т.е. сделать узлами полносвязного поля не вершины правильного многоугольника (как у полносвязной сети), а все точки окружности. Возможно ли так вообще проинтегрировать?

[arseniiv]

Сначала надо определить, потом интегрировать (или не интегрировать).

Во-первых нет смысла брать окружность, любое континуальное множество будет работать так же, потому что от пятиугольника у нас никакой формы, когда мы довели орграф до полного, не осталось. Во-вторых надо определить, такие же дискретные временные шаги или уже непрерывные. Дальше я предполагаю дискретные.

В-третьих на функцию, сопоставляющую двум точкам вес перехода, придётся наложить ограничения, иначе суммы будут неопределены. Обычно в таком случае требуют, чтобы получались лишь конечные суммы, то есть лишь конечное число весов из произвольной вершины в любую данную было ненулевыми. Это эффективно выкинет из рассмотрения большую кучу вершин и оставит лишь некоторое счётное′* множество вершин, достижимых из заданного счётного′ (на что я надеюсь) за счётное′ число ходов. (Но мы всё равно не сможем после этого ослабить требования к числу ненулевых весов, потому что никакого упорядочения вершин у нас нет, чтобы разрешить бесконечные ряды; если разрешить только положительные веса, другой разговор).

Итак?

* Здесь счётное′ обозначает «не более чем счётное».

[granit201z]

arseniiv в сообщении #1404071 писал(а):

о-первых нет смысла брать окружность, любое континуальное множество будет работать так же, потому что от пятиугольника у нас никакой формы, когда мы довели орграф до полного, не осталось. Во-вторых надо определить, такие же дискретные временные шаги или уже непрерывные. Дальше я предполагаю дискретные.

Ну да. Если считать эти 5 нейронов нейронами одного слоя, то работа такой сети будет эквивалентна 5-ти нейронному многослойному персептрону прямого распространения с количеством слоев, равных количеству итераций "испускания сигнала", в котором к каждому нейрону слоя подходит всего 5 связей от каждого нейрона предыдущего слоя. Временные шаги я предполагал дискретными (за единицу времени происходит одна "итерация испускания"), поскольку не могу себе представить как это может выглядеть непрерывным

arseniiv в сообщении #1404071 писал(а):

Обычно в таком случае требуют, чтобы получались лишь конечные суммы, то есть лишь конечное число весов из произвольной вершины в любую данную было ненулевыми

Но это приведет к тому, что то, что в результате получится - останется обычной конечной многослойной нейронной сетью. Т.е. получается нейросеть нельзя ополезовать?

[arseniiv]

Ну как конечной, может быть и счётной. Если предполагалась применимость к чему-то — не знаю. Практических применений у несчётных множеств я не знаю, практика всегда имеет дело с конечными.

Можно просто уменьшить связность, и тогда, возможно, можно было бы обобщить не до просто какого-то континуального множества, а до пространства, по которому можно брать интеграл от достаточно хороших функций. Теперь, если состояния «нейронов» будут задаваться лишь такими хорошими функциями при любых переходах из состояний, задаваемых хорошими, то дело сделано, вместо суммирования можно будет интегрировать. Можете попробовать взять сначала как пространство $\mathbb R$ и как кандидат в класс хороших функций многочлены — если и они не подойдут, то что-то менять, в частности функцию активации и то, какими функциями (здесь это $\mathbb R^2\to\mathbb R$) допустимо задавать веса. (Или если так прельщает кольцо, можно рассматривать конечные отрезки рядов Фурье. Но скорее всего проще сначала разбирать многочлены.)