Полигармонический каскад (хотелось бы обсудить)

[Mihaylo]

Но почему же в "нейронках" нет объяснения? А как же разделяющие гиперплоскости? Как же теорема о сходимости аппроксимации произвольной функции на трёхслойном перцептроне? И так далее...

[SergeyGubanov]

Mihaylo, пусть есть триллион обучающих примеров отображения $\vec{K}_i$ в $\vec{V}_i$. Не составляет особого труда запрограммировать "однослойную" ассоциативную память $\vec{K}_i \to \vec{V}_i$ (например так: topic161916.html), да вот беда: там будет триллион слагаемых. Чтобы уменьшить количество слагаемых возникает идея многослойной реализации ассоциативной памяти:

$$ \vec{K}_i \to \vec{H}^{(1)}_i \to \vec{H}^{(2)}_i \to \ldots \to \vec{H}^{(N)}_i \to \vec{V}_i. $$

Но не существует внятного объяснения как конкретно нужно выбрать эти самые скрытые "слои".

В методе минимизации функции "ошибки" градиентным спуском скрытые векторы $\vec{H}^{(n)}_i$ получаются сами такими какими получаются, без объяснения почему так, просто "так получилось".

[Yuriy Bakhvalov]

SergeyGubanov в сообщении #1714583 писал(а):

Mihaylo, пусть есть триллион обучающих примеров отображения $\vec{K}_i$ в $\vec{V}_i$. Не составляет особого труда запрограммировать "однослойную" ассоциативную память $\vec{K}_i \to \vec{V}_i$ (например так: topic161916.html), да вот беда: там будет триллион слагаемых. Чтобы уменьшить количество слагаемых возникает идея многослойной реализации ассоциативной памяти:

$$ \vec{K}_i \to \vec{H}^{(1)}_i \to \vec{H}^{(2)}_i \to \ldots \to \vec{H}^{(N)}_i \to \vec{V}_i. $$

Но не существует внятного объяснения как конкретно нужно выбрать эти самые скрытые "слои".

В методе минимизации функции "ошибки" градиентным спуском скрытые векторы $\vec{H}^{(n)}_i$ получаются сами такими какими получаются, без объяснения почему так, просто "так получилось".

Правильно ли понимаю, что то, что Вы подразумеваете под "однослойной" ассоциативной памятью с триллионом слагаемых это нечто вроде вариации метода ближайшего соседа?

[SergeyGubanov]

Ну, конкретно в том примере - да, но вообще не обязательно. В общем случае стоит задача организовать "сложную" ассоциативную память через каскад "простых" ассоциативных памятей воспоминаний (без конкретизации того как именно устроена "простая" ассоциативная память).

[Mihaylo]

SergeyGubanov в сообщении #1714583 писал(а):

Но не существует внятного объяснения как конкретно нужно выбрать эти самые скрытые "слои".

Правильно, ибо в конкретной ситуации выбор зависит от задачи и обучающего датасета, которые в целом - сложны. Обычно никто не хочет заморачиваться, не исследует эту проблему теоретически, ибо таких исследований можно провести бесконечное количество, а они затратны. Но всё же, для особых гиков, есть explainable AI.

[ivan_shatov]

Yuriy Bakhvalov в сообщении #1714419 писал(а):

Ссылки:
Код на гитхабе: https://github.com/xolod7/polyharmonic-cascade

Статьи:
English (arXiv)
Bakhvalov, Y. N. (2025). Solving a Machine Learning Regression Problem Based on the Theory of Random Functions. https://arxiv.org/abs/2512.12731
Bakhvalov, Y. N. (2025). Polyharmonic Spline Packages: Composition, Efficient Procedures for Computation and Differentiation. https://arxiv.org/abs/2512.16718
Bakhvalov, Y. N. (2025). Polyharmonic Cascade. https://arxiv.org/abs/2512.17671
Bakhvalov, Y. N. (2025). Initialization of a Polyharmonic Cascade, Launch and Testing. https://arxiv.org/abs/2512.19524

На русском (preprints.ru)
Бахвалов Ю. Н. (2024). Решение регрессионной задачи машинного обучения на основе теории случайных функций. https://doi.org/10.24108/preprints-3113020
Бахвалов Ю. Н. (2024). Пакеты полигармонических сплайнов, их объединение, эффективные процедуры вычисления и дифференцирования. https://doi.org/10.24108/preprints-3113111
Бахвалов Ю. Н. (2025). Полигармонический каскад. https://doi.org/10.24108/preprints-3113501
Бахвалов Ю. Н. (2025). Инициализация полигармонического каскада, запуск и проверка. https://doi.org/10.24108/preprints-3113659

Очень интересная работа на мой взгляд, респект!

Правда вычислительная сложность выше чем у аналогов(SVM, MLP, тем более деревянные штуки), но это судя по вашему примеру с гигхаба, не оптимизированному и вероятно не очень то и сконфигурированному. Думаю есть перспективы у подхода, если бы до Вапника с SVM успели, то прославились бы.

Жаль нынче все фанатеют с "фичалёрнинга"(как из сырых данных, далёких от списков векторов с осмысленными индексами, проецировать в "латентные пространства" где вектора хотя бы от части вектора, а не непонятно что)