Полигармонический каскад (хотелось бы обсудить)

[Mihaylo]

Может быть у учёных и правда более важна публикация, нежели кусочек правды... Но мне интересно было бы. Может потому что я лишь ml-исследователь, практик.

Судя по всему, xolod7 - ваш технологический партнёр, антрепренёр

[Yuriy Bakhvalov]

Mihaylo в сообщении #1725781 писал(а):

Может быть у учёных и правда более важна публикация, нежели кусочек правды... Но мне интересно было бы. Может потому что я лишь ml-исследователь, практик.

Судя по всему, xolod7 - ваш технологический партнёр, антрепренёр

Не так. У меня вполне есть представление о "дорожной карте", следующих шагах. Но... развивать это всё направление в одиночку?... Это трудно-подъемная задача. Поэтому сейчас я хочу ознакомить с этой архитектурой сообщество, найти единомышленников. Те более, что уже есть, что показать. И самое актуальное - это нужно показать, что я не "местный городской сумаcшедший". Именно для этого нужна публикация в топовом рецензируемом журнале.

xolod7 - это я

[Mihaylo]

Мне бы очень хотелось, чтобы вы достигли успеха, серьёзно! Когда-то и кто-то изобрёл KAN - были практические эксперименты, всё потухло. Колмогоров, Арнольд - всё.(

Надо показать безоговорочное SOTA где-нибудь, конкуренция высока.

Или вы как мой одногруппник - наберёте индекс цитирования и свалите в ОАЭ?

[Yuriy Bakhvalov]

Mihaylo в сообщении #1725824 писал(а):

Или вы как мой одногруппник - наберёте индекс цитирования и свалите в ОАЭ?

как-то и не было никогда такой цели...

[SergeyGubanov]

Yuriy Bakhvalov в сообщении #1725682 писал(а):

Появился повод вернуться к теме.
Статья на Хабре. Нестандартный бенчмарк для двух десятков алгоритмов машинного обучения, среди которых есть и Полигармонический каскад.

https://habr.com/ru/articles/1044858/

Если я правильно понял, Ваш метод оказался очень хорош для выучивания скалярной функции, так? Именно скалярной функции, а не векторного поля.

В диффузионных моделях необходимо выучивание векторного поля ${\bf s}_{\theta}(t, {\bf x})$. Однако в используемой там теории это векторное поле безвихревое и, следовательно, равно градиенту некоторой скалярной функции:

$$ {\bf s}_{\theta} (t, {\bf x}) = \frac{\partial}{\partial {\bf x}} \log p_{\theta} (t, {\bf x}). $$

Так вот, если вдруг Ваш метод силён в выучивании скалярных функций, то если его подружить с диффузионками, то не надо будет выучивать векторное поле ${\bf s}_{\theta} (t, {\bf x})$. Достаточно будет выучить одну скалярную функцию $\log p_{\theta} (t, {\bf x})$, а для получения вектора ${\bf s}_{\theta} (t, {\bf x})$ надо будет просто продифференцировать её в точке ${\bf x}$.