Существует ли Байесовская нелинейная регрессия

[alexey007]

Привет всем!
Научник (не математик) требует от меня аппроксимацию экспериментальных данных с помощью Байесовской регрессии (типа нейросеть нейросеть).
https://uk.mathworks.com/help/econ/bayesian-linear-regression-workflow.html
Но, все реализации в matlab только для Байесовской линейной регрессии, а моя модель нелинейная, поэтому она плохо описывает мои данные. Существует ли Байесовская нелинейная регрессия? Подскажите, пожалуйста, как объяснить научнику аргументированно, что невозможно применить этот метод Байеса к нашей задаче.

[mihaild]

А вы знаете определение байесовской линейной регрессии? В чем проблема обобщить его на нелинейный случай?

[alexey007]

mihaild в сообщении #1559954 писал(а):

В чем проблема обобщить его на нелинейный случай?

Мне нужно обрабатывать данные и хотелось бы найти готовые решения для создания хорошей модели под мои экспериментальные данные. Я пробовал найти в Matlab и на Python готовые реализации Байесовской невлинной регрессии и ничего не нашел. Значит либо я плохо искал и в этом случае хотел бы услышать от специалистов, что да, Байесовская нелинейная регрессия существует (т.е. есть хотя-бы публикации). Либо в другом случае услышать, что такого нет, если этого никто ещё не сделал, значит там есть какие-то проблемы, если нет реализаций ни на Matlab и Python. У меня точно нет времени ни на вывод метода и потом его программную реализацию.

[mihaild]

Например за минуту гуглится PyMC3. Публикации гуглятся еще быстрее. Про качество ничего сказать не могу.
Проблемы, конечно, есть, в первую очередь - очень сложно найти хоть какой-то частный случай, допускающий точное решение.

[alexey007]

mihaild в сообщении #1559981 писал(а):

Например за минуту гуглится PyMC3.

Спасибо огромное!!!!

mihaild в сообщении #1559981 писал(а):

Публикации гуглятся еще быстрее.

Можете, пожалуйста скинуть ссылку. А то я совсем не могу найти публикации по нелинейной Байесовской регрессии(((

[KregSeptim]

Попробуйте отобразить данные в latent space, где они буду хорошо аппроксимироваться линейной регрессией, и там используйте байесовскую линейную. Например, если примерно понятна форма преобразования, то попробуйте kernel trick (тяжелая артиллерия — подключить сюда metric learning); если совсем непонятно, то используйте нейронку с линейной активацией на выходном слое, а затем снимите output с последнего скрытого слоя.

[alexey007]

KregSeptim в сообщении #1560024 писал(а):

Попробуйте отобразить данные в latent space, где они буду хорошо аппроксимироваться линейной регрессией, и там используйте байесовскую линейную.

А если я найду такое преобразование, то это же будет означать, что я практически нашёл модель, а следовательно мне и дальше ничего делать не надо, могу просто использовать данную модель и все. Либо я неправильно понял

[KregSeptim]

alexey007
Ну это эквивалентно построению нейросети или kernel regression, да, только они будут делать обычную линейную регрессию (не будет учета априорных распределений на параметры). Просто вы написали, что вам нужна именно байесовская регрессия. Поскольку она не очень хорошо (в оптимизации вылезают невыпуклые функции, из-за которых все скатывается в локальный оптимум и тд) в общем случае работает с нелинейными моделями (в смысле с моделями, в которых link function нелинейная) , то нужно искать способы, в которых будет работать линейная байесовская регрессия. Это равносильно проецированию данных в "хорошее" пространство, чего можно добиться описанными выше методами.
Так что как бы и нашли модель, но как бы и не то что вам нужно было, судя по описанию проблемы. Предлагается взять только часть с трансформациями, а дальше работать. Это немножко другое.

-- 12.07.2022, 23:53 --

Вообще, если опишете задачу, то можем вместе подумать :)