Оптимальная стратегия

[Joe Black]

Даны точные функции поведения динамической системы со случайной ошибкой - error term в каждой функции. Управлять можно только одной переменной $X$, от которой зависят все данные функции. В каждом периоде $t$ при воздействии на переменную $X$, получается какой-то выигрыш $y_t$, $t\in[0,T]$. Обозначим $y_t = F(f_1,f_2,f_3,\dots)$, где $f_i=f(X)+error_i$, допустим $error_i$ распределены одинаково. Нужно получить оптимальную динамическую стратегию управления переменной $X$, чтобы максимизировать выигрыш $Y=\Sigma_{t=0}^Ty_t$. Как изменится ответ, если X - вектор?

Думаю можно для начала предположить, что функция одна $f_1$ и линейно зависит от X, то есть $f_1 = A_1X_t+B_1+error_1$ и $y_t$ линейно зависит от $f_1$ , тогда имеем линейную регрессию. Допустим $X$, тогда выбираем первые несколько раз наугад, затем оцениваем коэффициенты на каждом шаге и определяем какой $X_{t+1}$ использовать.
Если функций больше и зависимости линейные, то $y_t$ можно представить в виде $y_t = AX_t + B + error$, где $A=\Sigma_{i=1}^nA_i, B = \Sigma_{i=1}^nB_i,error = \Sigma_{i=1}^nerror_i$. Таким образом снова имеем линейную регрессию.
Если функции $f_i$ нелинейные, но $y_t$ линейно зависит от них, то имеем $y_t=\Sigma_{i=1}^na_if_i(X) + b + error, error = \Sigma_{i=1}^n a_i\cdot error_i$. В данном случае палагаю нужно использовать алгоритмы ML, затрудняюсь сказать какие.
Если $y_t$ нелинейно зависит от функций и функции нелинейно зависят от $X$, то наверное тоже нужно использовать ML.

Верно ли изложил подход, подскажите, пожалуйста?

[Geen]

Joe Black в сообщении #1479318 писал(а):

тогда имеем линейную регрессию

Зачем? - всякий раз надо брать максимальный/минимальный $X$...

[Joe Black]

Спасибо, с линейным случаем понял, вопрос есть с нелинейным. Еще не совсем понятное условие, известны ли функции или нет. Если функции известны и нормально дифференциируемы, то ищем максимум аналитически, если нет то используем метод конечных разностей и ищем его численно. Если известен только вид функций, то думаю можно использовать Gradient Descent.

[Geen]

Joe Black в сообщении #1479525 писал(а):

то ищем максимум аналитически,

Вот только максимум чего?

-- 17.08.2020, 00:11 --

Joe Black в сообщении #1479318 писал(а):

Верно ли изложил подход, подскажите, пожалуйста?

Вообще, есть ощущение, что Вы задачу изложили не вполне верно...