Люди, порой, не видят очевидные вещи [нелин. аппроксимация]

[prof.uskov]

Порой, приходится встречать в литературе случаи, когда даже маститые авторы или допускают элементарные ошибки, или не то что бы ошибаются, но излагают неэффективные подходы.
Например, учебник "Теория вероятностей" Е.С. Вентцель, выдержавший огромное количество изданий...
На стр. 363 рассматривается аппроксимация по методу наименьших квадратов. Для функций нелинейных по параметрам предлагается использовать приближенный графической метод решения задачи МНК. В тоже время, для всех рассматриваемых аппроксимирующих зависимостей нелинейная задача сводится линейной регрессии путем элементарной замены переменных и, таким образом, достаточно просто можно получить точное решение.

Интересно было бы узнать еще о подобных "ошибках" в книгах известных авторов.

[Xaositect]

Замена переменных, вообще-то, меняет распределение ошибки. Если вы замените аппроксимацию $y \approx e^{-ax^2}$ на $\ln y \approx -a x^2$, то получится другая задача.

[prof.uskov]

Xaositect в сообщении #1159124 писал(а):

Замена переменных, вообще-то, меняет распределение ошибки. Если вы замените аппроксимацию $y \approx e^{-ax^2}$ на $\ln y \approx -a x^2$, то получится другая задача.

Задача в том, чтобы найти параметр a по МНК. Заменой перемененных $y1=ln (y) $ и $x1=-x^2$ приходим к линейной задаче с аппроксимирующей функцией $y1=ax1 $

[Xaositect]

prof.uskov в сообщении #1159135 писал(а):

Задача в том, чтобы найти параметр a по МНК. Заменой перемененных $y1=ln (y) $ и $x1=-x^2$ приходим к линейной задаче с аппроксимирующей функцией $y1=ax1 $

Да, и оптимальное значение $a$ для второй задачи не будет оптимальным для первой.

[Red_Herring]

prof.uskov
Запишите уравнение для $a$ полученное 1) в исходной задаче 2) в модифицированной Вами. Достаточно взять$ n=2.$

С заголовком темы согласен :)

[prof.uskov]

Xaositect в сообщении #1159136 писал(а):

prof.uskov в сообщении #1159135 писал(а):

Задача в том, чтобы найти параметр $a$ по МНК. Заменой перемененных $y1=ln (y) $ и $x1=-x^2$ приходим к линейной задаче с аппроксимирующей функцией $y1=ax1 $

Да, и оптимальное значение $a$ для второй задачи не будет оптимальным для первой.

Почему не будет? Обучающая выборка тоже пересчитывается по этим формулам, затем применяется МНК для определения $a$.

[Xaositect]

prof.uskov в сообщении #1159139 писал(а):

Почему не будет? Обучающая выборка тоже пересчитывается по этим формулам, затем применяется МНК для определения $a$.

Ну возьмите $x_i = 1, \sqrt 2, \sqrt 3, 2$, $y_i = 1, e^{3}, e^{2}, e^{5}$. Получим $x1_i = -1, -2, -3, -4$, $y1_i = 0, 3, 2, 5$, очевидно, оптимальная прямая по МНК $y_1 = -x_1$ (т.е. $a = -1$). Для исходной задачи сумма квадратов ошибок будет чуть больше 9000 :), а для оптимального значения $a \approx -1.23795$ будет сумма ошибок $\approx 1252.36$.

[prof.uskov]

Red_Herring в сообщении #1159137 писал(а):

prof.uskov
Запишите уравнение для $a$ полученное 1) в исходной задаче 2) в модифицированной Вами. Достаточно взять$ n=2.$

С заголовком темы согласен :)

Здесь необходимо найти один параметр, если Вы под $n$ понимаете число обучающих точек, то достаточно одной $n=1$ обучающей точки. Решение, конечно же совпадает.

[Xaositect]

prof.uskov в сообщении #1159143 писал(а):

Здесь необходимо найти один параметр, если Вы под $n$ понимаете число обучающих точек, то достаточно одной $n=1$ обучающей точки. Решение, конечно же совпадает.

На одной-то конечно совпадет. Но в учебнике говорится про аппроксимацию, и для аппроксимации задачи получатся разные, потому что нелинейное преобразование $y$ по разному преобразует ошибки в положительную и отрицательную сторону.

[Brukvalub]

А что, теперь МНК используют для ОДНОЙ точки? Одной, Карл!
Как же я на своем захудалом мехмате МГУ отстал от новейших достижений науки!

[Karan]

Тема перемещена из форума «Беседы на околонаучные темы» в форум «Помогите решить / разобраться (М)»
Причина переноса: топикстартеру нужно помочь разобраться в отличиях линейной и нелинейной аппроксимации.

[madschumacher]

(вот ЭТО да!)

Да это ещё что! Вот по одной точке подогнать по МНК 5 нелинейно связанных параметров без ограничений и регуляризации, вот это -- да!

[prof.uskov]

Brukvalub в сообщении #1159145 писал(а):

А что, теперь МНК используют для ОДНОЙ точки? Одной, Карл!
Как же я на своем захудалом мехмате МГУ отстал от новейших достижений науки!

Число параметров равно числу обучающих точек - это частный случай. Ошибка при этом 0. Почему бы нет?

[Karan]

prof.uskov в сообщении #1159148 писал(а):

Число параметров равно числу обучающих точек - это частный случай. Ошибка при этом 0. Почему бы нет?

Для этого случая все хорошо, но это не тот случай, который рассматривается в указанной книге.

[prof.uskov]

Вот мне даже стало интересно, что Вы на это скажете?
Открываем книжку Львовский Е.Н. Статистические методы построения эмпирических формул, 1988 г.
Стр. 59-60.