2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу 1, 2, 3, 4, 5 ... 9  След.
 
 Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 11:16 
Аватара пользователя


12/01/14
1127
Порой, приходится встречать в литературе случаи, когда даже маститые авторы или допускают элементарные ошибки, или не то что бы ошибаются, но излагают неэффективные подходы.
Например, учебник "Теория вероятностей" Е.С. Вентцель, выдержавший огромное количество изданий...
На стр. 363 рассматривается аппроксимация по методу наименьших квадратов. Для функций нелинейных по параметрам предлагается использовать приближенный графической метод решения задачи МНК. В тоже время, для всех рассматриваемых аппроксимирующих зависимостей нелинейная задача сводится линейной регрессии путем элементарной замены переменных и, таким образом, достаточно просто можно получить точное решение.
Изображение
Интересно было бы узнать еще о подобных "ошибках" в книгах известных авторов.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи
Сообщение12.10.2016, 11:25 
Заслуженный участник
Аватара пользователя


06/10/08
6422
Замена переменных, вообще-то, меняет распределение ошибки. Если вы замените аппроксимацию $y \approx e^{-ax^2}$ на $\ln y \approx -a x^2$, то получится другая задача.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи
Сообщение12.10.2016, 12:14 
Аватара пользователя


12/01/14
1127
Xaositect в сообщении #1159124 писал(а):
Замена переменных, вообще-то, меняет распределение ошибки. Если вы замените аппроксимацию $y \approx e^{-ax^2}$ на $\ln y \approx -a x^2$, то получится другая задача.

Задача в том, чтобы найти параметр a по МНК. Заменой перемененных $y1=ln (y) $ и $x1=-x^2$ приходим к линейной задаче с аппроксимирующей функцией $y1=ax1 $

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи
Сообщение12.10.2016, 12:17 
Заслуженный участник
Аватара пользователя


06/10/08
6422
prof.uskov в сообщении #1159135 писал(а):
Задача в том, чтобы найти параметр a по МНК. Заменой перемененных $y1=ln (y) $ и $x1=-x^2$ приходим к линейной задаче с аппроксимирующей функцией $y1=ax1 $
Да, и оптимальное значение $a$ для второй задачи не будет оптимальным для первой.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи
Сообщение12.10.2016, 12:19 
Заслуженный участник
Аватара пользователя


31/01/14
11018
Hogtown
prof.uskov
Запишите уравнение для $a$ полученное 1) в исходной задаче 2) в модифицированной Вами. Достаточно взять$ n=2.$

С заголовком темы согласен :)

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи
Сообщение12.10.2016, 12:23 
Аватара пользователя


12/01/14
1127
Xaositect в сообщении #1159136 писал(а):
prof.uskov в сообщении #1159135 писал(а):
Задача в том, чтобы найти параметр $a$ по МНК. Заменой перемененных $y1=ln (y) $ и $x1=-x^2$ приходим к линейной задаче с аппроксимирующей функцией $y1=ax1 $
Да, и оптимальное значение $a$ для второй задачи не будет оптимальным для первой.

Почему не будет? Обучающая выборка тоже пересчитывается по этим формулам, затем применяется МНК для определения $a$.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи
Сообщение12.10.2016, 12:29 
Заслуженный участник
Аватара пользователя


06/10/08
6422
prof.uskov в сообщении #1159139 писал(а):
Почему не будет? Обучающая выборка тоже пересчитывается по этим формулам, затем применяется МНК для определения $a$.
:facepalm:

Ну возьмите $x_i = 1, \sqrt 2, \sqrt 3, 2$, $y_i = 1, e^{3}, e^{2}, e^{5}$. Получим $x1_i = -1, -2, -3, -4$, $y1_i = 0, 3, 2, 5$, очевидно, оптимальная прямая по МНК $y_1 = -x_1$ (т.е. $a = -1$). Для исходной задачи сумма квадратов ошибок будет чуть больше 9000 :), а для оптимального значения $a \approx -1.23795$ будет сумма ошибок $\approx 1252.36$.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи
Сообщение12.10.2016, 12:32 
Аватара пользователя


12/01/14
1127
Red_Herring в сообщении #1159137 писал(а):
prof.uskov
Запишите уравнение для $a$ полученное 1) в исходной задаче 2) в модифицированной Вами. Достаточно взять$ n=2.$

С заголовком темы согласен :)

Здесь необходимо найти один параметр, если Вы под $n$ понимаете число обучающих точек, то достаточно одной $n=1$ обучающей точки. Решение, конечно же совпадает.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи
Сообщение12.10.2016, 12:37 
Заслуженный участник
Аватара пользователя


06/10/08
6422
prof.uskov в сообщении #1159143 писал(а):
Здесь необходимо найти один параметр, если Вы под $n$ понимаете число обучающих точек, то достаточно одной $n=1$ обучающей точки. Решение, конечно же совпадает.
На одной-то конечно совпадет. Но в учебнике говорится про аппроксимацию, и для аппроксимации задачи получатся разные, потому что нелинейное преобразование $y$ по разному преобразует ошибки в положительную и отрицательную сторону.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи
Сообщение12.10.2016, 12:41 
Заслуженный участник
Аватара пользователя


01/03/06
13626
Москва
А что, теперь МНК используют для ОДНОЙ точки? Одной, Карл! :shock:
Как же я на своем захудалом мехмате МГУ отстал от новейших достижений науки! :facepalm:

 Профиль  
                  
 
 Posted automatically
Сообщение12.10.2016, 12:43 
Модератор


19/10/15
1196
 i  Тема перемещена из форума «Беседы на околонаучные темы» в форум «Помогите решить / разобраться (М)»
Причина переноса: топикстартеру нужно помочь разобраться в отличиях линейной и нелинейной аппроксимации.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 12:44 
Заслуженный участник
Аватара пользователя


28/04/16
2388
Внутри ускорителя

(вот ЭТО да!)

Да это ещё что! Вот по одной точке подогнать по МНК 5 нелинейно связанных параметров без ограничений и регуляризации, вот это -- да! :lol:

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи
Сообщение12.10.2016, 12:44 
Аватара пользователя


12/01/14
1127
Brukvalub в сообщении #1159145 писал(а):
А что, теперь МНК используют для ОДНОЙ точки? Одной, Карл! :shock:
Как же я на своем захудалом мехмате МГУ отстал от новейших достижений науки! :facepalm:

Число параметров равно числу обучающих точек - это частный случай. Ошибка при этом 0. Почему бы нет?

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 12:45 
Модератор


19/10/15
1196
prof.uskov в сообщении #1159148 писал(а):
Число параметров равно числу обучающих точек - это частный случай. Ошибка при этом 0. Почему бы нет?
Для этого случая все хорошо, но это не тот случай, который рассматривается в указанной книге.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение12.10.2016, 12:51 
Аватара пользователя


12/01/14
1127
Вот мне даже стало интересно, что Вы на это скажете?
Открываем книжку Львовский Е.Н. Статистические методы построения эмпирических формул, 1988 г.
Стр. 59-60.
Изображение
Изображение

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 126 ]  На страницу 1, 2, 3, 4, 5 ... 9  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: tolstopuz


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group