метод наименьших квадратов, логарифм

[GoldFinch]

есть набор точек $(x_i,y_i)$ измеренных с некоторой погрешностью
надо аппроксимировать их логарифмом $y=a\log(x)+b$ по методу наименьших квадратов
для этого нужна формула по которой следует оценивать расстояние от точки до логарифма (до ближайшей касательной к логарифму) но вывести ее мне что-то не удалось, найти тоже
случай вроде не из сложных, наверное где-то есть готовое решение

[PAV]

PAV:

Вы неправильно набираете формулы. Из-за этого неправильные шрифты. Каждую формулу нужно окружить знаками долларов, а тег math можно самому и не добавлять, он будет добавлен автоматически. Подробнее об этом можно прочитать во втором сообщении темы Что такое карантин и что нужно делать, чтобы там оказаться, раздел "Чем окружать формулы". Отредактируйте, пожалуйста, свое сообщение.

По сути вопроса: обычно в методе наименьших квадратов используют не "честное" расстояние от точки до графика, а лишь разность ординат при одинаковом значении аргумента, т.е. расстояние "по вертикали".

В Вашем случае, если идти по этому пути, то достаточно перейти к новым переменным $t_i = \log x_i$ и использовать обычный метод наименьших квадратов для пар $(t_i,y_i)$, т.е. аппроксимировать $y\approx at+b$.

[ewert]

Случай -- сложный. И обычно так задача не ставится -- минимизировать, дескать, кратчайшие расстояния до кривой.

Наверняка имелась в виду стандартная постановка задачи, когда минимизируются расстояния по вертикали.

[gris]

только не до ближайшей касательной, ибо найдется касательная даже проходящая через точку(лежащую выше кривой). Тогда уж по нормали.
Хотя если рассматривается достаточно пологий участок логарифмической фукнкции, может быть подойдут квадраты обычных отклонений?

[GoldFinch]

Мне кажется что обычный метод, когда расстояние считается вдоль оси ординат, не совсем точен, так как функция скорей всего не пологая, поэтому я решил использовать более точное расстояние.

Проблема еще в том, что оси имеют неравный масштаб (разные единицы измерения у координат). Есть ли какая-то методика для определения хорошего масштаба по осям?

[Алексей К.]

PAV в сообщении #177957 писал(а):

По сути вопроса: обычно в методе наименьших квадратов используют не "честное" расстояние от точки до графика, а лишь разность ординат при одинаковом значении аргумента, т.е. расстояние "по вертикали".

Мне кажется, акценты не таковы. Не то, что бы это было "обычно", а так надо, и только так! Использовать "честное" расстояние было бы неверно. Так, если у вас график ток---напряжение или путь---время, то переходя от метров к километрам или от минут к милиамперам вы получите совсем другой результат! Иными словами "расстояние от точки до графика" есть в этом случае величина искусственно-неразумная.

Другое дело и другая задача, когда мы фитируем прямую (окружность, любой геом. объект) по её координатным измерениям и обязаны минимизировать сумму квадратов расстояний до прямой.
Собственно, оно не другое, а то же самое: и там мы смотрим расстояния "по вертикали" от точки $(x_i,y_i)$ до "графика" $z(x,y;\varphi)=x\cos\varphi-y\sin\varphi+L$ или $z(x,y;a,b,R)=(x-a)^2+(y-b)^2-R^2$ (последнее не есть расстояние, но при малых отклонениях пророрционально ему).

[ewert]

Я так понял, что задача чисто эмпирическая. Ну попробуйте поиграться с весовой функцией в стандартном МНК. В качестве неё можно взять

$${1\over\sqrt{1+{y'}^2}}={1\over\sqrt{1+{a^2\over x^2}}}\;.$

В качестве начального приближения для $a$ возьмите значение, полученное обычным МНК, а потом сделайте пару итераций с весовым МНК.

[Алексей К.]

GoldFinch в сообщении #177998 писал(а):

Есть ли какая-то методика для определения хорошего масштаба по осям?

Нет. Но нередко она легко возникает при конкретизации задачи --- что за точки, откуда берутся, хорошо ли на прямую ложатся, итп. Наверное, надо сначала исследовать чувствительность результатов к этому самому масштабу.

[PAV]

Алексей К. в сообщении #178001 писал(а):

Мне кажется, акценты не таковы. Не то, что бы это было "обычно", а так надо, и только так!

Согласен

[ewert]

Алексей К. в сообщении #178001 писал(а):

Другое дело и другая задача, когда мы фитируем прямую (окружность, любой геом. объект) по её координатным измерениям и обязаны минимизировать сумму квадратов расстояний до прямой.
Собственно, оно не другое, а то же самое:

Оно не то же самое, а совсем другое, и алгоритмы решения, грубо говоря, не имеют ничего общего!

[Алексей К.]

GoldFinch, может, что-то из этой беседы Вам сгодится.Там расписана задачка про фитирование прямой по нормали.

Добавлено спустя 15 минут 33 секунды:

ewert в сообщении #178012 писал(а):

Оно не то же самое, а совсем другое

Оно всего лишь нелинейное. Найдите хорошее первое приближение, линеаризуйте формулки ($\varphi=\varphi_0+\Delta\varphi)$, и всё будет как раньше...

[ewert]

Если точки аппроксимируются прямой (вообще линейным многообразием в любых размерностях), то никакой линеаризации не надо -- задача допускает точное решение, причём довольно простое.

Ну или не допускает (при определённых условиях количество решений будет бесконечным).

[Алексей К.]

Это-то ясно, но тогда я просто не понял Вашего возражения про нечто "совсем другое". Дело, возможно, в неформализованном совсем. В любом случае факт пятницы радует.

[ewert]

Какая может быть пятница в сессию?...

[Brukvalub]

ewert в сообщении #178030 писал(а):

Какая может быть пятница в сессию?...

Та, которая обычно перед субботой в сессию бывает.