2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.



Начать новую тему Ответить на тему На страницу 1, 2, 3, 4, 5 ... 14  След.
 
 Линейная регрессия
Сообщение28.01.2014, 23:55 
Заблокирован


30/12/13

254
Было дано задание произвести экспоненциальную аппроксимацию для заданных эмпирических точек:

Изображение

то есть подобрать оптимальные $ a $ и $ b $

зависимости $R = exp(a-bt) $

Совершенно очевидно, что после логарифмирования задача сводится к линейной регрессии. Есть много онлайн ресурсов, с помощью которых легко задачу решить и все они дали результат:

$R=exp(2.631900-0.49384\, t)$

Минимальная сумма квадратов отклонений от экспериментальных точек равна $1.26917$

Но совершенно случайно просто подбором мне удалось установить, что зависимость

$R=exp(2.614639-0.4758736\, t)$

гораздо лучше проходит между точками и не только визуально. Сумма квадратов отклонений равна $1.1896$, что на 6.5% меньше, чем в классической аппроксимации.
Как такое объяснить? Получается, что линейная регрессия может давать неоптимальные решения.

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 00:53 
Аватара пользователя


02/01/14
292
tatkuz1990 вurl=http://dxdy.rupost820174.html#p820174]сообщении#820174[/url] писал(а):
Получается, что линейная регрессия может давать неоптимальные решения.
Ничего удивительного. Найдена оптимальная оценка зависимости логарифма R от t. Она совсем не обязана обеспечивать минимум суммы квадратов отклонений табличных значений R от предсказанных. Чтобы решить задачу без логарифмирования, нужно использовать методы нелинейной регрессии.

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 07:51 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Разная спецификация ошибки
$y=\exp(a+bx+\varepsilon)$
и
$y=\exp(a+bx)+\varepsilon$
Сведение задачи логарифмированием к линейной для первого варианта.
Какая спецификация верна - решается не статистически, а исходя из сведений о задаче. И, как правило, чаще первая. Если эпсилон отражает влияние неучтённых в модели (и неконтролируемых) факторов, то воздействие заданного изменения какого-либо из них приводит к одинаковым относительным изменениям регрессанда (что после логарифмирования даёт одинаковость дисперсии - гомоскедастичность). С другой стороны, эпсилон может быть, например, ошибкой измерения y, нормально распределённой и с постоянной дисперсией, тогда логарифмирование ухудшает модель (а при большой дисперсии ошибки вообще возможны отрицательные значения y, и логарифмировать нельзя).

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 14:34 
Заблокирован


30/12/13

254
Спасибо за пояснения! Но как же тогда получить решение, близкое ко второму? То есть, как применить метод нелинейной регрессии? Задача простая, она отладочная. Кто-нибудь найдет время рассчитать? Возможно, что и второе уравнение не оптимальное.
Мне крайне важно в этом разобраться, поскольку ждут на порядок более сложные задания.

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 14:44 
Заслуженный участник
Аватара пользователя


18/05/06
13435
с Территории
Ёкселем, вот как.

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 15:03 
Заблокирован


30/12/13

254
Вот я и прошу выполнить, допустим, в Excel. Дело-то минутное, кто его хорошо знает. Мне же придется в нем долго разбираться. Удалось только точки построить, дальше знаний не хватает:
Изображение

Разобраться удалось, получилось, увы, по первому решению. То есть опять неоптимальному (в более лучшем решении перед экспонентой стоит число 13.6623):

Изображение

Такой же плачевный результат дал калькулятор нелинейной регрессии
http://math.semestr.ru/corel/noncorel.php

Как же быть? Неужели нет специалистов в этом важном для меня вопросе?

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 15:26 
Аватара пользователя


21/01/09
3923
Дивногорск
Зарезервируйте две соседние ячейки под коэффициенты регрессии. Вбейте туда коэффициенты, которые вами найдены. Для каждой точки по этим коэффициентам постройте теоретическую функцию в столбце С. В столбце D формируйте квадраты разностей двух функций. В какой-нибудь ячейке сформируйте итоговую сумму квадратов невязок. Далее пакетом "Поиск решения" находите такие коэффициенты регрессии, чтобы итоговая сумма была минимальной.

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 15:31 
Заблокирован


30/12/13

254
Такое сравнение было сделано вручную:

Изображение

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 15:35 
Аватара пользователя


21/01/09
3923
Дивногорск
"Поиск решения" подберёт вам такие коэффициенты при которых сумма будет минимальной.

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 15:39 
Заблокирован


30/12/13

254
Я понимаю, но так я не могу в дальнейшем работать. Метод аппроксимации заложен в виде блока основной моей программы. Мне нужно непременно математический метод, дающий только оптимальное решение. Точек будет тысячи. Не могу же я их Экселем оптимизировать.
Крайне важно отладить как следует математический метод на данном простом примере.
Короче, мне нужно нечто более тонкое, чем формулы

$Y=a+bX$
где

$a=\frac{\sum Y - b \sum X}{n}$

$b=\frac{n \sum (XY)-\sum X \cdot \sum Y}{n \sum X^2-\left ( \sum X\right )^2}$

Пока что обнаружено, что и онлайн-калькуляторы нелинейной регрессии, и Excel использую используют только приведенные зависимости.

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 16:21 
Аватара пользователя


21/01/09
3923
Дивногорск
А других формул - нет! Пишите программу подобную "Поиск решения".

 Профиль  
                  
 
 Posted automatically
Сообщение29.01.2014, 18:57 
Супермодератор
Аватара пользователя


20/11/12
5728
 i  Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
Причина переноса: формулы не оформлены $\TeX$ом

tatkuz1990
Наберите все формулы и термы $\TeX$ом правильно.
Инструкции по оформлению формул здесь или здесь (или в этом видеоролике).
После исправлений сообщите в теме Сообщение в карантине исправлено, и тогда тема будет возвращена.

 i  Тема перемещена из форума «Карантин» в форум «Помогите решить / разобраться (М)»
Вернул. Сумма пишется так: \sum\limits_{k=a}^{b}f(k)

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 19:26 
Заслуженный участник


12/09/10
1547
Так а в чем проблема найти минимум функции двух переменных?
Куча литературы же...
Ну хотя бы метод покоординатного спуска.

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 19:40 
Заблокирован


30/12/13

254
Проблема в том, чтобы строго математические формулы записать: по ним нужно однозначно найти оптимум. Формулы нелинейной регрессии для экспоненциальной зависимости, к сожалению, дают лишь приближенные параметры, далекие от оптимальных. Ошибка слишком большая для моих задач.
Но если Вы знаете, как получить оптимум, то покажите пожалуйста на моем тестовом примере. Это очень для меня важно.

 Профиль  
                  
 
 Re: Линейная регрессия
Сообщение29.01.2014, 19:53 
Заслуженный участник
Аватара пользователя


18/05/06
13435
с Территории
Формулы записать нельзя.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 208 ]  На страницу 1, 2, 3, 4, 5 ... 14  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group