2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу Пред.  1 ... 3, 4, 5, 6, 7, 8, 9  След.
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение15.10.2016, 19:50 
Аватара пользователя


12/01/14
1127
Евгений Машеров в сообщении #1160013 писал(а):
Указать одну книгу, или хотя бы 2-3, в которых всё нужное, я не могу. Не бывает. Есть начальные, в которых многое опущено, просто потому, что студент всего сразу не усвоит, есть высокотеоретические, начинающиеся с "положим, что тело человека имеет форму шара" (а шить надо на реального), и дающие свойства оптимальности в сделанных предположениях, есть отражающие опыт частной области знания. В принципе, надо начать с начальных, потом подняться на высоту теории, а потом разобраться, какие теоретические допущения работают в данной области вполне, какие на уровне "рабочего допущения" и надо "подгонять по месту", а какие не выполняются, и не выполняются самым неприятным образом.
Есть прекрасная книга Себера, но русское издание не совсем новое, однако есть английское, существенно поновее. Есть двухтомник Дрейпера и Смита, есть Вучков. Кое-что полезное, при изрядной устарелости части материала, можно найти у Езекиэла и Фокса.
А множество ценных указаний надо выискивать по журналам. "Эконометрика", "Технометрика", "Биометрика", "Журнал Американской Статистической Ассоциации", смотря какая предметная область.

Ну это сверхобщие рекомендации, я такие тоже могу давать и любой, наверное, может, у кого Интернет есть.
Здесь как бы конкретный вопрос о линеаризующем преобразовании, делающем модель линейной по параметру. Хотелось бы увидеть в литературе детальный анализ, когда его применять корректно, а когда нет, какие свойства МНК-оценок при таком преобразовании, все это, понятно, с формулами (согласно намекам в книге Фёрстер Э., Рёнц Б. такой анализ есть, только они не указали почему то ссылку на литературу). Если ничего подобного в литературе нет, то у меня есть несколько своих идей, как сделать такой анализ, но пока в размышлениях.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение15.10.2016, 20:02 
Заслуженный участник


12/07/07
4438
prof.uskov, в книге Демиденко есть пару слов на данную тему: § 7.6 Сведение нелинейной регрессии к линейной.

Евгений Машеров, спасибо.
Советское издание Себера — очень устаревшее и материала по нелинейной регрессии там практически нет.
Дрейпер и Смит (второй том) — там тоже, как мне кажется, общеизвестные сведения.
Наверняка были более поздние книги.

-- Сб 15.10.2016 19:11:43 --

а также статьи, диссертации.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение15.10.2016, 21:05 
Аватара пользователя


12/01/14
1127
GAA в сообщении #1160059 писал(а):
prof.uskov, в книге Демиденко есть пару слов на данную тему: § 7.6 Сведение нелинейной регрессии к линейной.

Да. Спасибо. Я до этой страницы еще не долистал. :)

-- 15.10.2016, 22:10 --

Я как раз подумал, что для улучшения линеаризующего преобразования можно использовать взвешенный МНК, а уже все сделано. :)

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение15.10.2016, 21:52 
Заслуженный участник
Аватара пользователя


11/03/08
9496
Москва
dsge в сообщении #1160048 писал(а):
prof.uskov
Будет проще давать советы, если вы раскроете некоторые подробности вашей проблемы, как-то: размер выборки, описательные статистики, визуальное представление данных, гистограммы, предполагаемые (теоретические) функциональная зависимость и распределение ошибок и т.п.


+1

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 19:06 
Аватара пользователя


12/01/14
1127
Кроме стандартной формулы для расчета коэффициентов по методу МНК
$\mathbf b=(\mathbf F^T \mathbf F)^{-1} \mathbf F^T \mathbf y$
есть еще рекурсивная форма МНК, которая позволяет пересчитывать коэффициенты при добавлении новых точек без обращения матрицы $\mathbf F^T \mathbf F$, может кто-нибудь подсказать книгу с выводом формул рекурсивного МНК.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 19:11 
Заслуженный участник


05/08/14
1564
Так сходу:
Оптимальное управление движением. Александров, Болтянский и др. 2005. стр.214-226.
Топик популярен в литературе по Оптимальному управлению, фильтрации и идентификации объектов.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 20:17 
Заслуженный участник
Аватара пользователя


11/03/08
9496
Москва
$ \left(A+UCV \right)^{-1} = A^{-1} - A^{-1}U \left(C^{-1}+VA^{-1}U \right)^{-1} VA^{-1}, $
Отсюда и плясать.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 20:34 
Аватара пользователя


12/01/14
1127
dsge в сообщении #1161993 писал(а):
Так сходу:
Оптимальное управление движением. Александров, Болтянский и др. 2005. стр.214-226.
Топик популярен в литературе по Оптимальному управлению, фильтрации и идентификации объектов.

Нет, здесь только обычный и взвешенный МНК.

-- 22.10.2016, 21:36 --

Евгений Машеров в сообщении #1162014 писал(а):
$ \left(A+UCV \right)^{-1} = A^{-1} - A^{-1}U \left(C^{-1}+VA^{-1}U \right)^{-1} VA^{-1}, $
Отсюда и плясать.

Да, знаю, эта формула у меня есть из Хартман, Лецкий "Планирование эксперимента". Они тоже так вывод описывают, но вот я кучу бумаги исписал, как новая обратная матрица получается понятно, а как формула для коэффициентов "не танцуется".

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 20:37 
Заслуженный участник


05/08/14
1564
Формулы (1.5) и (1.6) на стр. 217 и предложение сразу после этих формул.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 20:40 
Аватара пользователя


12/01/14
1127
dsge в сообщении #1162022 писал(а):
Формулы (1.5) и (1.6) на стр. 217 и предложение сразу после этих формул.

Там нет вывода формулы для рекуррентного МНК, "нетрудно получить" - у меня не получается. :)
У Лецкого тоже "нетрудно получить, после элементарных преобразований". :)

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 20:46 
Заслуженный участник


05/08/14
1564
Там в самом деле, комбинируя 3 последние формулы на стр. 216, "нетрудно получить"...

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 23:00 
Аватара пользователя


12/01/14
1127
dsge в сообщении #1162026 писал(а):
Там в самом деле, комбинируя 3 последние формулы на стр. 216, "нетрудно получить"...

Это мне понятно, у меня не получается вывести формулы для коэффициентов (1.5) и (1.6).

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 11:44 
Аватара пользователя


12/01/14
1127
Есть еще вопрос, если
$rank(\mathbf F^T \mathbf F)<l$, где $l$ - размерность матрицы $\mathbf F$, то формулу
$\mathbf b=(\mathbf F^T \mathbf F)^{-1} \mathbf F^T \mathbf y$
использовать нельзя, так как матрица $\mathbf F^T \mathbf F$ вырожденная.
Одно из решений можно найти найти по формуле
$\mathbf b=(\mathbf F^T \mathbf F)^{+} \mathbf F^T \mathbf y$,
где $\mathbf A^{+}=(\mathbf A^T \mathbf A)^{-1} \mathbf A^T $
Так ли это?

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 11:48 
Заслуженный участник
Аватара пользователя


06/10/08
6422
prof.uskov в сообщении #1162151 писал(а):
Так ли это?
Нет. Если $A = F^T F$ вырождена, то и $A^T A$ тоже будет вырожденной и от нее тоже нельзя брать обратную. Псевдообратная матрица $F^{+}$ такая, что $b = F^{+} y$ в этом случае может быть найдена, например, с помощью SVD-разложения.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 11:57 
Заслуженный участник


11/05/08
32166
Xaositect в сообщении #1162154 писал(а):
Псевдообратная матрица $F^{+}$ такая, что $b = F^{+} y$ в этом случае может быть найдена, например, с помощью SVD-разложения.

В явном виде это разложение не получить. А вот получить нормальное псевдорешение за конечное количество шагов можно: достаточно к линейно независимым строкам матрицы добавить строки, задающие ортогональность решения к ядру этой матрицы.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 126 ]  На страницу Пред.  1 ... 3, 4, 5, 6, 7, 8, 9  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: tolstopuz


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group