2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу Пред.  1 ... 3, 4, 5, 6, 7, 8, 9  След.
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение15.10.2016, 19:50 
Аватара пользователя


12/01/14
1127
Евгений Машеров в сообщении #1160013 писал(а):
Указать одну книгу, или хотя бы 2-3, в которых всё нужное, я не могу. Не бывает. Есть начальные, в которых многое опущено, просто потому, что студент всего сразу не усвоит, есть высокотеоретические, начинающиеся с "положим, что тело человека имеет форму шара" (а шить надо на реального), и дающие свойства оптимальности в сделанных предположениях, есть отражающие опыт частной области знания. В принципе, надо начать с начальных, потом подняться на высоту теории, а потом разобраться, какие теоретические допущения работают в данной области вполне, какие на уровне "рабочего допущения" и надо "подгонять по месту", а какие не выполняются, и не выполняются самым неприятным образом.
Есть прекрасная книга Себера, но русское издание не совсем новое, однако есть английское, существенно поновее. Есть двухтомник Дрейпера и Смита, есть Вучков. Кое-что полезное, при изрядной устарелости части материала, можно найти у Езекиэла и Фокса.
А множество ценных указаний надо выискивать по журналам. "Эконометрика", "Технометрика", "Биометрика", "Журнал Американской Статистической Ассоциации", смотря какая предметная область.

Ну это сверхобщие рекомендации, я такие тоже могу давать и любой, наверное, может, у кого Интернет есть.
Здесь как бы конкретный вопрос о линеаризующем преобразовании, делающем модель линейной по параметру. Хотелось бы увидеть в литературе детальный анализ, когда его применять корректно, а когда нет, какие свойства МНК-оценок при таком преобразовании, все это, понятно, с формулами (согласно намекам в книге Фёрстер Э., Рёнц Б. такой анализ есть, только они не указали почему то ссылку на литературу). Если ничего подобного в литературе нет, то у меня есть несколько своих идей, как сделать такой анализ, но пока в размышлениях.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение15.10.2016, 20:02 
Заслуженный участник


12/07/07
4522
prof.uskov, в книге Демиденко есть пару слов на данную тему: § 7.6 Сведение нелинейной регрессии к линейной.

Евгений Машеров, спасибо.
Советское издание Себера — очень устаревшее и материала по нелинейной регрессии там практически нет.
Дрейпер и Смит (второй том) — там тоже, как мне кажется, общеизвестные сведения.
Наверняка были более поздние книги.

-- Сб 15.10.2016 19:11:43 --

а также статьи, диссертации.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение15.10.2016, 21:05 
Аватара пользователя


12/01/14
1127
GAA в сообщении #1160059 писал(а):
prof.uskov, в книге Демиденко есть пару слов на данную тему: § 7.6 Сведение нелинейной регрессии к линейной.

Да. Спасибо. Я до этой страницы еще не долистал. :)

-- 15.10.2016, 22:10 --

Я как раз подумал, что для улучшения линеаризующего преобразования можно использовать взвешенный МНК, а уже все сделано. :)

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение15.10.2016, 21:52 
Заслуженный участник
Аватара пользователя


11/03/08
9877
Москва
dsge в сообщении #1160048 писал(а):
prof.uskov
Будет проще давать советы, если вы раскроете некоторые подробности вашей проблемы, как-то: размер выборки, описательные статистики, визуальное представление данных, гистограммы, предполагаемые (теоретические) функциональная зависимость и распределение ошибок и т.п.


+1

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 19:06 
Аватара пользователя


12/01/14
1127
Кроме стандартной формулы для расчета коэффициентов по методу МНК
$\mathbf b=(\mathbf F^T \mathbf F)^{-1} \mathbf F^T \mathbf y$
есть еще рекурсивная форма МНК, которая позволяет пересчитывать коэффициенты при добавлении новых точек без обращения матрицы $\mathbf F^T \mathbf F$, может кто-нибудь подсказать книгу с выводом формул рекурсивного МНК.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 19:11 
Заслуженный участник


05/08/14
1564
Так сходу:
Оптимальное управление движением. Александров, Болтянский и др. 2005. стр.214-226.
Топик популярен в литературе по Оптимальному управлению, фильтрации и идентификации объектов.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 20:17 
Заслуженный участник
Аватара пользователя


11/03/08
9877
Москва
$ \left(A+UCV \right)^{-1} = A^{-1} - A^{-1}U \left(C^{-1}+VA^{-1}U \right)^{-1} VA^{-1}, $
Отсюда и плясать.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 20:34 
Аватара пользователя


12/01/14
1127
dsge в сообщении #1161993 писал(а):
Так сходу:
Оптимальное управление движением. Александров, Болтянский и др. 2005. стр.214-226.
Топик популярен в литературе по Оптимальному управлению, фильтрации и идентификации объектов.

Нет, здесь только обычный и взвешенный МНК.

-- 22.10.2016, 21:36 --

Евгений Машеров в сообщении #1162014 писал(а):
$ \left(A+UCV \right)^{-1} = A^{-1} - A^{-1}U \left(C^{-1}+VA^{-1}U \right)^{-1} VA^{-1}, $
Отсюда и плясать.

Да, знаю, эта формула у меня есть из Хартман, Лецкий "Планирование эксперимента". Они тоже так вывод описывают, но вот я кучу бумаги исписал, как новая обратная матрица получается понятно, а как формула для коэффициентов "не танцуется".

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 20:37 
Заслуженный участник


05/08/14
1564
Формулы (1.5) и (1.6) на стр. 217 и предложение сразу после этих формул.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 20:40 
Аватара пользователя


12/01/14
1127
dsge в сообщении #1162022 писал(а):
Формулы (1.5) и (1.6) на стр. 217 и предложение сразу после этих формул.

Там нет вывода формулы для рекуррентного МНК, "нетрудно получить" - у меня не получается. :)
У Лецкого тоже "нетрудно получить, после элементарных преобразований". :)

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 20:46 
Заслуженный участник


05/08/14
1564
Там в самом деле, комбинируя 3 последние формулы на стр. 216, "нетрудно получить"...

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение22.10.2016, 23:00 
Аватара пользователя


12/01/14
1127
dsge в сообщении #1162026 писал(а):
Там в самом деле, комбинируя 3 последние формулы на стр. 216, "нетрудно получить"...

Это мне понятно, у меня не получается вывести формулы для коэффициентов (1.5) и (1.6).

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 11:44 
Аватара пользователя


12/01/14
1127
Есть еще вопрос, если
$rank(\mathbf F^T \mathbf F)<l$, где $l$ - размерность матрицы $\mathbf F$, то формулу
$\mathbf b=(\mathbf F^T \mathbf F)^{-1} \mathbf F^T \mathbf y$
использовать нельзя, так как матрица $\mathbf F^T \mathbf F$ вырожденная.
Одно из решений можно найти найти по формуле
$\mathbf b=(\mathbf F^T \mathbf F)^{+} \mathbf F^T \mathbf y$,
где $\mathbf A^{+}=(\mathbf A^T \mathbf A)^{-1} \mathbf A^T $
Так ли это?

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 11:48 
Заслуженный участник
Аватара пользователя


06/10/08
6422
prof.uskov в сообщении #1162151 писал(а):
Так ли это?
Нет. Если $A = F^T F$ вырождена, то и $A^T A$ тоже будет вырожденной и от нее тоже нельзя брать обратную. Псевдообратная матрица $F^{+}$ такая, что $b = F^{+} y$ в этом случае может быть найдена, например, с помощью SVD-разложения.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 11:57 
Заслуженный участник


11/05/08
32166
Xaositect в сообщении #1162154 писал(а):
Псевдообратная матрица $F^{+}$ такая, что $b = F^{+} y$ в этом случае может быть найдена, например, с помощью SVD-разложения.

В явном виде это разложение не получить. А вот получить нормальное псевдорешение за конечное количество шагов можно: достаточно к линейно независимым строкам матрицы добавить строки, задающие ортогональность решения к ядру этой матрицы.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 126 ]  На страницу Пред.  1 ... 3, 4, 5, 6, 7, 8, 9  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group