Люди, порой, не видят очевидные вещи [нелин. аппроксимация]

[prof.uskov]

Евгений Машеров в сообщении #1160013 писал(а):

Указать одну книгу, или хотя бы 2-3, в которых всё нужное, я не могу. Не бывает. Есть начальные, в которых многое опущено, просто потому, что студент всего сразу не усвоит, есть высокотеоретические, начинающиеся с "положим, что тело человека имеет форму шара" (а шить надо на реального), и дающие свойства оптимальности в сделанных предположениях, есть отражающие опыт частной области знания. В принципе, надо начать с начальных, потом подняться на высоту теории, а потом разобраться, какие теоретические допущения работают в данной области вполне, какие на уровне "рабочего допущения" и надо "подгонять по месту", а какие не выполняются, и не выполняются самым неприятным образом.
Есть прекрасная книга Себера, но русское издание не совсем новое, однако есть английское, существенно поновее. Есть двухтомник Дрейпера и Смита, есть Вучков. Кое-что полезное, при изрядной устарелости части материала, можно найти у Езекиэла и Фокса.
А множество ценных указаний надо выискивать по журналам. "Эконометрика", "Технометрика", "Биометрика", "Журнал Американской Статистической Ассоциации", смотря какая предметная область.

Ну это сверхобщие рекомендации, я такие тоже могу давать и любой, наверное, может, у кого Интернет есть.
Здесь как бы конкретный вопрос о линеаризующем преобразовании, делающем модель линейной по параметру. Хотелось бы увидеть в литературе детальный анализ, когда его применять корректно, а когда нет, какие свойства МНК-оценок при таком преобразовании, все это, понятно, с формулами (согласно намекам в книге Фёрстер Э., Рёнц Б. такой анализ есть, только они не указали почему то ссылку на литературу). Если ничего подобного в литературе нет, то у меня есть несколько своих идей, как сделать такой анализ, но пока в размышлениях.

[GAA]

prof.uskov, в книге Демиденко есть пару слов на данную тему: § 7.6 Сведение нелинейной регрессии к линейной.

Евгений Машеров, спасибо.
Советское издание Себера — очень устаревшее и материала по нелинейной регрессии там практически нет.
Дрейпер и Смит (второй том) — там тоже, как мне кажется, общеизвестные сведения.
Наверняка были более поздние книги.

-- Сб 15.10.2016 19:11:43 --

а также статьи, диссертации.

[prof.uskov]

GAA в сообщении #1160059 писал(а):

prof.uskov, в книге Демиденко есть пару слов на данную тему: § 7.6 Сведение нелинейной регрессии к линейной.

Да. Спасибо. Я до этой страницы еще не долистал. :)

-- 15.10.2016, 22:10 --

Я как раз подумал, что для улучшения линеаризующего преобразования можно использовать взвешенный МНК, а уже все сделано. :)

[Евгений Машеров]

dsge в сообщении #1160048 писал(а):

prof.uskov
Будет проще давать советы, если вы раскроете некоторые подробности вашей проблемы, как-то: размер выборки, описательные статистики, визуальное представление данных, гистограммы, предполагаемые (теоретические) функциональная зависимость и распределение ошибок и т.п.

+1

[prof.uskov]

Кроме стандартной формулы для расчета коэффициентов по методу МНК
$\mathbf b=(\mathbf F^T \mathbf F)^{-1} \mathbf F^T \mathbf y$
есть еще рекурсивная форма МНК, которая позволяет пересчитывать коэффициенты при добавлении новых точек без обращения матрицы $\mathbf F^T \mathbf F$, может кто-нибудь подсказать книгу с выводом формул рекурсивного МНК.

[dsge]

Так сходу:
Оптимальное управление движением. Александров, Болтянский и др. 2005. стр.214-226.
Топик популярен в литературе по Оптимальному управлению, фильтрации и идентификации объектов.

[Евгений Машеров]

$ \left(A+UCV \right)^{-1} = A^{-1} - A^{-1}U \left(C^{-1}+VA^{-1}U \right)^{-1} VA^{-1}, $
Отсюда и плясать.

[prof.uskov]

dsge в сообщении #1161993 писал(а):

Так сходу:
Оптимальное управление движением. Александров, Болтянский и др. 2005. стр.214-226.
Топик популярен в литературе по Оптимальному управлению, фильтрации и идентификации объектов.

Нет, здесь только обычный и взвешенный МНК.

-- 22.10.2016, 21:36 --

Евгений Машеров в сообщении #1162014 писал(а):

$ \left(A+UCV \right)^{-1} = A^{-1} - A^{-1}U \left(C^{-1}+VA^{-1}U \right)^{-1} VA^{-1}, $
Отсюда и плясать.

Да, знаю, эта формула у меня есть из Хартман, Лецкий "Планирование эксперимента". Они тоже так вывод описывают, но вот я кучу бумаги исписал, как новая обратная матрица получается понятно, а как формула для коэффициентов "не танцуется".

[dsge]

Формулы (1.5) и (1.6) на стр. 217 и предложение сразу после этих формул.

[prof.uskov]

dsge в сообщении #1162022 писал(а):

Формулы (1.5) и (1.6) на стр. 217 и предложение сразу после этих формул.

Там нет вывода формулы для рекуррентного МНК, "нетрудно получить" - у меня не получается. :)
У Лецкого тоже "нетрудно получить, после элементарных преобразований". :)

[dsge]

Там в самом деле, комбинируя 3 последние формулы на стр. 216, "нетрудно получить"...

[prof.uskov]

dsge в сообщении #1162026 писал(а):

Там в самом деле, комбинируя 3 последние формулы на стр. 216, "нетрудно получить"...

Это мне понятно, у меня не получается вывести формулы для коэффициентов (1.5) и (1.6).

[prof.uskov]

Есть еще вопрос, если
$rank(\mathbf F^T \mathbf F)<l$, где $l$ - размерность матрицы $\mathbf F$, то формулу
$\mathbf b=(\mathbf F^T \mathbf F)^{-1} \mathbf F^T \mathbf y$
использовать нельзя, так как матрица $\mathbf F^T \mathbf F$ вырожденная.
Одно из решений можно найти найти по формуле
$\mathbf b=(\mathbf F^T \mathbf F)^{+} \mathbf F^T \mathbf y$,
где $\mathbf A^{+}=(\mathbf A^T \mathbf A)^{-1} \mathbf A^T $
Так ли это?

[Xaositect]

prof.uskov в сообщении #1162151 писал(а):

Так ли это?

Нет. Если $A = F^T F$ вырождена, то и $A^T A$ тоже будет вырожденной и от нее тоже нельзя брать обратную. Псевдообратная матрица $F^{+}$ такая, что $b = F^{+} y$ в этом случае может быть найдена, например, с помощью SVD-разложения.

[ewert]

Xaositect в сообщении #1162154 писал(а):

Псевдообратная матрица $F^{+}$ такая, что $b = F^{+} y$ в этом случае может быть найдена, например, с помощью SVD-разложения.

В явном виде это разложение не получить. А вот получить нормальное псевдорешение за конечное количество шагов можно: достаточно к линейно независимым строкам матрицы добавить строки, задающие ортогональность решения к ядру этой матрицы.