Линейная регрессия

[ewert]

B@R5uk в сообщении #822140 писал(а):

Расчёт без весов будет давать для этих данных либо полный бред,

Нет, не будет. В абсолютных погрешностях там всё сложится достаточно прекрасно, и для большинства дальнейших расчётов этого достаточно и выйдет.

B@R5uk в сообщении #822140 писал(а):

либо будет потеряна та полезная информация, что лежит в числах очень малого порядка.

Вот её и надо будет аппроксимировать отдельно -- по каждому из хвостов (ну или носов, если угодно). Попытка глобальной аппроксимации в относительном масштабе в данном случае почти наверняка не приведёт ни к чему разумному.

[tatkuz1990]

Я ничего не знаю про всякие там погрешности этих физиков, не желаю уходить в сторону. Мне дали данные, и требуется всего лишь подобрать функцию. Почему все идет вокруг, да около и никто не хочет применять отработанные методы нелинейной регрессии? Получается, что только поговорить тут мастера. Что за форум странный.

[ewert]

tatkuz1990 в сообщении #822151 писал(а):

, и требуется всего лишь подобрать функцию.

Только не функцию, а модель. Ну так Вы же её так и не подобрали. Во всяком случае, молчите на сей счёт как партизан на допросе. И ещё чему-то удивляетесь: и чего это, мол, народ недоумевает по поводу Ваших честно бессмысленных реплик?... . Это странно.

[B@R5uk]

ewert в сообщении #822122 писал(а):

на хвосте хромает

Если искать в виде
$y=(c_1x^{11}+c_2x^{10}+c_3x^{9})\exp(-c_0x)$
с весами, то всё в порядке.

[tatkuz1990]

ewertЯ слов на ветер не бросаю. Если говорю, что подобрал функцию, то так оно и есть. Другое дело: хорошо или плохо? Я не профессиональный математик, а больше программист. Пришлось идти за помощью к знающим больше меня. Вот уравнение мне, наконец, дали. Но у него должны быть числовые коэффициенты. Или же я неправильно понимаю, что такое аппроксимация?

[ewert]

tatkuz1990 в сообщении #822161 писал(а):

Если говорю, что подобрал функцию, то так оно и есть.

Ну хоть скажите хоть, какая она -- зелёная аль синяя?... Мы ж от нетерпения просто изнываем.

[B@R5uk]

tatkuz1990 в сообщении #822161 писал(а):

говорю, что подобрал функцию... хорошо или плохо?

Ну так приведите её. Нельзя понять, правильно ли вы решили задачу, если вы не привели решения. Как говориться, телепаты в отпуске.

Да, и что там на счёт погрешностей?

[ewert]

B@R5uk в сообщении #822164 писал(а):

Да, и что там на счёт погрешностей?

Они там просто гордо игнорируются. Дохтур сказал просто сумма -- значит, просто сумма, и гори оно всё синим пламенем. ТС же честно признался.

-- Пн фев 03, 2014 00:58:12 --

B@R5uk в сообщении #822157 писал(а):

Если искать в виде
$y=(c_1x^{11}+c_2x^{10}+c_3x^{9})\exp(-c_0x)$
с весами, то всё в порядке.

Это немножко странно. Всё-таки чистая восьмая степень явно лучше, чем десятая, и даже существенно лучше девятой.

[tatkuz1990]

Еще раз повторяю: аппроксимацию получил допотопным методом, при котором итерация больше миллиона циклов. Это очень плохо, это очевидно. Ну покажите мне хорошую и быструю итерацию, о которой говорили в первых двух страницах темы. Что вы с меня требуете, заведомо зная, что у меня должно получиться решение слабое? Уже ведь было тут: решение показываю - и пошла критика за критикой. И ничего кроме критики да выговора.

[ewert]

tatkuz1990 в сообщении #822168 писал(а):

Что вы с меня требуете, заведомо зная, что у меня должно получиться решение слабое?

Дело не в качестве решения. Дело в том, что Вы не можете поставить себе задачу -- и даже, похоже, не понимаете, что это такое, постановка задачи.

[B@R5uk]

ewert в сообщении #822165 писал(а):

Это немножко странно

Видать данные кривые:

tatkuz1990 в сообщении #822168 писал(а):

аппроксимацию получил допотопным методом

А где результат?

ewert в сообщении #822095 писал(а):

похоже на гамма-распределение

Подсмотрел в педивикию, интересная функция на первый взгляд. Однако плоховато аппроксимирует данные ($k=7.4296$, $\vartheta=0.1489$):



Видать действительно данные кривые. Ну, или просто модель не та.

tatkuz1990 в сообщении #822168 писал(а):

Ну покажите мне хорошую и быструю итерацию

Алгоритм Нелдера—Мида, например. В Матлабе реализован в стандартной функции fminsearch многомерной оптимизации.

tatkuz1990 в сообщении #822168 писал(а):

и пошла критика за критикой

Критика ой как нужна, иначе будет не из чего делать выводы. Игнор — штука гораздо более жестокая.

[tatkuz1990]

ewert в сообщении #822169 писал(а):

Дело в том, что Вы не можете поставить себе задачу - и даже, похоже, не понимаете, что это такое, постановка задачи.

Я не верю своим глазам: дают точки, просят подобрать наиболее подходящую аппроксимацию. Сказано так же четко, как если бы дали два числа и попросили их перемножить.
Результат выдам, когда получу уравнение с числовыми коэффициентами и сумму квадратов отклонений. Иначе будет игра в одни ворота.

[Евгений Машеров]

(Оффтоп)

У меня такое ощущение, что Вы смутно понимаете, где находитесь. То требуете решить задачу за Вас (а когда Вам дают полезные советы - не благодарите, если поняли, и не просите пояснить, если не поняли, а возмущаетесь, что не сделали за Вас всю работу), то вдруг полагаете, что это некая спортивная игра, в которой есть "ворота".
Здесь часто помогают, довольствуясь одни благодарностью, другие интересом к проблеме, но плохо и невразумительно поставленная задача, за помощь в решении которой (насколько постановка задачи позволяет решать её) платят хамством - слабый стимул Вам помогать и плохая тактика. Требовать от других и только требовать - иногда срабатывает, но надёжной эта тактика является лишь в исполнении котов и детей до года.

-- 03 фев 2014, 11:08 --

По собственно аппроксимации.
Либо исходить из того, что это некая известная функция распределения (гамма, Вейбулла) и подбирать параметры, что в принципе может вывести и на мысли о физическом механизме процесса.
Либо искать аппроксимацию не к функции плотности распределения, а к функции распределения. Что законнее с точки зрения статистики, а с точки зрения техники аппроксимации позволит сразу искать функцию, стремящуюся к нулю при аргументе, стремящемся к минус бесконечности и к единице при аргументе, стремящемся к плюс бесконечности.
Что-то вроде $F(x)=\frac 1 {1+e^{-p(x)}}$ где p(x) монотонно возрастающая функция, стремящуюся к минус бесконечности при аргументе, стремящемся к минус бесконечности и к плюс бесконечности при аргументе, стремящемся к плюс бесконечности.

[tatkuz1990]

Евгений Машеров, моя цель прихода сюда - научиться находить самую оптимальную аппроксимацию. Это ясно с первого же моего поста. Искажения при линеаризации сложных функций явно не устраивают, так как до оптимума не дотягивает на 6-10%. Встал вопрос, как обойтись без линеаризации. Тут оказались умные математики, они дали интересные идеи, но когда появились конкретные цифры, все вдруг стали беспомощными. Более того, я прошу помочь, а требуют решения с меня. Я честно говорю, что мое решение слабое, мне его стыдно показывать, да и не хочется опять быть битым. Вы же не стесняясь переводите стрелки:"Ну хоть скажите хоть, какая она - зелёная аль синяя?... Мы ж от нетерпения просто изнываем."
Это я изнываю от нетерпения узнать, как применять продвинутый метод Левенберга-Марквардта, ноу-хау Александровича, интересную формулу B@R5uk и его графический анализ, предложения Евгения Машерова, ценные мысли ewert... Три короба советов и ноль результатов "под ключ", то есть не вижу формулы, чтобы построить график и наложить точки для сравнения.
Сегодня ночью мое дело сдвинулось с мертвой точки. Нашел интересного единомышленника, подсказавшего реальный путь. Из анализа особых точек ожидаемой кривой он сделал важный вывод: формула должна быть только экспоненциального вида и минимум с четырьмя параметрами. Мы перебрали около 10 вариантов конструкций формул и одна из них оказалась чрезвычайно гибкой. Достаточно сказать, что даже симметричную кривую Гаусса почти точь-в-точь повторяет, и при этом легко интегрируется, удовлетворяет граничным условиям слева и справа. В рамках данной темы первые же пробы дали такой результат:


Мне нужно еще какое-то время, чтобы отшлифовать алгоритм, написать программу и уточнить значения коэффициентов... Пока что сумма квадратов отклонений по 20 точкам составляет 0,0056

[ewert]

B@R5uk в сообщении #822171 писал(а):

Однако плоховато аппроксимирует данные ($k=7.4296$, $\vartheta=0.1489$):

Какие-то несколько странные и данные, и картинки. Если зафиксировать нормировку и варьировать оба параметра, то оптимум достигается на функции $f(x)=x^{8.91207818270}e^{7.8813513381-7.89896643823x}$. Сумма квадратов отклонений при этом равна $1.980059929685\cdot10^{-3}$, т.е. среднеквадратическое отклонение есть $9.95\cdot10^{-3}$. Хвосты при этом аппроксимируются плохо, но качественно всё же не безумно (не считая самой первой точки):

Относительные отклонения
   19.10650    0.000016
    0.59637    0.020   
    0.06091    0.23    
    0.01998    0.64    
   -0.01746    1.0     
    0.02783    1.0     
   -0.00417    0.84    
    0.02999    0.55    
    0.01032    0.33    
    0.03329    0.17    
   -0.03840    0.088   
   -0.09862    0.042   
   -0.24204    0.021   
   -0.32474    0.0094  
   -0.46256    0.0045  
   -0.55720    0.0020  
   -0.68682    0.0010  
   -0.77629    0.00048 
   -0.85673    0.00025 
   -0.89404    0.00011 

Дробные показатели степени вообще-то не слишком естественны. И если этот параметр зафиксировать на девятке, варьировать же лишь второй параметр и заодно нормировочный множитель (т.е. оба линейных параметра в экспоненте), то результаты будут не слишком отличаться: $f(x)=x^9e^{7.956568064470-7.980283000052x}$, сумма квадратов $1.5917241327805\cdot10^{-3}$, с.к.о. $8.92\cdot10^{-3}$ (несколько лучшее приближение получилось из-за того, что нормировка принудительно не натягивалась -- интеграл по полуоси при этом равен $0.98872089$ вместо единицы). Относительные отклонения при этом чуть получше, чем в первом случае, но очень не намного. Варьирование всех трёх параметров позволяет дополнительно улучшить точность также совсем немножко.