Линейная регрессия

[Александрович]

Это вы так по незнанию. Некоторые распределения имеют физическую природу. Что касается обработки любых данных для определения функции очень важно знать источник порождения данных и их ошибок. И не всегда более точная в плане МНК функция является более верной.

[Евгений Машеров]

tatkuz1990 в сообщении #822952 писал(а):

Евгений Машеров в сообщении #822948 писал(а):

Мучает меня смутное сомнение. Что топикстартер подрядился на некую работу, но ему очень хочется, чтобы её выполнили за него.

Зря мучаетесь. Я давно работаю и всегда пытаюсь искать истину. Когда же вижу малейшую фальшь, пытаюсь ее устранить. Это нормально в науке. Поднятая мной проблема чрезвычайно важна для прикладной математики, ибо ошибка может иметь в реальности даже катастрофические последствия. Не так страшно напортачить в теореме Ферма, как в прогнозах опасных явлений. С последней задачей у меня полный порядок: решение получено, ни в чьей помощи не нуждаюсь.

Это не ко мне, хотя и в некоторых местах и подписываюсь "Санитаром Женей". Это к доктору. Скажет фиксировать - зафиксируем, скажет колоть - уколем.

-- 05 фев 2014, 08:59 --

tatkuz1990 в сообщении #822962 писал(а):

Александрович, многие известные распределения (Вейбулла, Пуассона, Стьюдента, Гумбеля, Релея, Пуасснона ...) - это всего лишь аппроксимации различных случайных процессов. Ну, какая там еще теория? Они (распределения) сложились исторически точно так же, как исторически сложились цифры. Ими было удобно пользоваться, когда не было вычислительных машин.
Теперь же мы имеем возможность не притягивать за уши точки наблюдений к какой-либо яркой личности, а просто аппроксимировать самой подходящей функцией. Глупо говорить "точки хорошо ложатся на кривую Вейбулла", в то время как еще лучше они ложатся на совсем иную, даже никому не известную формулу.

Распределения, приближаемые семействам функций с подгоняемыми параметрами, достаточно хорошо известны. См. "семейство распределений Пирсона" или "...Джонсона". Их использование позволяет достаточно хорошо приближать распределение, но очень мало позволяет проникнуть в порождающий его, распределение, механизм. Пуассон, Стьюдент, Гамбел - там везде речь о порождающем распределение механизме. Поэтому при наличии (уже более 100 лет, Пирсон, ЕМНИП, в 1894 опубликовал статью) методов "подгонки распределения" всё же предпочитают использовать известные (а вводить новые - если механизм ясен, и можно из него выйти на функцию распределения)

[tatkuz1990]

Евгений Машеров Не "подгонка распределения" , а аппроксимация. Последнее и есть вершина всех теорий. Остальное же... Я так скажу: в каждой второй диссертации пытаются точки наблюдений красиво обосновать подогнанной теорией.

[ИСН]

tatkuz1990, Вы скажите хотя бы, с какой точностью Вам удалось подогнать последний ряд цифр (ну, сумму квадратов невязок), и сколько параметров использовали. Функцию не говорите, конечно. Тогда появится некий дух соревнования.

[tatkuz1990]

ИСНИСН, нет ничего проще: найдены два подходящих уравнения.

Первое дало 0.002053883

Второе 0.0017878203789

За особой точностью погони не было. Можно было бы хоть 100 верных знаков получить. Но зачем? Важны сами аппроксимации.

[ИСН]

Параметров сколько? Это важно, знаете ли.

[Евгений Машеров]

Понимаете, разница между "подгонкой" и "аппроксимацией" это всего лишь разница между "низким штилем" и "высоким штилем" в риторике. И иногда полезно перейти к "низкому штилю", чтобы понять, что реально добился, а что "высокие слова".

[tatkuz1990]

ИСН, первое - 5 параметров
второе - 3 параметра.
Причем проблема оказалась вот в чем: функция оказалась ненормированной, то есть площадь, ею ограниченная, больше 3-х. Это я к тому, чтобы коллегам не мучиться, как пришлось мне в первые полчаса.

-- 05.02.2014, 19:14 --

Евгений Машеров! Ваше "низкое-высокое" - термины не математические. Это все равно, что раз Релей сказал, значит, так оно и есть. Математика - это: есть точки, есть физически реальные граничные условия и нужно найти самое подходящее уравнение. А так называемые "законы" авторитетных личностей - это все равно гипотезы. Можно подобрать несколько различных зависимостей, совпадающих друг с другом (у меня такое бывало) и уверяю Вас - все они будут теоретически справедливыми. Если, конечно, заданы не 2-3 точки в области "макушки". Точек должно быть столько, чтобы визуально закономерность ощущалась.

[Александрович]

tatkuz1990 в сообщении #823019 писал(а):

А так называемые "законы" авторитетных личностей - это все равно гипотезы. Можно подобрать несколько различных зависимостей, совпадающих друг с другом (у меня такое бывало) и уверяю Вас - все они будут теоретически справедливыми.

Есть естественные законы и функция распределения определяется однозначно, путем строгого математического доказательства.
http://realnyeludi.ru/hands/?p=video&id=499

[tatkuz1990]

Александрович в сообщении #823087 писал(а):

Есть естественные законы и функция распределения определяется однозначно, путем строгого математического доказательства.
http://realnyeludi.ru/hands/?p=video&id=499

Да, конечно! Строгость такая, что прекрасно видно: кривая несимметрична! И всегда в реальности так. Нормальное распределение - это идеальный случай, который лишь в умах может возникнуть. На самом же деле ни в одних опытах не удавалось получить красивый колокол Гаусса. Даже выбор президента больше на Вейбулла смахивает. Занимаясь природными явлениями, мне ни разу не удалось выйти на нормальное распределение. У Вас же, коллега, - все, как в физике, где жидкость принимают несжимаемую, газ идеальный, а если уж если шары - то их диаметр во всех направлениях полагают с точностью до кварка.
Еще раз повторю: теорий кривых распределения быть не может в принципе. Только гипотезы! Есть лишь скудный набор кривых, к которым худо-бедно тяготеют наблюдаемые явления. По-настоящему нужно было бы рассматривать тысячи самых разных структур формул. Такая работа уже интенсивно ведется в мире. Теория видна только в одном: http://ru.wikipedia.org/wiki/%D0%9C%D0% ... 0%BE%D0%B2

-- 06.02.2014, 02:43 --

Что-то наши великие математики притихли насчет последней задачи, которую Монте-Карло с легкостью одолело довольно быстро. Видать, теории Релея и Пирсона дают огромадные суммы квадратов отклонений.

[ewert]

tatkuz1990 в сообщении #823142 писал(а):

Что-то наши великие математики притихли насчет последней задачи,

Наши великие математики просто припухли от непонимания Вами самого смысла задачки.

Одно дело -- подгонять (или, что то же самое, аппроксимировать) с наилучшей точностью конкретные данные и для конкретного диапазона. Это можно сделать с любой точностью, и даже с бесконечной; но это практически вполне бессмысленно (и даже вредно) -- учитывая заведомую неточность входных данных.

И другое -- пытаться подогнать модель для дальнейшей экстраполяции (а Вы ведь именно этим хвастались). Тут уж точно невозможно играться модельками наобум, без априорной информации о физическом или каком угодно ином смысле процесса.

Впрочем, Вы ни того, ни другого не понимаете (ну или делаете вид что); ну и ладно, всё ясно.

[ИСН]

Ну что, $1.0042x^{2.7958}e^{-0.6007x^{1.4988}}$ даёт приближение, сравнимое с Вашими. Искать лучше действительно нет смысла, хотя бы в силу ошибок округления самих исходных данных.
Отрицать полезность всякой теории - ну, за этим тоже стоит почтенная традиция. Луддиты были давно.
Но только при чём тут метод Монте-Карло? Этим методом можно подогнать коэффициенты, но а сам-то вид формулы откуда?

[ewert]

ИСН в сообщении #823171 писал(а):

Но только при чём тут метод Монте-Карло?

Он очень даже при чём. Он способен дать разумное начальное приближение, от которого потом уже можно будет отталкиваться. Жаль только, что клиент этого не осознаёт.

[tatkuz1990]

ИСН, да, у меня был такой четырехпараметрический вариант, но я дал предпочтение трехпараметрическому, хотя он похуже в пятой ненулевой цифре:

$f=x^{2.78956} \cdot 1.815445^{-x^{1.50218}}$

В трехпараметрическом $\sum S^2=0.00178782$

В четырехпараметрическом $\sum S^2=0.00178717$

Но вот почему я даю пятипараметрический вариант. Он тот же, что и в первой задаче:

f1(i)=m*(-a*x^(b*x^c+d-1)*(b*x^c*(c*log(x)+1)+d)*exp(a*x^(b*x^c+d)))

где $m=3.3111938$

$a=-0.0528135194779$

$b=3.6805524$

$c= -0.1263277$

$d=-0.3360663 $

$\sum S^2= 0.002053883$

При совмещении графиков - они полностью наложились без видимых отличий.
Кроме того, параметр $m \,$ сразу показал площадь фигуры, ограниченной функцией. К тому же пришло убеждение в хорошей гибкости распределения. Но самое главное - это выражение точно интегрируется. Чего не скажешь об остальных конструкциях, которые интегрируются лишь численно.
Сегодня был рассмотрен пример из 1000 точек, где это распределение оказалось чемпионом. Но выкладывать здесь такой массив - это уж слишком. Поверьте на слово.

Насчет: почему Монте-Карло. Да потому что проще и выдумать сложно.

Сам вид формулы - это тема особого разговора. Но коротко так: был составлен банк самых разных распределений, куда вошли и все классические. Сейчас сформировано 253 структуры. Самое смешное, что эти классические пока себя проявили откровенно слабо. Скорее всего в силу малости числа параметров.

[vlad_light]

Цитата:

Скорее всего в силу малости числа параметров.

Я тоже так думаю. Добавьте параметров 20-30, столько должно хватить