Линейная регрессия

[tatkuz1990]

Быстро и многократно - это потом.
Сейчас главное - найти оптимум.
Канделябрами бить разрешаю, если он найден неверно.
Пока что никто цифр здесь не привел, а только рассуждения о якобы полученных результатах. Поэтому до сих пор у меня нет уверенности в своих вычислениях.

[Александрович]

Сумма квадратов невязок в вашем случае это функция от одного аргумента (параметра регрессии, приблизительное значение которого известно). Какие проблемы найти минимум этой функции и точное значение этого параметра?

[tatkuz1990]

Проблема только одна сейчас: найти a и b моей тестовой задачи. Вот уж 3 страницы написано, а помощи ни от кого не дождусь. Я к математикам обращаюсь с целью получить математический результат, а не большое разнообразие слов. Но теперь проблема отпала: в другом форуме попались как раз математики.

[Александрович]

tatkuz1990 в сообщении #821381 писал(а):

Но теперь проблема отпала: в другом форуме попались как раз математики.

Какое было предложено решение?

[Александрович]

tatkuz1990 в сообщении #820838 писал(а):

Александрович, я тоже получил оптимальные коэффициенты до 8-го знака после запятой. Какие Ваши результаты?

Я грешным делом подумал, что вы воспользовались моей идей. А у меня там на порядок выше получается, считал вручную. МНК это прошлый век, а по МНМ тоже хорошо получается.

[ewert]

tatkuz1990 в сообщении #821381 писал(а):

Я к математикам обращаюсь с целью получить математический результат, а не большое разнообразие слов.

А Вам ровно алгоритмы честно и предлагали, а окромя алгоритмов тут ничего и не предложишь.

На всякий случай (вдруг Вы ещё слышите).

Миллионы даже на Монте-Карло -- это какое-то безумие. Достаточно тысяч (хотя, впрочем, и необходимо). Надо просто сужать радиус поиска по мере продвижения к центру. Т.е. просто отслеживать текущий процент неудач, и по мере его зашкаливания -- сужать.

А вообще надо просто запустить метод Ньютона (в конечноразностном варианте, естественно, чтобы не возиться с символьным дифференцированием). Его вообще всегда периодически следует запускать. Т.е. попытаться запустить; и если срывается -- вернуться к более грубому методу, а потом, на следующем шаге этого более грубого (ну или через несколько шагов) -- снова попытаться. А поскольку при нормальных исходных данных начальное приближение наверняка приличное -- при первом же запуске Ньютон почти наверняка и проскочит. А это всего лишь несколько итераций (не говоря уж о тысячах).

[tatkuz1990]

Я только сейчас вошел и услышал. Благодаря этому форуму и этой теме, ко мне обратились физики, которые бомбардируют ядра протонами. Попросили аппроксимировать функцией произвольного вида но при двух условиях: чтобы без проблем интегрировалась и чтобы при $x=0$ имела строго ноль, а также стремилась к нулю при бесконечном $x$.
Данные такие:

  x        y
0.2 0.000016
0.4 0.020
0.6 0.23
0.8 0.64
1.0 1.0
1.2 1.0
1.4 0.84
1.6 0.55
1.8 0.33
2.0 0.17
2.2 0.088
2.4 0.042
2.6 0.021
2.8 0.0094
3.0 0.0045
3.2 0.0020
3.4 0.0010
3.6 0.00048
3.8 0.00025
4.0 0.00011

Мне удалось найти приемлемую аппроксимацию методом Монте-Карло. 5 минут машинного времени пришлось потратить.
Вот теперь наступил час истины: убедите меня, что мой метод отсталый. Примените современный и скажите, какая сумма квадратов отклонений получилась.

[Александрович]

Вы не ответили на вопросы, которые вам были заданы. Это дурной тон. С вами неприятно общаться, вы это понимаете?

[tatkuz1990]

Александрович, у меня было так мало времени, что не смотрел предыдущие посты. Предложили самое надежное (по их словам): применить лобовое решение, то есть перебирать коэффициенты и выявлять минимум невязки. При этом сужать сетку перебора, пока минимум не стабилизируется с нужной точностью. Я быстро вручную проделал такую процедуру и получил такие же результаты, как и допотопным Монте-Карло.
Процедуру эту можно легко реализовать программно, количество циклов будет на несколько порядков меньше, чем сейчас у меня. При этом (по их же словам) не будет опасения скатиться в локальный минимум, ибо вся сетка будет под контролем. Вот буквальная цитата из разговора: "Численный поиск ГЛОБАЛЬНОГО минимума функции многих переменных сводится к тому, что тем или иным численным методом ищутся локальные минимумы при РАЗНЫХ наборах начальных приближений (чем больше наборов - тем лучше). Потом из них выбирается наименьший. Другого практически нет! И никаких гарантий, что глобальный минимум не будет пропущен."
Были и другие предложения, но очень уж заумные и не для меня они, так как надо долго разбираться, а решать проблему потребовали еще вчера.
Думаю, что ответил на Ваш вопрос. У меня тоже будет просьба: как Ваше предложение можно применить к поиску аппроксимирующей функции, наилучшим образом описывающей 20 точек, что были даны физиками? Час назад они еще и уточнили: аппроксимирующая функция должна быть такой, чтобы ее определенный интеграл от 0 до бесконечности был равен точно единице. Думаю, речь идет о функции плотности вероятности.

[ewert]

Это очень похоже на гамма-распределение со степенью около восьми (т.е. восьмая лучше всего подходит изо всех целочисленных). Однако как минимум правый хвост аппроксимируется не слишком хорошо -- там относительные отклонения порядка единицы.

[tatkuz1990]

ewert , такие оценочные вещи допустимо лишь философам излагать. Тут сидят математики, язык которых формулы. Меня справедливо упрекают, что пользуюсь старомодными методами. Тем не менее, мне удалось найти аппроксимацию и хотелось бы сравнить с действительно продвинутыми итерационными подходами. Особенно важно узнать минимальную сумму квадратов отклонений кривой от двадцати точек наблюдений. Если она меньше, чем у меня - снимаю шляпу и прекращаю заниматься самодеятельностью. Если же результаты окажутся схожими, обещаю очень подробно изложить свое решение.

[ewert]

tatkuz1990 в сообщении #822113 писал(а):

ewert , такие оценочные вещи допустимо лишь философам излагать.

А я не оценочно, я -- сугубо количественно. И расчёты показывают, что следи гамма-распределений именно восьмая степень прокатывает лучше всех. Но и что совпадение, при всей своей визуальной красивости -- на хвосте хромает, если приглядеться к нему чуть повнимательнее. Это ни разу ни я, это просто цифирки такие. Отменить их я не в силах.

tatkuz1990 в сообщении #822113 писал(а):

Особенно важно узнать минимальную сумму квадратов отклонений кривой от двадцати точек наблюдений. Если она меньше, чем у меня

Абсолютно не важно узнать именно точную, и именно потому, что это всего лишь оценка. И в любом случае Вы её никогда не узнаете, пока не предложите модель. А пока Вы этому не научились, пока у Вас бла-бла-блы вместо конкретного вопроса -- надеяться на ответ несколько наивно.

[B@R5uk]

tatkuz1990 в сообщении #821925 писал(а):

ко мне обратились физики

tatkuz1990 в сообщении #821925 писал(а):

Данные такие:

Что-то мне кажется брешете вы, молодой человек. У физиков всегда есть погрешности. А у ваших данных где погрешности?

[ewert]

B@R5uk в сообщении #822131 писал(а):

А у ваших данных где погрешности?

Это уже следующий вопрос. На самом деле эти погрешности неявно есть -- они спрятаны под разрядностью входных данных. И вот тут-то этот следующий вопрос и возникает: МНК в любом случае (учитывая разброс порядков) следовало бы применять в варианте с весами.

Ну и с весами там получится не ахти. Т.е. расчёт без весов даёт именно относительные отклонения не то что бы совсем уж безумные, но, во всяком случае, в разы.

[B@R5uk]

ewert в сообщении #822136 писал(а):

Т.е. расчёт без весов даёт именно относительные отклонения

Нет. Расчёт без весов будет давать для этих данных либо полный бред, либо будет потеряна та полезная информация, что лежит в числах очень малого порядка.