Частотное распределение: функция вероятности и с чем ее едят

[shiki]

Всем доброго дня, господа. Представляю вашему вниманию задачу по биохимии, над которой я сейчас бьюсь.

Есть один набор величин числом $N (достаточно большой), причем ни одна из них не равна любой другой с высокой точностью. Задача: определить, какая там функция распределения по частоте появления элементов с определенным значением и найти отклонения от нее.

1) "Функцию распределения по частоте элементов" следует понимать так: сколько значений лежит в области

$$ \left( x - \frac l 2 ; x+ \frac l 2 \right] $$

, если разбить весь отрезок, содержащий искомые значения, на $$L$отрезков длиной $$l$. То есть, фактически, функция - количество элементов искомого массива, лежащих в некоей окрестности. Получается дискретный набор: $$N$ величин дают $$L$ значений функции.
2) Проблема, собственно, в следующем:
- как представить функцию в более-менее явном виде? Проблема в том, что все серьезно зависит от выбора исходного $$L$, и задача получает дополнительное измерение: определить оптимальный шаг $$l$ для конкретного случая.
- предполагается, что искомое распределение логнормально. Каким образом по-человечески свести его к нормальному/линейному? Понятное дело, что тупое логарифмирование исходного набора величин ничего не дает (появляется нечто похожее на гауссову кривую с характерным пиком в области малых $x$).
- какой программой можно построить график всей этой содомии? GraphPad?

Заранее благодарю за любую разумную помощь.

[Deggial]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
Причина переноса: формулы не оформлены ТеХом

Оформите формулы ТеХом. Инструкции по оформлению формул здесь или здесь (или в этом видеоролике).
После исправлений сообщите в теме Сообщение в карантине исправлено, и тогда тема будет возвращена.

[AKM]

Тема перемещена из форума «Карантин» в форум «Помогите решить / разобраться (М)»
Причина переноса: не указана.

[Andrew Gubarev]

1. В ТВ существует понятие плотности вероятности случайной величины, а в МС оценки плотности вероятности случайной величины. Ваша задача напоминает задачу оценки плотности.

Грубо говоря, задачи оценки плотности можно разделить на два типа.

К первому типу относятся задачи, в которых не делается предположений о параметрическом классе распределений, к которому принадлежит данная случайная величина. Это так называемые задачи непараметрического оценивания плотности. Тут нужно смотреть монографии по непараметрической статистике.

Ко второму типу относятся задачи, в которых предполагается, что случайная величина принадлежит некоторому параметрическому классу (например, является нормальной). В этом случае, иногда, вместо оценки плотности ищут оценки параметров, а в качестве оценки плотности берут плотность, которая получается, если параметры параметрического семейства положить равными значениям оценок этих параметров.

2. Логарифмируя случайную величину, имеющую логнормальное распределение, как раз и получаем случайную величину, имеющую нормальное распределение.

wikipedia в статье Log-normal_distribution писал(а):

In probability theory, a log-normal distribution is a continuous probability distribution of a random variable whose logarithm is normally distributed. If X is a random variable with a normal distribution, then Y = exp(X) has a log-normal distribution; likewise, if Y is log-normally distributed, then X = log(Y) has a normal distribution. A random variable which is log-normally distributed takes only positive real values.

Там же написано об оценках параметров методом максимального правдоподобия. Я не вчитывался. Проверьте. В Википедии часто бываю опечатки.

(to shiki)

Если вы студент или аспирант, то лучше обратиться к научному руководителю. Он поможет найти соответствующего консультанта (на кафедре МС вашего учебного заведения, или в соответствующем отделе ближайшего академического института). Но перед походом к консультанту хорошо бы открыть учебник. Да и на форуме пересказывать учебники и статьи желающих нет. Поэтому учебник следует почитать и перед созданием новой темы на форуме, а создавая новую тему, постараться в начальном сообщении указать прочитанные книги (статьи), известные вам сведения и конкретные затруднения.

[shiki]

Хорошо, намек я понял. Киньте в меня учебником по мат.статистике/ссылкой, где этот учебник прописан - и я уйду самообразовываться.

[Andrew Gubarev]

1. Я сам никогда не занимался непараметрической оценкой плотности. Книги для математиков довольно трудны для химиков или инженеров. Можно попробовать посмотреть [1, Гл.1, §10], [2], [3]. (Сам я эти книги в полном объеме не осилил.) Но лучше для начального ознакомления найти книги для инженеров. Откуда берутся формулы и область их применимости из таких книг не понять. Но можно быстро уловить проблематику (иногда в таких книгах приводят даже алгоритмы расчетов) и уже обращаться к специалистам за помощью. Надеюсь, меня дополнят знатоки таких книг для инженеров, да и вообще знатоки книг по оценке плотности.

2. В естественных науках часто имеет место следующая ситуация. Ещё до проведения эксперимента (из теоретических соображений или ранее выполненных экспериментов) имеется предположение о виде распределения с точностью до постоянных, т.е. известен параметрический класс распределений, к которому принадлежит распределение исследуемой случайной величины. (Допустим в вашем случае — это логнормальное распределение с неизвестными значениями параметров). В этом случае уже некоторым результатом является проверка принадлежности полученной вами в эксперименте случайной величины заданному классу. Так мы приходим к задаче проверки гипотезы о принадлежности случайной величины некоторому классу распределений. Такие задачи решаются при помощи критериев согласия, в которых нулевая (основная гипотеза) является сложной. К таким критериям относятся: критерий согласия $\chi^2$ для сложной гипотезы, критерий согласия Колмогорова — Смирнова для сложной гипотезы, критерии типа омега-квадрат и другие. В качестве краткого введения в предмет я бы посоветовал лекции Н.И. Черновой по МС. Их неоспоримое достоинство — краткость. Конечно в этих лекциях вы не найдете описание критериев согласия для сложных (основных) гипотез или методы построения наилучших оценок плотности в параметрическом случае. Но зато сможете, изучив эти лекции, более точно формулировать свои вопросы (на форуме или консультантам в реале) и читать более серьезные руководства, которые, увы, уже потребуют основательного владения математикой.

(имхо)

Если при непараметрической оценки плотности основная задача — это задача наилучшего приближения плотности в соответствии с теми или иными условиями (без предположений о параметрическом классе). То в параметрическом случае основная задача — это проверка модельных предположений (или существенное использование модельных предположений) для построения плотности. Мне кажется, в естественных науках чаще оказывается, что параметрические исследования позволяют понять «физику» явления или опровергнуть ранее существовавшие представления о «физике» явления. Тога как непараметрические оценки чаще полезны для решения технических задач, например, разработки некоторого устройства, прибора, технологии и т.п. Т.е. задач, в которых нам нужно оценить плотность (или функцию распределения), но не нужно выяснять механизмы формирования случайной величины с такой плотностью (например, по причине сложности явления).

Т.е. вам следует более детально формулировать проблему. Если вы еще не решили её для себя, то выполнить литературный поиск в исследуемой предметной области, и решить — является ли гипотеза о логнормальности фактом, который следует проверять, а затем использовать для построения плотности, или это предположение к делу не относится.

[1] Боровков А. А. Математическая статистика. Оценка параметров. Проверка гипотез. — М.: Наука, 1984. (Тут давалась ссылка для скачивания.)
[2] Вапник В. Н. Восстановление зависимостей по эмпирическим данным. — М.: Наука, 1979 (pdf)
[3] Деврой Л., Дьерфи Л. Непараметрическое оценивание плотности. L1 подход. — М.: Мир, 1988. (Можно найти место, откуда скачать эту книгу бесплатно. У меня она в бумажном виде.)

[shiki]

Премного благодарен. Пожалуй, я действительно начну с азов, а потом уже начну делать какие-то выводы.