Оценивание параметров по выборке

[Андрей1]

Сегодня осознал одну вещь, о которой, почему то, мало говорили в учебниках по статистике (хотя в книге Рао "Линейные методы..." этот момент специально выделен в заголовках), и которая является, пожалуй, ключевой для теории машинного обучения...
Есть такая область в статистике: точечное оценивание, которая учит как находить параметры неизвестного распределения (как правило, это среднее и дисперсия).

Так вот, есть такой философский вопрос, откуда у нас взялась та самая функция распределения? Кто нам нашептал на ухо, что функция именно такая и никакая другая?

А прагматичный ответ, как я теперь понимаю, состоит в том, что мы, в некотором прошлом, уже убедились, что наши данные (в нужном объеме) уже удовлетворяют некоторому этому самому асимптотическому распределению. И теперь хотим пожать плоды этого знания, используя точечное оценивание.
Однако, как мне представляется, более корректная постановка задачи состоит в том, что нужно рассматривать гипотезу: (1) наши данные удовлетворяют асимптотической функции - с уровнем надежности \alpha. (2) наши данные не удовлетворяют асимптотической функции с уровнем надежности 1-\alpha.
Таким образом, в этой постановке задачи:
*1) появляется новый параметр \alpha.
*2) в ходе проверки гипотезы появится еще параметр \beta: характеристика соответствия данных и гипотезы, который, по идее может зависеть от уровня надежности.
*3) нужно решать задачу (2), если вклад от ее решения будет существенным.

В машинном обучении ответ должен быть построен для любой выборки, используя все известные асимптотики и характеристики (особенности) задачи.

[Brukvalub]

Андрей1 писал(а):

Сегодня осознал одну вещь, о которой, почему то, мало говорили в учебниках по статистике

Мне кажется, что специалисты по статистике осознали обнаруженный Вами сегодня факт несколько ранее и успели выработать подходы к оцениванию согласия экспериментального и теоретического законов распределения. См., например : http://www.ami.nstu.ru/~headrd/seminar/nonparametric/2.htm

[Андрей1]

Brukvalub писал(а):

Мне кажется, что специалисты по статистике осознали обнаруженный Вами сегодня факт несколько ранее и ...

А я и не буду отрицать. Это не вопрос, кто раньше обнаружил. Это вопрос "откуда ноги растут".

То что я понял (для себя; а не обнаружил) состоит в том, что нет смысла использовать точечные оценки, если не ясна степень уверенности в используемой функции распределения (всегда, когда говорится о задаче оценивания параметров и проверки гипотез, видно, что задачи очень похожи, однако о том, как они соотносятся написано мало где).

[Brukvalub]

Андрей1 писал(а):

нет смысла использовать точечные оценки, если не ясна степень уверенности в используемой функции распределения

Непонятно, о чём Вы планируете дискутировать? Обычно, если сомневаются в правильности выбора закона распределения, первым делом и проверяют гипотезу об этом самом законе, для чего уже давно наработаны разные стат. критерии и т.п. Я для Вас и ссылочку запостил на методы проверки соответствия предполагаемой ф.р. экспериментальных данных теоретическому закону распределения.

[PAV]

Андрей1 писал(а):

В машинном обучении ответ должен быть построен для любой выборки, используя все известные асимптотики и характеристики (особенности) задачи.

А тут возникают те же философские вопросы: откуда у нас взялись "известные" асимптотики (а если мы чего-то не знаем или что-то забыли?) и правильно ли мы выделили "особенности задачи" и т.д.

На самом деле следует понимать, что есть две довольно сильно разные вещи: постановка задачи и решение поставленной задачи. Строго говоря, постановки задач (практических) к собственно математике имеют косвенное отношение. Математика изучает решения. Поставлена задача: оценить параметры заданного параметрического семейства распределений по выборке. Она как-то решается. Другая задача: проверить гипотезу о принадлежности выборки к данному параметрическому семейству. Она тоже как-то решается. Есть разные другие задачи.

К сожалению, в учебных курсах и пособиях действительно, на мой взгляд, вопросы правильных постановок задач часто обсуждаются в меньшей степени, чем следовало бы. Это вообще на самом деле очень сложный вопрос. Чтобы правильно ставить математические задачи в некоторой предметной области, нужно с одной стороны очень хорошо знать эту область (желательно с практической стороны), а с другой - хорошо знать и математическую сторону вопроса, хотя бы чтобы представлять себе, как вообще правильо ставятся математические задачи в этой области. Но Вы поймите, что преподаватели математики не могут хорошо знать все существующие предметные области. В химии, геологии, экономике, психологии, социологии, медицине - в них везде используется статистика, но везде есть свои очень существенные особенности - для данных типичны свои виды распределений, эксперименты должны планироваться по-разному и везде есть своя специфика в постановках. Так что это вопрос известный, но извечный.

[Андрей1]

PAV писал(а):

На самом деле следует понимать, что есть две довольно сильно разные вещи: постановка задачи и решение поставленной задачи. Строго говоря, постановки задач (практических) к собственно математике имеют косвенное отношение.

Математика изучает решения. Поставлена задача: оценить параметры заданного параметрического семейства распределений по выборке. Она как-то решается. Другая задача: проверить гипотезу о принадлежности выборки к данному параметрическому семейству. Она тоже как-то решается. Есть разные другие задачи.

Да, только иногда может возникнуть вопрос как стыковать эти решения. Например, возможно 1) ввести уровень надежность гипотезы о принадлежности ф.р. некоторому параметрическому семейству, получить неравенства для критериев и при их выполнении на выборки оценить параметры.
2) получить другое решение для другого параметрического семейства или непараметрическое решение.

Теперь вопрос, как наиболее точно восстановить функцию распределения на основе этих решений (хорошо, если неравенства из критериев непересекаются (тогда, на самом деле для одного и того типа выборки будет одно решение), однако никто же не запрещает им накладываться...)?

PAV писал(а):

...
В химии, геологии, экономике, психологии, социологии, медицине - в них везде используется статистика, но везде есть свои очень существенные особенности - для данных типичны свои виды распределений, эксперименты должны планироваться по-разному и везде есть своя специфика в постановках. Так что это вопрос известный, но извечный.

Как только задача переведена на математический язык она уже теряет свою предметную особенность .

Добавлено спустя 6 минут 8 секунд:

PAV писал(а):

А тут возникают те же философские вопросы: откуда у нас взялись "известные" асимптотики (а если мы чего-то не знаем или что-то забыли?) и правильно ли мы выделили "особенности задачи" и т.д.

Эти вопросы именно что философские .

В математическом поле асимптотики возникают сами собой . Их не нужно неоткуда брать.

Гипотезы - они на то и гипотезы, чтобы их опровергать .

[Андрей1]

Эта тема обсуждается в Г. Крамер, "Математические методы Статистики" (главы 35-37, "Критерии значимости II").

[Андрей1]

Brukvalub писал(а):

Непонятно, о чём Вы планируете дискутировать?

О восстановлении функции распределения вероятностей .

Ссылки с последними достижениями в этой области приветствуются здесь .

[Brukvalub]

Андрей1 писал(а):

Brukvalub писал(а):

Непонятно, о чём Вы планируете дискутировать?

О восстановлении функции распределения вероятностей .

Ссылки с последними достижениями в этой области "are welcome" .

Какие ссылки Вот эта:

Андрей1 писал(а):

Эта тема обсуждается в Г. Крамер, "Математические методы Статистики" (главы 35-37, "Критерии значимости II").

Так этой книжке лет уже эдак 60. Я бы её свежей ссылкой не назвал.

[Андрей1]

Brukvalub писал(а):

Так этой книжке лет уже эдак 60. Я бы её свежей ссылкой не назвал.

Поэтому и спрашиваю свежих ссылок .

[Андрей1]

Еще вопрос, если найти интервальную оценку параметра, будет ли в нее включен уровень значимости от выбора функции распределения (всегда есть вероятность того, что ф.р. выбрана неправильно)?

[Brukvalub]

Андрей1 писал(а):

Еще вопрос, если найти интервальную оценку параметра, будет ли в нее включен уровень значимости от выбора функции распределения (всегда есть вероятность того, что ф.р. выбрана неправильно)?

А какой метод получения интервальной оценки использован. Ведь бывают параметрические и непараметрические методы и т.п. Без указания метода вопрос кажется мне некорректным.

[PAV]

Любая интервальная оценка параметра - это некоторое утверждение вида: при таких-то условиях данный интервал (полученный по выборке) с данной вероятностью накрывает искомый параметр. Условия при этом могут быть разные: это может быть и задание некоторого достаточно узкого семейства распределений, а может быть и широкий класс (например, все непрерывные законы). Если условия применимости данного утверждения нарушаются, то, конечно, оно может быть уже неверно и тогда вероятность накрытия может оказаться другой.

[Андрей1]

Brukvalub писал(а):

А какой метод получения интервальной оценки использован. Ведь бывают параметрические и непараметрические методы и т.п. Без указания метода вопрос кажется мне некорректным.

По смыслу, параметрический.

Добавлено спустя 16 минут 57 секунд:

PAV писал(а):

Любая интервальная оценка параметра - это некоторое утверждение вида: при таких-то условиях данный интервал (полученный по выборке) с данной вероятностью накрывает искомый параметр.

Такая формулировка мне кажется немного странной: получается, что с такой-то вероятностью точка попадает в интервал (хотя на самом деле в этот интервал должно попадать некоторое критическое множество).

PAV писал(а):

Условия при этом могут быть разные: это может быть и задание некоторого достаточно узкого семейства распределений, а может быть и широкий класс (например, все непрерывные законы).

Да, если бы были методы для построение доверительного интервала для широкого класса распределений (например, распределения с одним максимумом или распределения с числом степеней свободы от 1 до 2-х), то тогда было бы все понятно (очевидно, из практической задачи, когда имеется ограниченная выборка, не может следовать никакого конкретного параметрического распределения; но условия на распределения, очевидно, должны быть).

PAV писал(а):

Если условия применимости данного утверждения нарушаются, то, конечно, оно может быть уже неверно и тогда вероятность накрытия может оказаться другой.

Да, вопрос в том, нужно ли рассматривать расширенную задачу: то есть рассматривать случаи, когда используемые гипотезы не верны.

[PAV]

Андрей1 писал(а):

PAV писал(а):

Любая интервальная оценка параметра - это некоторое утверждение вида: при таких-то условиях данный интервал (полученный по выборке) с данной вероятностью накрывает искомый параметр.

Такая формулировка мне кажется немного странной: получается, что с такой-то вероятностью точка попадает в интервал (хотя на самом деле в этот интервал должно попадать некоторое критическое множество).

И тем не менее это так и есть. В интервал должно попасть не критическое множество, а именно точка (истинное значение оцениваемого параметра). Но я предпочитаю использовать не такую формулировку, а именно ту, которую я привел: интервал накрывает точку. Потому что точка является фиксированной (неслучайной), а интервал - случайным.

Вот более аккуратное определение. У нас есть параметрическое семейство законов распределения, характеризующихся некоторым числовым параметром $\theta$. Имеется случайный вектор (выборка) $X_1,\ldots,X_n$, распределенная по некоторому закону из этого семейства. Любая функция от этой выборки является случайной величиной. Вводятся две величины $f_1=f_1(X_1,\ldots,X_n)$ и $f_2=f_2(X_1,\ldots,X_n)$. Они будут играть роль левого и правого конца интервала. Любое утверждение относительно этих величин будет событием (это если не вдаваться в дебри измеримости и проч. ). В частности, событием будет $\{f_1<\theta<f_2\}$. Так вот если доказано, что для любого $\theta$ вероятность этого события не меньше $1-\alpha$, то это и означает, что данный алгоритм дает доверительный интервал для параметра $\theta$ с уровнем значимости $\alpha$. При этом в доказательстве мы исходим из того, что компоненты выборки $X_1,\ldots,X_n$ распределены согласно предполагамемому параметрическому закону с параметром $\theta$. Это есть исходное предположение теоремы.

Добавлено спустя 2 минуты 12 секунд:

Андрей1 писал(а):

Да, вопрос в том, нужно ли рассматривать расширенную задачу: то есть рассматривать случаи, когда используемые гипотезы не верны.

Если Вы сумеете доказать аналогичное утверждение в каких-либо более широких условиях, то это просто означает, что Вы расширили доказанную область применения этой интервальной оценки на более широкий класс задач. Вот и все. Если подобного результата раньше не было, то можете публиковать статью.