Стьюдент. Зависимые выборки.

[andreiandrei]

realeugene в сообщении #1618491 писал(а):

Ну да, вы не описали вашу задачу достаточно подробно, чтобы можно было уловить её суть. Наверное, машинное обучение: подставляете разные методы и смотрите, что получается.

Что происходит в чёрных ящиках действительно не описал, на то они и чёрные ящики, это принципиально. (Да и очень долго описывть, к тому же.)
А всё остальное вроде описал, на входе у ящиков одинаковые данные, на выходе 50 чисел (выборки объёма 50). Нужно сравнить среднее генеральных совокупностей разных ящиков. У двух пар ящиков получилось сравнить, результат в первом сообщении темы. У одной пары не получается, в начале темы описано, в чём причина. Вопрос, можно ли по имеющимся результатам двух тестов сделать хоть какой-нибудь вывод о соотношении средних неизвестной пары? Или, может быть, ещё какой-нибудь тест можно сделать, чтоб получить эту информацию о средних?

По поводу остального, что Вы написали... немножко надоело писать одно и то же, просто перечитайте внимательно, что я писал, если хотите. Если прочитаете достаточно внимательно, то не увидите никаких противоречий свойствам вероятности.

[realeugene]

andreiandrei в сообщении #1618496 писал(а):

Вопрос, можно ли по по имеющимся результатам двух тестов сделать хоть какой-нибудь вывод о соотношении средних неизвестной пары?

В общем случае понятно что нет. В теста Стьюдента разница матожиданий сравнивается со среднеквадратичным отклонением. Если у выборки a дисперсия маленькая, а у выборки b большая, то и расстояние от их средних до среднего выборки c так же будет в тесте масштабировано по-разному, и сравнивать их нельзя.

У вас много векторов по 50 штук выборок, или они в единичном экземпляре с каждого ящика?

andreiandrei в сообщении #1618496 писал(а):

Там нет никаких противоречий свойствам вероятности.

Есть противоречие.

Когда вы оцениваете вероятности реальных событий, ваши оценки должны должны быть согласованы с имеющимся у вас знанием об окружающем мире. Это - физика, а не математика. Что означает требование такого соответствия? Это означает, что вы ваше вероятностное пространство можете пополнить случайными величинами выполнения известных вам фактов об окружающем мире, вероятность выполнения которых единичная, так как они достоверные. И вписать эти достоверные события как условия рассчитываемой вами вероятности. И если полученная условная вероятность будет отличаться от того, что вы считали ранее - значит, ранее вы считали что-то не то, или не так, по крайней мере, оно не очень относится к реальному миру, в котором вы живёте.

Так вот, то, что вы отвергли гипотезу - это такой достоверный факт, и он может быть вписан как случайная величина с единичной вероятностью в правую часть любой вероятности любого реального события, которую вы оцениваете после принятия такого решения. И что же у вас получится в результате для вероятности вашей ошибки?

[realeugene]

andreiandrei
Кстати, обратите внимание ещё на то, что чтобы порог распределения вероятности случайной величины в критерии Стьюдента был точен, вы должны знать априорно, что выборки нормальные и независимые. Но вы оцениваете нормальность или ненормальность выборок по самим выборкам. Судя по всему, они оказываются где-то на пороге этой нормальности. А про независимость отсчётов в выборках вообще ничего не известно априорно: чёрные ящики же.

-- 17.11.2023, 20:52 --

Евгений Машеров в сообщении #1618396 писал(а):

Что можно ввести веса, между нулём и единицей, которые минимизируют средний квадрат ошибки (сумму квадрата смещения и дисперсии)

А можете продемонстрировать, как следует правильно воспользоваться вашим методом для линейной модели с $X=\begin{pmatrix}1&0\\0&0.1\end{pmatrix}$ и независимым нормальным шумом с единичной дисперсией?

[Евгений Машеров]

Икс это что? Регрессоры, параметры модели (и какой?)

[realeugene]

Евгений Машеров в сообщении #1618560 писал(а):

Икс это что? Регрессоры, параметры модели (и какой?)

Уравнение 1 на стр. 7 вашей работы.

[Евгений Машеров]

realeugene в сообщении #1618621 писал(а):

Уравнение 1 на стр. 7 вашей работы.

Ещё более недоумеваю по поводу Вашего вопроса. На указанной странице X есть матрица регрессоров. Которая формально может быть квадратной, только это случай бессмысленный с точки зрения использования регрессионного анализа. Он тут попросту не нужен.

[realeugene]

Евгений Машеров в сообщении #1618683 писал(а):

Ещё более недоумеваю по поводу Вашего вопроса. На указанной странице X есть матрица регрессоров. Которая формально может быть квадратной, только это случай бессмысленный с точки зрения использования регрессионного анализа. Он тут попросту не нужен.

Да, в качестве примера для осмысления метода, я выбрал выбрал простейшую матрицу с двумя сильно различными сингулярными числами. Можно считать, что я заранее всё спроецировал, даже тайно обелив и нормализовав шум. Зачем нам лишние сложности? Мне не очень понятно, что вы делаете дальше в задаче оценивания неслучайных параметров, когда сингулярные числа сильно различны, и почему вы это делаете? Или ваш метод не применим к такому простейшему случаю? Есть какие-то дополнительные не описанные ограничения?

[Евгений Машеров]

То есть X это сингулярные числа матрицы регрессоров? Так Вы обозначили?

[realeugene]

Евгений Машеров в сообщении #1618748 писал(а):

То есть X это сингулярные числа матрицы регрессоров? Так Вы обозначили?

Я взял самую простую матрицу регрессоров, попадавшую под ваши условия. Ну да, она диагональная, и на диагонали у неё стоят её сингулярные числа: так уж получилось

Конечно же я её выбрал такой специально, в качестве простейшего примера, чтобы на простейшем примере выяснить то, что мне не понятно. Раз матрица регрессоров задана, её сингулярные векторы нам не интересны. Пусть она будет второго ранга. Два отсчёта слева, получаемые проецированием в пространство строк, являются достаточной статистикой. А нулевое пространство столбцов нам очевидно бесполезно: понятно же, что наша статистика не сможет различать вектора в ней. Остаётся только вопрос про различные ненулевые сингулярные числа, как быть с ними и почему ваш метод лучше?

[Евгений Машеров]

Вас не затруднит прочесть немного далее 7 страницы? Тогда, может быть, Вам станет ясно, почему Ваш пример не имеет отношения к вопросу?

[realeugene]

Евгений Машеров в сообщении #1618796 писал(а):

Вас не затруднит прочесть немного далее 7 страницы?

Спасибо, затруднит. Тяжеловато сейчас читать машинописный текст с написанными от руки длинными формулами в одну строку. Да и я ничего не понимаю в прогнозировании язвы желудка у матросов. Может быть, вы тогда подскажете, где впервые у вас определяются $\rho_i$?

[Евгений Машеров]

У меня вопрос. Вам это, регрессионный анализ и смещённые оценки применительно к нему действительно нужно, и только неудачный шрифт (кстати, это не пишущая машинка, это редактор формул такой, рукописных там нет) Вам мешает? Тогда давайте откроем новую тему и не будем мешать топикстартеру, а в его теме будем отвечать на его вопросы. Или Вам важно "у кого галифе ширше"? У Вас, у Вас, даже спорить не стану.

[andreiandrei]

realeugene в сообщении #1618499 писал(а):

В общем случае понятно что нет. В теста Стьюдента разница матожиданий сравнивается со среднеквадратичным отклонением. Если у выборки a дисперсия маленькая, а у выборки b большая, то и расстояние от их средних до среднего выборки c так же будет в тесте масштабировано по-разному, и сравнивать их нельзя.

Понятно, что нельзя так сравнивать, иначе бы и темы не было. И это уже обсуждалось здесь. Вопрос - хоть про какой-нибудь вывод о средних из этих тестов. Скажем так, если у нас есть только информация об этих тестах, можем ли мы отдать приоритет тому или иному методу, и если да, то можем ли оценить вероятность нашей ошибки при таком выборе?

realeugene в сообщении #1618499 писал(а):

У вас много векторов по 50 штук выборок, или они в единичном экземпляре с каждого ящика?

К сожалению, в единичном. Наверное могу ещё наскрести данных на сколько-то наблюдений, возможно, даже на 50, но не хотелось бы. Качество оставшихся данных хуже и, кроме этого, это долго, выбирать более-менее хорошие. Но если наскребу, считаете, что это может помочь?

realeugene в сообщении #1618499 писал(а):

Есть противоречие.

Как уже говорил Вам, Вы продолжаете спорить с определением. Определение - это не утверждение, с ним не надо спорить. Это просто определение понятия.
Ведь я только немного поправил Ваше высказывание: "Хрустальный шар появляется, когда мы говорим, что на основании однократного испытания Бернулли мы должны принять или отвергнуть нашу гипотезу" (когда Вы общались с Евгением), пояснив, что уровень значимости при принятии и отвержении гипотезы и ошибка первого рода понимается не так, расписал всё, по-моему, очень подробно, даже вероятностное пространство написал, по Вашему требованию. И Вы (после n-ой итерации) правильно написали, что такое это ошибка. На этом бы надо остановиться и закрыть вопрос. А Вы решили ещё добавлять разных рассуждений, путать $P(A|B) и P(B|A)$ (видимо, по невнимательности, а не из-за непонимания).
Уже пожалел, что Вас поправил. Так что вопрос предлагаю закрыть и сосредоточиться на действительно нужном.

-- 20.11.2023, 13:38 --

realeugene в сообщении #1618507 писал(а):

andreiandrei
Кстати, обратите внимание ещё на то, что чтобы порог распределения вероятности случайной величины в критерии Стьюдента был точен, вы должны знать априорно, что выборки нормальные

На мой взгляд, это необязательно. Требуется только, чтобы разности были распределены нормально. Нормальность самих выборок при обосновании этого варианта критерия Стьюдента нигде не используется.

realeugene в сообщении #1618507 писал(а):

и независимые.

Выборки зависимые, они получается из одних и тех же данных, это и в названии темы указано.

realeugene в сообщении #1618507 писал(а):

А про независимость отсчётов в выборках вообще ничего не известно априорно: чёрные ящики же.

Понятие "чёрный ящик" обычно используется в том смысле, что мы знаем только вход и выход, а что внутри происходит не знаем. Уже писал, что на выходе получаем независимые в совокупности величины. Второй раз забыл Вам это написать.

Спасибо, что помогаете.

-- 20.11.2023, 13:56 --

Евгений Машеров в сообщении #1618900 писал(а):

не будем мешать топикстартеру, а в его теме будем отвечать на его вопросы.

Как раз созрел вопрос, про bootstrap (может, поможет). Нигде не могу найти обоснование метода, порылся уже и в интернете, и здесь, на форуме. Нашёл только Вашу, Евгений, ссылку, которую Вы дали ещё в 2014 году, вот эту http://www.twirpx.com/file/116434/
Но, к сожалению, видимо, она уже устарела.
Если это нетрудно, не могли бы Вы дать рабочую, пожалуйста?

[Евгений Машеров]

Попробуйте ту же, но заменив com на cc

[andreiandrei]

Евгений Машеров в сообщении #1618928 писал(а):

Попробуйте ту же, но заменив com на cc

Скачалось. Спасибо!