Сегодня осознал одну вещь, о которой, почему то, мало говорили в учебниках по статистике (хотя в книге Рао "Линейные методы..." этот момент специально выделен в заголовках), и которая является, пожалуй, ключевой для теории машинного обучения...
Есть такая область в статистике: точечное оценивание, которая учит как находить параметры неизвестного распределения (как правило, это среднее и дисперсия).
Так вот, есть такой философский вопрос, откуда у нас взялась та самая функция распределения? Кто нам нашептал на ухо, что функция именно такая и никакая другая?
А прагматичный ответ, как я теперь понимаю, состоит в том, что мы, в некотором прошлом, уже убедились, что наши данные (в нужном объеме) уже удовлетворяют некоторому этому самому асимптотическому распределению. И теперь хотим пожать плоды этого знания, используя точечное оценивание.
Однако, как мне представляется, более корректная постановка задачи состоит в том, что нужно рассматривать гипотезу: (1) наши данные удовлетворяют асимптотической функции - с уровнем надежности

. (2) наши данные не удовлетворяют асимптотической функции с уровнем надежности

.
Таким образом, в этой постановке задачи:
*1) появляется новый параметр

.
*2) в ходе проверки гипотезы появится еще параметр

: характеристика соответствия данных и гипотезы, который, по идее может зависеть от уровня надежности.
*3) нужно решать задачу (2), если вклад от ее решения будет существенным.
В машинном обучении ответ должен быть построен для любой выборки, используя все известные асимптотики и характеристики (особенности) задачи.