Munin писал(а):
Кстати, статистика принципиально плохо работать не может. Кроме одного случая: малая выборка. О чём я и говорил.
Ну вот пример. Представьте что вы у технического объекта померили 2 переменные (X и Y), проверили на нормальность, убедились в линейности зависимости и в конце концов посчитали по ним корреляцию и взяли детерминацию. Например корреляцию получили 0.9, детерминацию 81%. Из этого следует что доля дисперсии возникающая например у Y под влиянием X равна 81%. Предположим что на Y еще влияет Z и доля дисперсии которая возникает между этими переменными составляет 15%. Таким образом получается что вы описали дисперсионное поведение Y на 96% путём работы всего с 2-мя переменными. Теперь по этим двум переменным вы можете предсказывать поведение Y или меняя эти две переменные влиять на Y. Это и есть задача науки - предсказывать либо узнавать как управлять. Через МНК получаете регрессионную модель и с чистой совестью начинаете по ней работать.
Так работают многие объекты которые становятся объектами технологий. Однако перебираясь в проблемные, неформализируемые или слабоформализуемые области (погода, социология, биржа) вы далеко не столь легко найдёте такие влияющие переменные. Вы вдруг обнаружите что перебираемые вами X, Z, Q, P, R, A, B, C дают очень маленькие вклады в дисперсию Y. Большие корреляции будут редкостью и будут вам помогать в ограниченном количестве случаев. В целом же вы столкнётесь с ситуацией что на ваш отклик влияют десятки переменных и все помаленьку. Более того в технике можно расчитывать на стабильность полученной модели. А вот в пробленмых областях сегодня одни влияют, а завтра другие.
Регрессионно-корреляционный анализ хорошо работает в технике не потому что там можно много намерить, а потому что там обычно на зависимые переменные влияют 1-2 основных независимых переменных и они стабильны в своих связях. В результате их легко выделить. В социологии влияющих факторов обычно очень много, а вклады дисперсий достаточно малы. Можно конечно драться факторным анализом и нейронными сетями, но люди по прежнему недовольны.
...забавно что ряд задач при этом всё-таки решается...