Каким образом определяются факторы, влияющие на результат?

[EUgeneUS]

mserg

Не надо ни с каких других сторон заходить. Приведу аналогию (ущербную, как все аналогии):

DataMining -> интегрирование.
KDD и CRISP-DM -> типО, взятие интеграла по частям или заменой переменных. То есть - методы.
И если Вы собрались отказываться от простых и где-то банальных методов, Вам придется это обосновать. Обоснуйте.
И да. Надо, обязательно надо, дать определение "научности".

[grizzly]

daniil_bj
По поводу того, насколько научным может быть подход к определению влияющих факторов. Я приведу несколько простых примеров из жизни. Собственно, вспомнил я эти примеры, прочитав сообщение mserg, с которым согласен по сути, но к которому у меня есть что добавить.

Пример 1.
Система сбалансированных показателей. Сюда же можно отнести многие другие системы управления (обычно в этом контексте говорят о системах управления качеством). Вот там всё происходит подобным образом: намечаются цели, ставятся задачи, устанавливаются ключевые показатели деятельности. Это простейший вариант. В более сложном -- как ССП -- могут отслеживаться не только отдельные факторы, но и их взаимосвязи. Выбор этих факторов (показателей) действительно является сложной задачей и этому посвящены научные работы, монографии, диссертации и, как обычно, всякий сопутствующий гумус.

Пример 2.
Оценка рисков в системах управления проф. безопасностью, в экологии и т.п. (международные стандарты серии OHSAS, ISO 14000). Здесь от правильного определения факторов и правильных методик учёта этих факторов зависят жизни и здоровье людей. Этому вопросу также посвящены тысячи научных работ, диссертаций и т.п.

Судите сами, есть ли в заданном Вами вопросе место научному методу.

[Три А,да]

Абстрагируясь от футбола. При построении регрессионных зависимостей при многофакторном эксперименте для выявления значимости влияния тех или других факторов на результат можно использовать различные критерии, например критерий Фишера. При этом требуется достаточное количество данных для обработки.

[Mihaylo]

daniil_bj в сообщении #1182064 писал(а):

Нюанс.
Нужно сделать жизнь людей счастливее.
Мы же не можем провести эксперимент над все, что нас окружает?
Берем какие-то основные показатели.
А как именно их выделить? Субъективно?

Объективных знаний о виде модели футбола нет, поэтому располагаем только субъективными методами. Привлечение экспертов - это самое лучшее, что можно придумать. Эксперты делают предположение неслучайно, так как они что-то знают о футболе. Они могут ошибиться. Ошибаются все, так как ни у кого нет объективной картины ("доказано" выше). Лучшие эксперты меньше всех ошибаются.
Если у Вас нет возможности привлечь настоящих футбольных экспертов, то Вы можете сами выступить экспертом (а что делать?). Вы все равно немножко понимаете в футбольном процессе.

Бывают такие модели, для которых факторы отбираются случайно из-за отсутствия каких-либо экспертных оценок.

Общий вывод: ну да, субъективный отбор, а что делать?

[mserg]

Субъективный выбор факторов не мешает "научности".

В данной задаче главное - способность к ПРОГНОЗУ модели на основе выбранных факторов. Это выясняется с помощью так называемой "перекрестной проверки" (crosschecking).

Для данной задачи, обоснование на основе просто статистики, найденных закономерностях, и т.д. на множестве ТЕКУЩИХ данных - "не научно". Точнее, с научной точки зрения, достоверность полученных результатов близка нулю (см. например, переобучение "overfitting"), - это будет просто гипотеза (очень смелая).

Если факторы выбраны неудачно - модель прогнозировать не будет. Это и будет результатом научной работы. Поэтому брать факторы "от балды" - себе дороже.

Если даже модель построена, она хорошо прогнозирует на основе выбранных факторов, это еще не все. У любой модели есть границы применимости, в рамках которой она эффективно работает. Например, меняется мотивация игроков (было собственное профессиональное достоинство, а стало - деньги; наличие "политработника" в команде больше не поможет). Или статистика собрана в России, а играть потребуется в какой-нибудь южной стране. Или выяснится новый значимый фактор - талантливые игроки отсеиваются из большого футбола по известным причинам - селекция изменит результат.

Более того, с точки зрения науки, использование факторов в качестве критериев не должно влиять на результат. Например, выяснилось, что на результат положительно влияет дистанция на поле, которую пробежал футболист во время игры (кажется есть такие программы, которые делают подсчет). Можно сделать материальную надбавку тем, кто пробежал сверх 12 км за игру. И, игроки, зная это, будут бегать по полю без каких-либо целей. Вот тут то и возникнет та самая субъективность, на счет которой стоит переживать. Использовать такой фактор можно (физ. подготовка), ставить его в стимул в игре - это отдельный вопрос (скорее всего, нельзя).

[mustitz]

daniil_bj в сообщении #1181987 писал(а):

Дана очень общая задача, скажем:
повысить результаты игры некоторой футбольной команды.

На результат игры футбольной команды влияет 9000+ различных факторов, ... которые вряд ли кто-либо когда-то измерял. Например, мотивация футболистов (читай активность зон головного мозга, ...) и т. п. Таким образом, в данном конкретном случае будет огромная нехватка экспериментальных данных, собрать которые можно за пару тысяч лет. А если ограничиться более грубым приближением, то мы получим неадекватную модель, когда любой человек с улицы в состоянии предсказать сиуацию гораздо точнее.

Понять что изменять — творческий процесс. Исходя из более общих моделей можно выделить факторы.

[wrest]

Смотрел на эту тему художественный фильс "Человепк который изменил все" в Брэдом Питом

Суть его в том, что есть бейсбольная команда и куча экспертов вокруг неё которые знают что игрок съел на обед и с кем у него роман, и решения принимаются на этой основе (экспертного мнения), команда скатывается по рейтингам, и тут генеральный директор решает применить новый подход: он берет личную статистику игроков дает их математику (выпускнику экономического факультета) и на этой основе производятся покупки игроков и их перестановки на площадке. Эксперты говорят новый генеральный директор дурак, так никто не делает, он развалит команду окончательно и так далее. В итоге команда становится чемпионом. Вроде основано на реальных событиях да и фильм хороший.

То есть берется статистика -- этот забивает больше если его выпустить во втором периоде, у этого результаты растут, у этого падают и т.п.

[ozheredov]

wrest
"Ведьма из Блэр" тоже основана на реальных событиях. Так было написано в трейле. Фильм - это фантазии. Фильм основанный на реальных событиях - это фантазии + реклама, то есть с вероятностью 90% фуфло. MSERG здесь с большим отрывом лидирует по релевантности высказываний, попросите его объяснить что такое "проклятие размерности" и комбинаторный взрыв. Проблема в том, что развод лохов, прочно обосновавшись в секторе B2C, начал уверенно захватывать B2B. И сейчас data mining активно натягивают на ситуации, где он не применим. От слова "совсем" . Причины - 1. Нестационарность вследствие открытости системы. 2. проклятие размерности. Если я бросаю монетку, можно использовать вероятностный подход. Если я кладу монету на стол, вероятности нет. Есть куча влияющих параметров - моё настроение, мысли, моя вредность шоб вы не сделали правильный прогноз и т. д., и есть очень короткая серия эксперименты по наблюдению меня. Нет вероятности - нет смысла в регрессионном сегменте data mining. Отчасти это ответ на вопрос "Что значит научно".

-- 19.01.2017, 13:59 --

Предлагаю в этом разделе делиться идеями преодоления ограничений нестационарности через построение многоуровневых моделей

[wrest]

ozheredov в сообщении #1185897 писал(а):

"Ведьма из Блэр" тоже основана на реальных событиях. Так было написано в трейле. Фильм - это фантазии. Фильм основанный на реальных событиях - это фантазии + реклама, то есть с вероятностью 90% фуфло.

Предполагается, что если вы человек разумный и вас интнресует тема выбора параметров для анализа с целью улучшения командной игры типа футбола или бейсбола и т.п., то читая мой пост, вы идете в гугл, гуглите там "Человек который изменил все", выясняете там же, что фильм снят по книге, читаете эту книгу (Майкл Льюис MoneyBall. Как математика изменила самую популярную спортивную лигу в мире = Moneyball: The Art of Winning an Unfair Game. — М.: Манн, Иванов и Фербер, 2013. — 464 с. — ISBN 978-5-91657-854-6) и затем уже делаете вывод фуфло или нет та часть, которая относится к собственно теме.
Вместо это этого вы постите какую-то, простите, пургу про всемирный заговор и развод лохов.

P.S. Я книгу не читал, так что никакого вывода о релевантности не делаю.

[Andrey_Kireew]

Для этой цели можно использовать корреляционный анализ - это если оценивать значимость факторов по одному. Или регрессионный анализ - если оценивать значимость факторов в совокупности. Первый вариант безусловно реализуется проще, но позволяет выявить только наиболее "сильные" зависимости, если они конечно есть. Возможности регрессионного анализа значительно шире, в частности он позволяет выявить группы факторов, значимые лишь в совокупности. Существует большое разнообразие подобных методов.
Вам в первую очередь следует обратить внимание на шаговую регрессию и лассо - регрессию, так как в них осуществляется автоматический отбор наиболее информативных групп признаков. Как раз то, что Вам и нужно.

[ozheredov]

wrest
Вы знакомы с теорией вероятностей, мат. статистикой и случайными процессами?

-- 19.01.2017, 21:44 --

wrest в сообщении #1185904 писал(а):

Манн, Иванов и Фербер

За библиографию отдельное спасибо, особенно за указание издательства :) Кто в теме, знают, какого рода книжки издают эти ребята.

[wrest]

ozheredov в сообщении #1185974 писал(а):

Вы знакомы с теорией вероятностей, мат. статистикой и случайными процессами?

да, по этим предметам я сдавал экзамены и зачеты в вузе.

ozheredov в сообщении #1185974 писал(а):

Кто в теме, знают, какого рода книжки издают эти ребята.

"И вообще, разве нас может интересовать мнение человека лысого, с таким носом? Пусть сначала исправит нос, отрастит волосы, а потом и выскажется."
(с) М. Жванецкий.

[ozheredov]

wrest

wrest в сообщении #1185985 писал(а):

да, по этим предметам я сдавал экзамены и зачеты в вузе

У вас скорее всего нет адекватного опыта работы в этой области, позволяющего отличать работающие методики от неработающих. Наверное я должен был сразу сказать, что я на самом деле очень-очень большой фанат datamining, несмотря на четкое понимание того что 99% примеров применения его методов либо незаконны, либо аморальны. Поэтому если для востребованности спецов по datamining нужны заговоры и развод, то пусть будут. По крайней мере мир бизнеса благодаря существованию datamining перестанет или уже перестал считать носителей интеллекта задротами (модераторы, простите, не могу подобрать термин - слово "омега" понимают не все) и неудачниками. То что вас увлекли данные фильм и книга и вы готовы все что там написано принять за чистую монету - в вашем возрасте это нормально, я сам таким был, клянусь. Просто опыт, зараза, в основном сводится к осознанию границ применимости...

[wrest]

ozheredov в сообщении #1186054 писал(а):

То что вас увлекли данные фильм и книга и вы готовы все что там написано принять за чистую монету - в вашем возрасте это нормально, я сам таким был, клянусь.

Хотел бы вам повторить: я книгу не читал и мнения о ее релевантности ("чистоте монеты") не имею.
Фильм мне понравился, да.
Мое замечание состояло в том, что вы позволили себе не читая книги сделать вывод о том, что "это фантазии + реклама, то есть с вероятностью 90% фуфло.", что характеризует этот вывод как поспешный и необоснованный.

ozheredov в сообщении #1186054 писал(а):

У вас скорее всего нет адекватного опыта работы в этой области, позволяющего отличать работающие методики от неработающих.

Это правда.

[ozheredov]

wrest
Я сказал "увлекли", я помню что вы ее не читали :)

Ребят, многоуровневые модели обсуждать когда будем? :)