Верификация результатов прошедших исследований

[Dan B-Yallay]

manul91 в сообщении #1673574 писал(а):

как при таких граничных результатов (а они должны быть такими, если у них с методологией все в порядке) можно выдать заголовок "Clinton has 90 percent chance of winning" - тем не меннее непонятно.

И 90% это еще не так сильно. Кажется, были прогнозы 99% за Хиллари. Возможно, что по ключевым штатам они получили разрыв намного больше чем в среднем по стране. Значит, проблемы в методике подсчетов. Поэтому так уверенно заявляли про 90%. Или же были под политическим давлением. Как по-другому объяснить, я не знаю. В любом случае ситуация, скажем, не очень.

Ghost_of_past
Кажется, я нашел описание исследования на странице проекта Reuters/Ipsos Тhe States of the Nation project.
Прокрутите вниз к параграфу Methodology: How we did it

[Ghost_of_past]

Dan B-Yallay в сообщении #1673573 писал(а):

Насколько я понимаю, Ipsos - серьёзная организация, не уличники.

Ipsos - более чем серьезная организация, я работаю в бельгийском подразделении компании-конкурента Ipsos. Однако у нас они обычно совершенно не занимаются исследованиями на тему выборов.

Касательно самого прогноза - там про методологию всё крайне расплывчато, однако сама разница между кандидатами в % настолько невелика, что в множестве спорных штатов (Северная Каролина, Пенсильвания и т.д.) разница меньше, чем 5% доверительный интервал, а иногда разница там 1%. Понятное дело, что с такой незначительной разницей ошибиться для этих штатов вполне легко с чисто статистической точки зрения.

Dan B-Yallay в сообщении #1673575 писал(а):

Кажется, я нашел описание исследования на странице проекта Reuters/Ipsos Тhe States of the Nation project.
Прокрутите вниз к параграфу Methodology: How we did it

Спасибо, это уже лучше. Опрос был смесью из панельного опроса и непанельного уличника в реальном времени. Понятное дело, что это несколько затрудняет воспроизводимость, хотя и здесь квазиэкспериментальное воспроизведение вполне возможно. Но главное не в этом - там очень откровенно описана проблема электоральных опросов:

Цитата:

It’s a relatively straightforward exercise to get an accurate estimate of which candidate is most popular. It’s much harder for a pollster to figure out which voters will cast a ballot. At best, a poll result is an informed estimate based on historical data and assumptions about how various factors might affect turnout. How will turnout be affected by having the first female candidate from a major party? Can Donald Trump bring out more white male voters? Will Hispanics be motivated to turn out in larger numbers this year?

[manul91]

Dan B-Yallay в сообщении #1673575 писал(а):

И 90% это еще не так сильно. Кажется, были прогнозы 99% за Хиллари. Возможно, что по ключевым штатам они получили разрыв намного больше чем в среднем по стране. Значит, проблемы в методике подсчетов. Поэтому так уверенно заявляли про 90%. Или же были под политическим давлением. Как по-другому объяснить, я не знаю. В любом случае ситуация, скажем, не очень.

В данном конкретном исследовании - скорей всего даже не и в методике и вероятно даже не и самих результатов, а в самой аннонсированной интерпретации результатов.
Как сказал и Ghost_of_past - в конкретной граничной ситуации, разница у них была меньше чем доверительный интервал (как по штатам, так и итоговая если посчитать как функцию из случайных переменных).
Смысл этого - "результаты оказались не конклюзивны, в пределах статистической ошибки - ничего с уверенности сказать нельзя" - и так и должно быть аннонсировано по любым независимым стандартам. (ср. например с "правило пяти сигм" в экспериментальной физике).
А отнюдь не "Clinton has 90 percent chance of winning".

[Ghost_of_past]

manul91 в сообщении #1673669 писал(а):

А отнюдь не "Clinton has 90 percent chance of winning".

Согласен. Вот это выглядит как обычный такой кликбейтный заголовок.

[manul91]

(Оффтоп)

Dan B-Yallay в сообщении #1673573 писал(а):

Кстати, удивленная статья там же, на Pewresearch на следующий день после выборов: https://www.pewresearch.org/short-reads ... heir-mark/

А это тем более смешно. У них-то скорей всего все правильно получалось (ну, если судить хотя бы по исследования Ipsos); правильный вопрос который им надо бы себе задать, это не "Why 2016 election polls missed their mark" - а "Почему мы врали заголовками и анонсами, при положении что получали неконклюзивные результаты и знали об этом".

[Dan B-Yallay]

manul91 в сообщении #1673669 писал(а):

В данном конкретном исследовании - скорей всего даже не и в методике и вероятно даже не и самих результатов, а в самой аннонсированной интерпретации результатов.

Ghost_of_past в сообщении #1673670 писал(а):

Согласен. Вот это выглядит как обычный такой кликбейтный заголовок.

Тогда не очень понятна позиция Ipsos, которая подписалась под прогнозом Хиллари 90%. Этот прогноз получается просто лженаучен, так как их собственные данные показывали другое. И он идёт от вполне солидной маркетинговой компании, которая профессионально занимается социологическими исследованиями. Я допускаю, что он был сделан под давлением политиков, но тем не менее лженаучности прогнозa это не отменяет, потому, что "настаивать на заранее известной ошибочной информации" -- это признак лженауки, если я правильно понимаю.