Верификация результатов прошедших исследований

[Dan B-Yallay]

manul91 в сообщении #1673574 писал(а):

как при таких граничных результатов (а они должны быть такими, если у них с методологией все в порядке) можно выдать заголовок "Clinton has 90 percent chance of winning" - тем не меннее непонятно.

И 90% это еще не так сильно. Кажется, были прогнозы 99% за Хиллари. Возможно, что по ключевым штатам они получили разрыв намного больше чем в среднем по стране. Значит, проблемы в методике подсчетов. Поэтому так уверенно заявляли про 90%. Или же были под политическим давлением. Как по-другому объяснить, я не знаю. В любом случае ситуация, скажем, не очень.

Ghost_of_past
Кажется, я нашел описание исследования на странице проекта Reuters/Ipsos Тhe States of the Nation project.
Прокрутите вниз к параграфу Methodology: How we did it

[Ghost_of_past]

Dan B-Yallay в сообщении #1673573 писал(а):

Насколько я понимаю, Ipsos - серьёзная организация, не уличники.

Ipsos - более чем серьезная организация, я работаю в бельгийском подразделении компании-конкурента Ipsos. Однако у нас они обычно совершенно не занимаются исследованиями на тему выборов.

Касательно самого прогноза - там про методологию всё крайне расплывчато, однако сама разница между кандидатами в % настолько невелика, что в множестве спорных штатов (Северная Каролина, Пенсильвания и т.д.) разница меньше, чем 5% доверительный интервал, а иногда разница там 1%. Понятное дело, что с такой незначительной разницей ошибиться для этих штатов вполне легко с чисто статистической точки зрения.

Dan B-Yallay в сообщении #1673575 писал(а):

Кажется, я нашел описание исследования на странице проекта Reuters/Ipsos Тhe States of the Nation project.
Прокрутите вниз к параграфу Methodology: How we did it

Спасибо, это уже лучше. Опрос был смесью из панельного опроса и непанельного уличника в реальном времени. Понятное дело, что это несколько затрудняет воспроизводимость, хотя и здесь квазиэкспериментальное воспроизведение вполне возможно. Но главное не в этом - там очень откровенно описана проблема электоральных опросов:

Цитата:

It’s a relatively straightforward exercise to get an accurate estimate of which candidate is most popular. It’s much harder for a pollster to figure out which voters will cast a ballot. At best, a poll result is an informed estimate based on historical data and assumptions about how various factors might affect turnout. How will turnout be affected by having the first female candidate from a major party? Can Donald Trump bring out more white male voters? Will Hispanics be motivated to turn out in larger numbers this year?

[manul91]

Dan B-Yallay в сообщении #1673575 писал(а):

И 90% это еще не так сильно. Кажется, были прогнозы 99% за Хиллари. Возможно, что по ключевым штатам они получили разрыв намного больше чем в среднем по стране. Значит, проблемы в методике подсчетов. Поэтому так уверенно заявляли про 90%. Или же были под политическим давлением. Как по-другому объяснить, я не знаю. В любом случае ситуация, скажем, не очень.

В данном конкретном исследовании - скорей всего даже не и в методике и вероятно даже не и самих результатов, а в самой аннонсированной интерпретации результатов.
Как сказал и Ghost_of_past - в конкретной граничной ситуации, разница у них была меньше чем доверительный интервал (как по штатам, так и итоговая если посчитать как функцию из случайных переменных).
Смысл этого - "результаты оказались не конклюзивны, в пределах статистической ошибки - ничего с уверенности сказать нельзя" - и так и должно быть аннонсировано по любым независимым стандартам. (ср. например с "правило пяти сигм" в экспериментальной физике).
А отнюдь не "Clinton has 90 percent chance of winning".

[Ghost_of_past]

manul91 в сообщении #1673669 писал(а):

А отнюдь не "Clinton has 90 percent chance of winning".

Согласен. Вот это выглядит как обычный такой кликбейтный заголовок.

[manul91]

(Оффтоп)

Dan B-Yallay в сообщении #1673573 писал(а):

Кстати, удивленная статья там же, на Pewresearch на следующий день после выборов: https://www.pewresearch.org/short-reads ... heir-mark/

А это тем более смешно. У них-то скорей всего все правильно получалось (ну, если судить хотя бы по исследования Ipsos); правильный вопрос который им надо бы себе задать, это не "Why 2016 election polls missed their mark" - а "Почему мы врали заголовками и анонсами, при положении что получали неконклюзивные результаты и знали об этом".

[Dan B-Yallay]

manul91 в сообщении #1673669 писал(а):

В данном конкретном исследовании - скорей всего даже не и в методике и вероятно даже не и самих результатов, а в самой аннонсированной интерпретации результатов.

Ghost_of_past в сообщении #1673670 писал(а):

Согласен. Вот это выглядит как обычный такой кликбейтный заголовок.

Тогда не очень понятна позиция Ipsos, которая подписалась под прогнозом Хиллари 90%. Этот прогноз получается просто лженаучен, так как их собственные данные показывали другое. И он идёт от вполне солидной маркетинговой компании, которая профессионально занимается социологическими исследованиями. Я допускаю, что он был сделан под давлением политиков, но тем не менее лженаучности прогнозa это не отменяет, потому, что "настаивать на заранее известной ошибочной информации" -- это признак лженауки, если я правильно понимаю.

manul91 в сообщении #1673674 писал(а):

правильный вопрос который им надо бы себе задать, это не "Why 2016 election polls missed their mark" - а "Почему мы врали заголовками и анонсами, при положении что получали неконклюзивные результаты и знали об этом".

[Ghost_of_past]

Dan B-Yallay в сообщении #1673682 писал(а):

Тогда не очень понятна позиция Ipsos

Позиция простая: не надо путать рекламу исследования в СМИ, специфическое изложение его журналистами и само исследование. Всё по классике.

[Vozduh]

Ага, две последние секунды (якобы), все решили...
Элджернон, именно на этом устал..

[Dan B-Yallay]

Ghost_of_past в сообщении #1673687 писал(а):

Позиция простая: не надо путать рекламу исследования в СМИ, специфическое изложение его журналистами и само исследование. Всё по классике
.

Я бы так не сказал. Если Вы внимательно прочитаете авторство главы "Methodology: How we did it", то увидите имя Clifford Young:

By Maurice Tamman, Ken Ellis and Clifford Young

А если посмотрите, кто это: https://www.conference-board.org/bio/clifford-young , то убедидесь, что он вовсе и не журналист:

Цитата:

Clifford Young is President of Ipsos Public Affairs in the United States, and also leads Ipsos global election and political polling risk practice. His research specialties include social and public opinion trends, crisis management, corporate and institution reputation, and election polling.

Никого он не насиловал, а подписался под результатами и прогнозом.

Кстати, вот прогноз Хиллари 96% от компании Survey Monkey. Если Вы согласны, что они не простые "уличники", то ..

Не получается по классике

[Ghost_of_past]

Я так понимаю, что математика закончилась (если за таковую считать мои попытки обсуждать эконометрику панельных данных и модели выборок) и тема благополучно скатывается в политику.

Благодарю за разговор, но тему на этом покидаю.

[Dan B-Yallay]

Ghost_of_past в сообщении #1673613 писал(а):

Но главное не в этом - там очень откровенно описана проблема электоральных опросов:

Цитата:

It’s a relatively straightforward exercise to get an accurate estimate of which candidate is most popular. It’s much harder for a pollster to figure out which voters will cast a ballot. At best, a poll result is an informed estimate based on historical data and assumptions about how various factors might affect turnout. How will turnout be affected by having the first female candidate from a major party? Can Donald Trump bring out more white male voters? Will Hispanics be motivated to turn out in larger numbers this year?

Но это же давно известная проблема и она появилаь не накануне выборов 2016 года. Такой показатель как "ваша решимость проголосовать на выборах" вроде бы настолько же важен, как и показатель "кого вы предпочитаете". А может, даже и важнее. Если в соцопросах он не учтён в панель, то социсследователи делают прогнозы при отсутствии ключевой информации. Cмысл в этом какoй?

Если же он учтён, то значит, его до сих пор не умеют правильно моделировать и поэтому получают прогнозы, сравнимые с подбрасыванием монеты. Опять-таки вопрос o смысле деятельности подобного типа.

И возникает вопрос: если сделать социологическое исследование на тему "пойдёте ли вы на выборы", то его количество пришедших на голосование тоже будет невозможно хорошо предсказать?

Ghost_of_past в сообщении #1673695 писал(а):

Я так понимаю, что математика закончилась (если за таковую считать мои попытки обсуждать эконометрику панельных данных и модели выборок)

Кажется остались еще вопросы...

Ghost_of_past в сообщении #1673695 писал(а):

тема благополучно скатывается в политику.

Hе вижу как она туда скатывается, если изначально тема создана из вопроса влияния политики на наукy.

Я, кстати, ждал, что Вы возможно прокомментируете:

manul91 в сообщении #1673571 писал(а):

Tак вот боюсь что в том смысле в котором вы спрашиваете, в том конкретном случае - никакими регрессиями, Арельяно-Бонда или другими - на основе только одних достоверных соц. данных по состоянию общественного мнения на 2018 год - достоверную картину "на время этих исследований" ~2016 (т.е. достоверно выбрать из 1 vs 2 выше) не восстановить.
Целевой критерий слишком волатильный/манипулируемый/динамический, стабильных корреляционных инвариантов с другими срезами/ячейками (темпоральными или нет) на которых можно здесь опереться/рассчитывать попросту нет.
Пусть меня поправят, если не так.

Но воля Ваша.