Верификация результатов прошедших исследований

[Dan B-Yallay]

manul91 в сообщении #1673574 писал(а):

как при таких граничных результатов (а они должны быть такими, если у них с методологией все в порядке) можно выдать заголовок "Clinton has 90 percent chance of winning" - тем не меннее непонятно.

И 90% это еще не так сильно. Кажется, были прогнозы 99% за Хиллари. Возможно, что по ключевым штатам они получили разрыв намного больше чем в среднем по стране. Значит, проблемы в методике подсчетов. Поэтому так уверенно заявляли про 90%. Или же были под политическим давлением. Как по-другому объяснить, я не знаю. В любом случае ситуация, скажем, не очень.

Ghost_of_past
Кажется, я нашел описание исследования на странице проекта Reuters/Ipsos Тhe States of the Nation project.
Прокрутите вниз к параграфу Methodology: How we did it

[Ghost_of_past]

Dan B-Yallay в сообщении #1673573 писал(а):

Насколько я понимаю, Ipsos - серьёзная организация, не уличники.

Ipsos - более чем серьезная организация, я работаю в бельгийском подразделении компании-конкурента Ipsos. Однако у нас они обычно совершенно не занимаются исследованиями на тему выборов.

Касательно самого прогноза - там про методологию всё крайне расплывчато, однако сама разница между кандидатами в % настолько невелика, что в множестве спорных штатов (Северная Каролина, Пенсильвания и т.д.) разница меньше, чем 5% доверительный интервал, а иногда разница там 1%. Понятное дело, что с такой незначительной разницей ошибиться для этих штатов вполне легко с чисто статистической точки зрения.

Dan B-Yallay в сообщении #1673575 писал(а):

Кажется, я нашел описание исследования на странице проекта Reuters/Ipsos Тhe States of the Nation project.
Прокрутите вниз к параграфу Methodology: How we did it

Спасибо, это уже лучше. Опрос был смесью из панельного опроса и непанельного уличника в реальном времени. Понятное дело, что это несколько затрудняет воспроизводимость, хотя и здесь квазиэкспериментальное воспроизведение вполне возможно. Но главное не в этом - там очень откровенно описана проблема электоральных опросов:

Цитата:

It’s a relatively straightforward exercise to get an accurate estimate of which candidate is most popular. It’s much harder for a pollster to figure out which voters will cast a ballot. At best, a poll result is an informed estimate based on historical data and assumptions about how various factors might affect turnout. How will turnout be affected by having the first female candidate from a major party? Can Donald Trump bring out more white male voters? Will Hispanics be motivated to turn out in larger numbers this year?

[manul91]

Dan B-Yallay в сообщении #1673575 писал(а):

И 90% это еще не так сильно. Кажется, были прогнозы 99% за Хиллари. Возможно, что по ключевым штатам они получили разрыв намного больше чем в среднем по стране. Значит, проблемы в методике подсчетов. Поэтому так уверенно заявляли про 90%. Или же были под политическим давлением. Как по-другому объяснить, я не знаю. В любом случае ситуация, скажем, не очень.

В данном конкретном исследовании - скорей всего даже не и в методике и вероятно даже не и самих результатов, а в самой аннонсированной интерпретации результатов.
Как сказал и Ghost_of_past - в конкретной граничной ситуации, разница у них была меньше чем доверительный интервал (как по штатам, так и итоговая если посчитать как функцию из случайных переменных).
Смысл этого - "результаты оказались не конклюзивны, в пределах статистической ошибки - ничего с уверенности сказать нельзя" - и так и должно быть аннонсировано по любым независимым стандартам. (ср. например с "правило пяти сигм" в экспериментальной физике).
А отнюдь не "Clinton has 90 percent chance of winning".

[Ghost_of_past]

manul91 в сообщении #1673669 писал(а):

А отнюдь не "Clinton has 90 percent chance of winning".

Согласен. Вот это выглядит как обычный такой кликбейтный заголовок.

[manul91]

(Оффтоп)

Dan B-Yallay в сообщении #1673573 писал(а):

Кстати, удивленная статья там же, на Pewresearch на следующий день после выборов: https://www.pewresearch.org/short-reads ... heir-mark/

А это тем более смешно. У них-то скорей всего все правильно получалось (ну, если судить хотя бы по исследования Ipsos); правильный вопрос который им надо бы себе задать, это не "Why 2016 election polls missed their mark" - а "Почему мы врали заголовками и анонсами, при положении что получали неконклюзивные результаты и знали об этом".

[Dan B-Yallay]

manul91 в сообщении #1673669 писал(а):

В данном конкретном исследовании - скорей всего даже не и в методике и вероятно даже не и самих результатов, а в самой аннонсированной интерпретации результатов.

Ghost_of_past в сообщении #1673670 писал(а):

Согласен. Вот это выглядит как обычный такой кликбейтный заголовок.

Тогда не очень понятна позиция Ipsos, которая подписалась под прогнозом Хиллари 90%. Этот прогноз получается просто лженаучен, так как их собственные данные показывали другое. И он идёт от вполне солидной маркетинговой компании, которая профессионально занимается социологическими исследованиями. Я допускаю, что он был сделан под давлением политиков, но тем не менее лженаучности прогнозa это не отменяет, потому, что "настаивать на заранее известной ошибочной информации" -- это признак лженауки, если я правильно понимаю.

manul91 в сообщении #1673674 писал(а):

правильный вопрос который им надо бы себе задать, это не "Why 2016 election polls missed their mark" - а "Почему мы врали заголовками и анонсами, при положении что получали неконклюзивные результаты и знали об этом".

[Ghost_of_past]

Dan B-Yallay в сообщении #1673682 писал(а):

Тогда не очень понятна позиция Ipsos

Позиция простая: не надо путать рекламу исследования в СМИ, специфическое изложение его журналистами и само исследование. Всё по классике.

[Vozduh]

Ага, две последние секунды (якобы), все решили...
Элджернон, именно на этом устал..

[Dan B-Yallay]

Ghost_of_past в сообщении #1673687 писал(а):

Позиция простая: не надо путать рекламу исследования в СМИ, специфическое изложение его журналистами и само исследование. Всё по классике
.

Я бы так не сказал. Если Вы внимательно прочитаете авторство главы "Methodology: How we did it", то увидите имя Clifford Young:

By Maurice Tamman, Ken Ellis and Clifford Young

А если посмотрите, кто это: https://www.conference-board.org/bio/clifford-young , то убедидесь, что он вовсе и не журналист:

Цитата:

Clifford Young is President of Ipsos Public Affairs in the United States, and also leads Ipsos global election and political polling risk practice. His research specialties include social and public opinion trends, crisis management, corporate and institution reputation, and election polling.

Никого он не насиловал, а подписался под результатами и прогнозом.

Кстати, вот прогноз Хиллари 96% от компании Survey Monkey. Если Вы согласны, что они не простые "уличники", то ..

Не получается по классике

[Ghost_of_past]

Я так понимаю, что математика закончилась (если за таковую считать мои попытки обсуждать эконометрику панельных данных и модели выборок) и тема благополучно скатывается в политику.

Благодарю за разговор, но тему на этом покидаю.

[Dan B-Yallay]

Ghost_of_past в сообщении #1673613 писал(а):

Но главное не в этом - там очень откровенно описана проблема электоральных опросов:

Цитата:

It’s a relatively straightforward exercise to get an accurate estimate of which candidate is most popular. It’s much harder for a pollster to figure out which voters will cast a ballot. At best, a poll result is an informed estimate based on historical data and assumptions about how various factors might affect turnout. How will turnout be affected by having the first female candidate from a major party? Can Donald Trump bring out more white male voters? Will Hispanics be motivated to turn out in larger numbers this year?

Но это же давно известная проблема и она появилаь не накануне выборов 2016 года. Такой показатель как "ваша решимость проголосовать на выборах" вроде бы настолько же важен, как и показатель "кого вы предпочитаете". А может, даже и важнее. Если в соцопросах он не учтён в панель, то социсследователи делают прогнозы при отсутствии ключевой информации. Cмысл в этом какoй?

Если же он учтён, то значит, его до сих пор не умеют правильно моделировать и поэтому получают прогнозы, сравнимые с подбрасыванием монеты. Опять-таки вопрос o смысле деятельности подобного типа.

И возникает вопрос: если сделать социологическое исследование на тему "пойдёте ли вы на выборы", то его количество пришедших на голосование тоже будет невозможно хорошо предсказать?

Ghost_of_past в сообщении #1673695 писал(а):

Я так понимаю, что математика закончилась (если за таковую считать мои попытки обсуждать эконометрику панельных данных и модели выборок)

Кажется остались еще вопросы...

Ghost_of_past в сообщении #1673695 писал(а):

тема благополучно скатывается в политику.

Hе вижу как она туда скатывается, если изначально тема создана из вопроса влияния политики на наукy.

Я, кстати, ждал, что Вы возможно прокомментируете:

manul91 в сообщении #1673571 писал(а):

Tак вот боюсь что в том смысле в котором вы спрашиваете, в том конкретном случае - никакими регрессиями, Арельяно-Бонда или другими - на основе только одних достоверных соц. данных по состоянию общественного мнения на 2018 год - достоверную картину "на время этих исследований" ~2016 (т.е. достоверно выбрать из 1 vs 2 выше) не восстановить.
Целевой критерий слишком волатильный/манипулируемый/динамический, стабильных корреляционных инвариантов с другими срезами/ячейками (темпоральными или нет) на которых можно здесь опереться/рассчитывать попросту нет.
Пусть меня поправят, если не так.

Но воля Ваша.

[manul91]

Dan B-Yallay
Ну что вы, ведь понятное же дело: там, где грубо вмешиваются интересы политиков и соответствующие влияния, науке места нет :)
По моему мнению это вообще не стоит обсуждений, тем более на научном форуме.
Я же привел пример подделки намного круче - выборы президента в Румынии, где того, кто вышел на первом месте на реальных выборах, его социологические исследования вообще никак даже в прогнозах не упоминали (у Ipsos хотя бы только анонсы/интерпретации под влиянием, а всё остальное вроде нормально).Что тут вообще "научного" с заумным видом можно обсуждать??
Ну и что с того — все эти вынужденные (или специально сфабрикованные, все равно) подделки не делают социологию как таковую в принципе ненаучной.
В таких исследований это просто несчастье/bad luck что тут грязные интересы политиков замешаны.
Как у Галилея - хочешь жить - ну говори что плоская и не вращается. Ничто в этом плане не изменилось.
Вот eще: https://en.wikipedia.org/wiki/Indiana_pi_bill ну тогда хоть кое-кто был еще адекватным, не приняли.

Чем бы вы в науке не занимались, молитесь, чтобы политическому эстебишменту это было по барабану.
Иначе белое будет черным и черное белым - и вся научная общественность подпрыгивая, это радостно подтвердит. Ну возможно, в процессе несколько "яйцеголовых" героев сожгут на костре на потехи улулюкающей публики, пока все устаканится.

[Dan B-Yallay]

manul91 в сообщении #1673712 писал(а):

Ну что вы ведь понятное же дело - там где грубо вмешиваются интересы политиков и соответные влияния - науки места нет:)

Я рад, что Вы сказали это. У меня сложилось ощущение, что некоторые другие участники с этим несогласны.

manul91 в сообщении #1673712 писал(а):

Чем бы вы научном не занимались, молитесь чтоб политическим эстаблишментом это было по-барабану.
Иначе белое будет черным и черное белым - и вся научная общественность подпрыгивая, это радостно подтвердит. Ну возможно, в процессе несколько "яйцеголовых" героев сожгут на костре на потехи улулюкающей публики, пока все устаканится.

Tут есть принципиальная разница. Даже если истаблишмент будет давить науку 500 лет и насаждать плоскую Землю в центре Вселенной, то после физики/астрономы всё расвно выяснят что и вокруг чего вращается. А вот если бы в 2016-том году на выборах устроили вбросы и победила Хилл, то уже через пару лет никто бы не смог докопаться до истины. Особенно учитывая вот такие результаты: opinion polling for the 2016

manul91 в сообщении #1673712 писал(а):

Что тут вообще "научного" с заумным видом можно обсуждать??

Со статистической стороны вроде бы больше ничего. Спасибо Вам и Ghost_of_past за участие и беседу.

(Оффтоп)

Я пока оставлю это здесь, на случай если понадобится в первой теме:

Wikiquote:
С критикой опросов общественного мнения выступал известный французский социолог Пьер Бурдьё. Во-первых, исследователь подвергал сомнению постулат о том, что каждый человек имеет мнение. Во-вторых, Бурдьё критикует утверждение о том, что всякое мнение одинаково значимо, в связи с чем их можно суммировать и приводить в усреднённом виде. В-третьих, социолог считает неправомерным задавать всем один и тот же вопрос. По его мнению, это скрыто указывает на наличие консенсуса по определённой проблеме, что далеко не всегда верно

Or in English:

A simplistic definition of public opinion is simply those attitudes measured in opinion polls and surveys. Yet even such a definition—and indeed, the hegemonic status of the opinion poll in representing the views of the public—raises many challenging questions (Perrin and McFarland 2011). Skeptics doubt whether “true” opinions can be measured through polls, given their limitations as measurement instruments (and/or the limitations of those being polled, who may have to guess about questions about which they have not thought deeply). Furthermore, in the classic challenges of Blumer ([1948] 1969) and Bourdieu (1979), whether the public can be represented at all by the aggregation of individual responses to survey questions remains a vexing issue.

[manul91]

Dan B-Yallay в сообщении #1673714 писал(а):

ут есть принципиальная разница. Даже если истаблишмент будет давить науку 500 лет и насаждать плоскую Землю в центре Вселенной, то после физики/астрономы всё расвно выяснят что и вокруг чего вращается. А вот если бы в 2016-том году на выборах устроили вбросы и победила Хилл, то уже через пару лет никто бы не смог докопаться до истины.

Ну впервых, это "реальности" разного порядка. Истаблишменту пока форма Земли и ее вращение к счастью не подвластны, на отличие от.
Во вторых, через 500 лет вообще неизвестно знать ли кто будет вообще кто такие "Хилл" и "Дональд" (если вообще человечество все еще существует в подобном же виде, как сейчас). Так что зря вы об этом переживаете.
В третьих, если в принципе - дык историкам (да и не им только) и так известно, что истаблишмент любых времен прогибает (или хотя бы пытается) все что можно в свою угоду. Так было со времен шаманов и жрецов - и в этом отношении ничего по сути не изменилось до сегодняшних дней.
Ну подумаешь, истаблишмент "вбрасывает" и "манипулирует общественное мнение" - неужели новость какая :)

Dan B-Yallay в сообщении #1673714 писал(а):

Я пока оставлю это здесь

Совершенно разного поля ягоды.
Спрогнозировать "что скажут люди, если их спросить" - это одно. А "надо ли их спрашивать, в чем тут смысл, и зачем это нужно"... это имхо никак не к теме ни той ни прежней. Не научно, и не лженаука. Не все в мире же должно обязательно попадать под одну из этих двух категорий. Так что все в порядке.

[Ende]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Междисциплинарный раздел»
Причина переноса: тема вышла за рамки ПРР(М).