Аристотель, муха и Научные принципы в науках

[Anton_Peplov]

Dan B-Yallay в сообщении #1673053 писал(а):

Мне казалось, что понятие фальсифицируемость подразумевает время после исследования.

Есть науки о прошлом - история, палеонтология, историческая геология, космология. В их случае проверяемое предсказание, - это предсказание, что покажут будущие исследования того же момента исследуемого прошлого. В этих слоях мы найдем трилобитов, но не найдем кроликов. В этом городе мы найдем монеты с профилем римского императора. Остаточная намагниченность минералов такого возраста должна быть такая-то. На таком-то красном смещении мы должны увидеть вот это.

А есть науки о настоящем, которое, однако, слишком быстро становится прошлым: экономика, социология. Еще Винер заметил, что в этих науках короткие статистические ряды, потому что, например, выплавка стали до и после изобретения Мартена - это разные выплавки. Для этих наук у меня нет ответа на Ваш вопрос.

[Dan B-Yallay]

Ghost_of_past в сообщении #1673065 писал(а):

например, в панели опрашивалось 1200 человек с определенным половым/гендерным составом, возрастным составом, образовательным составом, географическим составом и т.д. В квазиэкспериментальном воспроизведении мы возьмем выборку с большинством сходных характеристик по этим переменным, репрезентативным стране в целом, но опросим какую-то группу, где нет статистического значимого изменения - например, представителей какого-то социального класса или жителей каких-то конкретных типов населенных пунктов/штатов и т.д., сохраняя репрезентацию распределения значений других переменных изначальной выборке.

Спасибо за пояснения. Они достаточно понятные для меня (я надеюсь)

А каким образом отсутствие стат.значимого изменения показателя в квазиэкспериментальном воспроизведении гарантирует равенство этого показателя тому, что было в исследовании а)?
По-моему неизменность и равенство - независимые вещи, даже при условии соблюдения равенства всех других переменных/квот в панелях.

[Ghost_of_past]

Dan B-Yallay в сообщении #1673090 писал(а):

Спасибо за пояснения. Они достаточно понятные для меня (я надеюсь)

Отлично!

Dan B-Yallay в сообщении #1673090 писал(а):

А каким образом отсутствие стат.значимого изменения показателя в квазиэкспериментальном воспроизведении гарантирует равенство этого показателя тому, что было в исследовании а)?

Смотрите, точное равенство невозможно, а самое главное, что и не очень нужно - на выходе исследователю/исследователям нужно, чтобы результаты не отличались статистически значимо при том, что значения/распределения значений остальных переменных будут такими же. Тогда та незначительная разница в полученных результатах, что будет получена, объясняется через неучтенные случайные факторы в рамках модели проведенного квазиэкспериментального исследования - понятное дело, что любая панель не безгранична и в нее невозможно ввести неограниченное количество переменных, плюс есть другие проблемы (вранье респондентов, прохождение опросов скоростными методами без вчитывания и т.п.). Кстати, часто самые хорошие панели не у социологов, а у маркетинговых исследователей - банально есть лишние деньги сделать панель больше и удобнее.

При любых сомнениях рекомендуется провести серию подобных квазиэкспериментальных воспроизведений по разным сочетаниям зависимой переменной/независимых переменных и оценить всю серию статистическими инструментами. Если зависимых переменных несколько (опрос по ряду вопросов), то лучше использовать какие-нибудь из видов факторного анализа, если есть предыдущие опросы (до а) по этой же методологии с аналогичными выборками по аналогичным вопросам с идентичными формулировками, то можно применить один из видов байесовского факторного анализа - например, байесовский параллельный факторный анализ (bayesian parallel factor analysis/bayesian parallel analysis (B-PA method)).

[Dan B-Yallay]

Ghost_of_past
Я предлагаю в пределах этой темы во всех моих сообщениях читать "равенство" как "отсутствие статистически значимой разницы". Уж очень утомительно набирать.
Также предлагаю во всех обсуждаемых выборках считать одинаковыми все переменные (квоты пол/раса/возраст/образование/доход и тд) -- кроме исследуемой.

Теперь рассмотрим следущие:

Ситуация 1) Исследуемый показатель в квазиэксперименте знАчимо отличается от показателя в а). Исследователи проводившие а) утверждают, что квазиэксперимент не может служить опровержением, так как выборка/панель использованная в квазиэксперименте характеризуется особенностью как раз в исследуемом показателе (подбирали, чтобы не менялся), поэтому статистическое распределение этого показателя в "квазипанели" может отличаться от "среднего по стране". А вот исследование а) - более беспристрастное ибо "вслепую".

Если согласиться с доводами исследователей а) то получим нефальсифицируемость их результата.


Ситуация 2) Показатель в квазиэксперименте не отличается знАчимо от ислледования в а) -- вроде результат верифицирован. Но тут появляется исследователь из соперничающего с а) лагеря и говорит, что результаты а) неверны. Отмечает, что у выборки в квазиэксперименте есть особенность в исследуемом показателе (подбирали, чтобы не менялся), поэтому его статистическое распределение в "квазипанели" может отличаться от "среднего по стране". A совпадение показателя с а) -- случайно.

Если опять согласиться с этими доводами, то получим неверифицируемость.

А если не соглашаться, то на основании чего? Есть ли ошибочность в этих доводах и где она?

-- Вт фев 04, 2025 16:30:30 --

Ghost_of_past в сообщении #1673092 писал(а):

При любых сомнениях рекомендуется провести серию подобных квазиэкспериментальных воспроизведений по разным сочетаниям зависимой переменной/независимых переменных и оценить всю серию статистическими инструментами.

Я пока не вижу, как эти меры могут изменить указанные ситуации.

[Ghost_of_past]

Dan B-Yallay в сообщении #1673097 писал(а):

то получим нефальсифицируемость их результата.

Это как? Нафальсифицируемость, т.е. неопровержимость исследования никакими способами, легко опровергается через то, что мы можем изменить значение или распределение значений других переменных на этой же выборке по панели и получить другое значение исследования.

Если Вы под нефальсифицируемостью понимаете что-то иное, то, пожалуйста, уточните что именно.

Dan B-Yallay в сообщении #1673097 писал(а):

а совпадение показателя с а) случайно

Случайно или нет, можно проверить через стандартные инструменты проверки статистических гипотез. Собственно говоря, нулевая гипотеза и будет, что совпадение случайно, а в процессе подготовительных тестов к квазиэкспериментальному воспроизведению эта нулевая гипотеза опровергается через последовательный перебор моделей.

Dan B-Yallay в сообщении #1673097 писал(а):

Если опять согласиться с этими доводами, то получим неверифицируемость.

Извините, но я не понимаю, откуда здесь появилась неверифицируемость. Неверифцируемость для исследования означает отсутствие доказательной базы. Доказательная база здесь строится на стандартных статистических инструментах, начиная с проведения тестов проверки статистических гипотез и затем через регрессионный анализ.

Например, сперва делаете квотную сегментацию выборки по пересекающимся ячейкам (по одному абсолютному или интервальному значению для каждой переменной); смотрите, чтобы на каждую квотную пересекающуюся ячейку приходился объем, достаточный для проведения статистического анализа нужного вида; затем последовательно считаете регрессии и оцениваете коэффициенты детерминации; и смотрите качество получившихся моделей связей между переменными. Можете также вывести остатки и провести их анализ, и лучше этот вид анализа делать через стандартизованные остатки.

Dan B-Yallay в сообщении #1673097 писал(а):

Я пока не вижу, как эти меры могут изменить указанные ситуации.

Ровно через последовательную верификацию моделей квазиэкспериментального воспроизведения через последовательное изменение перечня независимых переменных. А как иначе понять, какие параметры оставлять обязательно сохраненными, а каким можно пожертвовать без потери качества? Нет, ну если речь идет о каком-то стандартном типе исследовании, то наверное, можно посмотреть сразу в научной статье/отчете по ранее проведенным исследованиям. Если исследование не социологическое, а маркетинговое, то маркетинговые исследовательские агентства ведут свои базы данных с точной методологией - но они как раз обычно не публикуются, т.к. коммерческая тайна.

[realeugene]

Ghost_of_past в сообщении #1673034 писал(а):

что в традиционном обществе Самоа нет конфликта между поколениями, что характерно для аграрных обществ

В чём состоит гипотеза? Что в доаграрном обществе не бывает конфликта поколений? Были ли предсказания этой гипотезы проверены на других доаграрных обществах?

-- 05.02.2025, 02:49 --

Ghost_of_past в сообщении #1673034 писал(а):

А потому что исследование DHS было репрезентативно не всему населению Кыргызстана, а определенным социально-экономическим группам, прежде всего на менее модернизированном юге Кыргызстана.

То есть это пример того, что измеряли разное, и ничего бы не заметили, если бы два казалось бы одинаковых измерения не выдали сильно разные результаты. Где гарантия, что в других случаях меряют именно то, что декларируют, а не ошибаются таким же образом? И какой смысл в этих цифрах, если подобные ошибки ни в чём больше заметном не проявляются? 42?

-- 05.02.2025, 02:51 --

Ghost_of_past в сообщении #1673034 писал(а):

Как видите, здесь нет того, что одно исследование - правильное, а другое - ошибочное. Они все корректны в определенных пределах, но для конкретного времени, пространства, социальных структур/групп.

И в результате смысл обоих только лишь демонстрация неповторяемости.

-- 05.02.2025, 02:54 --

Anton_Peplov в сообщении #1673039 писал(а):

Тогда они не противоречат друг другу, потому что изучают, по сути, разные объекты.

А яблоко, которое я сейчас съем, весит 163 грамма. Тоже достойный объект изучения. И ближе к телу, как говорится. К чему бы это теперь применить?

[Ghost_of_past]

realeugene в сообщении #1673107 писал(а):

В чём состоит гипотеза?

Это не гипотеза, а давно известный факт. Гипотезой это было примерно 100 лет назад.

В аграрных обществах обычно не бывает конфликта поколений, потому что образ и ритм жизни практически не меняется от поколения к поколению.

realeugene в сообщении #1673107 писал(а):

Где гарантия

В методологических пояснениях. Собственно говоря, DHS их с тех пор публикуют в каждом докладе.

realeugene в сообщении #1673107 писал(а):

И в результате смысл обоих только лишь демонстрация неповторяемости.

У Вас выборочные обследования на выборке с определенной квотной структурой и переписи неповторяемыми исследованиями стали?

Боюсь, тогда ничем больше помочь Вам не могу.

[realeugene]

Ghost_of_past в сообщении #1673042 писал(а):

То есть работы будут противоречить друг другу, но только при жестком соблюдении двух условий:
а) не изменился никаким образом объект и предмет исследования;
б) методология исследования осталось совершенно неизменной, т.е. применяется та же самая комбинация методов проведения исследования (по сбору данных, по систематизации данных, по анализу данных, по механизмам интерпретации результатов).

Собственно это гипотеза постояннства, которую можно проверять или опровергать. "Завтра будет то же, что вчера". Проверяемая гипотеза не обязана декларировать постоянство чего бы то ни было наблюдаемого, но проверяемая модель должна быть постоянной в достаточной степени, чтобы её можно было использовать для предсказаний. И чем сложнее и гибче гипотеза (со всеми тонкостями динамики объекта, например) тем больше требуется согласованных наблюдений, чтобы избежать переобучения модели при подборе параметров.

-- 05.02.2025, 03:05 --

Ghost_of_past в сообщении #1673109 писал(а):

У Вас выборочные обследования на выборке с определенной квотной структурой и переписи неповторяемыми исследованиями стали?

На выборке с немного другой структурой получаются другие числа. Какова подразумеваемая модель? Если есть какая-то модель, то должна быть возможность заметить ошибку по несовпадению с моделью. Если ошибку можно заметить только по несовпадению повторного измерения точно в тех же самых условиях - то и модели нет. Тогда измерение осмысленно только для тех же самых в точности условий. Что невозможно, так как время идёт.

-- 05.02.2025, 03:09 --

Ghost_of_past в сообщении #1673109 писал(а):

В аграрных обществах обычно не бывает конфликта поколений, потому что образ и ритм жизни практически не меняется от поколения к поколению.

То есть это утверждение проверено ранее наблюдениями над разными странами, и оно обладает предсказательной силой. Соответственно, на Самоа оно и было ещё раз проверено. ОК.

[Ghost_of_past]

realeugene в сообщении #1673110 писал(а):

На выборке с немного другой структурой

Мне повторить, что я писал про выборки с одинаковой квотной структуры? Нет, вдруг Вы со второй попытки прочтете правильно.

[realeugene]

Ghost_of_past в сообщении #1673112 писал(а):

Мне повторить, что я писал про выборки с одинаковой квотной структуры? Нет, вдруг Вы со второй попытки прочтете правильно.

А, ну да, вы написали, что по разным группам в разных местах считали, назвав оба подсчёта измерениями по Кыргызстану.

Но поясните всё-таки пожалуйста, почему вы называете квотную структуру одинаковой, если генеральная совокупность в обоих случаях - всё население Кыргызстана, а выборки получились с совершенно разными свойствами, не отражая в должной мере характеристики генеральной совокупности?

[Ghost_of_past]

realeugene в сообщении #1673113 писал(а):

Но поясните всё-таки пожалуйста, почему вы называете квотную структуру одинаковой

Потому что речь о другом посте:

Ghost_of_past в сообщении #1673109 писал(а):

У Вас выборочные обследования на выборке с определенной квотной структурой и переписи неповторяемыми исследованиями стали?

Давайте еще раз специально для Вас.

Выборочные обследования на выборке с одинаковой квотной структурой - это повторяемые исследования.

Переписи - это тоже повторяемые исследования.

realeugene в сообщении #1673113 писал(а):

если генеральная совокупность в обоих случаях - всё население Кыргызстана

Ghost_of_past в сообщении #1673034 писал(а):

Другой пример: проводили исследование DHS в Кыргызстане и обнаружили там периодный СКР в 3,4 детей на женщину в конце 2010ых. А потом провели перепись и обнаружили периодный СКР в 2,6 детей на женщину. Начали демографы думать, а почему такая разница. А потому что исследование DHS было репрезентативно не всему населению Кыргызстана, а определенным социально-экономическим группам, прежде всего на менее модернизированном юге Кыргызстана.

Читать внимательно за Вас текст я не могу.

Извините, но на этом разговор окончен.

[realeugene]

Ghost_of_past в сообщении #1673114 писал(а):

Другой пример: проводили исследование DHS в Кыргызстане и обнаружили там периодный СКР в 3,4 детей на женщину в конце 2010ых. А потом провели перепись и обнаружили периодный СКР в 2,6 детей на женщину.

А, то есть исследование с переписью не совпало?

[Dan B-Yallay]

Ghost_of_past в сообщении #1673105 писал(а):

Это как? Нафальсифицируемость, т.е. неопровержимость исследования никакими способами, легко опровергается через то, что мы можем изменить значение или распределение значений других переменных на этой же выборке по панели и получить другое значение исследования.

Если Вы под нефальсифицируемостью понимаете что-то иное, то, пожалуйста, уточните что именно.

Под фальсифицируемостью некоего утверждения я понимаю принципиальную возможность поставить такой эксперимент с соблюдением условий утверждения, что результаты эксперимента не соответствуют утверждению. Грубо говоря, Козьма-Прутковское "Щелкни кобылу по носу -- она махнёт хвостом" фальсифицируемо, так как его можно опровергнуть путём экспериментального щелкания кобылы по носу. Но щелкание по носу быка или овцы и при этом отсутствие хвостомахания у них или у кобылы -- не может считаться опровержением.

Соответственно, под нефальсифицируемостью я понимаю невозможность поставить опровергающий эксперимент с соблюдением указанных в утверждении условий. Если нет принципиальной возможности найти такой объект как "кобыла" или совершить такой акт как "щелкнуть по носу", то Прутковская фраза становится нефальсифицируемой.

В контексте обсуждаемого исследования а) я считаю соблюдение параметров выборки/панели (репрезентативность возрастов/полов/доходов и тд) необходимым условием для любой квазиэкспериментальной проверки. (Я бы ожидал, что это вообще принятый стандарт. Было бы странно проверять отчет по сбалансированной панели/выборке с помощью выборки с перекосами по каким-либо переменным. И наоборот -- тоже). Поэтому предлагаемый Вами экcперимент с измененными переменными в выборке по панели не может считаться опровержением результатов исследования а) .

Поправьте, если я что-то не так понял или где-то ошибаюсь, или дайте знать, если всё верно.

(PS)

Ghost_of_past
Я вижу, что наши сообщения сейчас могут начать разрастаться до труднообозримых размеров, поэтому предлагаю сначала разобраться с (не)фальсифицируемостью и Ситуацией 1), а затем, если будет нужно, -- с верифицируемостью.

[EUgeneUS]

Dan B-Yallay в сообщении #1673053 писал(а):

Вопрос: является ли фальсифицируемым и/или верифицируемым результат исследования а) ?

Вы совершенно неправильно понимаете принципы верифицируемости и фальсифицируемости.
Они применяются не к результатам измерений, а к теориям\гипотезам.

Пример. Утверждения:
1. Средняя температура по планете растёт последние 150 лет быстрее, чем до этого.
2. Содержание углекислого газа в атмосфере растет 150 лет ускоряющимися темпами, а до этого оставалось (примерно) постоянным.
3. Средняя температура по планете коррелирует с содержание углекислого газа с некоторым сдвигом по времени.
4. Повышение содержания углекислого газа в атмосфере является причиной повышения средней температуры по планете.
5. Деятельность человека является причиной повышения содержания углекислого газа в атмосфере.

Так вот. Первые три утверждения - верифицируемы и фальсифицируемы. В том смысле, что мы можем представить "мысленный эксперимент", результаты которого будут трактоваться, либо как подтверждение, либо как опровержение этих утверждений.
Нужно просто взять исторические наблюдения за температурой и измерения углекислого газа в пузырьках древнего льда. Ну и посчитать корреляцию временных рядов (пункт 3).
С пунктами 4 и 5 сложнее. Тут нужно устанавливать не корреляции, а причинно-следственные связи. А мы не можем провести "двойное слепое плацебо контролируемое исследование", так как планета у нас одна.
Приходится изворачиваться, и проводить эксперименты на моделях климата. Тут, конечно, возникает большое поле для возможной критики. Но это всё - наука.

А Вы заявляете примерно следующее: "это всё лженаука, так как невозможно повторить прямые измерения температуры в 18-лохматом году".

[sergey zhukov]

Dan B-Yallay в сообщении #1673120 писал(а):

Если нет принципиальной возможности найти такой объект как "кобыла"

Это скорее так нужно понимать: нашел кобылу, щелкнкл по носу - а она не машет. Значит - это была не кобыла (или не щелкнул). Порочный круг. Вот что нельзя фальсифицировать. Все подтверждения - в мою копилку, все опровержения - это вообще не про меня.
"Если очень захотеть - мечты сбываются" (не сбываются - плохо хочешь).