Статистика и ГМО

[peripatetic]

Я прочитал критику работы Сералини и у меня возникло несколько вопросов.
1. Интерпретация результатов работы (цитата) -
"С самками Сералини повезло якобы больше. Соответственно данным самцов группы имели 3-7-4, 4-7-4, 5-5-4 умерших самок на фоне контрольных 2. Казалось бы «двойка» уже более надёжно отличается от «семёрки», чем «тройка» от «пятёрки». Конечно отличия бОльшие, но и тут они не дотягивают до уровня достоверности. Если брать только одну пару сравнения, то вероятность того, что одинаковая группа может показать и 2 и 7 составит 3,5%, а если учесть что групп с ГМО реально шесть и уровня «семёрки» достигли только две из них, то вероятность этого уже 7%. Уровень принятия т.н. «генеральной гипотезы» (о том, что между вариантами различий нет) в сельскохозяйственных опытах составляет 5%, в медицинских 1%. Тут с 7% у Сералини никак не проходит, хотя он и пытается показать, что всё же было 3.5%. Опыт то медицинский и надо в любом случае плясать от 1%."
Отсюда следует, что в тестах на безопасность ГМО проверяется не безопасность, а проверяется наличие вреда, считается, что он есть, если его вероятгность больше 95 или 99 процентов. Но разве это разумный выбор нулевой гипотезы, которая состоит в том, что ГМО безопасно? Если человеку дать гриб, вероятность вреда, которого 80%, то вряд ли он станет его есть, однако, если такой же результат покажет тест на ГМО, то такой результат считается "в пользу" ГМО.

2. Даже критики Сералини признают, что его результаты для самок близки к принятым уровням достоверности вреда. Поэтому открытым остается вопрос, была ли это флуктуация, или вред, действительно есть. Но почему за прошедшие 5-6 лет не был проведен проверочный эксперимент, возможно, на большей статистике?

3. Предположим, что ГМО полностью безопасны и проведем эксперимент, сравнивая контрольную (без ГМО) и экспериментальную группы (с ГМО). В этих группах результаты будут отличаться, причем вероятность отличия будет уменьшаться с ростом этих отличий. В одном эксперименте вероятность того, что группа с ГМО покажет сильно худшие результаты (в предположении ГМО-безопасности) невелика, скорее всего, вероятность вреда будет сильно меньше 99%. Однако, если таких экспериментов достаточно много, скажем, несколько сотен, то появление эксперимента, в котором вероятность вреда от ГМО больше 99% становится крайне вероятным событием. Если кинуть три кубика 500 раз, 3 шестерки(p=1/216) выпадут почти наверняка (99,2%). Я читал, что экспериментов по проверке ГМО проведено около 3 тысяч, но ни про одну работу, в которой вероятность вреда от ГМО оказалась бы больше 99%, я не слышал. Однако, такие работы должны быть (статистически), если ГМО безопасно и результаты обрабатываются добросовестно. Кто-нибудь знает ссылки на такие работы?

Заранее спасибо всем за ответы.

[DimaM]

peripatetic в сообщении #1341812 писал(а):

Отсюда следует, что в тестах на безопасность ГМО проверяется не безопасность, а проверяется наличие вреда, считается, что он есть, если его вероятгность больше 95 или 99 процентов. Но разве это разумный выбор нулевой гипотезы, которая состоит в том, что ГМО безопасно?

Сералини как раз тщится отвергнуть нулевую гипотезу. У него это не получилось.

peripatetic в сообщении #1341812 писал(а):

Но почему за прошедшие 5-6 лет не был проведен проверочный эксперимент, возможно, на большей статистике?

В теме про ГМО, по-моему, есть ссылка на документ, описывающий нормальные эксперименты (а не как у Сералини) и их результаты однозначно подтверждают безопасность ГМО. Очевидно, что ставить специальный эксперимент, чтоб разобраться, где именно очередной криворукий опровергатель накосячил, никто не будет.

peripatetic в сообщении #1341812 писал(а):

Предположим, что ГМО полностью безопасны и проведем эксперимент, сравнивая контрольную (без ГМО) и экспериментальную группы (с ГМО). В этих группах результаты будут отличаться, причем вероятность отличия будет уменьшаться с ростом этих отличий. В одном эксперименте вероятность того, что группа с ГМО покажет сильно худшие результаты (в предположении ГМО-безопасности) невелика, скорее всего, вероятность вреда будет сильно меньше 99%. Однако, если таких экспериментов достаточно много, скажем, несколько сотен, то появление эксперимента, в котором вероятность вреда от ГМО больше 99% становится крайне вероятным событием. Если кинуть три кубика 500 раз, 3 шестерки(p=1/216) выпадут почти наверняка (99,2%). Я читал, что экспериментов по проверке ГМО проведено около 3 тысяч, но ни про одну работу, в которой вероятность вреда от ГМО оказалась бы больше 99%, я не слышал. Однако, такие работы должны быть (статистически), если ГМО безопасно и результаты обрабатываются добросовестно.

Это вы описываете что-то вроде результатов Сералини: если делать сравнения по многим критериям на недостаточных выборках, можно получить описываемые вами чудеса. Ну вот Сералини их и получил, в чем ваши претензии?
А нормальные ученые ставят нормальные эксперименты, и там никаких чудес не наблюдается.

[Munin]

peripatetic в сообщении #1341812 писал(а):

Но разве это разумный выбор нулевой гипотезы, которая состоит в том, что ГМО безопасно?

"Нулевая гипотеза" состоит всегда в том, что эксперимент ни о чём не говорит, а его результат - стечение случайностей.

То есть, если мы не отвергли нулевую гипотезу, это не значит, что мы доказали, что ГМО безопасны. Мы показали, что данный эксперимент не доказывает, что ГМО опасны.

peripatetic в сообщении #1341812 писал(а):

Если человеку дать гриб, вероятность вреда, которого 80%, то вряд ли он станет его есть, однако, если такой же результат покажет тест на ГМО, то такой результат считается "в пользу" ГМО.

Опять, нельзя считать, что показанные проценты - это "вероятность вреда".

Допустим, вам скажут что-то такое: "у 80 % человек, которым с утра дорогу перебежала чёрная кошка, в этот же день происходили те или иные неприятности". Это говорит о том, что чёрная кошка предсказывает неприятности? Многие думают, что да. На самом деле, контроль показал, что у 76 % человек, которым с утра дорогу не перебегала чёрная кошка, тоже были какие-то неприятности (да вообще жизнь полна неприятностей: на автобус опоздал, кофе пролил, и т. д.). При этом группы были такими небольшими, что мы вправе ожидать разброса порядка 80 %±20 %. В итоге, первоначальное утверждение "у 80 % человек, которым с утра дорогу перебежала..." - попросту ни о чём не говорит.

Статистика - штука посложнее, чем "вероятность вреда".

peripatetic в сообщении #1341812 писал(а):

Предположим, что ГМО полностью безопасны и проведем эксперимент, сравнивая контрольную (без ГМО) и экспериментальную группы (с ГМО). В этих группах результаты будут отличаться, причем вероятность отличия будет уменьшаться с ростом этих отличий. В одном эксперименте вероятность того, что группа с ГМО покажет сильно худшие результаты (в предположении ГМО-безопасности) невелика, скорее всего, вероятность вреда будет сильно меньше 99%. Однако, если таких экспериментов достаточно много, скажем, несколько сотен, то появление эксперимента, в котором вероятность вреда от ГМО больше 99% становится крайне вероятным событием.

Да, но если взять все такие эксперименты вместе, то они образуют намного бо́льшую группу с намного более стабильным распределением вероятностей, и достоверность вывода, что ГМО безопасны, получается намного выше. (p-value становится ниже.)

[peripatetic]

Спасибо за ответы. Я зря задал сразу 3 вопроса, если можно, давайте разбираться с ними по очереди.
Munin все совершенно правильно сказал, я несколько упрощал, тем не менее, вопрос N1 остался. Поясню на примере выбора нулевой гипотезы в медицине - она состоит в том, что "препарат не действует". Если результаты эксперимента отвергают ее с 99% вероятностью, то лекарство признается действующим. При этом выбранные проценты контролируют вероятность ошибки первого рода, в данном случае, того, что "неработающий препарат будет признан лекарством". Ясно, что такая ошибка нежелательна, отсюда и такие высокие 99%. Но при росте этих % растет вероятность ошибки второго рода - когда "работающее лекарство будет отброшено". Это тоже нехорошо, но намного более приемлемо, чем ошибка первого рода, после которой больным будут давать пустышку.
Теперь перейдем к ГМО - тут нулевая гипотеза состоит в том, что ГМО безопасна, а значит, нежелательной считается ошибка первого рода - "безопаные ГМО будут признаны опасными", в то время как менее критичной считается ошибка второго рода - "опасные ГМО будут использоваться". Пример с незнакомыми грибами я уже приводил - в этом случаен нулеовой гипотезой разумно выбрать "данный гриб опасен" и отвергать ее с 99% или выше, вероятностью. Итак, повторяю вопрос, почему при экспериментах с ГМО выбрана гипотеза, которая считает более важным не отбросить безопасное ГМО (ошибка 1 рода), чем пропустить возможный вред от ГМО (ошибка 2 рода).

PS.

-- 27.09.2018, 14:50 --

DimaM в сообщении #1341822 писал(а):

В теме про ГМО, по-моему, есть ссылка на документ, описывающий нормальные эксперименты (а не как у Сералини) и их результаты однозначно подтверждают безопасность ГМО. Очевидно, что ставить специальный эксперимент, чтоб разобраться, где именно очередной криворукий опровергатель накосячил, никто не будет.

Я читал критику его работы и, кроме статистической части, она не показалась мне убедительной. Возможно, я ошибаюсь. Не затруднит ли Вас привести конкретные примеры его ошибок? Я спрашиваю потому, что Сералини до этой работы, кажется, считался вполне квалифицированным человеком, (профессор молекулярной биологии в университете Кана с 1991) и мне непонятно, как он вдруг стал, как Вы выражаетесь "криворуким".

[Munin]

peripatetic в сообщении #1341897 писал(а):

Поясню на примере выбора нулевой гипотезы в медицине - онс состоит в том, что "препарат не действует".

Нет, ещё раз: это частный случай.
В любом эксперименте, поставленном для изучения чего угодно, нулевой гипотезой была, есть и будет всегда гипотеза "эксперимент не показателен".

Если в медицине тестируется лекарство, то разумеется, эксперимент ставится так, чтобы обнаружить его действие, и нулевая гипотеза может быть переформулирована как "мы не обнаружили действия лекарства". (На самом деле, оно может действовать. Оно может действовать на что-то ещё. Оно может даже вредить. Мы просто не знаем, эксперимент нам не помог ничего узнать.)

Но нельзя из этого делать вывод "лекарство не действует". Чтобы доказать, что лекарство не действует, необходим другой эксперимент, с другой постановкой, часто намного более сложной. И вот в этом другом эксперименте - нулевая гипотеза будет означать "мы не выяснили, что лекарство не действует". (Опять же, оно может не действовать. Но мы этого не узнали. Мы измерили только шум.)

В принципе, возможны эксперименты, в которых проверяются обе гипотезы: "лекарство действует" и "лекарство не действует". Но в таком случае, обе эти гипотезы будут альтернативными, а нулевая гипотеза опять же будет означать "эксперимент ничего не показал".

[peripatetic]

Вы говорите вещи, с которыми я не спорю, но не отвечаете на мой вопрос. Давайте с спрошу иначе. В простейшем случае формулируется нулевая гипотеза и ее альтернатива, потом задается уровень значимости. Затем проводится эксперимент и, если исследуемые параметры в результате эксперимента, оказываются в разрешенном уровнем значимости диапазоне, то нулевая гипотеза не отвергается. Иными словами, мы продолжаем считать нулевую гипотезу верной. Если параметры выскакивают за пороговые значения, то нулевая гипотеза отвергается и верной считается альтернативная гипотеза. В случае ГМО тестов нулевая гипотеза - "ГМО безвредно", альтернативная - "ГМО вредно". Тут вроде все ясно. Мой вопрос состоит в следующем - адекватен ли данный выбор нулевой гипотезы тому, что мы хотим знать о безопасности ГМО? Чтобы ответить на этот вопрос, возвращаюсь к примеру с неизвестным грибом, который принесли из леса. Как бы Вы сформулировали нулевую гипотезу для этого случая? "Гриб вреден" или "гриб безвреден"?

[Munin]

peripatetic в сообщении #1342014 писал(а):

то нулевая гипотеза не отвергается. Иными словами, мы продолжаем считать нулевую гипотезу верной.

Вы снова и снова повторяете эту ошибку. Это не одно и то же.

Вот представьте себе, что вы спросили человека: "сегодня четверг?". Он вам отвечает: "я не знаю, может быть, и четверг". И вы почему-то делаете из этого вывод, что он вам сказал, что сегодня не четверг!

peripatetic в сообщении #1342014 писал(а):

В случае ГМО тестов нулевая гипотеза - "ГМО безвредно", альтернативная - "ГМО вредно". Тут вроде все ясно.

Ясно, но неверно. Можно поставить эксперимент для проверки гипотезы "ГМО вредно". Можно поставить эксперимент для проверки гипотезы "ГМО безвредно". Но это будут разные эксперименты. Какой именно эксперимент ставить - выбирает экспериментатор.

peripatetic в сообщении #1342014 писал(а):

Мой вопрос состоит в следующем - адекватен ли данный выбор нулевой гипотезы...

Её просто не выбирают. Никогда. Она всегда одинаковая. Выбирают только проверяемую (альтернативную) гипотезу.

[peripatetic]

У нас явные расхождения в понимании вопроса. Начнем с конца, про то, что нулевую гипотезу не выбирают, а выбирают только альтернативную. Это очень странное утверждение, по идее, взятые вместе, обе гипотезы покрывают все возможные исходы эксперимента, поэтому выбор альтернативной гипотезы, логически, означает выбор нулевой, как дополнения. А если, так, то выбирать можно и нулевую гипотезу. Пример, станок делает гайки слегка разных размеров. Что же тут будет нулевой гипотезой, которую, по-Вашему, не выбирают?
И какая будет нулевая гипотеза в примере с грибом (допустим, что с ним можно проводить статистические эксперименты)?

PS. Аналогию про четверг не понял, по-моему, Вы с ней ошиблись.

[Munin]

peripatetic в сообщении #1342020 писал(а):

Аналогию про четверг не понял

Ну тогда сосредоточьтесь пока на этом.

[peripatetic]

На чем мне предлагается сосредоточится, на Вашей путанной аналогии? Вы мне приписали ерунду, которую я не говорил.
Ну пусть будет по-Вашему, попробую истолковать Вашу аналогию. Судя по всему, нулевая гипотеза (НГ) - "сегодня четверг", опрашиваемый - это эксперимент, аналогия идет после ссылки на "НГ не отвергается", но в аналогии говорится, что я будто бы ее отвергаю (сегодня НЕ четверг). Абсурд. Значит, "сегодя четверг" не НГ, но что тогда? Неясно. Может быть Вы сумеете прокомментировать свою аналогию, если это не поток сознания, конечно?

-- 28.09.2018, 18:52 --

PS. Пока Вы интерпретируете свою аналогию, позволю себе привести два цитаты из Вики, касающиеся НГ. Одна подтверждает Вашу точку зрения -

"Нулевая гипотеза — принимаемое по умолчанию предположение о том, что не существует связи между двумя наблюдаемыми событиями, феноменами. "

Однако, в букварях, которые читал я, подход иной и он изложен в другой статье Вики (Проверка статистических гипотез):

"Методика состоит в следующем.
Формулируется нулевая гипотеза H_0 о распределении вероятностей на множестве X. Гипотеза формулируется исходя из требований прикладной задачи. Чаще всего рассматриваются две гипотезы — основная или нулевая H_0 и альтернативная H_1. Иногда альтернатива не формулируется в явном виде; тогда предполагается, что H_1 означает «не H_0». "

Это ровно то, что я говорил. То есть, существует (как минимум) два определения НГ.

[Dmitriy40]

peripatetic в сообщении #1342122 писал(а):

Судя по всему, нулевая гипотеза (НГ) - "сегодня четверг",

Нет же, нулевая гипотеза - "эксперимент не позволил дать ответ", в данном случае на вопрос "четверг ли сегодня". И результат "не знаю" никакой информации (никакого ответа) не дал.
Вам пытаются указать что нулевая гипотеза - что эксперимент не дал информации, на основе которой можно сделать какие-то выводы. Не важно какие, главное что можно их сделать. И если нулевая гипотеза выполняется, то эксперимент не дал ничего, ни за, ни против. И не важно какая гипотеза выдвигалась - ни к её обоснованию, ни к её опровержению не продвинулись.

[peripatetic]

Dmitriy40 в сообщении #1342124 писал(а):

peripatetic в сообщении #1342122 писал(а):

Судя по всему, нулевая гипотеза (НГ) - "сегодня четверг",

Нет же, нулевая гипотеза - "эксперимент не позволил дать ответ", в данном случае на вопрос "четверг ли сегодня". И результат "не знаю" никакой информации (никакого ответа) не дал.
Вам пытаются указать что нулевая гипотеза - что эксперимент не дал информации, на основе которой можно сделать какие-то выводы. Не важно какие, главное что можно их сделать. И если нулевая гипотеза выполняется, то эксперимент не дал ничего, ни за, ни против. И не важно какая гипотеза выдвигалась - ни к её обоснованию, ни к её опровержению не продвинулись.

Не понимаю, почему "эксперимент не позволил дать ответ" это НГ. Я привел два разных определения НГ, очевидно, что это не второй случай. Первый говорит об установлении связи между двумя явлениями. О каких двух явлениях идет речь в этой аналогии?
Или Вы используете какое-то иное определение НГ?

[Dmitriy40]

peripatetic в сообщении #1342129 писал(а):

Первый говорит об установлении связи между двумя явлениями.

Да, а нулевая гипотеза при её выполнении говорит что связь установить не удалось. Может она есть, может её нет - эксперимент не указал на верный вариант. Это не означает опровержение такой связи!
Выше об этом было прекрасно написано:

Munin в сообщении #1341906 писал(а):

В любом эксперименте, поставленном для изучения чего угодно, нулевой гипотезой была, есть и будет всегда гипотеза "эксперимент не показателен".

Если в медицине тестируется лекарство, то разумеется, эксперимент ставится так, чтобы обнаружить его действие, и нулевая гипотеза может быть переформулирована как "мы не обнаружили действия лекарства". (На самом деле, оно может действовать. Оно может действовать на что-то ещё. Оно может даже вредить. Мы просто не знаем, эксперимент нам не помог ничего узнать.)

Но нельзя из этого делать вывод "лекарство не действует". Чтобы доказать, что лекарство не действует, необходим другой эксперимент, с другой постановкой, часто намного более сложной. И вот в этом другом эксперименте - нулевая гипотеза будет означать "мы не выяснили, что лекарство не действует". (Опять же, оно может не действовать. Но мы этого не узнали. Мы измерили только шум.)

В принципе, возможны эксперименты, в которых проверяются обе гипотезы: "лекарство действует" и "лекарство не действует". Но в таком случае, обе эти гипотезы будут альтернативными, а нулевая гипотеза опять же будет означать "эксперимент ничего не показал".

Т.е. нулевая гипотеза всегда - эксперимент ничего не показал. Не важно что именно проверяли. Не подтвердил, не опровергнул, а именно не показал. Выдал ответ не "да" и не "нет", а лишь "неизвестно".
Не понимаю что в этом сложного.

[peripatetic]

Сложное тут то, что Ваше определение мне неизвестно и не совпадает с двумя приведенными. Не совпадает с первым, в в нем нулевой гипотезой будет "Не существует связи межды явлениями А и В". Ни о каком эксперименте речь вообще не идет. НГ в этом случае можно сформулировать вообще не делая никакого эксперимента.
Во втором определении эксперимент тоже никак не участвует - НГ это просто предположении о характере распределения сл. величины.

Ваше определение это уже третье по счету, откуда Вы его взяли, если не секрет?

[Dmitriy40]

Никакого "моего" определения выше нет, это максимум переформулировка простыми словами цитаты выше. И вполне совпадает с первым вариантом (а может и со вторым).