Клинические испытания плацебо vs плацебо.

[EUgeneUS]

Имеются результаты клинических исследований "эргоферон против плацебо".
вот тут.

Дизайн исследования выглядит довольно серьезно: слепое рандомизированное, плацебоконтролируемое.
Количество участников небольшое, конечно: примерно по 150 в каждой группе.

Среди нескольких зависимостей, которые исследовались, есть вот такое:

Цитата:

Title Dynamics of Fever (Changes in Body Temperature on 2, 3, 4, 5 Days of Observation in Comparison With the Baseline)
...

Statistical Analysis Overview Comparison Group Selection Ergoferon in Liquid Dosage Form, Placebo
Comments [Not Specified]
Type of Statistical Test Superiority
Comments [Not Specified]

Statistical Test of Hypothesis

P-Value <0.0001
Comments [Not Specified]
Method Mixed Models Analysis
Comments [Not Specified]

Публикация на https://clinicaltrials.gov подразумевает "контроль качества", то есть исключаются грубые ошибки в обработке результатов.
Если исключить самый плохой вариант (манипуляции с первичными данными), то как следует трактовать столь низкое p-value?
Можно ли утверждать (если забыть, что такое данное снадобье), что эффективность подтверждена статистически значимо?
Если нет, то почему?

В качестве собственных попыток решения посмотрел критику использования p-value.
Но для данного случая так и нашел аргументов для того, чтобы утверждать, что нулевую гипотезу отвергать не следует.

(хотел опубликовать в Вероятность, статистика, но там нельзя создавать темы)

[Pphantom]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Междисциплинарный раздел»
Причина переноса: пожалуй, это даже не математический раздел, так что переместимся для универсальности сюда.

[ihq.pl]

EUgeneUS в сообщении #1399469 писал(а):

плацебоконтролируемое

а что это значит? Я бы так это трактовал: если эффект от препарата сравним с эффектом плацебо, препарат надо признать неэффективным. Или что-то другое имеется в виду?

[EUgeneUS]

ihq.pl
Иээх. Речь о том, что в сравнении с плацебо препарат как бы показал свою эффективность.

[ihq.pl]

EUgeneUS, я поинтересовался, что такое плацебоконтролиуемость вообще. Можно ли плацебо рассматривать, грубо говоря, как шум, а эффект препарата оценивать в единицах SNR (отношение сигнал/шум)?

[ihq.pl]

(Оффтоп)

Про один эксперимент, который можно считать анекдотом. Пробандам сообщили, что всем им в течении двух недель будут давать капсулы с препаратом; что первую неделю одни будут получать капсулы с водой, другие - с виагрой, а потом наоборот. В действительности же сделали так: через неделю те, кто получал капсулы с виагрой, стали получать капсулы с водой, а другим и дальше продолжали давать капсулы с водой. В течении всего времени настроение участников регистрировалось с помощью энцефалографа, и полученные данные наносилось на диаграмму, по оси $x$ которой откладывалось время, а по оси $y$ эмоциональное состояние пробанда, принимающее значения между -1 (хуже некуда) и 1 (всё супер). При анализе полученных данных две особенности обратили на себя особенное внимание: с одной стороны, высокая корреляция данных у участников одной группы, а с другой - полное отсутствие таковой у участников разных групп. Данные участников, получавших сначала виагру, а потом воду, идеально ложились на график функции

$$y = \left\{\begin{matrix}1, & t \in [1,7] \\ -1, & t \in [8,14]\end{matrix}\right$$

Показания же, полученные для участников, получавших только воду, хорошо ложились на гладкую линию, которая монотонно возрастала от нуля до единицы в течении первой недели, а затем начинали прыгать, и в течении второй недели вели себя хаотично. Но самым удивительным оказалось то, что этот хаос наблюдался не у всех. У некоторых участников, получавших воду, индикатор энцефалографа в течении всей второй недели стабильно показывал единицу.

[Евгений Машеров]

Это не может быть ответом?

Цитата:

Per Protocol set. The morning temperature in 13 patients (7 in the Ergoferon group and 6 in the placebo group) was excluded from the analysis due to mistakes in diaries.

Во всяком случае, в данном подисследовании число исключённых максимально.

-- 16 июн 2019, 16:38 --

ihq.pl в сообщении #1399536 писал(а):

(Оффтоп)

Про один эксперимент, который можно считать анекдотом. Пробандам сообщили, что всем им в течении двух недель будут давать капсулы с препаратом; что первую неделю одни будут получать капсулы с водой, другие - с виагрой, а потом наоборот. В действительности же сделали так: через неделю те, кто получал капсулы с виагрой, стали получать капсулы с водой, а другим и дальше продолжали давать капсулы с водой. В течении всего времени настроение участников регистрировалось с помощью энцефалографа, и полученные данные наносилось на диаграмму, по оси $x$ которой откладывалось время, а по оси $y$ эмоциональное состояние пробанда, принимающее значения между -1 (хуже некуда) и 1 (всё супер). При анализе полученных данных две особенности обратили на себя особенное внимание: с одной стороны, высокая корреляция данных у участников одной группы, а с другой - полное отсутствие таковой у участников разных групп. Данные участников, получавших сначала виагру, а потом воду, идеально ложились на график функции

$$y = \left\{\begin{matrix}1, & t \in [1,7] \\ -1, & t \in [8,14]\end{matrix}\right$$

Показания же, полученные для участников, получавших только воду, хорошо ложились на гладкую линию, которая монотонно возрастала от нуля до единицы в течении первой недели, а затем начинали прыгать, и в течении второй недели вели себя хаотично. Но самым удивительным оказалось то, что этот хаос наблюдался не у всех. У некоторых участников, получавших воду, индикатор энцефалографа в течении всей второй недели стабильно показывал единицу.

Очаровательно. Но энцефалограф не умеет "регистрировать настроение". И индикатора у него отчего-то нет, даже показывающего что-то помимо единицы. В общем, если бы и было нечто такое - то трансформировалось байкой во что-то неузнаваемое...

-- 16 июн 2019, 16:48 --

ihq.pl в сообщении #1399515 писал(а):

я поинтересовался, что такое плацебоконтролиуемость вообще. Можно ли плацебо рассматривать, грубо говоря, как шум, а эффект препарата оценивать в единицах SNR (отношение сигнал/шум)?

Нет. Плацебо это способ сказать "при прочих равных". Поскольку, помимо самого действующего начала препарата, в процессе лечения участвует и сам больной. Реакция которого может зависеть и от того, как он оцениваем манипуляции с ним - его лечат, значит, будет выздоровление! или - его не лечат, наверно, безнадёжен! Поэтому плацебо это набор всех могущих повлиять на пациента факторов, кроме одного, именно тестируемого.
"Шум" здесь это неконтролируемые реакции организма и влияние неконтролируемых факторов. Измеряется он стандарным отклонением показателей, а SNR это t-критерий. Но сам по себе он может вводить в заблуждение, если на улучшение состояния пациента повлиял сам факт лечения, убеждающий, что у него должно улучшаться состояние, это может проявляться даже в объективно измеряемых характеристиках, тем более в субъективных.

[EUgeneUS]

Евгений Машеров
Спасибо за ответ.

Евгений Машеров в сообщении #1399542 писал(а):

Это не может быть ответом?

Вроде бы нет. Попробовал подставить худший вариант для фуфломицина, перекос в средних, вроде бы продолжает наблюдаться.

Вот что еще заметил:
Если просуммировать средние изменения температуры по всем дням, то получится среднее изменение температуры за пять дней:
1. В группе Э. - $-6.12$ градусов
2. В группе плацебо - $-5.64$ градуса.

Если считать, что к пятому дню все выздоровели и у них была нормальная температура, то получается средняя температура "по больнице" в первый день была:
1. В группе Э. $42.72$ градуса Цельсия
2. В группе плацебо $42.24$ градуса Цельсия

Тут же нет ошибки?
И тогда возникает вопрос - а 42 с лишним градусов средняя в группе температура - это вообще реально?

[Евгений Машеров]

Я не думаю, что это изменения по сравнению с предыдущим днём, скорее с первым днём исследования. Так что 38.5 Цельсия, не более.

[EUgeneUS]

Евгений Машеров
да, скорее всего так.

А тут не может быть варианта, что случайно возникший в начале перекос усиливается из-за не независимости измерений?
Случайно возник перекос в падении температуры в первый день в сторону Э, но это же означает, что будет перекос в падении температуры в следующие дни в сторону плацебо, но второй факт рассматривается, как дополнительное подтверждение неверности нулевой гипотезы...

Как Вы сами оцениваете, такое низкое p-value могло получиться при сравнении плацебо с плацебо? Даже если предположить, что в "испорченных дневниках" выкинули худшие для Э результаты.

Если их добавить в первое измерение (считаем, что для Э изменений не было, а для плацебо температура упала на 2 градуса), то получается для первого дня средние:
Э. - $-0.91$
плацебо: - $-0.84$
перекос уже гораздо меньше.

[Евгений Машеров]

Как именно считали - непонятно.

Цитата:

Mixed Models Analysis

, по всей видимости, означает Mixed-design analysis of variance, с повторными измерениями и один фактор фиксированный (лекарство-плацебо), второй случайный (разброс при повторных измерениях). Но тут не независимые повторные измерения, тут есть динамика болезни. Это может дать преувеличенный уровень значимости (зависимость измерений в определённом смысле эквивалентна сокращению объёма выборки, при том, что формально он тот же и достаточно велик). Но мне кажется, что этого недостаточно будет для объяснения.
Поэтому у меня сильное подозрение в "редактировании", причём подделать значения опасно, а вот для "неудобных" данных найти причину их забраковать можно без особого риска. И вот то, что для самого статистически значимого результата есть самая большая выбраковка данных - наводит на мысль. Везде 145 и 148 исследуемых (для препарата и плацебо), причём общее число обозначено 154 и 152, то есть 13 человек уже выбраковано, но для данного исследования 138 и 142 (отброшено 7 и 6, а если к общему числу, то даже 16 и 10 субъектов). А если полагать, что отбрасывались "самые неподходящие" в одну сторону в одном случае и в другую в другом - то, грубо принимая нормальное распределение, получим, что граница 5% это $2\sigma$, а сигма примерно 0.5, так что сдвиг порядка 0.05 и 0.05, итого порядка 0.1, при разностях 0.17, 0.19, 0.06, 0.04, в среднем 0.11. То есть в принципе так фальсифицировать без риска (и даже без сознания того, что фальсифицируешь, будучи убеждён, что удаляешь, найдя ошибки в данных) можно, получая такой значимый эффект.
Но для проверки надо брать исходную выборку и смотреть на неё, причём видеть и отброшенные.

[EUgeneUS]

Евгений Машеров в сообщении #1399576 писал(а):

А если полагать, что отбрасывались "самые неподходящие" в одну сторону в одном случае и в другую в другом - то, грубо принимая нормальное распределение, получим, что граница 5% это $2\sigma$, а сигма примерно 0.5, так что сдвиг порядка 0.05 и 0.05, итого порядка 0.1, при разностях 0.17, 0.19, 0.06, 0.04, в среднем 0.11. То есть в принципе так фальсифицировать без риска (и даже без сознания того, что фальсифицируешь, будучи убеждён, что удаляешь, найдя ошибки в данных) можно, получая такой значимый эффект.
Но для проверки надо брать исходную выборку и смотреть на неё, причём видеть и отброшенные.

Спасибо!

Вот тоже интересное, только уже не про Э, а про А.

Тоже местами показывают p-value $0.007$, $0.0004$, $0.004$, $0.001$,

при этом низкие p-value относятся к методике измерения "Total Symptom Score", а как инструментальные (температура), так сразу $0.15$, $0.19$ и даже $0.44$.