2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Клинические испытания плацебо vs плацебо.
Сообщение16.06.2019, 10:18 
Аватара пользователя


11/12/16
13195
уездный город Н
Имеются результаты клинических исследований "эргоферон против плацебо".
вот тут.

Дизайн исследования выглядит довольно серьезно: слепое рандомизированное, плацебоконтролируемое.
Количество участников небольшое, конечно: примерно по 150 в каждой группе.

Среди нескольких зависимостей, которые исследовались, есть вот такое:

Цитата:
Title Dynamics of Fever (Changes in Body Temperature on 2, 3, 4, 5 Days of Observation in Comparison With the Baseline)
...

Statistical Analysis Overview Comparison Group Selection Ergoferon in Liquid Dosage Form, Placebo
Comments [Not Specified]
Type of Statistical Test Superiority
Comments [Not Specified]

Statistical Test of Hypothesis

P-Value <0.0001
Comments [Not Specified]
Method Mixed Models Analysis
Comments [Not Specified]


Публикация на https://clinicaltrials.gov подразумевает "контроль качества", то есть исключаются грубые ошибки в обработке результатов.
Если исключить самый плохой вариант (манипуляции с первичными данными), то как следует трактовать столь низкое p-value?
Можно ли утверждать (если забыть, что такое данное снадобье), что эффективность подтверждена статистически значимо?
Если нет, то почему?

В качестве собственных попыток решения посмотрел критику использования p-value.
Но для данного случая так и нашел аргументов для того, чтобы утверждать, что нулевую гипотезу отвергать не следует.

(хотел опубликовать в Вероятность, статистика, но там нельзя создавать темы)

 Профиль  
                  
 
 Posted automatically
Сообщение16.06.2019, 12:09 
Заслуженный участник


09/05/12
25179
 i  Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Междисциплинарный раздел»
Причина переноса: пожалуй, это даже не математический раздел, так что переместимся для универсальности сюда.

 Профиль  
                  
 
 Re: Клинические испытания плацебо vs плацебо.
Сообщение16.06.2019, 14:13 


18/05/15
679
EUgeneUS в сообщении #1399469 писал(а):
плацебоконтролируемое

а что это значит? Я бы так это трактовал: если эффект от препарата сравним с эффектом плацебо, препарат надо признать неэффективным. Или что-то другое имеется в виду?

 Профиль  
                  
 
 Re: Клинические испытания плацебо vs плацебо.
Сообщение16.06.2019, 14:15 
Аватара пользователя


11/12/16
13195
уездный город Н
ihq.pl
Иээх. Речь о том, что в сравнении с плацебо препарат как бы показал свою эффективность.

 Профиль  
                  
 
 Re: Клинические испытания плацебо vs плацебо.
Сообщение16.06.2019, 14:41 


18/05/15
679
EUgeneUS, я поинтересовался, что такое плацебоконтролиуемость вообще. Можно ли плацебо рассматривать, грубо говоря, как шум, а эффект препарата оценивать в единицах SNR (отношение сигнал/шум)?

 Профиль  
                  
 
 Re: Клинические испытания плацебо vs плацебо.
Сообщение16.06.2019, 16:07 


18/05/15
679

(Оффтоп)

Про один эксперимент, который можно считать анекдотом. Пробандам сообщили, что всем им в течении двух недель будут давать капсулы с препаратом; что первую неделю одни будут получать капсулы с водой, другие - с виагрой, а потом наоборот. В действительности же сделали так: через неделю те, кто получал капсулы с виагрой, стали получать капсулы с водой, а другим и дальше продолжали давать капсулы с водой. В течении всего времени настроение участников регистрировалось с помощью энцефалографа, и полученные данные наносилось на диаграмму, по оси $x$ которой откладывалось время, а по оси $y$ эмоциональное состояние пробанда, принимающее значения между -1 (хуже некуда) и 1 (всё супер). При анализе полученных данных две особенности обратили на себя особенное внимание: с одной стороны, высокая корреляция данных у участников одной группы, а с другой - полное отсутствие таковой у участников разных групп. Данные участников, получавших сначала виагру, а потом воду, идеально ложились на график функции $$y = \left\{\begin{matrix}1, & t \in [1,7] \\ -1, & t \in [8,14]\end{matrix}\right$$Показания же, полученные для участников, получавших только воду, хорошо ложились на гладкую линию, которая монотонно возрастала от нуля до единицы в течении первой недели, а затем начинали прыгать, и в течении второй недели вели себя хаотично. Но самым удивительным оказалось то, что этот хаос наблюдался не у всех. У некоторых участников, получавших воду, индикатор энцефалографа в течении всей второй недели стабильно показывал единицу.

 Профиль  
                  
 
 Re: Клинические испытания плацебо vs плацебо.
Сообщение16.06.2019, 16:31 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Это не может быть ответом?
Цитата:
Per Protocol set. The morning temperature in 13 patients (7 in the Ergoferon group and 6 in the placebo group) was excluded from the analysis due to mistakes in diaries.

Во всяком случае, в данном подисследовании число исключённых максимально.

-- 16 июн 2019, 16:38 --

ihq.pl в сообщении #1399536 писал(а):

(Оффтоп)

Про один эксперимент, который можно считать анекдотом. Пробандам сообщили, что всем им в течении двух недель будут давать капсулы с препаратом; что первую неделю одни будут получать капсулы с водой, другие - с виагрой, а потом наоборот. В действительности же сделали так: через неделю те, кто получал капсулы с виагрой, стали получать капсулы с водой, а другим и дальше продолжали давать капсулы с водой. В течении всего времени настроение участников регистрировалось с помощью энцефалографа, и полученные данные наносилось на диаграмму, по оси $x$ которой откладывалось время, а по оси $y$ эмоциональное состояние пробанда, принимающее значения между -1 (хуже некуда) и 1 (всё супер). При анализе полученных данных две особенности обратили на себя особенное внимание: с одной стороны, высокая корреляция данных у участников одной группы, а с другой - полное отсутствие таковой у участников разных групп. Данные участников, получавших сначала виагру, а потом воду, идеально ложились на график функции $$y = \left\{\begin{matrix}1, & t \in [1,7] \\ -1, & t \in [8,14]\end{matrix}\right$$Показания же, полученные для участников, получавших только воду, хорошо ложились на гладкую линию, которая монотонно возрастала от нуля до единицы в течении первой недели, а затем начинали прыгать, и в течении второй недели вели себя хаотично. Но самым удивительным оказалось то, что этот хаос наблюдался не у всех. У некоторых участников, получавших воду, индикатор энцефалографа в течении всей второй недели стабильно показывал единицу.


Очаровательно. Но энцефалограф не умеет "регистрировать настроение". И индикатора у него отчего-то нет, даже показывающего что-то помимо единицы. В общем, если бы и было нечто такое - то трансформировалось байкой во что-то неузнаваемое...

-- 16 июн 2019, 16:48 --

ihq.pl в сообщении #1399515 писал(а):
я поинтересовался, что такое плацебоконтролиуемость вообще. Можно ли плацебо рассматривать, грубо говоря, как шум, а эффект препарата оценивать в единицах SNR (отношение сигнал/шум)?


Нет. Плацебо это способ сказать "при прочих равных". Поскольку, помимо самого действующего начала препарата, в процессе лечения участвует и сам больной. Реакция которого может зависеть и от того, как он оцениваем манипуляции с ним - его лечат, значит, будет выздоровление! или - его не лечат, наверно, безнадёжен! Поэтому плацебо это набор всех могущих повлиять на пациента факторов, кроме одного, именно тестируемого.
"Шум" здесь это неконтролируемые реакции организма и влияние неконтролируемых факторов. Измеряется он стандарным отклонением показателей, а SNR это t-критерий. Но сам по себе он может вводить в заблуждение, если на улучшение состояния пациента повлиял сам факт лечения, убеждающий, что у него должно улучшаться состояние, это может проявляться даже в объективно измеряемых характеристиках, тем более в субъективных.

 Профиль  
                  
 
 Re: Клинические испытания плацебо vs плацебо.
Сообщение16.06.2019, 17:30 
Аватара пользователя


11/12/16
13195
уездный город Н
Евгений Машеров
Спасибо за ответ.

Евгений Машеров в сообщении #1399542 писал(а):
Это не может быть ответом?


Вроде бы нет. Попробовал подставить худший вариант для фуфломицина, перекос в средних, вроде бы продолжает наблюдаться.

Вот что еще заметил:
Если просуммировать средние изменения температуры по всем дням, то получится среднее изменение температуры за пять дней:
1. В группе Э. - $-6.12$ градусов
2. В группе плацебо - $-5.64$ градуса.

Если считать, что к пятому дню все выздоровели и у них была нормальная температура, то получается средняя температура "по больнице" в первый день была:
1. В группе Э. $42.72$ градуса Цельсия
2. В группе плацебо $42.24$ градуса Цельсия

Тут же нет ошибки?
И тогда возникает вопрос - а 42 с лишним градусов средняя в группе температура - это вообще реально?

 Профиль  
                  
 
 Re: Клинические испытания плацебо vs плацебо.
Сообщение16.06.2019, 17:51 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Я не думаю, что это изменения по сравнению с предыдущим днём, скорее с первым днём исследования. Так что 38.5 Цельсия, не более.

 Профиль  
                  
 
 Re: Клинические испытания плацебо vs плацебо.
Сообщение16.06.2019, 18:26 
Аватара пользователя


11/12/16
13195
уездный город Н
Евгений Машеров
да, скорее всего так.

А тут не может быть варианта, что случайно возникший в начале перекос усиливается из-за не независимости измерений?
Случайно возник перекос в падении температуры в первый день в сторону Э, но это же означает, что будет перекос в падении температуры в следующие дни в сторону плацебо, но второй факт рассматривается, как дополнительное подтверждение неверности нулевой гипотезы...

Как Вы сами оцениваете, такое низкое p-value могло получиться при сравнении плацебо с плацебо? Даже если предположить, что в "испорченных дневниках" выкинули худшие для Э результаты.

Если их добавить в первое измерение (считаем, что для Э изменений не было, а для плацебо температура упала на 2 градуса), то получается для первого дня средние:
Э. - $-0.91$
плацебо: - $-0.84$
перекос уже гораздо меньше.

 Профиль  
                  
 
 Re: Клинические испытания плацебо vs плацебо.
Сообщение16.06.2019, 19:40 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Как именно считали - непонятно.
Цитата:
Mixed Models Analysis
, по всей видимости, означает Mixed-design analysis of variance, с повторными измерениями и один фактор фиксированный (лекарство-плацебо), второй случайный (разброс при повторных измерениях). Но тут не независимые повторные измерения, тут есть динамика болезни. Это может дать преувеличенный уровень значимости (зависимость измерений в определённом смысле эквивалентна сокращению объёма выборки, при том, что формально он тот же и достаточно велик). Но мне кажется, что этого недостаточно будет для объяснения.
Поэтому у меня сильное подозрение в "редактировании", причём подделать значения опасно, а вот для "неудобных" данных найти причину их забраковать можно без особого риска. И вот то, что для самого статистически значимого результата есть самая большая выбраковка данных - наводит на мысль. Везде 145 и 148 исследуемых (для препарата и плацебо), причём общее число обозначено 154 и 152, то есть 13 человек уже выбраковано, но для данного исследования 138 и 142 (отброшено 7 и 6, а если к общему числу, то даже 16 и 10 субъектов). А если полагать, что отбрасывались "самые неподходящие" в одну сторону в одном случае и в другую в другом - то, грубо принимая нормальное распределение, получим, что граница 5% это $2\sigma$, а сигма примерно 0.5, так что сдвиг порядка 0.05 и 0.05, итого порядка 0.1, при разностях 0.17, 0.19, 0.06, 0.04, в среднем 0.11. То есть в принципе так фальсифицировать без риска (и даже без сознания того, что фальсифицируешь, будучи убеждён, что удаляешь, найдя ошибки в данных) можно, получая такой значимый эффект.
Но для проверки надо брать исходную выборку и смотреть на неё, причём видеть и отброшенные.

 Профиль  
                  
 
 Re: Клинические испытания плацебо vs плацебо.
Сообщение16.06.2019, 20:25 
Аватара пользователя


11/12/16
13195
уездный город Н
Евгений Машеров в сообщении #1399576 писал(а):
А если полагать, что отбрасывались "самые неподходящие" в одну сторону в одном случае и в другую в другом - то, грубо принимая нормальное распределение, получим, что граница 5% это $2\sigma$, а сигма примерно 0.5, так что сдвиг порядка 0.05 и 0.05, итого порядка 0.1, при разностях 0.17, 0.19, 0.06, 0.04, в среднем 0.11. То есть в принципе так фальсифицировать без риска (и даже без сознания того, что фальсифицируешь, будучи убеждён, что удаляешь, найдя ошибки в данных) можно, получая такой значимый эффект.
Но для проверки надо брать исходную выборку и смотреть на неё, причём видеть и отброшенные.


Спасибо!

Вот тоже интересное, только уже не про Э, а про А.

Тоже местами показывают p-value $0.007$, $0.0004$, $0.004$, $0.001$,

при этом низкие p-value относятся к методике измерения "Total Symptom Score", а как инструментальные (температура), так сразу $0.15$, $0.19$ и даже $0.44$.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 12 ] 

Модераторы: Модераторы, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group