Коронавирус

[пианист]

Тогда есть смысл дождаться ответа.

[NikolayPrimachenko]

EUgeneUS, насколько я понимаю, всё правильно у критиков написано. Они, во-первых, указывают на то, что в тексте 3442, а на картинке 5400 (около 6400). Не то, что 6400 отличается от 5400 их удивляет, а то, что 3442 отличается от 5400.

Далее, я думаю, что если бы в тексте была указана разница, то было бы написано не "increased to", а "increased by". А "day 28 vs day 21", по-видимому, относится к уровню значимости: на 21 день было такое распределение и среднее, а на 28 --- другое; насколько значимым можно считать такое изменение среднего титра?

Ну и по поводу того, что "авторы статьи в "Ланцете" для расчета GMT скорее всего использовали данные без округления до круглых баров". Не знаю как они измеряли, но титры обычно круглые, потому что на каждом шаге разводят в 2 раза.

[EUgeneUS]

И ещё.
Критики на ТрВ:

Цитата:

При этом количество пациентов с НЯ в статье не сообщается, приведены только относительные частоты НЯ, которые варьируют от 0% до 100%.

При этом:
Количество пациентов с НЯ указаны как в самой статье в Table 2 Systemic and local adverse events.
Так и в приложении (там более подробная информация по НЯ) — таблицы S1 и S2.

Начинаю догадываться, какую статью нужно отзывать.
И да, на ТрВ я уже написал четыре комментария. Все пока на премодерации.

-- 18.11.2020, 10:50 --

NikolayPrimachenko в сообщении #1492907 писал(а):

Не то, что 6400 отличается от 5400 их удивляет,

Их удивляет и это тоже. Так как используется предлог "около", который может означать, как "немного меньше", так и "немного больше".

NikolayPrimachenko в сообщении #1492907 писал(а):

Далее, я думаю, что если бы в тексте была указана разница, то было бы написано не "increased to", а "increased by". А "day 28 vs day 21", по-видимому, относится к уровню значимости: на 21 день было такое распределение и среднее, а на 28 --- другое; насколько значимым можно считать такое изменение среднего титра?

Применение предлога "to" действительно вызывает удивление и вопросы, даже с моими, весьма небольшими, знаниями английского языка.
Но, имхо, очевидно, что фраза относится полностью к изменению GMT между 21 и 28 днем. А ошибка лингвистическая.

[NikolayPrimachenko]

EUgeneUS, на мой взгляд, Вы искажаете смысл текста критиков и смысл текста авторов исследования тоже.

EUgeneUS в сообщении #1492922 писал(а):

Цитата:

При этом количество пациентов с НЯ в статье не сообщается, приведены только относительные частоты НЯ, которые варьируют от 0% до 100%.

При этом:
Количество пациентов с НЯ указаны как в самой статье в Table 2 Systemic and local adverse events.
Так и в приложении (там более подробная информация по НЯ) — таблицы S1 и S2.

Полная цитата:

Василий Власов, Ольга Реброва, Валерий Аксёнов в За хайпом — дефекты дизайна, плохое исполнение и сомнительная публикация писал(а):

При этом количество пациентов с НЯ в статье не сообщается, приведены только относительные частоты НЯ, которые варьируют от 0% до 100%. Это значит, что каждый участник испытания имел по крайней мере одно НЯ.

Чтобы прочувствовать, о чём речь, попробуйте ответить на вопрос: в таблице указано, что после Gam-COVID-Vac rAd26-S plus rAd5-S у двоих было недомогание (malaise) и у двоих болело горло (sore throat), сколько людей чувствовало недомогание или (OR, не XOR) боль в горле? 2, 3, 4?

Про остальное я уже написал выше.

[EUgeneUS]

NikolayPrimachenko в сообщении #1492995 писал(а):

EUgeneUS, на мой взгляд, Вы искажаете смысл текста критиков и смысл текста авторов исследования тоже.

Просто пытаюсь читать дословно, что написано на ТрВ, и что написано в Ланцете.

В ТрВ дословно, болд мой: "приведены только относительные частоты НЯ, которые варьируют от 0% до 100%".
То есть пишут, что приведены только проценты (относительные частоты они в процентах измеряются).

Открываю статью в Ланцете и вижу, как проценты, так и штуки.
Что я делаю не так?

[statistonline]

NikolayPrimachenko
на Хабре имеется статья с более разнообразными претензиями к гамалеевской вакцине, включая и 3-ю фазу испытаний, и все сопутствующие вопросы.

[EUgeneUS]

Вот еще прекрасное из статьи в ТрВ.

Цитата:

Результаты, приведенные в этих таб­лицах, можно воспроизвести, если использовать данные из рис. 2 и заменить нули на 1. Возможно, авторы сделали такую замену с целью расчета средних геометрических, но это можно рассматривать как фальсификацию данных;

Дело в том, что на рис.2 используется логарифмическая шкала. На которой никаких "нулей" быть не может. Однако же, "можно рассматривать как фальсификацию данных".

[EUgeneUS]

пианист в сообщении #1492904 писал(а):

Тогда есть смысл дождаться ответа.

Для информации, может кому интересно. Мои комментарии (сейчас их шесть) прошли премодерацию и теперь доступны всем.
Посмотрим, какая реакция будет.

[Pphantom]

NikolayPrimachenko, upgrade - по предупреждению за политизированный оффтопик. Сообщения (и связанные с ними) удалены.

-- 18.11.2020, 22:10 --

statistonline в сообщении #1493012 писал(а):

на Хабре имеется статья с более разнообразными претензиями к гамалеевской вакцине, включая и 3-ю фазу испытаний, и все сопутствующие вопросы.

statistonline, в одном из удаленных сообщений, среди прочего, просили ссылку на эту статью. Дублирую, поскольку это к предмету обсуждения относится.

[statistonline]

Pphantom в сообщении #1493136 писал(а):

statistonline, в одном из удаленных сообщений, среди прочего, просили ссылку на эту статью. Дублирую, поскольку это к предмету обсуждения относится.

https://habr.com/ru/post/528222/ и ссылки внутри поста. Кроме того, есть мнение ряда настоящих специалистов о недочетах дизайна исследования:
https://www.thelancet.com/action/showPd ... %2931960-7
и ответ по этому поводу группы Логунова:
https://www.thelancet.com/action/showPd ... %2931970-X

[EUgeneUS]

statistonline в сообщении #1493187 писал(а):

https://habr.com/ru/post/528222/ и ссылки внутри поста.

Спасибо!
К сожалению ссылка внутри поста, вот здесь:

Цитата:

После опубликования в престижном и признанном международным сообществом журнале Lancet
результатов второй фазы, к ним возник ряд вопросов из-за статистической недостоверности некоторых данных (т. е. по-простому: пририсованности).

ведет на несуществующую статью на Хабре.
Впрочем, этот скандальчик с претензиями к статье известен, и есть прямые ссылки на "Ланцет", которые Вы привели.

Из того, за что зацепился глаз.

Цитата:

Стоит отдельно упомянуть про анонсированные "92% эффективности". Это опять либо свидетельство непрофессионализма, либо намеренная попытка ввести в заблуждение. Проблема в этой цифре в доверительном интервале. Имеющиеся 20 случаев заболевания (если верить Гамалее на слово, т. к. протоколов нет) позволяют достоверно говорить об эффективности 26%-92%. То есть эффективность с вероятностью 95% лежит в этом интервале. Почему надо было озвучивать "92%" — вопрос для самостоятельного размышления.

Тут какое-то передергивание. Не может оценка (92%) лежать на границе доверительного интервала (якобы 26%-92%). Откуда эти "26%-92%" взяты вообще не понятно.

Может кто-то из математиков, читающих тему, посчитает доверительный интервал по известным данным?

(данные)

$A=16000$ - количество испытуемых в тестовой группе.
$B=4000$ - количество испытуемых в контрольной группе.
$a = 5$ - количество заболевших в тестовой группе.
$b = 15$ - количество заболевших в контрольной группе.

Оценка эффективности: $K = 1-\frac{aB}{bA} = 0.91(6)$

-- 19.11.2020, 09:15 --

Свежее интервью Сергея Нетесова
Затрагивает многие спорные вопросы.

[alisa-lebovski]

Что делать, чтобы очки не запотевали при ношении маски.

https://zen.yandex.ru/media/posad/chto- ... 5821241b82

Актуально в зимнее время. Опробовала на себе, работает!

[EUgeneUS]

EUgeneUS в сообщении #1493196 писал(а):

Может кто-то из математиков, читающих тему, посчитает доверительный интервал по известным данным?

Пришлось самому ;)
Считал, как описано тут.

Получилось так:
$\begin{tabular}{ | l | l | l | l | } \hline Сигмы & Надежность & Kmin & Kmax\\ \hline Три сигмы & 0.997 & -0.11 & 1.01\\ Две сигмы & 0.95 & 0.61 & 1\\ & 0.90 & 0.69 & 0.99\\ Одна сигма & 0.68 & 0.79 & 0.98\\ \hline \end{tabular}$

Маловато случаев, все таки. Для двух сигм в принципе укладывается в требования ВОЗ - эффективность не менее 60%, а для трех сигм уже нет.
UPD: поправочка: для трех сигм взял неверную вероятность После исправления доверительный интервал покрыл отрезок $[0,1]$, как бык овцу, то есть с запасом.

[NikolayPrimachenko]

EUgeneUS в сообщении #1493122 писал(а):

Мои комментарии (сейчас их шесть) прошли премодерацию и теперь доступны всем.

Прочитал. Хотя Вы и написали, что стараетесь читать буквально, у Вас это пока не получается. Вот смотрите:

Logunov et al в Safety and immunogenicity... писал(а):

GMTs had increased to 3442 with Gam-COVID-Vac (p<0·0001 at day 28 vs day 21) and 5322 with Gam-COVID-Vac-Lyo (p<0·0001 at day 28 vs day 21).

Вы пишете, что здесь нужно "increased to" читать как "increased by", просто лингвистическая ошибка. Можете ли Вы при таком прочтении воспроизвести из графиков число 3442? Нет. Выше Вы это продемонстрировали. Но есть же и второе число. Почему Вы его обходите стороной? Можете Вы воспроизвести при таком прочтении 5322? А хоть при каком-нибудь прочтении можете?

Немножко в сторону. (statistonline, спасибо за ссылки.) Авторы исследования написали:

Logunov et al в Authors’ reply писал(а):

First, in each figure describing vaccine immunogenicity, numerical values for studied individuals (shown as single dots in the graphs) could be easily determined as corresponding to values indicated on the Y axis. We think that such visualisation of experimental data (showing individual values) is more informative than bars or box plots (which are equally used in scientific articles).
...
Moreover, given the two-fold titration step and the discrete nature of the data, the number of values that a variable can take is limited (800, 1600, 3200, 6400).

Т.о. предположение, что у авторов исследования более точные, не такие круглые числа, не подтверждается.

Подсчитаем титры. Ссылки на WolframAlpha.

1. Vac 21 day --- 1345.434...
2. Vac 28 day --> 5381.737...
3. Vac-Lyo 21 day --- 951.365...
4. Vac-Lyo 28 day --> 5381.737...

Как видите, числа "с графика" не совпадают с числами в тексте. И не понятно, почему так получилось. Откуда 3442 и 5322?

Есть догадка. Обратите внимание, что на 28 день совпали средние титры обеих форм вакцины. Возможно, что строка "GMTs had increased to 5382 with Gam-COVID-Vac and 5382 with Gam-COVID-Vac-Lyo" у кого-то вызвала дискомфорт, и это захотели поправить. Но коллектив большой, скоординировать сложно. Следами спешных попыток поправить могут быть и несовпадение текста с графиком, и аномалия на графике (смещение точки в районе Vac-Lyo 28 day с титром 800).

Забавно, что когда Вы написали в комментариях про "by" и "to" и "лингвистическую ошибку", Власов, похоже, засомневался. Язык-то не родной. А Ольга --- молодец, кремень: "Мне очевидно другое".

В споре об этичности хорошо заметна разница между Вашим "прочтением" и тем смыслом, который вложили в свой текст критики.

Вообще, на месте критиков после Ваших замечаний я бы переработал статью:

1. подробнее написал о несовпадении графиков и текста;
2. подробнее написал о этичности (что не сказано о необходимости, которая заставила вовлекать людей, материально и карьерно зависимых от государства, т.е. от заказчика разработки, разработчика и основного покупателя вакцины);
3. исправил бы момент с блок-схемой (тут, я с Вами, EUgeneUS, согласен);
4. подробнее написал бы о НЯ (почему важно знать о НЯ у каждого испытуемого);
5. и, самое главное, в конце обязательно вернулся бы к главной теме: хотим проверить, тем более что и поводы есть (числа не бьются, сомневаемся в этичности и т.д.), запрос направили --- нет ответа.

Переработанный текст можно выложить отдельно на том же сайте газеты, и в первом тексте дать ссылку на него: "учитывая замечания критиков..."

Ну да ладно. Как говорится, спутники взлетают и падают, люди рождаются, иногда болеют и всегда умирают, и только экономика и наука вечны. Самые главные (институциональные) выводы такие:

• когда государство и производитель (заказчик разработки, разработчик), и покупатель в одном лице --- это плохо для экономики, потому что тогда становится непреодолимой тенденция к замене реального продукта и навыков его производства фиктивно-демонстрационным продуктом (термин Щедровицкого) и соответствующими навыками,
• анонимные рецензенты, закрытые от публики рецензии, недоступные первичные данные --- зло для науки.

EUgeneUS, самая главная мысль: даже если бы в тексте всё было идеально, обещанный доступ к данным должен быть обеспечен. Иначе это не наука.

И еще: не игнорируйте те нестыковки, которые Вы сами и подтвердили своими расчетами.

-- 20.11.2020, 03:22 --

EUgeneUS в сообщении #1493196 писал(а):

ведет на несуществующую статью на Хабре

У меня, кстати, статья открылась без проблем: https://habr.com/ru/post/518348/

[EUgeneUS]

NikolayPrimachenko в сообщении #1493354 писал(а):

Вы пишете, что здесь нужно "increased to" читать как "increased by", просто лингвистическая ошибка. Можете ли Вы при таком прочтении воспроизвести из графиков число 3442? Нет. Выше Вы это продемонстрировали. Но есть же и второе число. Почему Вы его обходите стороной? Можете Вы воспроизвести при таком прочтении 5322? А хоть при каком-нибудь прочтении можете?

Аргумент со вторым закрывает этот вопрос. У меня нет объяснений, откуда взялось число 3442. Если в комментариях на ТрВ Вы это напишете, я и там признаю, что эта моя претензия была ошибочная. Так как считаю, что ошибки нужно признавать, а не заметать под ковер словами "важно другое".

NikolayPrimachenko в сообщении #1493354 писал(а):

Прочитал. Хотя Вы и написали, что стараетесь читать буквально, у Вас это пока не получается.

Почему же не получается? Счёт пока 6:1.

NikolayPrimachenko в сообщении #1493354 писал(а):

Т.о. предположение, что у авторов исследования более точные, не такие круглые числа, не подтверждается.

Не подтверждаются. Если почитать в приложении порядок измерения титра, становится понятным, что скорее всего разведение ровно в два раза меняли и промежуточных значений быть не может.
Но это все к моему первому комментарию, а их там семь.

NikolayPrimachenko в сообщении #1493354 писал(а):

Вообще, на месте критиков после Ваших замечаний я бы переработал статью:

Вы не упомянули, что ещё нужно исключить поиск нуля на логарифмической оси (кстати, успешный, и на этом основании делаются предположения о фальсификации данных).

NikolayPrimachenko в сообщении #1493354 писал(а):

когда государство и производитель (заказчик разработки, разработчик), и покупатель в одном лице --- это плохо для экономики, потому что тогда становится непреодолимой тенденция к замене реального продукта и навыков его производства фиктивно-демонстрационным продуктом (термин Щедровицкого) и соответствующими навыками,

Обсуждаемая тема тут причем?

NikolayPrimachenko в сообщении #1493354 писал(а):

анонимные рецензенты, закрытые от публики рецензии, недоступные первичные данные --- зло для науки.

Не могу ни помочь, ни прокомметировать. Я в науке не работаю.

NikolayPrimachenko в сообщении #1493354 писал(а):

И еще: не игнорируйте те нестыковки, которые Вы сами и подтвердили своими расчетами.

Какие нестыковки я подтвердил расчетами и игнорирую?

NikolayPrimachenko в сообщении #1493354 писал(а):

У меня, кстати, статья открылась без проблем: https://habr.com/ru/post/518348/

Спасибо. По этой ссылке у меня тоже открылось. Значит были какие-то технические проблемы, возможно на моей стороне.