Наука и медицина / 13 мая 2020 / Источник: science-based medicine

Как ошибаются научные исследования

Альтернативная медицина полагается на отдельные примеры и личный опыт. Но и среди медицинских статей легко находятся некачественные исследования, которые были проведены на лабораторных мышах или в чашках Петри или же в плохо организованных клинических испытаниях, в которых даже не было контрольной группы. О некоторых признаках и понятиях, которые помогут вам оценить медицинское исследование, читайте в этом материале.

Не доверяйте отдельным исследованиям

Доказательная медицина полагается на результаты статистических клинических исследований, в которых соблюдается принцип рандомизации, используется двойной слепой метод и есть контрольная группа, получающая плацебо. Но даже такие хорошо организованные исследования могут приводить к некорректным выводам. Результаты даже самых лучших исследований будут скорее ошибочны, чем истинны. Положительные результаты предварительных клинических испытаний часто опровергаются последующими, более масштабными исследованиями.

Отдельные исследования часто ошибочны, но это не значит, что их не стоит принимать в расчет. Наука — это совместная работа множества ученых. Со временем результаты одних исследователей могут опровергаться, и это продвигает науку в целом ближе к истине. Главное правило – никогда не доверять отдельным исследованиям. Стоит подождать, когда их повторят, подтвердят, проверят согласованность со всеми другими аналогичными данными. И даже после этого необходимо учитывать априорную вероятность, т.е. распространенность изучаемого состояния в группе испытуемых до проведения исследования.

Специалист по доказательной медицине Джон Иоаннидис в своей статье показал, что большинство результатов исследований некорректны, особенно в следующих случаях:

исследование проводилось на небольшой выборке;
выявлен слабый эффект экспериментального воздействия;
выбрано множество конечных точек (т.е. множество параметров, по которым выносится суждение об эффективности лечения);
авторы имеют финансовый интерес к результатам исследования или предвзятое отношение по другим причинам;
тема популярна и вызывает конкуренцию среди исследователей;
исследование посвящено сомнительным направлениям альтернативной медицины.

Экспресс-оценка Баузелла

Руфус Баузелл в своей книге «Snake Oil Science» предлагает чек-лист из четырех пунктов для быстрой проверки клинического исследования:

Исследование рандомизированное, с достоверной контрольной группой?
В каждой группе не менее 50 испытуемых?
Из исследования выбыло не более 25% испытуемых?
Результаты опубликованы в качественном престижном рецензируемом журнале? (Можно проверить цитируемость научного журнала).

Если все четыре пункта выполняются, это ещё не гарантирует достоверность результатов. Но если обнаружено несоответствие некоторым пунктам — результаты исследования вызывают еще больше сомнений.

Другие вопросы для оценки исследования

Исследование выполнено на людях или на дрозофилах?;Результаты исследований на животных или культурах клеток не всегда применимы к людям Кто выбран в качестве испытуемых?;Группа репрезентативна? Есть ли предвзятость в выборке? Кто финансирует исследование?;Это может стать причиной необъективности Могут ли авторы быть предвзятыми?;Присмотритесь, нет ли конфликта интересов Правильно ли проведена рандомизация?;Группы действительно сравнимы? Правильно ли реализован двойной слепой метод?;Могли ли испытуемые догадаться, в какой группе они были — контрольной или экспериментальной? Подтверждено ли это опросом после окончания исследования? Было выбрано множество конечных точек? (Этот и следующий пункт называются «p-хакинг» — обработка данных, при которой результаты искусственно становятся статистически значимыми).;Если да, то была ли сделана соответствующая статистическая корректировка? Анализ данных проведен корректно?;Иногда выводы исследования отрицательны, но в процессе анализа данные искажают до тех пор, пока они не будут показывать хоть какой-нибудь положительный результат Где было проведено исследование?;Исследования, проведенные в Китае, вызывают подозрения, потому что они никогда не показывают отрицательные результаты Значимы ли результаты для клинического использования?;Статистическая значимость ≠ клиническая значимость Соответствуют ли выводы результатам?;Иногда не соответствуют Изучалось что-то реально существующее?;“Науки о зубных феях” изучают воображаемые вещи — зубных фей, акупунктурные точки, энергетические поля человека Было ли это «практически значимым» исследованием?;«Практически значимые» исследования не предназначены для обоснования эффективности. Лечение с недоказанной эффективностью, но сильным эффектом плацебо покажутся лучше, чем проверенное лечение

Как еще всё может пойти не так

математические ошибки;
использование статистических методов, не подходящих для полученных данных;
наличие примесей или загрязнений в проверяемом препарате;
недостаточный контроль за соблюдением требований к условиям проведения исследования;
осознанная или неосознанная подтасовка данных лаборантами;
ненадлежащим образом выполненные анализы;
умышленное мошенничество.

Термины, которые важно понимать

Статистическая значимость; Значимость на уровне p = 0.5 ≠ истина. Это лишь оценка вероятности, что повторное исследование даст положительный результат, если нулевая гипотеза (что между группами нет различий) верна Клиническая значимость;Меняется исход заболевания Относительный риск;Доля людей в процентах Абсолютный риск;Фактическое количество людей Число пролеченных больных (NNT);Число пролеченных больных на одного излеченного Индекс потенциального вреда (NNH);Число пролеченных больных на одного с неблагоприятным исходом Доверительный интервал;Мы можем быть уверены (с какой-то вероятностью), что истинное значение находится в этом интервале Корреляция ≠ причинно-следственная связь;Корреляция — статистическая взаимосвязь между двумя переменными. Наличие корреляции не означает, что одна переменная прямо влияет на другую Чувствительность теста;Доля больных, которые получили положительный результат теста Специфичность теста;Доля здоровых, которые получили негативный результат теста Болезненность;Распространенность заболевания. Чем реже встречается болезнь, тем чаще тест показывает ложно-положительный результат Прогностическая ценность положительного результата (PPV);Вероятность, что положительный результат теста верен и у вас действительно есть болезнь Прогностическая ценность отрицательного результата (NPV);Вероятность, что отрицательный результат теста верен, и у вас действительно нет болезни

Некоторые проблемы и их решения

Наука далека от совершенства

Драммонд Ренни, профессор медицины в Калифорнийском университете и большой адвокат стандартизации клинических исследований, как-то сказал:

«Кажется, нет исследования слишком фрагментарного, гипотезы слишком тривиальной, литературной цитаты слишком банальной или слишком неуместной, нет дизайна слишком уродливого, методологии слишком неумелой, нет представления результатов слишком неточного, слишком туманного и слишком противоречивого, нет анализа слишком корыстного, нет аргументов слишком предвзятых, нет выводов слишком легковесных или слишком необоснованных и нет грамматики и синтаксиса слишком оскорбительных, чтобы статья, в конечном итоге, не попала в печать».

Предупреждение

Этот предостерегающий комментарий должен прилагаться ко всем выходящим научным статьям:

Внимание! Любые действия, предпринятые на основе этого исследования, могут привести к травме или смерти. Результаты, описанные в статье, еще не были воспроизведены в других исследованиях. Долговременный эффект лечения неизвестен. Полученные данные не гарантируют аналогичные результаты в будущем. При дальнейших исследованиях большинство опубликованных результатов окажутся ложными.

Еще две вещи, о которых стоит помнить

1

Никогда не принимайте утверждение, пока не узнаете, кто с ним не согласен и почему.

2

Никогда не забывайте спрашивать самого себя, не предвзяты ли вы?

Переводчик — Александра Анисимова, научный редактор — Анна Игнатенко, верстка — Василий Козак, шеф-редактор — Марсель Ишимбаев.

1. Оригинал: https://sciencebasedmedicine.org/pitfalls-in-research-why-studies-are-more-often-wrong-than-right/
2.