Наука и медицина / 13 мая 2020 / Источник: science-based medicine

Как ошибаются научные исследования

Альтернативная медицина полагается на отдельные примеры и личный опыт. Но и среди медицинских статей легко находятся некачественные исследования, которые были проведены на лабораторных мышах или в чашках Петри или же в плохо организованных клинических испытаниях, в которых даже не было контрольной группы. О некоторых признаках и понятиях, которые помогут вам оценить медицинское исследование, читайте в этом материале.

Не доверяйте отдельным исследованиям

Доказательная медицина полагается на результаты статистических клинических исследований, в которых соблюдается принцип рандомизации, используется двойной слепой метод и есть контрольная группа, получающая плацебо. Но даже такие хорошо организованные исследования могут приводить к некорректным выводам. Результаты даже самых лучших исследований будут скорее ошибочны, чем истинны. Положительные результаты предварительных клинических испытаний часто опровергаются последующими, более масштабными исследованиями.

Отдельные исследования часто ошибочны, но это не значит, что их не стоит принимать в расчет. Наука — это совместная работа множества ученых. Со временем результаты одних исследователей могут опровергаться, и это продвигает науку в целом ближе к истине. Главное правило – никогда не доверять отдельным исследованиям. Стоит подождать, когда их повторят, подтвердят, проверят согласованность со всеми другими аналогичными данными. И даже после этого необходимо учитывать априорную вероятность, т.е. распространенность изучаемого состояния в группе испытуемых до проведения исследования.
Специалист по доказательной медицине Джон Иоаннидис в своей статье показал, что большинство результатов исследований некорректны, особенно в следующих случаях:

  • исследование проводилось на небольшой выборке;
  • выявлен слабый эффект экспериментального воздействия;
  • выбрано множество конечных точек (т.е. множество параметров, по которым выносится суждение об эффективности лечения);
  • авторы имеют финансовый интерес к результатам исследования или предвзятое отношение по другим причинам;
  • тема популярна и вызывает конкуренцию среди исследователей;
  • исследование посвящено сомнительным направлениям альтернативной медицины.

Экспресс-оценка Баузелла

Руфус Баузелл в своей книге «Snake Oil Science» предлагает чек-лист из четырех пунктов для быстрой проверки клинического исследования:

  1. Исследование рандомизированное, с достоверной контрольной группой?
  2. В каждой группе не менее 50 испытуемых?
  3. Из исследования выбыло не более 25% испытуемых?
  4. Результаты опубликованы в качественном престижном рецензируемом журнале? (Можно проверить цитируемость научного журнала).
Если все четыре пункта выполняются, это ещё не гарантирует достоверность результатов. Но если обнаружено несоответствие некоторым пунктам — результаты исследования вызывают еще больше сомнений.

Другие вопросы для оценки исследования

Как еще всё может пойти не так

  • математические ошибки;
  • использование статистических методов, не подходящих для полученных данных;
  • наличие примесей или загрязнений в проверяемом препарате;
  • недостаточный контроль за соблюдением требований к условиям проведения исследования;
  • осознанная или неосознанная подтасовка данных лаборантами;
  • ненадлежащим образом выполненные анализы;
  • умышленное мошенничество.

Термины, которые важно понимать

Некоторые проблемы и их решения

Наука далека от совершенства

Драммонд Ренни, профессор медицины в Калифорнийском университете и большой адвокат стандартизации клинических исследований, как-то сказал:
«Кажется, нет исследования слишком фрагментарного, гипотезы слишком тривиальной, литературной цитаты слишком банальной или слишком неуместной, нет дизайна слишком уродливого, методологии слишком неумелой, нет представления результатов слишком неточного, слишком туманного и слишком противоречивого, нет анализа слишком корыстного, нет аргументов слишком предвзятых, нет выводов слишком легковесных или слишком необоснованных и нет грамматики и синтаксиса слишком оскорбительных, чтобы статья, в конечном итоге, не попала в печать».

Предупреждение

Этот предостерегающий комментарий должен прилагаться ко всем выходящим научным статьям:
Внимание! Любые действия, предпринятые на основе этого исследования, могут привести к травме или смерти. Результаты, описанные в статье, еще не были воспроизведены в других исследованиях. Долговременный эффект лечения неизвестен. Полученные данные не гарантируют аналогичные результаты в будущем. При дальнейших исследованиях большинство опубликованных результатов окажутся ложными.

Еще две вещи, о которых стоит помнить

1
Никогда не принимайте утверждение, пока не узнаете, кто с ним не согласен и почему.
2
Никогда не забывайте спрашивать самого себя, не предвзяты ли вы?
Над материалом работали
Переводчик — Александра Анисимова, научный редактор — Анна Игнатенко, верстка — Василий Козак, шеф-редактор — Марсель Ишимбаев.

Рекомендуем

Напишите редакции «Скептика»
Увидели ошибку? Мы написали текст по теме, про которую вы знаете больше нас? Хотите прислать инсайд? Напишите нам!
Как с вами связаться?
О чем хотите рассказать?
Это анонимно (в случае необходимости)