Александр Ларинцев (bioskeptic) wrote,
Александр Ларинцев
bioskeptic

Научные исследования как пруфы



В околонаучных спорах и дискуссиях в Интернете нормой этикета считается представление в пользу своей точки зрения доказательств или пруфов. Порой, участники спора ограничиваются несколькими ссылками, которые в лучшем случае ведут на Pubmed, в худшем - на Википедию. Зачастую пруфов нет никаких или они ведут на страничку крайне сомнительного ресурса, вроде англоязычного AgeOfAutism или русского homeoint. Это еще цветочки. Ведь можно столкнуться с научными публикациями, которые якобы доказывают эффективность гомеопатии или подтверждают связь прививок и аутизма. Эти статьи - головная боль начинающего скептика. Да и как самому не ошибиться с выбором доказательств, учитывая, что многие из нас не являются научными экспертами или тем более экспертами в различных сферах науки? В данной статье мы разберем способы оценки достоверности научной информации, не влезая в дебри статистики (статистика в научных публикациях - особый зверь, до которого мы еще дойдем). Надеюсь, что статья станет для вас тулбоксом, благодаря которому вы сможете улучшить свою аргументацию.

Итак, пруфы бывают разные. Вы можете ссылаться на первичные или вторичные источники. Первичные источники - это оригинальные статьи в рецензируемых научных журналах, где автор описывает исследования, в которой он участвовал лично. Вторичные источники - это обзорные статьи или мета-анализ, в которых анализируется и сравнивается множество первичных источников. Преимущество вторичных источников в том, что они за вас оценивают важный критерий достоверности научной информации - воспроизводимость результатов. Систематические обзоры и мета-анализы находятся на первом месте в иерархии надежности источников. Кстати, не бойтесь использовать в своих изысканиях Википедию - это отправная точка для поиска первичных (и вторичных) источников.

[Читать далее]
Один из лучших способов оценки качества источника - Импакт-фактор журнала - показатель престижности или важности журнала. Престижность журнала, в свою очередь, обеспечивает статье высокую проверяемость и цитируемость, так как она по умолчанию привлечет внимание лучших ученых мира. Конечно, плохие статьи попадаются в журналах с высоким импакт-фактором, но они, как правило, довольно быстро выводятся на чистую воду. Импакт-фактор 50 означает, что статьи в журнале в среднем цитируются 50 раз за определенный год. Лидеры среди мультидисциплинарных журналов (на 2014 год) - Nature (36.97), Science (33.61) и PNAS (9.67). Но тут есть нюанс. У довольно качественных журналов, посвященных узкому профилю, будет низкий импакт-фактор, и нужно помнить об этом. Кстати, лучше обходить стороной мета-анализы в журналах с низким импакт-фактором, потому что систематические обзоры требуют от авторов мощных статистических навыков. Легко сделать плохой мета-анализ и опубликоваться в "мурзилке", и трудно - просунуть его в качественный рецензируемый журнал. Хорошая наука всегда сложна.

Хорошо бы провести проверку на авторитет. Окей, мы все слышали, что апелляция к авторитету - плохо. Но представьте: вы едете по мосту и вы максимально уверены в том, что под вашим автомобилем он не рухнет. Вы заочно доверяет экспертам, которые строили мост. Особенно если знаете, что они уже строили мосты. Аналогично с научными статьями. В базах статей можно провести поиск по определенным авторам, и узнать их послужной список, и как хорошо они цитируются. Кроме того, в любой статье дается информация, что за организация обеспечила авторам все необходимое для исследования. Если вы видите упоминание таких сомнительных некоммерческих учреждений, как, например, Фонд "Матери против прививок", то здесь определенно замешан конфликт интересов, а значит результаты исследований, удовлетворяющие положениям таких организаций, едва ли стоят доверия.

Для простоты и удобства можно выделить иерархию источников, начиная с самых надежных. Особенно этот список пригодится в "кулачном бое" с вашим оппонентом, на каждый его источник старайтесь ответить источником "повыше". Это позволит избежать ошибки эквивалентности, когда хорошо цитируемому исследованию в рецензируемом журнале противопоставляют "мурзилку" и считают, что, таким образом, ответили достойно. Рассмотрим пока только список медицинских источников, предложенных Skeptical Raptor's Blog :

➡ Систематические обзоры и мета-анализ в журналах с достаточным импакт-фактором (не ниже 10). Если вы сражаетесь против антипрививочников, то рекомендую поискать источники в Annual Review of Immunology (текущий импакт-фактор - 39.33);
➡ Высококачественные рандомизированные контролируемые испытания с окончательными результатами. Эти исследования желательно должны включать огромные выборки (примерно 1000 объектов в каждой группе), показывать клинически значимый эффект, а доверительные интервалы не должны перекрывать друг друга. Ну и конечно, они должны быть опубликованы в журналах с высоким импакт-фактором;
➡ Рандомизированные контролируемые испытания с промежуточными результатами. Небольшие исследования, которые только предполагают наличие какого-либо эффекта. Результаты нуждаются в дальнейшем подтверждении;
➡ Когортные исследования. Исследуется фактор риска во взаимосвязи с определенной группой здоровых людей для оценки абсолютного риска подхватить эту болезнь. Проводятся с целью опровержения причинно-следственной взаимосвязи, например, что вакцины вызывают аутизм. Выборка может быть в тысячи и миллионы объектов;
➡ Исследования "случай-контроль". Аналитическое исследование, сравнивающее людей с заболеванием (случай) с людьми без заболевания (контроль);
➡ Кросс-секционное исследование. Метод исследования большой популяции в одной временной отметке с целью сбора данных о людях на различных стадиях жизни или в различных обстоятельствах;
➡ Case report. Доклад о наблюдаемом медицинском случае. Не рекомендуется к использованию в качестве пруфа;
➡ Исследования на животных и клеточных культурах. Это всего лишь отправная точка, поскольку такие исследованию не дают доказательств клинического эффекта на человека;
➡ Стендовые доклады;
➡ Пресс-релизы или новостные сообщения;
➡ Блоги, сторонние сайты, социальные сети, ложные эксперты.

Итак, в дискуссиях скептик должен придать вес своим словам не только количеством доказательств, но и качеством самих доказательств. Если у вас на руках несколько систематических обзоров, а у оппонента не очень качественные статьи или, что еще хуже, цитаты из новостей, то это уже не дискуссия. Не стоит тратить на нее время.



Tags: критическое мышление, научная медицина
Subscribe
  • Post a new comment

    Error

    default userpic

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments