Ошибки приводящие к недостоверности результата исследования

В
ходе лабораторных исследований возможны
ошибки. Окончательный результат каждого
определения состоит
из
действительных величин и определенной
ошибки исследования, являющейся его
составной частью. Оценка достоверности
результата и его клиническая оценка
требуют знания видов ошибок, которые
могут возникать в течение исследования.
Ошибки клинических исследований можно
классифицировать следующим образом:

—
ошибка предшествующая исследованию;

—
аналитическая ошибка (лабораторная);

—
ошибка интерпретации.

1.
Ошибка перед проведением исследования.
Эта ошибка
охватывает группу факторов, которые
связаны с подготовкой больного к
обследованию, с забором и хранением
материала до начала анализа.

Факторы, приводящие к ошибке перед проведением исследования

при
подготовке пациента к исследованию:
нестандартное время суток, неучтённые
диета или приём лекарств и т.д.;
при
заборе материала: недостаточная
асептика, неправильно подготовленная
посуда для материала, гемолиз крови и
т.д.;
при
хранении материала: время, температура,
стерильность, раздельное хранение
различных образцов.

2.
Аналитическая ошибка (лабораторная).
Эта ошибка
связана с ходом исследования биологического
материала в лаборатории. Выделяют
несколько видов такой ошибки.

Систематическая
ошибка (точность) выражает
разницу между полученной и действительной
величинами. Источником систематической
ошибки являются особенности метода
или способы его реализации.

В
процессе лабораторных исследований
выявляют постоянно повторяющуюся
неточность. Она может касаться каждого
этапа процесса (производство
идентификаторов, приготовление и
определение стандарта) или может быть
связана с лабораторным оборудованием.

Примером
систематической ошибки метода может
быть определение концентрации глюкозы
по методу Хагедорна-Енсена. Этот метод
базируется на редуцирующих свойствах
глюкозы. Другие присутствующие в крови
вещества, имеющие редуцирующие свойства,
также принимают участие в реакции.
Поэтому результат определения глюкозы
этим методом будет завышенным.

Случайная
ошибка (повторяемость)
характеризует воспроизводимость
результатов между параллельными пробами
в данных условиях.

3.
Ошибка интерпретации результата.
Использование единичного результата
лабораторного анализа при диагностике
заболевания или мониторинге во время
лечения могут быть источником
многочисленных ошибок. Например,
физиологические колебания некоторых
показателей являются иногда довольно
значительными и могут влиять на
клиническую интерпретацию полученного
результата. Эти изменения могут быть
циклическими: часовые, дневные, сезонные.
В таких случаях требуется проведение
дополнительных исследований.

При
интерпретации результата всегда
необходимо учитывать
влияние употребляемых лекарств.
Существует два основных механизма
такого влияния.

Первый
механизм состоит во взаимодействии
лекарств или их продуктов с исследуемым
материалом и реактивами для анализа.

Второй
механизм состоит в фармакологическом
действии лекарств на организм пациента,
которые приводит к изменениям биохимических
показателей, не связанным с болезнью.

Таким
образом, каждый этап биохимического
исследования может быть источником
ошибки. Устранение основных причин
ошибок помогает свести их к минимуму и
позволяет грамотно интерпретировать
результаты анализов, а следовательно,
правильно использовать полученную
информацию для выявления, профилактики
и лечения заболеваний.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

Источник

Научный редактор

докт. мед. наук, доц. А.Ф. Завалко

Ежедневно в Москве проводятся сотни тысяч лабораторных исследований. В структуре Департамента здравоохранения города Москвы (ДЗМ) насчитывается 235 лабораторий, в которые поступают на анализ пробы из всех городских поликлиник и стационаров. Тысячи врачей получают результаты исследований как в бумажном, так и в электронном виде. В работу Московской лабораторной службы заложена многоступенчатая система контроля качества, практически исключающая вероятность ошибки. Однако зачастую пациенты приходят к выводу, что «в лаборатории что-то перепутали» и «анализы с ошибками». Попробуем разобраться, как анализы москвичей защищены от ошибок и на каком этапе может произойти сбой.

Какой путь проходит каждый анализ

Этап №1 – сбор или взятие биоматериала. К самостоятельно собранному биоматериалу относятся кал, моча и мокрота. Их пациент собирает сам, соблюдая при этом все правила и требования (в противном случае неправильный сбор материала может послужить причиной ошибки в результатах анализов).

Кровь берется у пациента в условиях поликлиники, стационара или на дому лаборантом или медицинской сестрой, при этом соблюдаются определенный порядок и правила, нарушение которых тоже ведет к ошибке в анализе.

Для анализа используется кровь из вены или из пальца. Анализ из венозной крови считается более точным.

Чтобы сдать более сложные биоматериалы, такие как ликвор и выпотную жидкость, пациент должен на короткий срок поступить в стационар.

Этап №2 – транспортировка. Только некоторые, самые простые анализы выполняются в лабораториях при поликлиниках. Большинство же взятых на анализ биоматериалов отправляются в окружные лаборатории.

Этап №3 – анализ. Пробы исследуются на специальных анализаторах, результаты готовы чаще всего в течение 24 часов после доставки проб
в лабораторию (за исключением особых трудоемких анализов, подготовка результатов которых может занять 10–14 суток).

Этап № 4 – получение результатов лечащим врачом (в
бумажной или электронной форме). В первом случае результаты на бумажном носителе привозят в поликлинику, где их отдают врачу, назначившему исследование, во втором – после подписания полученных результатов в лаборатории он автоматически поступают в электронную карту пациента и становятся доступны для просмотра любым врачом. На 2022 год информатизация клинико-лабораторной службы в большей части завершена, поэтому большинство заключений поступает в электронную медицинскую карту пациента и в ЕМИАС, где они становятся доступны для врача.

Полученные результаты анализов врач использует для подтверждения диагноза и назначения пациенту лечения.

Этап №5 – пациент на приеме у врача может ознакомиться с результатами исследования и получить надлежащую помощь. Пациент также может ознакомиться с результатами исследования в своей электронной медицинской карте через портал mos.ru и затем получить назначения врача.

Итак, отследив путь проб, которые собираются для анализа, мы можем сказать: вероятность ошибки есть на каждом из этапов.

Как исследование вашего биоматериала защищено от возможных ошибок

Лабораторный этап исследования – самый защищенный от ошибок. При доставке биоматериала они принимаются специалистом лаборатории (биоматериал может быть не принят, если лаборант заметит нарушение правил маркировки, транспортировки и т.д.). Затем биоматериал оказывается в ведении специалиста, который проверяет работу аппаратуры, контролирует автоматизированные процессы и, в целом, почти не прикасается к пробиркам.

В клинико-диагностических лабораториях системы ДЗМ действует отработанная система контроля качества и исключения ошибок. Анализ проб проводится только при помощи автоматических высокотехнологичных анализаторов, которые проходят систематическую проверку, – в начале каждого рабочего дня и перед каждой загрузкой приборов. Все реагенты и расходные материалы проверятся анализатором на пригодность к работе. При наличии малейшего подозрения на ошибку анализатор останавливает работу.

Всю информацию анализатор передает в базу данных лабораторной информационной системы. Если, несмотря на все меры предосторожности, специалист лаборатории замечает в базе сомнительные результаты, он проводит повторный анализ имеющейся пробы.

На каком этапе возможны ошибки

Согласно статистике, в настоящее время не менее 65 % всех ошибок, связанных с лабораторными исследованиями, происходит на долабораторном этапе. Какими они бывают?

Пациент не был надлежащим образом подготовлен к сдаче биоматериала. Например, курил, не соблюдал диету, сдавал кровь не натощак и т. д. Все эти условия отражаются на результатах исследования.
Погрешности сбора и хранения биоматериала. Например: немедицинский контейнер, нестерильная тара (для определенных анализов, например, бактериальный посев), слишком длительная транспортировка, неверный температурный режим в холодильнике, где хранились пробы, нарушения условий при перевозке и т. д.
Была допущена ошибка при оформлении проб или сопроводительных бумаг. Например: несоответствие номера пробы и номера направления, фамилии на пробе и на направлении, опечатка в фамилии, отсутствие фамилии врача или неточное указание медицинской организации, в которую следует доставить результаты, несовпадение номера страхового полиса с фамилией пациента и т. д.

Точность и педантичность при оформлении проб и документов для проведения исследования – задача сотрудников медицинской организации, которая заказывает анализ.

Что обычно настораживает пациента

Разница в результатах. Например, вы сдали анализы вчера и сегодня, и в показателях есть разница. Или – вы сдали биоматериал в городской лаборатории и в коммерческой лаборатории, и результаты снова разнятся.

Подобные отличия не говорят об ошибке: человеческий организм – это живая система, в ней постоянно происходят изменения. Если пациент болен – заболевание развивается, меняется состав крови.

Лабораторный показатель не должен быть стабилен даже в течение дня, не говоря уже о разнице в 1–2 дня. Лаборатории тоже не работают одинаково: разные приборы, разные реагенты, разные технологии выполнения одних и тех же тестов, у всех свой протокол, поэтому результаты анализов в разных лабораториях отличаются в рамках допустимого значения.

Как сократить вероятность ошибки в лабораторных исследованиях:

Внимательно отнеситесь к правилам подготовки к анализу, соблюдайте все предписания.

Правильно собирайте биоматериал, используйте только специальные медицинские контейнеры (при назначении определенных анализов – только стерильные).
Если вам выдали направление в бумажном виде, тщательно проверяйте записи на анализ: как написаны ваша фамилия и имя, возраст, номер страхового полиса. Эти ошибки в настоящий момент тоже встречаются редко, однако не лишним будет проявить бдительность.
Если вы сдаете повторный анализ в частной лаборатории, учтите, что точное совпадение результатов – скорее неадекватная ситуация. Хороший результат работы обеих лабораторий – небольшие отклонения в рамках допустимого диапазона значений.
Не пытайтесь самостоятельно прочесть результат анализа. Если у врача будут трудности с интерпретацией результатов, он всегда может обратиться за консультацией к специалисту лаборатории. Диагноз может поставить только ваш лечащий врач.
Никогда не просите медицинского работника трактовать результаты анализа по телефону или поставить диагноз только по одному результату анализа: это просто невозможно.

Следует помнить, что на основании анализов выставлять диагноз неверно! Клинический диагноз выставляется врачом с опорой на клинику, результаты инструментальных исследований и результаты лабораторных исследований.

Никогда не ставьте себе сами диагнозы, не пытайтесь делать выводы только по результатам лабораторных заключений. Позвольте врачу сделать свое дело и диагностировать заболевание в соответствии со всеми принятыми правилами.

Будьте здоровы!

Список литературы:

Ибрагимова Э.И., Аимбетова Г.Е., Байсугурова В.Ю. [и др.]. Ошибки в лабораторной медицине: обзор литературы // Наука о жизни и здоровье. 2020. № 1. С. 103–110. DOI:10.24411/1995-5871-2020-10072.
Бражникова О.В., Гавеля Н.В., Майкова И.Д. Типичные ошибки на преаналитическом этапе проведения лабораторных исследований // Педиатрия. Приложение к журналу Consilium Medicum. 2017. №. 4. С. 84–90.

Источник

ЛЕЧЕНИЕ И РИСК: ПРИЧИНЫ НЕДОСТОВЕРНОСТИ РЕЗУЛЬТАТОВ — СИСТЕМАТИЧЕСКИЕ И СЛУЧАЙНЫЕ ОШИБКИ

План Случайная ошибка Систематическая ошибка Оценка влияния систематической и случайной ошибки Методы снижения вероятности возникновения систематической ошибки в исследованиях, посвященных эффективности лечения и риску

Случайная ошибка В любом эксперименте возможна случайная ошибка. По аналогии с подбрасыванием монеты: даже у идеально сбалансированной монеты орел и решка не всегда выпадают одинаково часто, т. е. результат зависит от случая (орел может выпадать 8, реже — 9 и совсем редко — 10 из 10 раз. ). Т. е. результаты будут различаться в связи с влиянием случайных факторов.

Пример Данные, полученные в рандомизированном контролируемом испытании (РКИ), свидетельствуют о том, что в группе лечения умирают 10 из 100, а в группе контроля — 20 из 100 больных. Значит ли это, что проводимая терапия действительно снижает уровень смертности на 50%?

Возможно, но нельзя быть в этом уверенным, так как достоверно неизвестно, насколько эффективно лечение (если оно вообще эффективно). «Почему никогда нельзя быть абсолютно уверенными в размере эффекта лечения, независимо от статистической мощности исследования и того, насколько хорошо оно было спланировано? » Потому что всегда возможна случайная ошибка.

Систематическая ошибка Что имеют в виду, когда говорят о достоверности или обоснованности результатов исследования? Под достоверностью подразумевается степень, в которой результат исследования позволяет правильно ответить на поставленный вопрос или измерить тот или иной показатель. Достоверность используется в качестве технического термина, с помощью которого описывают вероятность возникновения систематической ошибки.

В отличие от случайной систематическая ошибка приводит к появлению систематического отклонения от истинного значения в определенную сторону. В исследованиях, посвященных оценке эффективности и безопасности лечения, наличие систематической ошибки сопровождается недооценкой или переоценкой его преимуществ или недостатков.

Различия между группами лечения и контроля, влияющие на прогноз Систематическая ошибка может быть обусловлена тем, что группы лечения и контроля изначально различались по факторам, влияющим на клинический исход (прогноз): пол, возраст, наличие сопутствующих заболеваний, тяжесть заболевания и т. д.

Например, риск развития инсульта будет выше у больных пожилого возраста, мужчин, при наличии выраженных патологических изменений сосудов (атеросклероз) и артериальной гипертонии. Каждая из перечисленных характеристик называется прогностическим фактором, или фактором, определяющим клинический исход.

Если в группе лечения атеросклероз более выраженный, или возраст участников старше, в ней будет выше частота развития неблагоприятных клинических исходов, чем в группе контроля. В данном случае возникнет систематическая ошибка, приводящая к занижению эффективность лечения, а полученные результаты будут неистинными (недостоверными).

Если в контрольную группу будет включено больше мужчин или больных с более высокими средними показателями артериального давления, чем в группу вмешательства, возникнет систематическая ошибка, ведущая к переоценке эффективности лечения.

Эффект плацебо Даже в том случае, когда факторы риска в основной и контрольной группах не различаются, эффективность вмешательства может быть оценена неверно. Так, больные, уверенные в получении активного лечения, могут ожидать наступления улучшения, и само это ожидание приведет к положительным переменам в их самочувствии и даже функциональном статусе. Таким образом, эффект плацебо может приводить к завышению реальной эффективности лечения.

Дифференцированный подход к проведению вмешательств (дополнительные методы лечения, влияющие на частоту развития оцениваемого клинического исхода) Другой причиной появления систематической ошибки может стать дифференцированный подход (дополнительные вмешательства, отличные от тех, которые изучаются в данном исследовании) в группах лечения и контроля. Например, если проведении испытания нового препарата, снижающего риск развития инсульта, в основную группу будет включено больше больных, которые получают аспирин или клопидогрел, чем в группу контроля, оценка эффективности изучаемого лечения будет завышена, поскольку прием аспирина и клопидогрела снижает риск развития инсульта. Однако, если в основной группе большая доля больных будет применять изотонический раствор натрия хлорида в виде глазных капель или антацидные препараты, то это никак не отразится на вероятности появления систематической ошибки.

Таким образом, результаты исследования могут быть смещены под влиянием систематической ошибки, если в группах сравнения различаются исходные характеристики больных или сопутствующие вмешательства, влияющие на прогноз (т. е. присутствует искажающий фактор). Во избежание систематической ошибки группы должны быть сходными (сравнимыми) до начала исследования и оставаться таковыми на всем его протяжении.

Дифференцированный подход к оценке изучаемого клинического исхода Причиной систематической ошибки также может стать дифференцированный подход к определению изучаемого клинического исхода. Например, решение о том, перенес ли больной преходящее нарушение мозгового кровообращения или микроинсульт, может быть принято в результате совместного обсуждения. Если же в группе контроля данный клинический исход расценивается как инсульт, а в группе лечения — как преходящее нарушение мозгового кровообращения, эффективность терапии будет переоценена.

Выбывание участников из исследования Систематическая ошибка может появляться в тех случаях, когда из исследования выбывает большое число больных. Если частота оцениваемого неблагоприятного клинического исхода у выбывших больных и остальных участников неодинакова, полученные результаты могут оказаться ошибочными.

Оценка влияния систематической и случайной ошибки При изучении принципов доказательной медицины можно столкнуться с непониманием концепций и путаницей в терминологии. На вопрос, что делает результаты исследования достоверными, студенты часто отвечают: «Большие размеры выборки». Однако маленькая выборка не способствует появлению систематической ошибки (и потому не снижает достоверность полученных данных), но повышает риск возникновения случайной ошибки.

Можно снизить влияние случайной ошибки и повысить достоверность результатов отдельных РКИ, обобщив их результаты, т. е. провести мета-анализ.

Методы снижения вероятности возникновения систематической ошибки в исследованиях, посвященных эффективности лечения и риску Т. о. , систематические ошибки возникают вследствие того, что группы лечения и контроля исходно различаются по тем или иным прогностическим факторам либо данные различия появляются в ходе исследования. Каким образом можно уменьшить вероятность возникновения систематической ошибки?

Методы снижения вероятности возникновения систематической ошибки в исследованиях, посвященных оценке эффективности лечения и риска Причина систематической ошибки Методы снижения вероятности возникновения систематической ошибки в исследованиях, посвященных эффективности лечения Методы снижения вероятности возникновения систематической ошибки в исследованиях, посвященных вредным воздействиям или побочным эффектам Рандомизация Коррекция с учетом различий по прогностическим факторам при статистической обработке данных Исходные различия Различие прогностических факторов в основной и контрольной группах

Причина систематической ошибки Методы снижения вероятности возникновения систематической ошибки в исследованиях, посвященных эффективности лечения Методы снижения вероятности возникновения систематической ошибки в исследованиях, посвященных вредным воздействиям или побочным эффектам Различия, возникающие в процессе исследования Эффект плацебо Применение слепого метода в отношении больных Выбор оцениваемых клинических исходов, в меньшей степени подверженных влиянию эффекта плацебо (например, смерть) Сопутствующее вмешательство Применение слепого метода в отношении врачей Регистрация различий в проводимой терапии и внесение соответствующих поправок при проведении статистического анализа

Причина систематической ошибки Методы снижения вероятности возникновения систематической ошибки в исследованиях, посвященных эффективности лечения Различия, возникающие в процессе исследования Систематическая Применение слепого метода в ошибка вследствие отношении дифференцированного исследователей, подхода к оценке оценивающих клинические клинических исходов исходы Выбывание больных из исследования Наблюдение всех больных до конца исследования Методы снижения вероятности возникновения систематической ошибки в исследованиях, посвященных вредным воздействиям или побочным эффектам Выбор оцениваемых клинических исходов, в меньшей степени зависящих от мнения исследователей (например, смерть) Наблюдение всех больных до конца исследования

В исследованиях эффективности новых методов лечения часто удается с успехом применять перечисленные методы. При этом можно снизить вероятность включения в группы вмешательства и плацебо больных с различным влиянием прогностических факторов с помощью рандомизации. Эффект плацебо уменьшается, если внешний вид активного препарата и плацебо будет одинаковым. Использование слепого метода по отношению к врачам, назначающим активное лечение или его имитацию, способно устранить возможность избирательного применения сопутствующих вмешательств, а по отношению к исследователям, оценивающим клинические исходы — значительно уменьшить вероятность возникновения систематической ошибки вследствие дифференцированного подхода к оценке клинических исходов.

Как правило, в исследованиях, посвященных вредным воздействиям или осложнениям лечения, методы для снижения вероятности возникновения систематической ошибки реже достигают своей цели, чем при оценке эффективности вмешательств. Исследователям приходится сравнивать данные о больных, подвергнутых изучаемому воздействию или вмешательству по их собственному выбору либо под действием обстоятельств. При этом повлиять на возможные различия по клиническим исходам можно только путем внесения при статистическом анализе соответствующих поправок на разное влияние прогностических факторов, ипользование слепого метода невозможно, и чтобы снизить влияние эффекта плацебо и вероятность появления систематической ошибки, связанной с различным определением клинических исходов, необходимо выбирать те из них (например, смерть), которые менее подвержены влиянию указанных факторов.

Описанные выше правила применимы не всегда. В некоторых случаях исследователи находят затруднительным, а то и невозможным, рандомизированно включать больных в группы лечения и контроля, предпочитая проводить обсервационные исследования. Независимо от того, рассматриваются вопросы эффективности или безопасности вмешательств, достоверность результатов РКИ почти всегда выше достоверности обсервационных исследований.

Для самостоятельной работы. В результате применения препаратов, содержащих витамин Е, снижается ли смертность от ишемической болезни сердца? 1. Knekt P. , Reunanen A. , Jarvinen R. , Seppanen R. , Heliovaara M. , Aromaa A. Antioxidant vitamin intake and coronary mortality in a longitudinal population study. Am J Epidemiol 1994; 139. 1180— 1189. 2. Yusuf. S. , Dagenais G. , Pogue. J. , Bosch J. , Sleight P. Vitamin E supplementation and cardiovascular events in high-risk patients. The Heart Outcomes Prevention Evaluation Study Investigators. N Engl J Med 2000; 342: 154 -160.

Для самостоятельной работы. Проведение заместительной гормональной терапии в постменопаузе снижает риск смерти от ИБС? 3. Stampfer M. J. , Colditi G. A. Estrogen replacement therapy and coronary heart disease: a quantitative assessment of the epidemiologic evidence. Prev Med 1991 ; 20: 47— 63. 4. Hulley S. , Grady D. , Bush Т. , et al. Randomized trial of estrogen plus progestin for secondary prevention of coronary heart disease in postmenopausal women. Heart and Estrogen/progestin Replacement (HERS) Research Group. JAMA 1998; 280: 605— 613.

Источник

Согласно данным ВОЗ, удельный вес лабораторных анализов составляет 75–80 % от общего числа диагностических исследований, выполняемых в медорганизациях.

Служба значительно эволюционировала: если раньше лаборатория была придатком в поиске факторов риска, постановке диагноза, назначении лечения, то сегодня она является объединяющим механизмом на всех этапах взаимодействия врача и пациента. Централизация лабораторных исследований — мировая тенденция реформирования клинической лабдиагностики. Особое значение имеет преаналитический этап клинических лабораторных исследований.

Лабораторная диагностика

Важная составляющая

Основной целью централизации лабораторных исследований является повышение эффективности лечебно-диагностического процесса за счет расширения объема лабораторной, диагностически значимой информации, которая поступает лечащим врачам из централизованной лаборатории.

Согласно постановлению коллегии Минздрава от 25.07.2018 № 14.4 «О совершенствовании работы службы лабораторной диагностики», централизация лабораторий, направленная на увеличение доступности лабораторных исследований, определена основным стратегическим моментом развития службы клинической лабораторной диагностики страны.

Важнейшей составляющей централизации является процесс взаимодействия с внешним заказчиком (медучреждением) на преаналитическом этапе оказания лабораторных услуг. Преаналитический этап включает прием пациента врачом, назначение лабораторных исследований, заполнение бланка направления, получение пациентом инструкций об особенностях подготовки к сдаче анализов или сбору биологического материала, взятие проб, доставку материала в лабораторию.

При централизации для лаборатории существенно увеличивается число пунктов сбора проб биологического материала, значительно расширяется спектр заказываемых тестов, изменяется структура проб биологического материала, ритм и временной период их поступления в лабораторию.

Взаимодействие централизованной лаборатории с заказчиком на преаналитическом этапе предполагает обучение врачей, медсестер, курьеров, обеспечение их инструкциями по подготовке пациентов к лабораторным исследованиям, правилам взятия, сбора и подготовки проб к транспортировке, организацию логистики доставки. Порядок организации взятия проб биологического материала и доставки его в централизованную лабораторию является одним из важнейших моментов обеспечения правильного взаимодействия лаборатории и учреждения здравоохранения.

Централизация лабораторных исследований предусматривает особые требования к организации преаналитического этапа, строгое выполнение которых позволит обеспечить получение качественных результатов. Любые неточности на этапе назначения лабораторных исследований будут существенным образом снижать эффективность лечебно-диагностического процесса.

Большинство ошибок в процессе лабораторного анализа — от назначения теста до интерпретации результатов — происходит до того, как образец попал в лабораторию, т. е. вне прямого контроля лаборатории. По данным различных исследований, на преаналитический этап приходится от 46 % до 68 % всех лабораторных ошибок.

Наиболее частые ошибки преаналитического этапа:

отсутствие образца или перечня назначенных исследований;
ошибки идентификации образца (этикетка,сопроводительный документ);
гемолиз in vitro (в пробирке);
сгустки в образце крови/плазмы;
неправильная пробирка/контейнер;
недостаточное количество образца (объем пробы);
неправильное соотношение кровь/антикоагулянт;
недостаточное перемешивание образца после взятия;
неадекватные условия хранения и транспортировки;
неправильный режим центрифугирования (время/скорость).

Внутренний стандарт

Клинико-диагностическая лаборатория (КДЛ) РНПЦ РМиЭЧ является многопрофильной, с 2016 года выполняет централизованные исследования для взрослых и детей Новобелицкого и Советского районов Гомеля. Заказчиками являются 10 поликлиник. Исследования включают широкий спектр биохимических (специфических белков и метаболитов), иммунохимических (гормоны, онкомаркеры, витамины и др.), коагулологических (коагулограмма, агрегатограмма, факторы свертывания и антикоагулянты, D-димеры и др.) лабораторных тестов.

Разработан внутренний стандарт, который был включен в текст совместного приказа РНПЦ РМиЭЧ и ГУЗО Гомельского облисполкома (№ 117 и № 167 от 05.02.2019) «О централизации лабораторных исследований». Определена схема проведения централизованных лабораторных исследований.

Для обеспечения доступности для врачей-клиницистов информации о полном спектре выполняемых тестов сотрудниками лаборатории разработаны бланки направлений.

Для обеспечения контроля качества выполнения централизованных исследований лаборатория постоянно анализирует результаты применения основных индикаторов качества преаналитического этапа:

ошибки идентификации и транскрипции тестов;
несоответствие направления установленной форме;
неверный тип, недостаточный объем образца;
повреждение образца/направления в ходе транспортировки;
образец, направление для образца не получены;
сгусток в образце.

По результатам анализа, проведенного КДЛ РНПЦ РМиЭЧ, несоответствия в целом выявляются для 1,3 % доставленных образцов сыворотки/плазмы. Среди индикаторов с наибольшей частотой встречаются ошибки транскрипции тестов, составляющие 1 %:

отсутствие отметок о необходимых тестах;
нечеткий запрос на исследование;
незаполненные/не полностью заполненные паспортные данные пациента (не обозначен пол, возраст, не указан диагноз, отсутствует печать врача).

Реже определяются ошибки идентификации пробы — нарушение маркировки, в т. ч. расхождения между нумерацией направления и пробы. В 0,34 % случаев пробы не доставлялись в лабораторию, в 0,3 % — для проб отсутствовали направления на исследования. Несмотря на то что выбраковка по причине гемолиза определена на этапе взятия крови и первичной пробоподготовки, в лабораторию в 0,31 % случаев доставляются гемолизированные образцы. В 0,5–1 % случаев в пробах сыворотки встречаются нити фибрина, сгустки, осадок эритроцитов. Регистрируются случаи доставки количества сыворотки, недостаточного для выполнения назначенных тестов. Такие несоответствия являлись результатом неполного соблюдения поликлиниками правил пробоподготовки: выдержки необходимого времени сворачивания крови, соблюдения режима центрифугирования крови и пипетирования сыворотки.

Для образцов сыворотки с выявленными ошибками транскрипции тестов лаборатория выясняет необходимую информацию по телефону, после чего образцы, как правило, принимаются в работу. Указанные действия позволили минимизировать потери образцов по причине нарушений правил преаналитики. Выбраковка с оформлением акта отказа в приеме биологического материала с объяснением причин проводится для гемолизированных образцов либо для случаев, когда доставляется только проба сыворотки без направления и наоборот. Пробы сыворотки со сгустками, эритроцитами подвергаются повторному центрифугированию, после чего выполняются исследования.

Источник

Исследования могут содержать неверные выводы, но что если в подавляющем большинстве случаев публикуемые результаты современных исследований неверны? Джон Иоаннидис утверждает, что в последнем нет ничего удивительного. Его статья «Почему большинство публикуемых результатов исследований неверны» стала самой читаемой в истории журнала PLoS Medicine, набрав более 1 миллиона просмотров. В ней он показывает, почему большинство публикуемых результатов исследований недостоверны, и приводит не только факторы, которые могут сделать выводы исследований более или менее достоверными, но и простые соотношения, позволяющие сделать количественную оценку вероятности недостоверности результатов исследования.

Резюме

Озабоченность тем, что большинство публикуемых результатов исследований неверны, возрастает. Вероятность того, что утверждение верно, может зависеть от статистической мощности, наличия систематических ошибок, количества других исследований по тому же вопросу и, что немаловажно, соотношения количества реальных связей к случаям отсутствия связей среди всех проверенных в каждой научной области. В связи с этим результат исследования с меньшей вероятностью будет достоверным в следующих случаях: если исследования в данной области небольшие; при меньшей величине эффекта; при большем количестве и меньшем предварительном отборе исследуемых связей; при большей гибкости дизайна исследования, определений, выводов и аналитических методов; при наличии явной финансовой или любой другой заинтересованности и предвзятости; и при вовлечённости большего количества исследовательских групп в научной области в погоне за статистической значимостью результата. Смоделированные ситуации показывают, что для большинства планов и условий исследований результаты с большей вероятностью будут объявлены недостоверными, чем достоверными. Более того, для многих научных областей заявленные результаты исследований часто могут быть не более чем тщательными измерениями преобладающего смещения. В настоящей статье я расскажу о возможном влиянии этих проблем на проведение исследований и интерпретацию результатов.

Иногда публикуемые результаты исследований впоследствии опровергаются, что приводит к замешательству и разочарованию. Опровержение и разногласия касаются планов проведения ряда исследований, от клинических испытаний и традиционных эпидемиологических исследований [1–3] до самых современных молекулярных исследований [4, 5]. Возрастает беспокойство по поводу того, что неверные выводы могут содержаться в большинстве или, возможно, даже в подавляющем большинстве публикуемых современных исследований [6–8]. Однако это неудивительно. Можно доказать, что большинство публикуемых результатов исследований недостоверны. Здесь я исследую ключевые факторы, оказывающие влияние на проблему, и сформулирую выводы.

Моделирование принципов получения ложноположительных результатов

Несколько методологов указывают [9–11], что низкий уровень репликации (отсутствие подтверждения) результатов − следствие удобной, но необоснованной стратегии заявления об окончательном результате на основании единственного исследования, оцениваемого по формальной статистической значимости, обычно для p-значения менее 0,05. P-значения не позволяют максимально точно представить и обобщить результаты исследования. Однако, к сожалению, существует распространённое мнение, что статьи о медицинских исследованиях должны быть интерпретированы исходя из одних только p-значений. Здесь результаты исследований определяются как любые формально статистически значимые отношения, например, эффективное вмешательство, информативные предикторы, факторы риска или взаимосвязи. «Отрицательное» исследование также очень полезно. В действительности слово «отрицательное» неверно передаёт смысл, широко распространена его неправильная интерпретация. Однако в этой работе нас будут в большей мере интересовать связи, о существовании которых заявляют исследователи, а не нулевые результаты.

Можно доказать, что большинство публикуемых исследований дают недостоверные результаты.

Как было показано ранее, вероятность того, что результаты исследования действительно достоверны, зависит от априорной вероятности его достоверности (до проведения исследования), статистической мощности и уровня статистической значимости [10, 11]. Рассмотрим таблицу 2х2, в которой результаты исследования сравниваются с золотым стандартом реальных связей в научной области. О наличии связей в определённой области исследования могут быть выдвинуты как верные, так и ложные гипотезы. Допустим, R − отношение числа «реальных связей» к числу «отсутствующих связей» среди всех тестируемых отношений. R − характеристика области и может многократно меняться, во многом в зависимости от того, рассматриваются ли наиболее вероятные отношения или исследуется только одна или несколько реальных связей среди сотен и миллионов гипотетических. Также для простоты вычислений рассмотрим ограниченные области, где либо есть только одна реальная связь (среди многочисленных гипотетических), либо мощности исследования достаточно для нахождения любой из нескольких существующих реальных связей. Предтестовая вероятность того, что связь реальна, равна R/(R + 1). Вероятность обнаружить в ходе исследования реальную связь, отражает мощность 1 − β (единица минус вероятность ошибки второго рода). Вероятность заявления о наличии связи, когда её в действительности не существует, отражает вероятность ошибки первого рода, α. Предположим, что в ходе исследования проверяются c отношений, ожидаемые значения таблицы 2х2 приведены в Таблице 1. После заявления в результатах исследования о достижении формальной статистической значимости, посттестовая вероятность того, что оно достоверно, будет являться положительным прогностическим значением (PPV). PPV является также дополнительной вероятностью того, что Вахольдер (Wacholder) с соавторами назвали вероятностью ложноположительного результата [10]. Как следует из таблицы 2х2, PPV получается равным PPV = (1 − β)R/(R − βR + α). Таким образом, результат исследования тем с большей вероятностью будет истинным, чем ложным, если (1 − β)R > α. Поскольку обычно подавляющее большинство исследователей ориентируются на значение a = 0,05, это означает, что результат исследования будет с большей вероятностью истинным, чем ложным, если (1 − β)R > 0,05.

Таблица 1. Результаты исследования и реальные связи.

Гораздо реже принимается в расчёт то, что смещения и частота повторных независимых проверок разными группами исследователей по всему миру может ещё больше исказить картину и привести к снижению вероятности того, что результаты исследования на самом деле будут достоверны. Мы попытаемся смоделировать эти два фактора в контексте похожей таблицы 2х2.

Смещения

Сперва определим смещения как сочетание различных факторов, связанных с планом исследования, данными, анализом и представлением результатов, приводящее к выводам, к которым исследователи не должны были приходить. Пусть u — это доля исследованных анализов, которые не должны были стать «результатами исследования», но, тем не менее, были представлены и опубликованы как таковые из-за систематических ошибок (смещений). Их не следует путать со случайной изменчивостью, которая приводит к ложности некоторых выводов даже несмотря на безупречность плана, данных, анализа и представления результатов. Смещения могут повлечь за собой манипулирование при проведении анализа или представлении результатов. Выборочное или искажённое представление результатов — типичная форма смещения подобного рода. Можно предположить, что u не зависит от того, существует реальная связь или нет. Это предположение небезосновательно, поскольку обычно нельзя узнать, какая связь на самом деле реальна. При наличии смещения (Таблица 2) мы получаем PPV = ([1 − β]R + uβR)/(R + α − βR + u − uα + uβR), которое снижается по мере повышения u, до тех пор, пока 1 − β ≤ α, то есть, 1 − β ≤ 0,05 для большинства случаев. Таким образом, с возрастанием смещения шанс, что результат исследования будет верен, существенно снижается. Это показано для различных уровней мощности и различных значений предтестовой вероятности на Рисунке 1. И наоборот, достоверные результаты исследования могут случайно быть аннулированы из-за обратного смещения. К примеру, связи могут остаться незамеченными при большой погрешности измерения [12], или если исследователи неэффективно используют данные, или не выявляют статистически значимые связи, или возникают конфликты интересов, способные «похоронить» значимые результаты [13]. Крупных надёжных эмпирических свидетельств того, как часто такие обратные смещения могут случаться в различных областях исследований, нет. Но, наверное, будет справедливым сказать, что обратные смещения не слишком часты. Более того, погрешности измерения и неэффективное использование данных, вероятно, случаются гораздо реже в связи с тем, что погрешность измерения с развитием технологического прогресса в молекулярную эпоху снизилась, и исследователи стали намного внимательнее подходить к подбору данных. Независимо от этого, обратное смещение может быть смоделировано так же, как и описанные выше смещения. Обратные смещения также не следует путать со случайной изменчивостью, что может привести к случайному упущению реальной связи.

Рисунок 1. PPV (вероятность того, что результат исследования достоверен) как функция предтестовой вероятности для различных уровней смещения, u. Графики соответствуют мощности 0,20, 0,50 и 0,80.

Таблица 2. Результаты исследования и реальные связи при наличии смещения.

Проверка несколькими независимыми группами

Несколько независимых групп могут ставить для исследования одни и те же вопросы. Благодаря глобализации научных исследований стало практически правилом, что несколько исследовательских групп, а часто десятки, могут работать над одними и теми же или схожими вопросами. К сожалению, в некоторых областях до сих пор предпочитают сосредоточиться на изолированных исследованиях, проводимых отдельными группами, и интерпретировать результаты исследования изолированно. Количество вопросов, рассмотренных хотя бы в одном исследовании с заявленными результатами, возрастает, и эти результаты рассматриваются односторонне. Несложно рассчитать вероятность того, что хотя бы одно среди нескольких проведённых по одному и тому же вопросу исследований, заявляет о статистически значимом результате. Для n независимых исследований равной мощности таблица 2х2 показана в Таблице 3: PPV = R(1 − βn)/(R + 1 − [1 − α]n − Rβn) (без учёта смещения). По мере увеличения числа независимых исследований PPV снижается до 1 − β < a, то есть обычно 1 − β < 0,05. Это показано для разных уровней мощности и разных уровней предтестовой вероятности на Рисунке 2. Для n исследований разной мощности условие βn заменяется на произведение условий βi для i = от 1 до n с аналогичными следствиями.

Рисунок 2. PPV (вероятность того, что результат исследования достоверен) как функция предтестовой вероятности для различного числа проведённых исследований, n. Графики соответствуют мощности 0,20, 0,50 и 0,80.

Таблица 3. Результаты исследования и реальные связи в случае множества исследований.

Выводы

Практический пример показан в Поле 1. На основе приведённых выше заключений можно сделать несколько интересных выводов о вероятности того, что результат исследования действительно верен.

Поле 1. Пример: исследование при низкой предтестовой вероятности

Предположим, что группа исследователей проводит полногеномный поиск ассоциаций, чтобы проверить, связан ли какой-либо из 100000 генетических полиморфизмов с предрасположенностью к шизофрении. На основе наших знаний о наследуемости заболевания следует ожидать, что примерно десять из тестируемых генетических полиморфизмов будут действительно связаны с шизофренией с примерно одинаковым отношением шансов − около 1,3 для 10 полиморфизмов − и с примерно равной возможностью определения любого из них. Тогда R = 10/100000 = 10−4, и предтестовая вероятность связи любого полиморфизма с шизофренией также R/(R + 1) = 10−4. Давайте предположим, что вероятность обнаружения связи составляет 60% при отношении шансов равном 1,3 и при α = 0,05. Тогда можно предположить, что если найдена статистически значимая взаимосвязь при p-значении, немного превышающем 0,05, то по окончании исследования вероятность того, что его результаты достоверны, возрастает в 12-кратном размере по сравнению с предтестовой вероятностью, но она всё равно составляет лишь 12 × 10−4.

Теперь предположим, что исследователи занимаются подтасовкой в отношении плана исследования, анализа и представления результатов, чтобы у большего числа связей p-значение превысило порог в 0,05, хотя при строгом соблюдении плана исследования и процедуры анализа, а также при исчерпывающем представлении результатов строго по первоначальному плану исследования этот порог не удалось бы преодолеть. К таким подтасовкам относятся, например, случайное включение/невключение определённых пациентов или представителей контрольных групп, апостериорный анализ в подгруппах, исследование генетических различий, которые не были изначально указаны, изменение определения заболевания и определения контрольной группы, а также различные сочетания выборочного или искажённого представления результатов. Доступные на рынке программы глубинного поиска данных (data mining) с гордостью преподносят как способные предоставить статистически значимые результаты путём «слепого прочёсывания» данных. При наличии систематической ошибки с u = 0,10 посттестовая вероятность того, что результат исследования верен, равен всего лишь 4,4 × 10−4. Помимо этого, даже при отсутствии систематических ошибок, когда десять независимых групп исследователей по всему миру проводят аналогичные эксперименты, если одна из них найдёт формально статистически значимую взаимосвязь, вероятность того, что результат исследования верен, равна всего лишь 1,5 × 10−4, что не превышает вероятность, полученную нами ранее, до того, как было проведено какое бы то ни было исследование!

Вывод 1. Чем меньше исследования в определённой области, тем меньше вероятность того, что результаты исследования будут достоверны. Малый объём выборки означает меньшую мощность и, для всех приведённых выше функций, PPV для достоверного результата исследования снижается по мере снижения мощности до 1 − β = 0,05. Таким образом, при прочих равных условиях, результаты исследования с большей вероятностью будут достоверны в тех научных областях, в которых проводятся крупные исследования, такие как рандомизированные контролируемые испытания в кардиологии (с несколькими сотнями рандомизированных участников) [14], чем в областях с маленькими исследованиями, такими как большинство исследований молекулярных предикторов (с меньшей в сотню раз выборкой) [15].

Вывод 2. Чем меньше величина эффекта в исследуемой области, тем меньше вероятность того, что результат достоверен. Мощность исследования также зависит от величины эффекта. Таким образом, результаты исследования с большей вероятностью будут достоверны в областях с наибольшим эффектом, таких как влияние курения на возникновение онкологических или сердечно-сосудистых заболеваний (относительный риск 3–20), чем в областях, где предполагаемый эффект незначителен, таких как генетические факторы риска полигенных заболеваний (относительный риск 1,1–1,5) [7]. Современная эпидемиология всё чаще вынуждена ориентироваться на малые величины эффектов [16]. Следовательно, мы ожидаем снижения доли достоверных результатов исследований. Размышляя далее, можно предположить, что если величины реальных эффектов в области слишком малы, весьма вероятно, эту область заполонят ложноположительные выводы. К примеру, если большинство реальных генетических или диетических детерминант сложных заболеваний даёт относительные риски менее 1,05, генетическая эпидемиология или эпидемиология питания, вероятнее всего, будет утопией.

Вывод 3. Чем больше количество и чем меньше отбор тестируемых связей, выявленных в научной области, тем меньше вероятность того, что результаты исследования будут достоверны. Как показано выше, посттестовая вероятность того, что исследование верно (PPV), во многом зависит от предтестовой вероятности (R). Таким образом, результаты исследования с большей вероятностью будут достоверны при наличии достоверных схем, таких как фаза III рандомизированных контролируемых исследований, или их мета-анализе, чем в гипотезообразующих экспериментах. В высокоинформативных и изобретательских областях с большим количеством собранной и проверенной информации, таких как микроматричный анализ, и других фундаментальных исследованиях с высокой пропускной способностью [4, 8, 17], PPV должно быть крайне низким.

Вывод 4. Чем больше гибкость плана, определений, исходов и аналитических моделей, тем меньше вероятность получить достоверный результат. Гибкость увеличивает вероятность трансформации «отрицательного» результата в «положительный», то есть смещения (систематической ошибки), u. Для некоторых дизайнов исследования, например, рандомизированных контролируемых испытаний [18–20] или мета-анализов [21, 22], предпринимались попытки стандартизировать порядок проведения и представления результатов. Соблюдение единых стандартов может способствовать росту числа достоверных результатов. То же применимо и к исходам. Достоверные результаты можно получать чаще, если исходы однозначны и общепризнаны (например, смерть), чем когда приведены разрозненные исходы (например, шкала оценки симптомов при шизофрении) [23]. Аналогично в областях, где используются общепринятые, стандартные аналитические методы (например, диаграммы Каплана-Мейера и логарифмический ранговый критерий) [24] можно получить больше достоверных результатов, чем в областях, где аналитические методы до сих пор в разработке (например, методы искусственного интеллекта) и публикуются только «лучшие» результаты. Однако даже в самых точных дизайнах исследования смещения представляют большую проблему. К примеру, есть убедительное свидетельство того, что выборочное сообщение результатов, манипуляции с исходами и публикуемыми результатами − распространённая проблема даже для рандомизированных исследований [25]. И простая ликвидация выборочных публикаций не сможет решить эту проблему.

Вывод 5. Чем больше финансовая и другая заинтересованность и предвзятость, тем меньше вероятность того, что результаты исследования будут достоверными. Конфликты интересов и предвзятость могут способствовать увеличению смещения (u). Конфликты интересов часто встречаются в биомедицинских исследованиях [26], и, как правило, о них сообщают редко и не должным образом [26, 27]. Предвзятость не обязательно имеет финансовые причины. Учёные в конкретной области могут проявлять предвзятость только из-за уверенности в истинности той или иной теории или в связи с их собственными выводами. С другой стороны, многие вроде бы независимые исследования, проводившиеся в институтах, могли быть проведены с одной только целью − чтобы врачи и исследователи могли получить повышение или постоянную должность. Такого рода нефинансовые конфликты могут также приводить к искажённым представлению и интерпретации результатов. Авторитетные учёные за счёт процесса рецензирования могут предотвратить публикацию и распространение результатов исследований, которые опровергают их заключения, тем самым закрепляя в своей области знаний неверное мнение. Эмпирические свидетельства показывают, что заключения экспертов крайне ненадёжны.

Вывод 6. Чем большая активность проявляется в области (чем больше групп исследователей вовлечено), тем меньше вероятность того, что результаты будут достоверны. На первый взгляд этот вывод кажется парадоксальным. Мы приходим к нему, основываясь на ранее высказанном утверждении, что PPV изолированных исследований снижается, если в одной и той же области действует множество групп исследователей. Этим можно объяснить, почему в областях, к которым приковано всеобщее внимание, мы так часто наблюдаем бурное ликование, быстро сменяющееся глубоким разочарованием. При большом количестве групп, работающих в одной области с большим объёмом данных, скорость − единственный способ обойти конкурентов. Поэтому появляется вероятность, что каждая исследовательская группа будет стараться развить и опубликовать свои самые впечатляющие «положительные» результаты.«Отрицательные» результаты будут считаться достойными распространения только в том случае, если другая группа исследователей пришла к «положительному» заключению по тому же вопросу. В этом случае перспектива опровержения заявления, сделанного в каком-нибудь престижном журнале, может быть довольно заманчивой. Термин «феномен Протея» был введён для описания быстро сменяющих друг друга противоположных выводов из исследований и опровержений заявлений, сделанных оппонентами [29]. Эмпирические свидетельства позволяют предположить, что такое чередование противоположностей довольно часто происходит в молекулярной генетике [29].

В этих выводах каждый фактор рассматривается в отдельности, но они часто оказывают влияние друг на друга. К примеру, исследователи, работающие в области, где реальные величины эффекта кажутся небольшими, могут с большей вероятностью проводить крупные исследования, чем исследователи, занятые в отрасли, где реальные величины эффектов кажутся большими. В области, где активно ведутся исследования, может преобладать предвзятость, что снижает прогностическое значение результатов. Слишком предвзятые заинтересованные люди даже могут создавать препятствия попыткам получить и распространить результаты, противоположные их собственным. И наоборот, в области, которая исследуется очень активно, или где присутствует высокая финансовая заинтересованность, иногда могут проводиться обширные исследования и улучшаться стандарты проведения исследования, что увеличивает предсказательное значение результатов. Или же масштабное фундаментальное исследование может привести к выявлению большого числа значимых связей, которых будет достаточно для публикации и дальнейших исследований, и не будет нужды прибегать к «слепому прочёсыванию» данных и манипуляциям с ними.

Для большей части дизайнов исследований и научных областей большинство результатов недостоверны

В обозначенных условиях довольно сложно получить PPV выше 50%. В Таблице 4 приведены результаты моделирования с использованием формул для расчёта влияния мощности, соотношения реальных и несуществующих взаимосвязей и систематических ошибок для различного рода ситуаций, которые могут характеризовать конкретные дизайны и параметры исследования. Результат хорошо организованного рандомизированного контролируемого испытания с адекватной мощностью, начинающегося с 50% предтестовой вероятности того, что вмешательство будет эффективно, очевидно, будет достоверным в 85% случаев. Примерно тот же результат можно получить при проверочном мета-анализе рандомизированных исследований высокого качества: возможно, потенциальная вероятность систематической ошибки вырастет, но мощность и предтестовая вероятность будут выше по сравнению с единичным рандомизированным исследованием. Напротив, результат мета-анализа исследований, не позволяющих сделать окончательный вывод, где для «коррекции» малой мощности отдельных исследований используется их объединение, весьма вероятно, будет недостоверным, если R ≤ 1:3. Результаты клинических исследований ранней фазы, не обладающих достаточной мощностью, будут достоверными только в одном случае из четырёх или даже реже − при наличии смещения. Эпидемиологические поисковые исследования дают ещё худшие результаты, особенно при недостаточной мощности; но даже эпидемиологические исследования с большой мощностью могут дать достоверный результат только в одном случае из пяти, если R = 1:10. В конце концов, в фундаментальных исследованиях с обширным числом тестируемых объектов, где тестируемые соотношения превышают реальные в тысячи раз (например, при тестировании 30000 генов, только 30 из которых действительно могут продемонстрировать связь с заболеванием) [30, 31], PPV для каждой проверяемой связи крайне мало, даже при условии стандартизации лабораторных и статистических методов, исходов и представления результатов, направленной на снижение смещений.

Таблица 4. PPV для результатов исследований при различных сочетаниях мощности (1 − β), отношения реальных и несуществующих связей (R) и смещения (u).

Представленные результаты исследований часто могут быть всего лишь точным измерением преобладающего смещения

Как показано выше, большинство современных биомедицинских исследований проводится в областях с очень низкой пред- и посттестовой вероятностью получения достоверных результатов. Предположим, что в некоторой области совсем нельзя получить достоверный результат. История науки говорит, что в прошлом исследователи часто растрачивали свои усилия в областях, совершенно не содержащих достоверной научной информации − по крайней мере, в нашем сегодняшнем понимании. В такой «нулевой области» в идеале можно ожидать, что все наблюдаемые значения величин эффектов будут изменяться случайным образом и примерно равняться нулю при условии отсутствия смещений. Степень отклонения получаемых результатов от случайной величины будет всего лишь точным измерением преобладающего смещения.

Предположим, например, что никакие питательные вещества и режимы питания не являются важными при определении риска развития конкретного вида опухоли. Предположим также, что в научной литературе содержатся исследования 60 питательных веществ и утверждается, что все они связаны со степенью риска развития этого вида опухоли с относительным риском от 1,2 до 1,4 соответственно от верхней до нижней тертили. Тогда заявленные величины эффектов измеряют не что иное, как чистое смещение, имевшее место при создании этих научных трудов. Заявленные величины эффектов фактически представляют собой очень точные измерения смещений. Отсюда следует, что среди «нулевых областей» области, содержащие большие эффекты (даже сопровождаемые заявлениями о важности с точки зрения медицины и здравоохранения), всего лишь подвержены самым большим смещениям.

Для областей с очень низким PPV небольшое количество реальных взаимосвязей не слишком исказит общую картину. Даже если несколько связей реальны, форма распределения наблюдаемых эффектов всё равно будет представлять собой чистое измерение смещений, имеющихся в данной области. Эта концепция полностью меняет наши взгляды на результаты научных исследований. Традиционно исследователи относились к большим и обладающим высокой значимостью эффектам с воодушевлением, как к признакам важных открытий. Эффекты со слишком большой величиной и значимостью на самом деле в большинстве областей современных исследований могут быть признаками больших смещений. Исследователям необходимо осторожно и критически относиться к возможным дефектам данных, анализов и результатов.

Конечно, исследователи, работающие в любой отрасли, вероятно, будут отрицать, что целая область, на которую они тратят свои силы, является «нулевой». Однако, к разгрому этой научной области могут впоследствии привести другие наборы данных или технологический и экспериментальный прогресс. Может быть целесообразным принятие определённых мер, чтобы смещения в одной области могли быть также полезны для понимания того, какой уровень смещений присутствует в других областях, где применяют схожие аналитические методы, технологии и существуют аналогичного рода конфликты.

Как можно улучшить ситуацию?

Неизбежно ли то, что большинство результатов исследований недостоверны, или можно улучшить ситуацию? Основная проблема в том, что невозможно со 100%-ной уверенностью знать, что является достоверным в том или ином исследовании. В связи с этим чистый «золотой» стандарт недостижим. Однако есть несколько способов увеличить посттестовую вероятность.

Свидетельства с большей мощностью, например, крупные исследования или мета-анализы с малым количеством смещений могут быть полезны для приближения к неведомому «золотому» стандарту. Однако крупные исследования всё же могут содержать смещения, и это необходимо признать для того, чтобы их избежать. Более того, невозможно получить масштабные свидетельства для миллионов и триллионов вопросов, сформулированных в существующих исследованиях. К получению масштабных свидетельств стоит стремиться в рамках тех исследований, где предтестовая вероятность сравнительно высока, так что значимый результат исследования приведёт к посттестовой вероятности, которую можно будет счесть довольно существенной. Крупномасштабное свидетельство также обозначается отдельно, если оно может проверять основные идеи, нежели узкие, специфические вопросы. Отрицательный результат может позднее опровергнуть не только отдельную гипотезу, но и целую область или значительный её участок. Отбор результатов крупномасштабных исследований, основанных на узких критериях, таких как продвижение конкретного лекарства на рынке − в основном впустую проведённое исследование. Более того, следует быть осторожным, поскольку чрезмерно крупные исследования могут с большей вероятностью проводиться для поиска формально статистически значимого различия для незначительного эффекта, который на самом деле несущественно отличается от нуля [32–34].

Кроме того, большинством вопросов занимаются многочисленные группы исследователей, и ошибочно подчёркивать статистически значимые выводы какой-либо отдельной группы. Значение имеет только совокупность свидетельств. Снижение числа смещений путём улучшения стандартов проведения исследования и устранения предвзятости также может помочь. Однако, это может потребовать труднодостижимого изменения научного менталитета. В некоторых дизайнах исследования усилия могут увенчаться успехом при предварительной регистрации исследований, например, рандомизированных испытаний [35]. Регистрация должна стать проверкой для гипотезообразующих исследований. Некоторые способы регистрации или сотрудничество исследователей в пределах одной области при сборе данных могут быть более достоверными, чем регистрация каждого гипотезообразующего эксперимента. Вне зависимости от этого, даже если мы не увидим большого прогресса при регистрации исследований в других областях, принципы разработки и соблюдения протокола исследования должны быть более широко заимствованы из рандомизированных контролируемых исследований.

Наконец, вместо погони за статистической значимостью при проведении исследования мы должны улучшить наше понимание диапазона значений R − предтестовой вероятности − в исследуемой области [10]. Перед проведением эксперимента исследователи должны понимать, какова вероятность того, что связи, которые они тестируют, скорее достоверны, чем нет. Предполагаемые высокие значения R иногда могут быть впоследствии определены более точно. Как описано выше, когда это этически приемлемо, крупные исследования с минимальным количеством смещений должны быть проведены по результатам относительно общепризнанных исследований, чтобы понять, насколько они действительно подтверждаются. Полагаю, несколько общепризнанных «классических» исследований могут провалить этот тест [36].

Тем не менее, большинство новых открытий продолжит проистекать из гипотезообразующих исследований с низкой или очень низкой предтестовой вероятностью. Тогда мы должны признать, что статистическая значимость, тестируемая в сообщении о единственном исследовании даёт только частичную картину, без информации о том, как много исследований было проведено за рамками отчёта и в соответствующей области в целом. Несмотря на большое количество литературы по статистике на тему поправки на множественные сравнения [37], обычно бывает невозможно расшифровать, какая степень «слепого прочёсывания» данных предшествовала публикации результатов исследования. Даже если будет возможным определить её, это не даст нам информации о предтестовой вероятности. Таким образом, неизбежны приблизительные предположения по поводу того, какое количество связей среди общего количества тестируемых может быть достоверным в соответствующей области и с применением конкретного дизайна исследования. Более обширная область может задать некоторое направление для оценки этой вероятности в рамках отдельного исследовательского проекта. Также будет полезно взять на вооружение опыт устранения смещений, обнаруженных в смежных областях. Даже если эти предположения будут сравнительно субъективны, они всё равно будут весьма полезны для интерпретации заявлений в рамках исследований и внедрения их в контекст.

Перевод − Елена Донцова, редактура − Валерия Антонова. Иллюстрация − Анастасия Икусова, адаптация графиков − Радмир Абильев.

Джон П.А. Иоаннидис (John P.A. Ioannidis). «Why Most Published Research Findings Are False». PLoS Med 2(8): e124.

Список литературы смотрите в первоисточнике.

Источник: brights-russia.org

Источник

Факторы, приводящие к ошибке перед проведением исследования

Какой путь проходит каждый анализ

Как исследование вашего биоматериала защищено от возможных ошибок

На каком этапе возможны ошибки

Что обычно настораживает пациента

Как сократить вероятность ошибки в лабораторных исследованиях:

Лабораторная диагностика

Рекомендации

Внутренний стандарт

Читайте также: