Рекомендации по составлению отчетов о диагностических исследованиях (STARD 2015): разъяснения и уточнения

Полный текст

Список сокращений

КТ ― компьютерная томография

КТК ― КТ-колонография

МРТ ― магнитно-резонансная томография

ЭКГ ― электрокардиограмма

CONSORT (Consolidated Standards of Reporting Trials — единые стандарты представления результатов испытаний) ― в заявлении представлены перечень вопросов и схема проведения рандомизированных контролируемых исследований, которые могут быть использованы авторами при составлении отчётов о результатах

QUADAS-2 (Quality Assessment Tool For Diagnostic Accuracy Studies) ― опросник, разработанный для оценки качества диагностических исследований точности

STARD (Standards for Reporting of Diagnostic Accuracy Studies) ― стандарты отчётности об исследованиях точности диагностики 

ВВЕДЕНИЕ

Диагностические исследования (diagnostic accuracy studies) подвержены риску систематических ошибок (bias), что характерно и для других клинических исследований. Основные источники систематических ошибок кроются в методологических недостатках, особенностях отбора участников, сбора данных, выполнения или интерпретации результатов диагностического теста, анализа данных [1, 2]. В итоге показатели чувствительности (sensitivity) и специфичности (specificity) такого теста, сравниваемые с показателями референсного теста (reference standard), могут быть ошибочными, систематически отклоняясь от тех результатов, которые могли быть получены в идеальных условиях (табл. 1). Подобные смещения приводят к неверным рекомендациям по тестированию, негативно влияют на исходы пациентов и политику здравоохранения в целом.

 

Таблица 1. Основные термины руководства STARD

Термин	Значение
Медицинский тест	Любой метод сбора дополнительной информации о текущем или будущем состоянии здоровья пациента
Индексный (основной) тест (index test)	Исследуемый тест
Целевое состояние	Заболевание или состояние, которое, как ожидается, будет обнаружено с помощью индексного теста
Клинический референсный тест (reference standard)	Наилучший доступный метод для установления наличия или отсутствия целевого состояния. Безошибочный референсный стандарт ― золотой стандарт
Чувствительность	Доля лиц с целевым состоянием и положительными результатами индексного теста
Специфичность	Доля лиц без целевого состояния и отрицательными результатами индексного теста
Предназначение теста	Использование индексного теста для диагностики, скрининга, определения стадии заболевания, мониторинга, надзора, предсказания, прогнозирования или других целей
Роль теста	Положение индексного теста по отношению к другим тестам при применении в одинаковых обстоятельствах: например, тест, используемый для сортировки (предварительный тест), замещающий тест, дополнительный тест или новый тест
Сомнительные результаты	Результаты, которые не являются положительными или отрицательными

 

Диагностическая точность¹ (accuracy) не является неотъемлемым свойством теста. При идентификации пациентов с изучаемым состоянием (target condition) точность теста зависит от условий его проведения, характеристик пациентов и результатов предыдущего тестирования [2]. Эти источники вариабельности диагностической точности актуальны для тех, кто пытается ответить на конкретный вопрос о применимости результатов исследования к определённым условиям. Риск систематических ошибок и опасения по поводу применимости результатов исследования ― два ключевых компонента инструмента QUADAS-2, разработанного для оценки качества диагностических исследований [3].

Читатели могут судить о риске систематической ошибки и применимости результатов диагностического исследования только в том случае, если они найдут необходимую для этого информацию в отчёте об исследовании. Опубликованный отчёт должен содержать всю важную информацию, на основании которой можно судить о надёжности (trustworthiness) и актуальности (relevance) выводов исследования вместе с полным и информативным описанием его результатов.

К сожалению, в нескольких обзорах было показано, что отчёты диагностических исследований зачастую непрозрачно описывают ключевые элементы [4–6]. Важная информация об участниках, дизайне исследования и фактических результатах часто отсутствует, а рекомендации авторов о применении изученного теста ― часто чрезмерны и чересчур оптимистичны.

Руководство STARD имеет целью способствовать составлению более полных и прозрачных отчётов о диагностических исследованиях [7]. По аналогии со стандартами представления результатов рандомизированных исследований (CONSORT) [8, 9] рекомендации STARD представлены в виде перечня пунктов, которые следует описывать в любых отчётах о диагностических исследованиях.

Руководство STARD впервые опубликовано в 2003 г. и пересмотрено в 2015 г. [10]. Обновление было выполнено для того, чтобы дополнить руководство актуальными сведениями об источниках систематической ошибки, вариабельности и других проблемах отчётности, а также упростить использование рекомендаций STARD. Обновлённое руководство теперь включает 30 ключевых пунктов (табл. 2).

 

Таблица 2. Контрольный перечень STARD 2015 [10]

Раздел статьи	№	Пункт
Раздел статьи	№	Пункт
Название или аннотация	1	Обозначение (в названии или в аннотации) как исследования диагностической точности (диагностическое исследование) с указанием хотя бы одного показателя точности (таких как чувствительность, специфичность, прогностическая значимость или площадь под ROC-кривой)
Аннотация	2	Структурированное краткое описание дизайна исследования, методов, результатов и выводов (более подробно см. рекомендации STARD по оформлению аннотаций)
Введение	3	Научные и клинические предпосылки, включая предполагаемое использование и клиническую роль индексного теста
	4	Цели и гипотезы исследования
Методы
Дизайн исследования	5	Источники и сбор данных до (проспективное исследование) или после (ретроспективное исследование) проведения индексного и референсного тестов
Участники	6	Критерии отбора
	7	Основания, по которым определяли участников, потенциально подходящих для отбора в исследование (симптомы, результаты предыдущих диагностических тестов, включение в регистр)
	8	Место и время скрининга участников, потенциально подходящих для отбора в исследование (учреждения, местоположение и даты)
	9	Формирование выборки участников: последовательная, случайная или «удобная» для исследователя
Методы диагностического исследования	10а	Детальное описание индексного теста, позволяющее повторить его
	10б	Детальное описание референсного теста, позволяющее повторить его
	11	Обоснование выбора референсного теста (при наличии аналогов)
	12а	Определение и обоснование пороговых значений положительных результатов или категорий индексного теста, различая запланированное и выведенное в результате разведочного анализа
	12б	Определение и обоснование пороговых значений положительных результатов или категорий референсного теста, различая запланированное и выведенное в результате разведочного анализа
	13a	Доступность клинических данных и информации о результатах референсного теста тем, кто проводил или фиксировал результаты индексного теста
	13б	Доступность клинических данных и информации о результатах индексного теста тем, кто оценивал результаты референсного теста
Анализ	14	Методы оценки или сравнения показателей диагностической точности
	15	Действия в отношении сомнительных результатов индексного или референсного тестов
	16	Действия в отношении отсутствующих (неполных) данных индексного и референсного тестов
	17	Анализ вариабельности диагностической точности с дифференциацией запланированного и установленного после получения данных результатов разведочного анализа
	18	Запланированный размер выборки и его определение
Результаты
Участники	19	Формирование выборки исследования
	20	Характеристика участников исследования (демографические и клинические данные)
	21а	Распределение пациентов с целевым состоянием по тяжести заболевания
	21б	Распределение пациентов без целевого состояния по альтернативным диагнозам
	22	Временной интервал и любые медицинские вмешательства между выполнением индексного и референсного тестов
Результаты диагностического исследования	23	Таблицы сопряжённости (или распределение) результатов индексного и референсного тестов
	24	Оценка диагностического показателя и её точность (например, 95% доверительный интервал)
	25	Любые нежелательные последствия выполнения индексного или референсного тестов
Обсуждение	26	Ограничения исследования, включая источники потенциальных систематических ошибок, статистической неопределённости и ограниченной обобщаемости результатов
	27	Значение для практики, включая предполагаемое использование и клиническую роль индексного теста
Дополнительная информация	28	Регистрационный номер исследования и наименование регистра
	29	Доступ к полному протоколу исследования
	30	Источники финансирования, другие виды поддержки и роль спонсоров исследования

 

Ниже представлены рекомендации STARD 2015 с пояснениями и уточнениями. Это расширенная и обновлённая версия документа, опубликованного в 2003 г. [11]. Комментируя в качестве примеров фрагменты из опубликованных работ, мы обосновываем применение каждого пункта руководства STARD 2015 и описываем, что ожидается от авторов.

Мы уверены, что представленная нами информация поможет исследователям в написании информативных исследовательских отчётов, а также поможет рецензентам, редакторам и читателям убедиться, что представленные на рассмотрение и опубликованные рукописи о диагностических исследованиях достаточно подробны.

КОНТРОЛЬНЫЙ ПЕРЕЧЕНЬ STARD 2015:

ПОЯСНЕНИЯ И УТОЧНЕНИЯ

Название или аннотация

Пункт 1. Обозначение (в названии или в аннотации) как исследования диагностической точности (диагностическое исследование) с указанием хотя бы одного показателя точности, таких как чувствительность, специфичность, прогностическая значимость (predictive values) или площадь под ROC-кривой

Пример

«Основные показатели исходов: чувствительность и специфичность КТ-колонографии при выявлении лиц с прогрессирующей неоплазией (прогрессирующая аденома или колоректальный рак) с диаметром новообразования не менее 6 мм» [12].

Пояснение

Электронные базы данных, такие как MEDLINE и Embase, незаменимы при поиске биомедицинских исследований по определённой теме. Чтобы облегчить поиск своей статьи, авторы могут явно идентифицировать её как отчёт о диагностическом исследовании. Это может быть выполнено с использованием в заголовке и/или аннотации терминов, которые относятся к показателям диагностической точности, например «чувствительность» (sensitivity), «специфичность» (specificity), «положительная прогностическая значимость» (positive predictive value), «отрицательная прогностическая значимость» (negative predictive value), «площадь под ROC-кривой» (area under the curve, AUC) или «отношение правдоподобия» (likelihood ratio).

С 1991 г. в MEDLINE для индексирования диагностических исследований введено специальное ключевое слово (заголовок предметной рубрики MeSH, Medical Subject Headings) «Чувствительность и Специфичность» (Sensitivity and Specificity). К сожалению, чувствительность поиска таких исследований по заголовку MeSH не превышает 51% [13]. По состоянию на май 2015 г., в словаре Embase (тезаурус Emtree) содержатся ключевые слова (теги) для 38 типов исследований: «исследование точности диагностических тестов» (diagnostic test accuracy study) ― одно из них, но появилось оно лишь в 2011 г.

В приведённом выше примере авторы упомянули термины «чувствительность» и «специфичность» в аннотации. При использовании одного из этих терминов в поисковом запросе статья будет извлечена из базы данных и легко идентифицирована как диагностическое исследование.

Аннотация

Пункт 2. Структурированное краткое описание дизайна исследования, методов, результатов и выводов (более подробно см. рекомендации STARD по оформлению аннотаций)

Пример

См. рекомендации STARD по оформлению аннотаций (контрольный перечень доступен на сайте)

Пояснение

Читатели используют аннотации, чтобы решить, следует ли им открыть полный отчёт об исследовании и потратить время на его чтение. В тех случаях, когда невозможно получить доступ к полному отчёту об исследовании или когда время ограничено, можно предположить, что клинические решения будут основываться только на информации, представленной в аннотации.

В двух недавних литературных обзорах аннотации диагностических исследований, опубликованные в журналах с высоким импакт-фактором или представленные на международной научной конференции, были признаны недостаточно информативными, поскольку ключевые данные о цели исследования, его методах, результатах и их применимости часто отсутствовали [14, 15].

Информативные аннотации помогают читателям оперативно и критично оценивать достоверность (validity) исследования (риск систематических ошибок, risk of bias) и применимость его результатов к клиническим условиям (обобщаемость, generalisability). Структурированные аннотации с отдельными заголовками для целей, методов, результатов и их интерпретации упрощают читателям поиск необходимой информации [16].

Основанные на STARD 2015 недавно разработанные рекомендации STARD для аннотаций (STARD for Abstracts) содержат ключевые пункты, которые должны быть включены в аннотации журнальных статей или материалов конференций.

Введение

Пункт 3. Научные и клинические предпосылки, включая предполагаемое использование и клиническую роль индексного теста

Пример

«Необходимость повышения эффективности использования рентгенографии в отделениях неотложной помощи уже давно подтверждена документально. Такая потребность часто возникает в отношении пациентов с острой травмой голеностопного сустава, которых обычно направляют на рентгенографию, несмотря на то, что вероятность перелома составляет менее 15%. Процедура направления и результаты рентгенографии для пациентов с травмами коленного сустава описаны менее чётко и могут быть менее эффективными, чем для пациентов с травмами голеностопа <…>. Огромный объём недорогих тестов, таких как обычная рентгенография, может способствовать росту затрат на здравоохранение в такой же степени, как и высокотехнологичные процедуры, проводимые в небольшом количестве. <…>. Если это будет подтверждено в последующих исследованиях, правило принятия решения для пациентов с травмой колена может привести к значительному сокращению использования рентгенографии колена и значительной экономии средств здравоохранения без ущерба для пациента» [17].

Пояснение

Во введении к отчётам о научных исследованиях авторы должны обосновать необходимость их проведения. При этом они могут ссылаться на предыдущие работы по теме, сохраняющуюся неопределённость и клинические последствия этих пробелов в знаниях (knowledge gap). Чтобы помочь читателям оценить значение исследования, авторы могут разъяснить предполагаемое использование и клиническую роль изучаемого теста (index test).

Тест может быть предназначен для таких целей, как диагностика, скрининг, определение стадии заболевания (staging), мониторинг, надзор (surveillance), прогнозирование, выбор терапии или другое [18]. Клиническая роль изучаемого теста связана с его ожидаемой позицией относительно других тестов в клиническом протоколе (clinical pathway) [19]. Например, предварительный тест (triage test) будет использоваться перед существующим тестом, потому что он менее затратный или обременительный, но часто также и менее точен. Дополнительный тест (add-on test) будет проводиться после существующих тестов для повышения точности общей стратегии тестирования путём выявления ложноположительных или ложноотрицательных результатов первоначального теста. В некоторых случаях вместо основного теста может использоваться новый.

Определение предназначения и клинической роли теста определит дизайн (схему) исследования, а также целевой уровень чувствительности и специфичности; из этих определений следуют критерии отбора, как и где искать подходящих участников, как выполнять тесты и интерпретировать их результаты [19].

Определение клинической роли полезно для оценки относительной значимости потенциальных ошибок (ложноположительных и ложноотрицательных результатов), допущенных при выполнении исследуемого или индексного теста (index test). Например, предварительный тест для исключения заболевания должен быть высокочувствительным, тогда как тест, нацеленный на выявление заболевания, ― высокоспецифичным.

В вышеприведённом примере предполагаемая цель использования ― диагностика переломов у пациентов с острыми травмами коленного сустава, а потенциальная клиническая роль ― предварительный тест с целью сортировки пациентов. Рентгенография (основной тест) будет проводиться лишь у пациентов с положительным результатом недавно разработанного правила принятия решения. Авторам следует описать современные научные и клинические предпосылки изучаемой проблемы со здоровьем, а также причину, в связи с которой они стремятся разработать предварительный тест: сокращение количества рентгенографических исследований и, как следствие, расходов на медицинское обслуживание.

Пункт 4. Цели и гипотезы исследования

Пример 1

Цель исследования ― оценить чувствительность и специфичность трёх различных диагностических стратегий: однократный экспресс-тест на антиген, экспресс-тест на антиген с повторным экспресс-тестом в случае отрицательного результата (стратегия тест–тест) и экспресс-тест на антиген с последующим посевом в случае отрицательного результата (стратегия тест–посев, предложенная Американской академией педиатрии). Все полученные результаты сравнивали с золотым стандартом ― культивированием в двух чашках. Кроме того, <…> сравнили способность этих стратегий достигать абсолютную чувствительность диагностического теста >95%» [20].

Пример 2

«Наши основные гипотезы: 1) экспресс-тесты на антиген, выполняемые в кабинете врача, более чувствительны, чем посевы в чашках с кровяным агаром, выполненные и оцениваемые там же, когда каждый тест сравнивается с результатами одновременно проведённого и интерпретируемого посева в чашки с кровяным агаром в больничной лаборатории; 2) чувствительность экспресс-теста на антиген подвержена систематической ошибке, связанной с неоднородностью целевой популяции» [21].

Пояснение

Клинические исследования могут иметь общую цель (долгосрочную, например «добиться снижения стадии рака пищевода»), конкретные задачи (чётко определённые цели для данного исследования) и проверяемые гипотезы (утверждения, которые могут быть опровергнуты результатами исследования).

В диагностических исследованиях статистические гипотезы, как правило, выдвигаются в терминах критериев приемлемости (качества) для отдельных тестов (минимальные уровни чувствительности, специфичности или других показателей). В этих случаях гипотезы обычно содержат количественное выражение ожидаемого значения диагностического параметра. В других случаях статистические гипотезы могут быть сформулированы в терминах эквивалентности (equality) или не меньшей точности (non inferiority in accuracy) при сравнении двух или более индексных тестов.

Предварительное описание гипотез исследования ограничивает риски, связанные с апостериорным (незапланированным) анализом данных (data-dredging) и ложными находками, поспешными выводами о выполнимости тестов или субъективными суждениями об их точности. Цели и гипотезы также необходимы при расчётах размера выборки. Обзор 126 отчётов о диагностических исследованиях, опубликованных в журналах с высоким импакт-фактором в 2010 г., показал, что 88% из них не содержали чётко сформулированных гипотез [22].

Выше, в первом примере, целью авторов была оценка точности трёх диагностических стратегий. Конкретная гипотеза заключалась в том, что чувствительность любой из стратегий превысит заранее установленное значение 95%. Во втором примере авторы чётко описывают гипотезы, которые они планируют проверить в своём исследовании. Первая гипотеза ― о сравнении чувствительности двух индексных тестов, выполняемых в кабинете врача (экспресс-тест на антигены и посев); вторая ― о вариабельности результатов экспресс-теста в зависимости от характеристик пациента (spectrum bias).

Методы

Пункт 5. Источники и сбор данных до (проспективное исследование) или после (ретроспективное исследование) проведения индексного и референсного тестов

Пример

«Изучили базу данных пациентов, прошедших процедуру тонкоигольной локализации новообразований и их удаления хирургическим путём с помощью цифрового томосинтеза молочной железы в период с апреля 2011 г. по январь 2013 г. <…> Затем медицинские карты пациентов и изображения 36 выявленных поражений были ретроспективно просмотрены автором более чем с 5-летним опытом лучевых исследований молочных желёз после прохождения соответствующей программы стажировки» [23].

Пояснение

На сегодняшний день термины «проспективный» и «ретроспективный» не имеют чёткого определения, поэтому авторам необходимо чётко описать, планировался ли сбор данных до или после проведения индексного (index test) и референсного (reference standard) тестов. Если авторы определили вопрос исследования до проведения индексного и референсного тестов, они могут предпринять соответствующие действия для оптимизации процедур в соответствии с протоколом исследования и для сбора необходимых данных [24].

Иногда идея исследования возникает после получения результатов тестирования, представляющего исследовательский интерес. В таких случаях необходимые данные извлекают из медицинских карт пациентов или регистров. Ретроспективные исследования могут лучше отражать обычную клиническую практику, чем проспективные, но при этом исследователи могут идентифицировать не всех пациентов, соответствующих критериям отбора, и получить данные низкого качества с большим количеством пропусков (missing data) [24]. Причиной этого может быть, например, то, что в повседневной медицинской практике не все пациенты, прошедшие интересующее исследователей тестирование, будут протестированы в том числе и с применением референсного теста.

В примере выше данные были явно собраны ретроспективно: участников идентифицировали путём скрининга базы данных, клинические сведения извлекали из медицинских карт пациентов, хотя снимки интерпретировали заново.

Пункт 6. Критерии отбора

Пример 1

«Подходящими для включения в исследование были взрослые (старше 18 лет) с подозрением на тромбоэмболию лёгочной артерии на основании наличия хотя бы одного из следующих симптомов: необъяснимая (внезапная) одышка, ухудшение имеющейся одышки, боль при вдохе или необъяснимый кашель. Мы не включали пациентов, получавших антикоагулянтную терапию (антагонисты витамина К или гепарин) на момент первичного обследования, беременных, при невозможности последующего наблюдения, а также пациентов, которые не хотели или не могли предоставить письменное информированное согласие» [25].

Пример 2

«Для участия в исследовании отбирали пациентов («случаи») с признаками диареи, при обнаружении токсина методом иммуноферментного анализа и токсигенного штамма C. difficile при посеве (в образце, взятом менее чем за 7 суток до выявления штамма). Определяли диарею как неоформленный или жидкий стул три и более раз в день. В исследование не включали детей и взрослых в отделениях интенсивной терапии или гематологии. Подходили также пациенты с первым рецидивом после завершения лечения предыдущей инфекции C. difficile, но не пациенты с последующими рецидивами. <…> К каждому «случаю» подбирали по 9 пациентов контрольной группы. Эти пациенты находились в той же палате, и находились в непосредственной близости пациентов группы «случай». «Контроли» не имели признаков диареи либо имели таковые, но в сочетании с отрицательным результатом иммуноферментного анализа и посева (в образце, взятом менее 7 суток до тестирования)» [26].

Пояснение

Поскольку диагностическое исследование описывает действие теста при определённых обстоятельствах, отчёт об исследовании должен включать полное описание критериев, которые использовались для определения подходящих участников. Критерии отбора (eligibility criteria), как правило, связаны с характером и стадией исследуемого или целевого состояния (target condition) и предполагаемым применением результатов индексного теста в будущем. Они часто включают признаки, симптомы или результаты предыдущих тестов, которые вызывают определённые подозрения относительно наличия целевого состояния. Для невключения или исключения участников по соображениям безопасности, практической осуществимости и этики могут использоваться дополнительные критерии.

Невключение пациентов с определённым заболеванием или получающих определённое лечение, которое, как известно, отрицательно влияет на результаты теста, может привести к завышенным оценкам диагностической точности [27]. В качестве примера можно привести пациентов, получающих β-блокаторы в исследованиях, где оценивается диагностическая точность электрокардиограммы (ЭКГ) с физической нагрузкой.

Некоторые исследования имеют одну группу критериев отбора для всех участников; их иногда называют одновыборочные (single-gate) или когортные исследования (cohort studies). В других исследованиях одна группа критериев отбора применяется к участникам с целевым состоянием, другая ― к участникам без такового; такие исследования называют многовыборочными (multiple-gate) или исследованиями «случай-контроль» (case-control studies) [28].

В первом примере, представленном выше, критерии отбора представляют признаки и симптомы, возрастные ограничения и критерии невключения, соответствующие определённым состояниям и методам лечения. Поскольку ко всем участникам исследования применяются одинаковые критерии отбора, речь идёт об одновыборочном исследовании.

Во втором примере авторы применяли разные критерии отбора к участникам с целевым состоянием и без него: одна группа состояла из пациентов с подтверждённым диагнозом Clostridium difficile-ассоциированной инфекции, другая включала здоровых «контролей». Это пример многовыборочного исследования. Значительные различия между тяжёлыми «случаями» и здоровыми «контролями» могут привести к завышенным оценкам точности теста [6, 29].

Пункт 7. Основания, по которым определяли участников, потенциально подходящих для отбора в исследование (симптомы, результаты предыдущих диагностических тестов, включение в регистр)

Пример

«Изучили базу данных пациентов, прошедших процедуру тонкоигольной локализации новообразований и их удаления хирургическим путём с помощью цифрового томосинтеза молочной железы в период с апреля 2011 г. по январь 2013 г.» [23].

Пояснение

Критерии отбора определяют лиц, которые могут участвовать в исследовании, однако они не описывают, как авторы исследования определили подходящих участников. Подбор участников осуществляют разными способами [30]. Врач общей практики может в рабочее время оценивать каждого пациента на соответствие критериям отбора. Исследователи могут извлекать данные потенциальных участников из регистров отделений неотложной помощи. В одних исследованиях пациентов идентифицируют только после прохождения индексного тестирования, в других ― после выполнения референсного теста. Многие ретроспективные исследования включают участников, упоминаемых в больничных базах данных, при условии выполнения обоих тестов ― индексного и референсного [31].

Различия в методах выявления пациентов, соответствующих критериям отбора, могут влиять на характеристики и распространённость целевого состояния в исследуемой группе, а также на диапазон и относительную частоту альтернативных (сопутствующих) состояний у пациентов без него [32]. Всё это может отражаться на оценках диагностической точности.

В примере выше участников отбирали из базы данных пациентов при условии наличия данных о проведении индексного (цифровой томосинтез) и референсного (маммографическое исследование) тестов.

Пункт 8. Место и время скрининга участников, потенциально подходящих для отбора в исследование (учреждения, местоположение и даты)

Пример

«Исследование было проведено в отделении неотложной помощи детской больницы при университете в период с 21 января 1996 г. по 30 апреля 1996 г.» [33].

Пояснение

Результаты диагностического исследования отражают конкретный клинический контекст и условия выполнения теста (setting). Например, медицинский тест может выполняться по-разному в условиях учреждений первичной, вторичной или третичной медицинской помощи, поэтому авторы должны описать фактические условия, в которых проводилось исследование, а также указать точное местоположение: названия участвующих медицинских центров, города и страны. Спектр (разнообразие характеристик) целевого состояния, а также диапазон других состояний, которые возникают у пациентов с подозрением на целевое состояние, могут варьировать в зависимости от условий проведения исследования и механизмов направления пациентов за помощью (referral mechanisms) [34–36].

Поскольку процедуры тестирования, механизмы направления к специалистам, а также распространённость и степень тяжести заболеваний могут меняться со временем, авторы должны сообщать даты начала и окончания набора участников.

Эта информация существенна для читателей, желающих оценить обобщаемость (generalisability) результатов исследования и их применимость к определённым вопросам, а также для тех, кто хотел бы использовать полученные в ходе исследования свидетельства (evidence) для принятия обоснованных решений в области здравоохранения.

В приведённом выше примере чётко описаны условия и указаны даты проведения исследования.

Пункт 9. Формирование выборки участников: последовательная, случайная или «удобная» для исследователя

Пример

«Первый автор (E.N.E.) оценивал и подбирал участников исследования в соответствии с критериями отбора до включения в исследование. Это была «удобная» для наблюдения исследователем выборка (convenience sample) детей с фарингитом. Набор испытуемых был произведён в период пребывания первого автора в отделении неотложной помощи» [37].

Пояснение

Включённые в исследование участники могут составлять либо последовательную выборку всех пациентов (consecutive series), оцениваемых на соответствие критериям отбора и удовлетворяющих критериям включения, либо их ограниченное количество. Ограниченная выборка может быть полностью случайной, сформированной на основе таблицы случайных чисел, или не случайной, если пациентов набирают только в определённые дни или в определённые часы работы. В последнем случае включённые участники не могут считаться репрезентативной выборкой целевой популяции (targeted population), а обобщение результатов исследования может иметь ограничения [2, 29].

В примере выше авторы подробно описали «удобную» выборку (convenience series), в которую участников отбирали, основываясь на их доступности для исследователя.

Пункт 10а. Детальное описание индексного теста, позволяющее повторить его

Пункт 10б. Детальное описание референсного теста, позволяющее повторить его

Пример

«Внутривенный катетер вводили в срединную локтевую вену, образцы крови собирали в пробирки до стресс-теста (исходные данные), сразу после него и через 1,5 и 4,5 часа по его завершении. Взятые образцы крови после сбора помещали на лёд на 1 час и в последующем до проведения анализа хранили при температуре -80°C. Перед анализом на определение сердечного тропонина I (cTnI) допускалось однократное размораживание/замораживание проб. Концентрацию высокочувствительного cTnI измеряли прототипом метода высокочувствительного анализа (ARCHITECT STAT high-sensitivity troponin, Abbott Diagnostics), где с помощью иммобилизованных антител распознавали эпитопы 24–40 и посредством детектирующих антител ― эпитопы 41–49 cTnI. Предел обнаружения (limit of detection) для высокочувствительного анализа cTnI недавно установлен другими группами исследователей и составил 1,2 нг/л (16 нг/л ― 99-й процентиль), а с учётом коэффициента вариации 10% ― 3,0 нг/л. <…> Образцам с концентрациями cTnI ниже указанного предела присваивали значение 1,2» [38].

Пояснение

Различия в выполнении индексного и референсного тестов ― потенциальный источник вариаций диагностической точности [39, 40]. Именно поэтому авторы должны описывать методы выполнения индексного и референсного тестов достаточно подробно, чтобы позволить другим исследователям повторить исследование, а читателям ― оценить (1) выполнимость индексного теста в своих условиях работы (setting), (2) адекватность референсного теста и (3) применимость результатов исследования к их клиническому вопросу. При этом описание должно охватывать ключевые элементы протокола тестирования, включая следующие:

1) преаналитическая фаза: например, подготовка пациентов (голодание/питание) перед забором крови, обработка образца до начала тестирования и связанные с этим ограничения (такие как нестабильность проб) или анатомическое расположение выполняемого измерения;

2) аналитическая фаза, включая используемые материалы, инструменты, аналитические процедуры (последовательность действий);

3) постаналитическая фаза: например, оценки риска по результатам анализа или другим переменным.

Различия между исследованиями в показателях точности теста, обусловленные различиями в протоколах тестирования, неоднократно описаны, включая, например, использование гипервентиляции перед проведением ЭКГ с физической нагрузкой и использование томографии для нагрузочной сцинтиграфии миокарда с таллием [27, 40].

Количество, профессиональная подготовка и компетентность лиц, выполняющих и интерпретирующих результаты индексного и референсного тестов, также могут иметь решающее значение. Во многих исследованиях показана вариабельность результатов тестирования, особенно при применении методов визуализации, в зависимости от квалификации интерпретирующих их лиц [41, 42]. Показано также, что качество анализа результатов цитологических и микробиологических исследований зависит от профессионального опыта, компетентности и предварительного обучения с целью повышения точности оценок и снижения расхождений в оценках между наблюдателями [43–45]. Информация об уровне подготовки специалистов, осуществляющих оценку и интерпретацию результатов тестирования, может помочь читателям сделать вывод о достижимости аналогичных результатов в условиях их деятельности.

В некоторых случаях исследование включает проведение нескольких референсных тестов. Например, пациенты с нарушениями, обнаруженными изучаемым методом визуализации (индексный тест), могут проходить процедуру биопсии с установлением окончательного диагноза по результатам гистологического исследования, тогда как клиническое наблюдение пациентов, у которых такие нарушения не обнаружены, будет включать референсный тест. Это может быть потенциальным источником систематической ошибки, поэтому авторам следует указать, какие группы пациентов какой референсный тест получили [2, 3].

В будущих специальных версиях STARD будет разработано более конкретное руководство по специализированным областям тестирования или определённым типам тестов. Эти рекомендации будут доступны на странице STARD вебсайта EQUATOR (Повышение качества и прозрачности исследований по вопросам здоровья; http://www.equator-network.org/).

В примере выше авторы описали, как отбирали и обрабатывали образцы крови в лаборатории. Они также сообщили аналитические характеристики индексного теста, полученные в предыдущих исследованиях.

Пункт 11. Обоснование выбора референсного теста (при наличии аналогов)

Пример

«Международный нейропсихиатрический опросник MINI разработан для быстрого и эффективного диагностического интервью как в научных целях, так и в клинической практике (авторами приведена ссылка в поддержку данного утверждения). Он считается более надёжным (reliability rates) и достоверным (validity rates) по сравнению с другими стандартными тестами, такими как SCID (Структурированное клиническое интервью для выявления психических нарушений) и CIDI (Структурированный международный диагностический опросник) (авторами приведены ссылки в поддержку данного утверждения)» [46].

Пояснение

В диагностических исследованиях референсный тест используется для установления наличия или отсутствия целевого состояния у участников исследования. Для определения одного и того же целевого состояния могут быть доступны несколько референсных тестов. В таком случае авторы должны обосновать свой выбор конкретного референсного теста из имеющихся альтернативных вариантов. Выбор может зависеть от предназначения (цели использования) индексного теста, клинической значимости, практических и/или этических соображений.

Альтернативные референсные тесты не всегда полностью согласуются друг с другом. Некоторые референсные тесты менее точны, чем другие. В других случаях референсные тесты отражают связанные, но разные проявления или стадии болезни, как в случае подтверждения болезни методом визуализации (первый референсный метод) в сравнении с диагностикой на основании клинически значимых событий (второй референсный метод).

В примере выше авторы выбрали MINI, структурированное диагностическое интервью, широко используемое в целях психиатрического освидетельствования, в качестве референсного инструмента для выявления признаков депрессии и риска самоубийства у взрослых с эпилепсией. Свой выбор авторы обосновали краткостью опросника, эффективностью при использовании как с клинической, так и научной целями, надёжностью и достоверностью по сравнению с альтернативными диагностическими опросниками.

Пункт 12а. Определение и обоснование пороговых значений положительных результатов или категорий индексного теста, различая запланированное и выведенное в результате разведочного анализа

Пункт 12б. Определение и обоснование пороговых значений положительных результатов или категорий референсного теста, различая запланированное и выведенное в результате разведочного анализа

Пример

«Мы также сравнили чувствительность модели риска при специфичности, соответствующей фиксированному пороговому значению положительного иммунохимического теста кала, составляющего 50 нг/мл. Мы использовали это пороговое значение, так как на момент исследования предполагалось его использование в голландской программе скрининга» [47].

Пояснение

Результаты тестов в их первоначальном виде могут быть дихотомическими (положительные или отрицательные), иметь несколько категорий (например, высокий, средний или низкий уровень риска) или быть непрерывными (интервал или шкала отношений).

Для тестов с несколькими категориями или непрерывными результатами конечный результат тестирования часто реклассифицируют в положительный (подтверждение заболевания) или отрицательный (исключение заболевания). Для этого необходимо определить критерии положительного результата теста: результаты, превышающие пороговое значение, будут считаться положительными результатами индексного теста. В некоторых исследованиях строят график ROC-кривой путём расчёта пар чувствительность–специфичность для всех возможных пороговых значений.

Чтобы оценить достоверность (validity) и применимость (applicability) этих классификаций, читателям необходимо знать критерии положительного результата или категорий результатов, как они были определены, и были ли они определены до начала исследования или после сбора данных. Запланированные пороговые значения (prespecified thresholds) могут быть основаны на (1) результатах предыдущих исследований, (2) пороговых значениях, используемых в клинической практике, (3) указанных в клинических рекомендациях или (4) рекомендованных производителем. Если пороговые значения ранее не были установлены, у авторов может возникнуть соблазн определить точность различных пороговых значений после сбора данных.

Если авторы определяют критерий положительного результата после проведения теста, выбирая тот, который максимизирует характеристики теста, существует высокий риск того, что полученные оценки точности теста будут слишком оптимистичными, особенно в небольших исследованиях [48, 49]. Последующие исследования могут не воспроизвести полученные результаты [50, 51].

В примере выше авторы обосновали свой выбор пороговых значений.

Пункт 13а. Доступность клинических данных и информации о результатах референсного теста тем, кто проводил или фиксировал результаты индексного теста

Пункт 13б. Доступность клинических данных и информации о результатах индексного теста тем, кто оценивал результаты референсного теста

Пример

«Снимки каждого пациента описывали два врача-рентгенолога, прошедшие обучение в области лучевых исследований мочеполовой системы и с опытом работы 12 и 8 лет соответственно, не имевшие доступа (blinded) к данным пациента, включая окончательный гистологический диагноз» [52].

Пояснение

Некоторые медицинские тесты, в частности большинство методов визуализации, требуют участия человека в проведении, интерпретации и принятии решений. На эти действия может повлиять информация, которая доступна лицу, проводящему тестирование [1, 53, 54], что в свою очередь может привести к искусственно завышенной согласованности между тестами или между результатами индексного и референсного тестов.

Если у специалиста, выполняющего диагностику, есть доступ к информации о признаках, симптомах заболевания и результатах предыдущих тестов, это может привести к предвзятости в интерпретации, но в то же время может отражать применение теста в обычной клинической практике [2]. Напротив, при отсутствии достаточной информации для правильной интерпретации результатов индексного теста эффективность теста (test performance) может снизиться, а результаты исследования могут иметь ограниченную применимость. В любом случае читатели отчёта исследования должны знать, какая дополнительная информация была доступна исследователям-аналитикам и могла повлиять на их окончательные решения.

В других ситуациях специалистам, оценивающим референсный тест, могут быть известны результаты индексного теста. В таких случаях окончательная классификация может основываться на результатах индексного теста, а значит, представленные оценки точности индексного теста будут завышенными [1, 2, 27]. Тесты, требующие субъективной интерпретации, особенно подвержены таким систематическим ошибкам (bias).

Ограничение доступа исследователей-аналитиков к информации обычно называют «ослеплением» или «маскированием». Суть этого пункта руководства заключается не в том, чтобы обосновать преимущества или недостатки метода «ослепления», а в том, чтобы пояснить, что читателям отчёта об исследовании необходима информация о сокрытии (или несокрытии) сведений об индексном и референсном тестах, что позволит верно интерпретировать результаты исследования.

В примере выше специалисты, интерпретирующие результаты бесконтрастной компьютерной томографии с целью дифференциации ангиомиолипомы почек и почечно-клеточной карциномы, не имели доступа ни к клиническим данным, ни к результатам гистологического исследования, являвшегося в этом исследовании референсным методом диагностики.

Пункт 14. Методы оценки или сравнения показателей диагностической точности

Пример

«Статистическое сравнение чувствительности и специфичности выполнено с помощью теста McNemar для зависимых (коррелируемых) признаков. Все тесты были двусторонними, проверялась гипотеза о том, что диагностические характеристики стереоскопической цифровой маммографии и цифровой маммографии отличаются. Статистически значимыми считали результаты при р <0,05» [55].

Пояснение

Для описания эффективности медицинского теста используется множество показателей диагностической точности, вычисление которых на основе собранных данных может вызывать трудности [56]. Авторы должны сообщить о методах вычисления показателей, которые они сочли подходящими для целей своего исследования.

Статистические методы могут быть использованы для проверки конкретных гипотез, вытекающих из целей исследования. В исследованиях с одним тестом авторы могут захотеть оценить, превышает ли диагностическая точность тестов предварительно установленный уровень (например, чувствительность не менее 95%, см. Пункт 4).

В диагностических исследованиях могут также сравнивать два и более индексных теста. В таких случаях проверка статистических гипотез обычно предполагает оценку превосходства одного теста над другим либо его не меньшей эффективности (non-inferiority) [57]. Для таких сравнений авторы должны указать меру различия, исходя из целей исследования, цели и роли индексного теста применительно к действующим клиническим рекомендациям. Примерами являются относительная чувствительность (relative sensitivity), абсолютный прирост чувствительности и относительное диагностическое отношение шансов (relative diagnostic odds ratio) [58].

В приведённом выше примере авторы использовали статистику теста McNemar для оценки различий чувствительности и специфичности стереоскопической и стандартной цифровой маммографии у пациентов с повышенным риском развития рака молочной железы. Величина p сама по себе не является количественным выражением относительной точности двух исследованных тестов. На значение р, как правило, влияют величина эффекта (различие между тестами) и размер выборки. В этом примере авторы могли рассчитать относительную или абсолютную разницу в чувствительности и специфичности, включая 95% доверительный интервал с учётом парного (связанного) характера данных.

Пункт 15. Действия в отношении сомнительных результатов индексного или референсного тестов

Пример

«Сомнительные результаты считали ложноположительными или ложноотрицательными и включали в окончательный анализ. Например, сомнительный результат у пациента с аппендицитом считался отрицательным» [59].

Пояснение

Сомнительные результаты ― это те, которые не являются ни положительными, ни отрицательными. Такие результаты могут быть получены при выполнении как индексного, так и референсного тестов, и являются проблемой при оценке их эффективности [60–63]. Частота сомнительных результатов варьирует от теста к тесту, в некоторых случаях доля таких результатов может достигать 40% [62].

Причин этому множество [62, 63]. Тест может быть неудачным по техническим причинам или вследствие недостатков образца/пробы (например, отсутствие клеток в биоптате, полученном при пункционной биопсии опухоли) [43, 64, 65]. В некоторых случаях результаты теста не рассматриваются как положительные или отрицательные, как в случае вентиляционно-перфузионного сканирования лёгких при подозрении на лёгочную эмболию, когда результаты классифицируют по трём категориям ― нормальные, высоковероятные и неопределённые [66].

Частота сомнительных результатов ― важный показатель выполнимости теста, который обычно ограничивает его клиническую ценность, поэтому авторам следует сообщать о таких результатах с указанием причин их возникновения, а также о безуспешном завершении процедуры тестирования. Это касается как индексного, так и референсного тестов.

Игнорирование сомнительных результатов может привести к систематическим ошибкам в оценке точности теста, если только речь идёт не о случайных ошибках. Решение о том, как поступать с такими результатами, может определяться клинической практикой.

Существуют несколько способов обработки сомнительных результатов теста при анализе точности и эффективности теста [63]. Их можно полностью игнорировать, о них можно сообщать, но не учитывать или не рассматривать как отдельную категорию результатов тестирования. Последний вариант особенно полезен, если сомнительные результаты возникают чаще, например, у лиц без целевого состояния, чем у тех, у кого целевое состояние обнаружено. Такие результаты могут классифицировать как ложноположительные или ложноотрицательные в зависимости от результатов референсного теста («наихудший сценарий», worst-case scenario) или как истинно положительные и истинно отрицательные («наилучший сценарий», best-case scenario).

В примере выше авторы явно выбрали консервативный подход, рассматривая все сомнительные результаты индексного теста как ложноотрицательные (для тех, у кого есть целевое состояние) или ложноположительные (для всех других), ― стратегия, которую иногда называют «наихудший сценарий».

Пункт 16. Действия в отношении отсутствующих (неполных) данных индексного и референсного тестов

Пример

«По одной артерии отсутствовали результаты измерения фракционного резерва кровотока, по двум артериям ― все данные КТ. Эти артерии исключали из анализа. В качестве альтернативы выполняли замену отсутствующих данных по принципу «наихудшего сценария» (worst-case imputation) [67].

Пояснение

Отсутствующие данные ― частое явление в любых биомедицинских исследованиях. В диагностических исследованиях такие случаи могут иметь место как для индексного, так и референсного тестов. Есть несколько способов справиться с этой проблемой при анализе данных [68]. Многие исследователи исключают из анализа пациентов без результатов диагностического теста (стратегия анализа «завершённых» или «доступных» случаев). Это может приводить к снижению точности и систематическим ошибкам, особенно если отсутствие результатов индексного или референсного тестов связано с целевым (изучаемым) состоянием.

Участники с отсутствующими результатами теста могут быть включены в анализ, если осуществляется подстановка данных [68–70]. Другой вариант ― оценить влияние отсутствующих результатов тестирования на показатели точности с учётом различных сценариев. Для индексного теста, например, «наихудшим сценарием» будет, если все отсутствующие результаты будут считаться ложноположительными или ложноотрицательными в зависимости от результатов референсного теста, а «наилучшим сценарием» ― истинно положительными или истинно отрицательными.

В приведённом выше примере авторы сообщили число случаев с отсутствующими данными индексного теста и указали способ их обработки ― исключение из анализа согласно «наихудшему» сценарию.

Пункт 17. Анализ вариабельности диагностической точности с дифференциацией запланированного и установленного после получения данных результатов разведочного анализа

Пример

«Чтобы оценить эффективность показателей анализа мочи или их изменение в течение первых 24 часов с целью отличить транзиторное острое повреждение почек от персистирующего, мы построили ROC-кривые для доли истинно положительных против доли ложноположительных результатов, руководствуясь прогностическим правилом для классификации пациентов как больных персистирующим острым повреждением почек. Аналогичную стратегию использовали для оценки эффективности показателей и их изменений во времени в двух предварительно определённых подгруппах пациентов. В первой группе пациенты не получали лечения диуретиками, во второй ― не имели признаков сепсиса» [71].

Пояснение

Относительная доля ложноположительных или ложноотрицательных результатов диагностического теста может варьировать в зависимости от характеристик пациента, квалификации исследователей-аналитиков, условий проведения и результатов предыдущих тестов [2, 3]. Как следствие, исследователи могут изучать источники вариабельности точности тестов, оценивая различия полученных результатов между подгруппами пациентов, исследователей или участвующих учреждений.

Апостериорный анализ, который выполняется после просмотра данных, сопряжён с высоким риском ложных результатов. Как правило, такие результаты не подтверждаются последующими исследованиями. Анализ, предварительно описанный в протоколе исследования до сбора данных, вызывает больше доверия [72].

В примере выше авторы сообщили, что точность показателей анализа мочи оценивали в двух заранее отмеченных подгруппах пациентов.

Пункт 18. Запланированный размер выборки и его определение

Пример

«Набор в исследование проводился исходя из предположения, что распространённость аденом размером 6 мм и более в когорте скрининга составит 12%, а точечная оценка чувствительности для этих поражений ― 80%. Мы планировали набрать около 600 участников, чтобы добиться предельной погрешности выборки для показателя чувствительности примерно в 8 процентных пунктов. Такой объём выборки также позволял с 90%-ной мощностью обнаружить различия в чувствительности между компьютерной томографической колонографией и оптической колоноскопией, которые могут составлять 18 процентных пунктов и более [73].

Пояснение

Расчёт размера выборки на этапе разработки диагностического исследования может гарантировать достижение достаточной точности. При расчёте размера выборки учитываются конкретные цели исследования и выдвигаемые гипотезы.

Читателям следует сообщать о том, как был определён размер выборки; соответствуют ли сделанные в расчётах допущения научным и клиническим предпосылкам, а также целям исследования; удалось ли авторам набрать запланированное число участников. Методы расчёта размера выборки широко доступны [74–76], но такие расчёты не всегда выполняют или приводят в отчётах диагностических исследований [77, 78].

Размер выборки во многих диагностических исследованиях небольшой. Систематический обзор исследований, опубликованных в 8 ведущих журналах в 2002 г., показал, что медиана размера выборки составляет 118 участников (межквартильный размах от 71 до 350 человек) [77]. Оценки диагностических характеристик тестов в небольших исследованиях, как правило, неточны, с широкими доверительными интервалами.

В приведённом выше примере авторы подробно рассказали о желаемом уровне точности при ожидаемой чувствительности 80%.

Результаты

Пункт 19. Формирование выборки исследования

Пример

«В период с 1 июня 2008 г. по 30 июня 2011 г. оценили 360 пациентов на предмет соответствия первоначальным критериям отбора и пригласили к участию в исследовании. Схема отображает поток пациентов в ходе исследования и первичный исход ― развитие прогрессирующей колоректальной неоплазии. Отметили пациентов, исключённых (с указанием причин) или выбывших из исследования. В общей сложности исследование завершили 229 (64%) участников [79] (рис. 1).

 

Рис. 1. Пример схемы исследования, в котором оценивалась точность иммунохимического анализа кала для диагностики рогрессирующей колоректальной неоплазии (адаптировано из работы M. Collins и соавт. [79]; публикуется с разрешения).

 

Пояснение

Оценки диагностической точности могут быть подвержены систематическим смещениям в том случае, если не все отобранные участники проходят индексный и референсный тесты [80–86] или некоторые из участников проходят другой референсный тест [70]. Неполные данные по референсному тесту наблюдаются в 26% диагностических исследованиях, особенно часто в случаях, где референсный тест ― инвазивная процедура [84].

Авторам предлагается приводить в своих отчётах схемы (поточные диаграммы), отображая таким образом последовательность формирования выборки исследования, чтобы читатели могли судить о возможности систематических ошибок. Эта же схема позволит наглядно проиллюстрировать основную структуру исследования. Ниже представлен типичный пример такой схемы (рис. 2).

 

Рис. 2. STARD 2015: поточная диаграмма.

 

Представляя точное количество участников для каждого этапа исследования, включая количество истинно положительных, ложноположительных, истинно отрицательных и ложноотрицательных результатов индексного теста, схема исследования также помогает определить правильный знаменатель для расчёта пропорций, таких как чувствительность и специфичность. Помимо этого, диаграмма должна содержать сведения о количестве скринированных участников (assessed for eligibility), количестве лиц, которые не прошли индексный и/или референсный тесты с указанием причин. Эта информация поможет читателям оценить риск систематических ошибок, осуществимость стратегии тестирования и применимость результатов исследования.

В примере выше авторы очень кратко описали поток участников и привели схему исследования в виде диаграммы, где отображено количество участников и соответствующие результаты тестирования, полученные на каждом этапе исследования, с указанием подробных причин исключения участников (см. рис. 1).

Пункт 20. Характеристика участников исследования (демографические и клинические данные)

Пример

«Медианный возраст участников составлял 60 лет (диапазон 18–91), 209 участников (54,7%) были женского пола. Наиболее частые жалобы ― боль в животе, затем ректальное кровотечение и диарея, реже отмечались лихорадка и потеря веса. При объективном обследовании пальпация вызывала боль в животе почти у половины пациентов, но пальпируемое новообразование в брюшной полости или прямой кишке обнаружено только у 13 из них (Таблица X)» [87] (табл. 3).

 

Таблица 3. Пример исходных демографических и клинических характеристик участников в исследовании точности анализа кала с использованием теста Point-of-Care (диагностика по месту лечения) для диагностики органического заболевания кишечника (адаптировано из работы L. Kok и соавт. [87]; публикуется с разрешения)

Характеристики пациентов	n (%)
Географический регион проживания в Нидерландах
• Центральный (Gelderse Vallei)	257 (66,6)
• Южный (Oostelijke Mijnstreek)	129 (33,4)
Медиана возраста (диапазон)	60 (18–91)
Женщины	211 (54,7)
Симптомы при включении
• Ректальное кровотечение	141 (37,7)
• Боль в животе	267 (70,6)
• Медиана продолжительности боли в животе (диапазон)	150 сут (от 1 сут до 30 лет)
• Стойкая диарея	40 (16,9)
• Диарея	131 (37,2)
• Лихорадка	40 (11,0)
• Снижение веса	62 (17,1)
• Вздутие живота	195 (53,6)
• Запор	169 (46,6)
Физическое обследование
• Боль при пальпации	117 (46,8)
• Пальпируемое образование в брюшной полости	12 (3,0)
• Пальпируемые фекальные массы	1 (0,3)

 

Пояснение

Диагностическая точность теста может зависеть от демографических и клинических характеристик популяции, в которой он применяется [2, 3, 88–92]. Различия по этим характеристикам могут отражать вариабельность степени или тяжести заболевания, что влияет на чувствительность теста, или в альтернативных основному заболеванию состояниях могут приводить к ложноположительным результатам, влияющим на специфичность теста [85].

Адекватное описание демографических и клинических характеристик участников исследования позволяет читателю судить, может ли исследование адекватно ответить на поставленный исследовательский вопрос, и применимы ли результаты исследования к клиническим задачам читателя.

В примере выше авторы представили демографические и клинические данные участников исследования в отдельной таблице. Как правило, это наиболее информативный способ представления основных характеристик участников (см. табл. 3).

Пункт 21а. Распределение пациентов с целевым состоянием по тяжести заболевания

Пункт 21б. Распределение пациентов без целевого состояния по альтернативным диагнозам

Пример

«Из 170 пациентов с ишемической болезнью сердца у 1 пациента обнаружено поражение левой главной коронарной артерии, у 53 ― трёхсосудистое, у 64 ― двухсосудистое, у 52 ― однососудистое поражение коронарного русла. Средняя фракция выброса у пациентов составляла 64% (диапазон 37–83). У остальных 52 пациентов изменений коронарных артерий в результате ангиографии не обнаружено или они были незначительными» [93].

Пояснение

Большинство целевых состояний (объектов диагностического тестирования) не являются чем-то однозначным ― присутствующими или отсутствующими. Многие заболевания проходят в своём развитии непрерывный путь от незначительных патологических изменений до клинически выраженных заболеваний. Чувствительность теста часто выше в тех исследованиях, в которых у большего числа пациентов отмечается более тяжёлое течение целевого состояния (target condition), поскольку его проще обнаружить посредством индексного теста [28, 85]. Тип, спектр и частота альтернативных диагнозов у пациентов без целевого состояния также могут влиять на точность теста. Как правило, чем лучше себя чувствуют пациенты без целевого состояния, тем реже индексный тест дает ложноположительные результаты [28].

Авторам рекомендуется включать в отчёт информацию о тяжести заболевания у пациентов с целевым состоянием и альтернативных диагнозов у больных без него, что позволит читателям сделать выводы о достоверности (validity) исследования относительно поставленного вопроса и применимости результатов исследования к собственным клиническим задачам.

В примере выше авторы исследовали точность тестов с физической нагрузкой для диагностики ишемической болезни сердца. Они сообщили о распределении пациентов по тяжести болезни, выраженной количеством поражённых коронарных артерий (чем их больше, тем более тяжёлую форму имеет заболевание). Чувствительность тестов была выше у пациентов с бóльшим количеством поражённых сосудов: 39% при однососудистом, 58% при двухсосудистом, 77% при трёхсосудистом поражении коронарного русла [91].

Пункт 22. Временной интервал и любые медицинские вмешательства между выполнением индексного и референсного тестов

Пример

«Среднее время между артрометрическим исследованием и магнитно-резонансной томографией составило 38,2 суток (диапазон от 0 до 107 суток)» [94].

Пояснение

Исследования диагностической точности ― это, по сути, одномоментные (поперечные, cross-sectional) исследования. В большинстве случаев нужно определить, насколько хорошо индексный тест классифицирует пациентов в сравнении с референсным тестом, когда оба теста проводятся у одних и тех же пациентов в одно и то же время [30]. Если один тест выполняется позже другого, целевое и альтернативные состояния пациентов могут изменяться ― ухудшаться или улучшаться ― вследствие естественного течения заболевания или клинических вмешательств, применяемых в период между двумя тестами. Такие изменения могут влиять на согласованность индексного и референсного тестов, что может привести к систематическим ошибкам оценок эффективности тестов.

Подобные ошибки могут быть более серьёзными, если тесты с положительными и отрицательными результатами или тесты у пациентов с высоким и низким риском обнаружения целевого состояния систематически проводятся с разными интервалами во времени [1, 2].

Если исследователи рассматривают последующее наблюдение за пациентами в качестве референсного стандарта, необходимо указать продолжительность такого наблюдения.

В приведённом выше примере авторы указали среднее количество дней, а также диапазон значений времени между выполнением индексного и референсного тестов.

Пункт 23. Таблицы сопряжённости (или распределение) результатов индексного и референсного тестов

Пример

«В таблице X представлены результаты оценки усиления боли в животе при проезде через искусственные неровности в диагностике аппендицита» [95] (табл. 4).

Пояснение

Результаты исследований должны быть воспроизводимы и доступны для проверки другими учёными. Это относится к процедурам тестирования, проведения исследования и статистическому анализу.

Сопоставление результатов индексного и референсного тестов с помощью таблиц сопряжённости (cross tabulation) упрощает пересчёт показателей диагностической точности. Такое представление результатов позволяет определить долю участников с целевым состоянием в выборке исследования, что полезно, поскольку чувствительность и специфичность теста могут варьировать в зависимости от распространённости заболевания [32, 96]. Кросс-табулирование позволяет выполнять также альтернативные или дополнительные анализы (к примеру, метаанализ).

Такие таблицы должны включать абсолютные значения, а не только проценты, поскольку авторы нередко допускают ошибки при вычислении показателей чувствительности и специфичности.

В примере выше авторы представили таблицу сопряжённости, по которой можно легко определить число истинно положительных, ложноположительных, ложноотрицательных и истинно отрицательных результатов (см. табл. 4).

 

Таблица 4. Пример таблицы сопряжённости из исследования, в котором изучалась точность использования критерия «усиление боли при проезде через искусственные неровности» в диагностике острого аппендицита (адаптировано из работы H. Ashdown и соавт. [95]; публикуется с разрешения)

Аппендицит
Боль в животе при проезде через искусственную неровность	Положительный тест	Отрицательный тест	Всего
Усиливается	33	21	54
Не усиливается	1	9	10
Всего	34	30	64

 

Пункт 24. Оценка диагностического показателя и её точность (например, 95% доверительный интервал)

Пример

«У 46 пациентов в результате компьютерной томографии обнаружен фиброз лёгких. Чувствительность магнитно-резонансной томографии при выявлении этого же диагноза составила 89% (95% ДИ 77–96), специфичность ― 91% (95% ДИ 76–98), положительная прогностическая значимость ― 93% (95% ДИ 82–99), отрицательная ― 86% (95% ДИ 70–95)» [97].

Пояснение

Диагностические исследования никогда не определяют «истинную» чувствительность и специфичность теста. В лучшем случае данные, собранные в ходе исследования, можно использовать для расчёта обоснованных оценок чувствительности и специфичности. Чем меньше участников исследования, тем менее точными (precise) будут эти оценки [98].

Наиболее часто используемым выражением неточности является сообщение не только об оценках, иногда называемых точечными оценками (point estimates), но и о 95% доверительных интервалах для этих оценок. Результаты исследований с неточными оценками диагностических показателей следует интерпретировать с осторожностью, поскольку за ними скрывается излишний оптимизм авторов [22].

В приведённом примере, где МРТ ― индексный тест, а КТ ― референсный, авторы указали точечные оценки и 95% доверительные интервалы для показателей чувствительности, специфичности, положительной и отрицательной прогностической значимости (positive/negative predictive value).

Пункт 25. Любые нежелательные последствия выполнения индексного или референсного тестов

Пример

«В результате проведения колоноскопии не было отмечено каких-либо серьёзных нежелательных последствий. У 4 пациентов (2%) отмечалось незначительное кровотечение в связи с эндоскопической полипэктомией. Другие незначительные осложнения описаны в приложении» [79].

Пояснение

Не все медицинские тесты одинаково безопасны, и в этом они не отличаются от многих других медицинских вмешательств [99, 100]. Процедура диагностики может привести к различным осложнениям, таким как перфорация при эндоскопии, рентгеноконтрастные реакции аллергического типа при КТ или клаустрофобия при МРТ.

Измерение и регистрация нежелательных явлений в диагностических исследованиях предоставят дополнительную информацию клиницистам, которые могут неохотно использовать их, если они вызывают серьёзные или частые нежелательные явления. Фактическое применение индексного теста в клинической практике определяется не только его точностью, но и другими аспектами, включая его выполнимость и безопасность. Это также относится и к референсному тесту.

В представленном примере авторы различают «значительные» и «незначительные» нежелательные последствия проведения диагностического исследования и сообщают, как часто они возникают.

Обсуждение

Пункт 26. Ограничения исследования, включая источники потенциальных систематических ошибок, статистической неопределённости и ограниченной обобщаемости результатов

Пример

«Исследование было сопряжено с рядом ограничений. Во-первых, не всех пациентов, которые прошли процедуру КТ-колонографии (КТК), оценивали референсными методами. <…> Мы исключили из исследования 41 пациента, которые соответствовали критериям отбора, но не прошли референсные процедуры и имели отрицательные или умеренно положительные результаты КТК, что могло привести к слегка завышенным показателям чувствительности КТК (т.е. имела место систематическая ошибка верификации, partial verification bias). Во-вторых, в некоторых случаях (преимущественно у пациентов с отрицательными результатами) были большие интервалы времени между проведением КТК и референсного метода диагностики. <…> Во всяком случае, увеличенный интервал, предположительно, немного занижает чувствительность и отрицательную прогностическую значимость КТК при диагностике доброкачественных образований, поскольку «пропущенные» образования могли гипотетически развиться или увеличиться в размере с момента выполнения КТК» [101].

Пояснение

Диагностические исследования подвержены риску систематических ошибок, как и другие клинические испытания и исследования. В результате авторы могут получать оценки точности, которые не отражают действительные характеристики теста в связи с ошибками и недостатками дизайна исследования или анализа данных [1, 2]. Вследствие различий в дизайне, участниках и процедурах результаты одного конкретного диагностического исследования могут оказаться невоспроизводимыми в других условиях, а их обобщаемость (generalisability) будет носить ограниченный характер [102].

В разделе «Обсуждение» авторы должны критически оценивать достоверность (validity) полученных данных, отмечать потенциальные ограничения и уточнять, по какой причине можно или нельзя распространить полученные результаты на другие условия. Поскольку систематические ошибки могут сводиться к переоценке или недооценке точности индексного теста, авторам следует обсудить направление возможного смещения вместе с его вероятной величиной. Затем читателей необходимо проинформировать о вероятности того, что ограничения исследования ставят под угрозу его результаты и выводы (см. пункт 27) [103].

Некоторые журналы прямо призывают авторов сообщать об ограничениях исследования, но многие не конкретизируют, какие элементы должны быть рассмотрены [104]. Для диагностических исследований мы настоятельно рекомендуем обсудить как минимум возможные источники систематических ошибок, неточность данных и вопросы, связанные с набором пациентов и условиями, в которых проводилось исследование.

В примере выше авторы определили два возможных источника систематических ошибок, характерных для диагностических исследований: (1) не все результаты теста верифицировали референсным методом диагностики (partial verification bias) и (2) между выполнением индексного и референсного тестов был временной интервал, в течение которого целевое состояние могло измениться. Авторы также обсудили величину потенциальных систематических ошибок и их направление, уточнив, могли ли они привести к переоценке или недооценке точности теста.

Пункт 27. Значение для практики, включая предполагаемое использование и клиническую роль индексного теста

Пример

«Оценка по шкале Уэллса <4 баллов в сочетании с отрицательным тестом на D-димер позволили исключить развитие лёгочной тромбоэмболии у 4–5 пациентов из 10 с частотой ошибок менее 2%, что считается безопасным, согласно большинству опубликованных рекомендаций. Такая стратегия позволяет врачам первичного звена здравоохранения безопасно исключать лёгочную тромбоэмболию у значительного числа пациентов с подозрением на наличие такого заболевания, тем самым уменьшая затраты и нагрузку на пациента (например, снижая риск развития контрастиндуцированной нефропатии, ассоциированной с мультиспиральной компьютерной томографией), связанные с ненужным направлением в учреждения специализированной медицинской помощи» [25].

Пояснение

Для того чтобы результаты исследования были актуальными для практики, авторам диагностических исследований следует подробно описать последствия своих выводов, принимая во внимание предполагаемое использование (цель тестирования) и клиническую роль теста (место теста в существующих клинических протоколах ведения больных).

Тест может быть предложен для диагностики, определения предрасположенности, скрининга, стратификации риска, определения стадии заболевания, предсказания (prediction), прогнозирования (prognosis), выбора лечения, мониторинга, надзора или других целей. Клиническая роль теста (предварительный тест, дополнительный тест, замещающий тест) отражает его положение по отношению к другим тестам, выполняемым с аналогичной целью и в аналогичных условиях [19, 105]. Предполагаемое использование и клиническая роль индексного теста должны быть описаны в вводном разделе статьи (см. Пункт 3).

Предполагаемое использование и роль теста будут определять желаемую величину показателей диагностической точности. Например, для исключения заболевания с помощью недорогого предварительного теста (triage test) требуется высокая чувствительность, и вместе с тем допустима неидеальная специфичность. Если же тест предназначен для подтверждения заболевания, специфичность может стать гораздо более важной характеристикой теста [106].

В разделе «Обсуждение» авторы должны уточнить, соответствуют или нет полученные оценки точности теста целям исследования.

В приведённом выше примере авторы пришли к выводу, что оценка вероятности развития лёгочной тромбоэмболии, составляющая <4 баллов по шкале Уэллса, в сочетании отрицательным результатом теста на D-димер, выполненного у постели больного, позволяли исключить лёгочную тромбоэмболию у большинства пациентов, которые обращались за первичной медицинской помощью.

Дополнительная информация

Пункт 28. Регистрационный номер исследования и наименование регистра

Пример

«Исследование зарегистрировано на http://www.clinicaltrials.org (NCT00916864)» [107].

Пояснение

Регистрация протоколов исследований до их начала в регистре клинических испытаний, например на ClinicalTrials.gov или в одном из первичных регистров Всемирной организации здравоохранения, позволяет без труда идентифицировать в базе данных то или иное исследование [108–112]. Это даёт много преимуществ, в том числе позволяет избежать необоснованного частичного или полного повторения исследований, а также позволит коллегам и потенциальным участникам связаться с координаторами исследования.

Дополнительные преимущества регистрации исследований ― проспективное определение целей исследования, показателей исхода, критериев отбора и данных, которые необходимо собрать, что позволит редакторам, рецензентам и читателям идентифицировать отклонения в финальном отчёте исследования. Регистрация испытаний, кроме того, позволяет идентифицировать исследования, которые были завершены, но ещё не опубликованы.

Многие журналы требуют регистрации клинических испытаний. Доля регистрируемых диагностических исследований непрерывно растёт, хотя и остаётся небольшой. По результатам недавней оценки, из 351 диагностического исследования, опубликованного в журналах с высоким импакт-фактором в 2012 году, только 15% были предварительно зарегистрированы [113].

Включение регистрационного номера в отчёт об исследовании облегчает его поиск в соответствующем регистре. Более того, регистрацию исследования до начала его проведения можно считать признаком его качества.

В представленном выше примере авторы сообщили, что исследование было зарегистрировано в регистре ClinicalTrials.gov с указанием регистрационного номера, чтобы можно было легко найти соответствующую запись.

Пункт 29. Доступ к полному протоколу исследования

Пример

«Более подробная информация о дизайне и обосновании исследования OPTIMAP была опубликована ранее [ссылка на протокол исследования]» [114].

Пояснение

Полные протоколы исследования обычно включают дополнительную методологическую информацию, которая не представлена в окончательном отчёте из-за ограничений по количеству публикуемых слов или по причине того, что эти данные уже были опубликованы в других источниках. Такая информация может быть полезна для тех, кто хочет в полной мере оценить достоверность исследования, воспроизвести или применить на практике процедуры тестирования.

Всё большее число авторов публикуют первоначальный протокол исследования, часто до момента включения в исследование первого участника. Протоколы зачастую публикуют в научных журналах, на веб-сайтах медицинских учреждений или спонсоров, или в качестве дополнительных материалов на веб-сайте журнала, в котором будет опубликован отчёт об исследовании.

Если протокол опубликован или размещён онлайн, авторы должны предоставить соответствующую библиографическую ссылку или ссылку на электронный документ. Если протокол исследования не был опубликован, авторы должны указать, у кого его можно получить [115].

В примере выше авторы привели библиографическую ссылку на полную версию протокола, который был опубликован ранее.

Пункт 30. Источники финансирования, другие виды поддержки и роль спонсоров исследования

Пример

«Финансирование приобретения дополнительных диагностических реагентов и оборудования, необходимых для исследования, предоставлено компанией Gen-Probe. Спонсоры не принимали участия в инициировании или разработке исследования, сборе образцов, анализе и интерпретации данных, написании статьи и её представлении к печати. Исследование и исследователи были независимыми от спонсоров, компании Gen-Probe» [116].

Пояснение

Известно, что спонсирование исследования фармацевтической компанией связано с получением результатов, благоприятствующих интересам этого спонсора [117]. К сожалению, информация о спонсорах зачастую не раскрывается в научных статьях, что затрудняет оценку связанных с этим потенциальных систематических ошибок. Спонсорство может заключаться в прямом финансировании исследования или в предоставлении основных материалов для его проведения, в том числе устройства для тестирования.

Роль спонсоров, включая степень их участия в исследовании, варьирует. Спонсор может, например, участвовать в разработке и проведении исследования, а также анализе данных, составлении отчётов и принятии решения о публикации. Авторам рекомендуется чётко указывать источники финансирования, а также роль спонсоров в исследовании, поскольку такая прозрачность помогает читателям оценить уровень независимости исследователей.

В приведённом выше примере авторы сообщили о том, в какой мере была оказана спонсорская поддержка, а также о своей независимости на каждом этапе исследования.

ДОПОЛНИТЕЛЬНО

Вклад авторов. J.F. Cohen, D.A. Korevaar внесли равный вклад в написание этой статьи и в одинаковой мере являются первыми авторами; J.F. Cohen, D.A. Korevaar, P.M.M. Bossuyt ― написание черновика рукописи; D.G. Altman, D.E. Bruns, C.A. Gatsonis, L. Hooft, L. Irwig, D. Levine, J.B. Reitsma, H.C.W. de Vet ― критический пересмотр и редактирование рукописи.

Благодарности. Авторы благодарят инициативную группу STARD за помощь в определении ключевых пунктов для отчётов о диагностических исследованиях.

Заявление о доступе к данным. Дополнительные данные не предоставлены.

 

¹ Здесь: соответствие референсному или истинному значению.

Об авторах

Jérémie F. Cohen

University of Amsterdam; Paris Descartes University

Email: p.m.bossuyt@amc.uva.nl
ORCID iD: 0000-0003-3572-8985

Department of Clinical Epidemiology, Biostatistics and Bioinformatics, Academic Medical Centre, University of Amsterdam, Department of Pediatrics

Нидерланды, Амстердам; Париж

Daniël A. Korevaar

University of Amsterdam

Email: p.m.bossuyt@amc.uva.nl
ORCID iD: 0000-0002-7979-7897

Department of Clinical Epidemiology, Biostatistics and Bioinformatics, Academic Medical Centre

Нидерланды, Амстердам

Douglas G. Altman

University of Oxford

Email: p.m.bossuyt@amc.uva.nl
ORCID iD: 0000-0002-7183-4083

Nuffield Department of Orthopaedics, Rheumatology and Musculoskeletal Sciences, Centre for Statistics in Medicine

Великобритания, Оксфорд

David E. Bruns

University of Virginia School of Medicine

Email: p.m.bossuyt@amc.uva.nl

Department of Pathology, University of Virginia School of Medicine

США, Шарлотсвилл, Вирджиния

Constantine A. Gatsonis

Brown University School of Public Health

Email: p.m.bossuyt@amc.uva.nl

Department of Biostatistics, Brown University School of Public Health

США, Провиденс, Род-Айленд

Lotty Hooft

University of Utrecht

Email: p.m.bossuyt@amc.uva.nl

Cochrane Netherlands, Julius Center for Health Sciences and Primary Care

Нидерланды, Утрехт

Les Irwig

University of Sydney

Email: p.m.bossuyt@amc.uva.nl

Screening and Diagnostic Test Evaluation Program, School of Public Health

Австралия, Сидней, Новый Южный Уэльс

Deborah B. Levine

Beth Israel Deaconess Medical Center; Radiology Editorial Office

Email: p.m.bossuyt@amc.uva.nl
ORCID iD: 0000-0001-7761-6493

Department of Radiology, Beth Israel Deaconess Medical Center, Radiology Editorial Office

США, Бостон, Массачусетс

Henrica C. W. de Vet

VU University Medical Center

Email: p.m.bossuyt@amc.uva.nl
ORCID iD: 0000-0002-5454-2804

Department of Epidemiology and Biostatistics, EMGO Institute for Health and Care Research, VU University Medical Center

Нидерланды, Амстердам

Patrick M.M. Bossuyt

University of Amsterdam

Автор, ответственный за переписку.
Email: p.m.bossuyt@amc.uva.nl
ORCID iD: 0000-0003-4427-0128

Department of Clinical Epidemiology, Biostatistics and Bioinformatics, Academic Medical Centre

Нидерланды, Амстердам

Список литературы

Дополнительные файлы