Autonomous artificial intelligence for sorting results of preventive radiological examinations of chest organs: medical and economic efficiency

Full Text

ОБОСНОВАНИЕ

Профилактика — это ключевое направление здравоохранения, имеющее стратегическую важность для сбережения и преумножения здоровья населения, снижения смертности, повышения длительности и качества жизни, роста экономики и обеспечения безопасности государства. Профилактика представляет собой сложный, многогранный комплекс мероприятий и методологий, в котором особую роль играют массовые обследования населения с целью выявления факторов риска и ранних признаков социально-значимых и иных заболеваний [1–6]. В свою очередь, в контексте первого этапа диспансеризации и массовых профилактических осмотров чрезвычайно важны лучевые методы диагностики, прежде всего — флюорография и рентгенография органов грудной клетки, а также маммография. Необходимо подчеркнуть, что именно они составляют до 30% всех проводимых в Российской Федерации лучевых исследований [7–11].

При этом отмечают парадоксальное сочетание следующих факторов:

• высокая актуальность и необходимость массовых профилактических исследований;
• колоссальная ресурсная нагрузка на систему здравоохранения в связи с необходимостью выполнения и постоянного наращивания объёмов массовых осмотров;
• высокая рутинность работы медицинского персонала в связи с максимальной стандартизацией исследований, результаты которых преимущественно отражают нормальное состояние здоровья обследованных лиц;
• сложность обеспечения требуемых показателей доступности и качества профилактических исследований в условиях кадрового дефицита.

Следует добавить, что стремительный рост объёмов оказания всех видов медицинской помощи, включая профилактические мероприятия, постоянное усиление требований к срокам и качеству её предоставления, возрастание социального спроса на медицинские услуги обусловили постоянный дефицит кадров медицинских работников [7, 13]. Сегодня мы наблюдаем ситуацию, когда спрос уже навсегда превысил возможность физического увеличения числа врачей целого ряда специальностей. Это означает, что невозможно избежать использование новых моделей организации здравоохранения, прежде всего опирающихся на цифровые технологии и научно обоснованную автоматизацию.

Ситуация с профилактическими лучевыми исследованиями наилучшим образом иллюстрирует это утверждение, поскольку их объём колоссален. Врачи-рентгенологи вынуждены рутинно описывать миллионы результатов исследований с отсутствием патологий [8–12]. Одновременно с этим существует безнадёжная ситуация: врачей-рентгенологов физически не хватает, чтобы закрыть всю потребность как в отношении профилактических, так и диагностических исследований, при этом она всё время растёт. Возникает обстоятельство, когда общегосударственные программы профилактики начинают подвергаться рискам невыполнения. Именно поэтому необходимы принципиально новые подходы, смелые и одновременно научно обоснованные решения.

В Российской Федерации выполняют крупнейшее в мире научное проспективное многоцентровое исследование применимости, безопасности и качества искусственного интеллекта (ИИ) в реальных клинических условиях: «Эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения этих технологий в системе здравоохранения г. Москвы (Московский эксперимент)» [14–18].

В результате Московского эксперимента¹ и связанных с ним научных исследований установлено, что чувствительность сервисов ИИ (ИИ-сервис) при работе в условиях практического здравоохранения может достигать 1,0 [95% доверительный интервал (ДИ) 1,0–1,0] [19]. Данный факт указывает на их возможность с высокой вероятностью выявлять все случаи патологии. Если ИИ-сервис не классифицировал результат как патологический, то в данном случае его можно отнести только к «норме». Применительно к массовым профилактическим исследованиям, результаты с «нормой» считают доминирующей группой, поэтому можно ожидать определённый практический эффект от такого способа их выявления.

Достигнутый уровень технологической готовности и научных знаний об ИИ, полученных как в ходе Московского эксперимента, так и при обобщении зарубежного опыта, позволяет предложить новую модель организации медицинской помощи в контексте профилактики: автономную сортировку результатов лучевых профилактических исследований [20]. В 2023 году предложенная модель апробирована в экспериментально-лабораторных условиях. Полученные результаты свидетельствовали о потенциальной возможности автономной сортировки результатов массовых профилактических исследований с целью повышения доступности и производительности профилактических мероприятий, ликвидации кадровых проблем в области лучевой диагностики, оптимального использования материально-технических ресурсов [21]. Возникли основания для проведения масштабного исследования в условиях практического здравоохранения. Для его осуществления выдвинуты две гипотезы (табл. 1).

 

Таблица 1. Выдвинутые гипотезы

Нулевая гипотеза (H0)	Альтернативная гипотеза (Н1)
При автономной сортировке как минимум половина результатов профилактических лучевых исследований будет отнесена к категории «норма», что позволит пропорционально сократить трудовые затраты врачей-рентгенологов	При автономной сортировке менее половины результатов профилактических лучевых исследований будут отнесены к категории «норма», что не позволит пропорционально сократить трудовые затраты врачей-рентгенологов
Для определённых половозрастных групп число случаев клинически значимых расхождений при автономной сортировке будет равно нулю	Для определённых половозрастных групп число случаев клинически значимых расхождений при автономной сортировке будет больше нуля
Примечание. Категория «норма» — результаты исследования без патологических признаков.

 

ЦЕЛЬ

Оценить результативность и эффективность автономной сортировки результатов профилактических лучевых исследований органов грудной клетки в условиях практического здравоохранения.

МАТЕРИАЛЫ И МЕТОДЫ

Дизайн исследования

Проведено проспективное многоцентровое диагностическое исследование.

Продолжительность исследования

Исследование проведено в период 01.05.2024–30.09.2024.

Условия проведения

Профилактические лучевые исследования органов грудной клетки проводили в медицинских организациях Департамента здравоохранения г. Москвы при оказании медицинской помощи в амбулаторных условиях и при проведении массовых профилактических осмотров.

Индекс-тест: ИИ-сервис, интегрированный в Единый радиологический информационный сервис Единой медицинской информационно-аналитической системы г. Москвы (ЕРИС ЕМИАС).

Референс-тест № 1: протокол, оформленный врачом-рентгенологом Российской медицинской академии непрерывного профессионального образования Министерства здравоохранения Российской Федерации (РМАНПО МЗ РФ).

Референс-тест № 2: экспертный пересмотр врачом-рентгенологом с субспециализацией в области торакальной рентгенологии Научно-практического клинического центра диагностики и телемедицинских технологий Департамента здравоохранения Москвы (НПКЦ ДиТ ДЗМ).

Общий ход исследования

1. Участковый врач городской поликлиники создавал направление на профилактическое лучевое исследование органов грудной клетки.
2. Пациент записывался на приём с помощью ЕМИАС и иных средств.
3. Рентгенолаборант городской поликлиники выполнял назначенное лучевое исследование, а результаты сохранял в ЕРИС ЕМИАС.
4. Результаты исследования (рентгенография или флюорография органов грудной клетки в прямой проекции) автоматически маршрутизировали на один из трёх ИИ-сервисов, включённых в эксперимент.
5. При наличии признаков патологических изменений (категория «не норма») результаты лучевого исследования автоматически маршрутизировали для описания врачом-рентгенологом НПКЦ ДиТ ДЗМ. Протокол и заключение, подписанные врачом-рентгенологом, сохраняли в электронной карте пациента в ЕМИАС.
6. При отсутствии признаков патологических изменений (категория «норма»):

• результаты работы ИИ-сервиса в виде электронной медицинской записи сохраняли в электронной карте пациента в ЕМИАС;
• данные результаты автоматически маршрутизировали для описания врачом-рентгенологом РМАНПО МЗ РФ. Протокол и заключение, подписанные врачомрентгенологом, сохраняли в электронной карте пациента в ЕМИАС.

7. При выявлении врачом-рентгенологом РМАНПО МЗ РФ ошибочных решений со стороны ИИ-сервиса:

• данные о соответствующем исследовании вносили в журнал патологии и дефектуры, сообщали специалистам НПКЦ ДиТ ДЗМ;
• экспертный пересмотр соответствующего исследования осуществлял врач-рентгенолог с субспециализацией в области торакальной рентгенологии НПКЦ ДиТ ДЗМ;
• при подтверждении ошибочного решения данный случай учитывали как расхождение, при отсутствии подтверждения — как случай категории «норма».

Общий ход исследования и поток данных представлены на рис. 1.

 

Рис. 1. Схема, описывающая общий ход исследования. ИИ-сервис — сервис искусственного интеллекта; РМАНПО МЗ РФ — Российская медицинская академия непрерывного профессионального образования Министерства здравоохранения Российской Федерации; НПКЦ ДиТ ДЗМ — Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения Москвы.

 

Критерии соответствия

Критерии включения:

• возраст пациента 18 лет и более;
• назначение профилактического исследования органов грудной клетки врачом городской поликлиники;
• выполнение профилактического лучевого исследования в амбулаторных условиях (рентгенография или флюорография органов грудной клетки);
• подписанное добровольное информированное согласие пациента на оказание медицинской помощи и проведение лучевых исследований в данной городской поликлинике.

Критерии исключения:

• отсутствие результатов профилактического лучевого исследования и/или результатов его автоматизированной обработки в ЕРИС ЕМИАС;
• технические дефекты при выполнении профилактического лучевого исследования.

Классификация расхождений

Для оценки правильности решений о сортировке, принимаемых медицинскими изделиями на основе технологий ИИ, в качестве основы использована утверждённая Департаментом здравоохранения г. Москвы методика оценки качества рентгенорадиологических исследований. Установлены следующие критерии расхождений рентгенологических и заключений, сформированных программами ИИ [22, 23].

Клинически значимые расхождения:

• ателектаз;
• диссеминация;
• инфильтрация или консолидация;
• нарушение целостности кортикального слоя кости;
• очаг затенения;
• плевральный выпот;
• пневмоторакс;
• полость;
• расширение средостения.

Клинически незначимые расхождения:

• кальцинат или кальцинированная тень в лёгких;
• кардиомегалия;
• консолидированный перелом.

С целью документирования результатов лучевых исследований использовали стандартизированный шаблон описания.

Сервисы искусственного интеллекта

В эксперименте применяли медицинские изделия на основе технологий ИИ для анализа результатов рентгенографии и флюорографии органов грудной клетки.

• «Программа автоматизированного анализа цифровых рентгенограмм органов грудной клетки/флюорограмм по ТУ 62.01.29-001-96876180-2019» (ООО «ФтизисБиоМед»; РЗН 2022/17406).
• «Третье Мнение. Флюорограммы/Рентгенограммы» (ООО «Платформа Третье Мнение»; РЗН 2021/14506).
• «Цельс» (ООО «Медицинские скрининг системы»; РЗН 2021/14449).

Выбор основан на лидерстве в матрице зрелости ИИ-сервисов Московского эксперимента в соответствии со значением площади под характеристической кривой (AUC) и клинической оценкой. Включённые ИИ-сервисы настроены на чувствительность 1,0 (95% ДИ 1,0–1,0), значение специфичности было несущественно.

Общий контроль безопасности и качества работы медицинских изделий на основе технологий ИИ проводили по утверждённой методике [24].

Анализ результатов осуществлён в соответствии со стратификацией обследованных лиц по полу и возрасту.

Методы

Использованы аналитические методы для проведения анализа и синтеза данных.

Статистические методы — описательная статистика. С целью статистической проверки гипотезы использован критерий χ². Для прогнозирования вероятности возникновения клинически значимого расхождения использована логистическая регрессия (зависимая переменная — факт наличия или отсутствия клинически значимого расхождения, факторы модели — пол, возраст, а также квадрат возраста в случае нелинейной зависимости от возраста). Для каждого фактора проведена оценка отношения шансов (ОШ) наличия фактора риска. Использован метод Клоппера–Пирсона для определения границ 95% ДИ. Обработка и анализ данных выполнены в статистической программе MedCalc 18® (MedCalc Software Ltd, Бельгия).

Этическая экспертиза

Данное исследование основано на результатах эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения г. Москвы, утверждённого этическим комитетом НЭК МРО РОРР (протокол № 2 от 20.02.2020), также зарегистрированного на ClinicalTrials (NCT04489992).

РЕЗУЛЬТАТЫ

В период проведения эксперимента на автономную сортировку ИИ-сервисами направлены результаты 642 681 профилактического лучевого исследования органов грудной клетки. В соответствии с критериями в окончательный анализ включены результаты 575 549 исследований [флюорографии и рентгенографии — 60,0 (345 408) и 40,0% (230 141) соответственно] (рис. 2, 3).

 

Рис. 2. Пример отображения результатов работы сервиса искусственного интеллекта в электронной карте пациента в Единой медицинской информационно-аналитической системе г. Москвы: автоматически сформированное заключение об отсутствии патологических отклонений в формате электронной медицинской записи.

 

Рис. 3. Пример отображения результатов работы сервиса искусственного интеллекта в едином радиологическом информационном сервисе Единой медицинской информационно-аналитической системы г. Москвы (изображение, DICOM SR).

 

Оценка медицинской эффективности

Результат автономной сортировки данных профилактических исследований с учётом модальностей представлен в табл. 2.

 

Таблица 2. Результаты автономной сортировки данных профилактических лучевых исследований органов грудной клетки

Модальность	Все результаты, включённые в исследование, абс. (%)	Категория «не норма», абс. (%)	Категория «норма», абс. (%)
Флюорография	345 408 (60)	149 373 (57,4)	196 035 (62,1)
Рентгенография	230 141 (40)	110 685 (42,6)	119 456 (37,9)
Всего	575 549 (100)	260 058 (100)	315 491 (100)
Примечание. Категория «не норма» — результаты исследования с патологическими признаками; категория «норма» — результаты исследования без патологических признаков.

 

Таким образом, среди результатов, включённых в исследование:

• категория «не норма» — 45,2% (260 058);
• категория «норма» — 54,8% (315 491).

Большая часть результатов, полученных с помощью этих модальностей, отнесена к категории «норма».

Можно утверждать, что потенциально 54,8% случаев выполнения профилактических лучевых исследований органов грудной клетки не требовали привлечения врачарентгенолога для интерпретации и описания результатов. Таким образом, первая гипотеза, лежащая в основе исследования, принята (см. табл. 1).

Результаты исследования, отнесённые к категории «не норма», автоматически направлены на описание врачам-рентгенологам Московского референс-центра на базе НПКЦ ДиТ ДЗМ. Результаты, попавшие в данную категорию, не представляют интереса для текущего исследования и далее не рассмотрены (см. рис. 1).

Для категории «норма», в соответствии с дизайном исследования, автоматически сформированы электронные медицинские записи с результатами работы ИИ-сервисов, сохранённые в электронных картах пациентов. Далее с целью объективизации качества работы технологий ИИ и обеспечения безопасности эксперимента результаты категории «норма» отправлены на интерпретацию и описание врачам-рентгенологам независимой экспертной организации федерального уровня — РМАНПО МЗ РФ (см. рис. 1). Выборку составил 315 491 результат исследований пациентов:

• мужчины — 37,0% (116 877);
• женщины — 63,0 % (198 614).

Демографическая характеристика пациентов с результатами категории «норма» представлена в табл. 3. Следует отметить, что большая часть обследованных граждан отнесена к возрастной категории 18–44 лет — люди молодого возраста (мужчин и женщин — 54,5 и 46,4% соответственно).

 

Таблица 3. Демографическая характеристика пациентов с результатами исследования, отнесёнными к категории «норма» по итогам автономной сортировки

Возрастная группа, лет	Мужчины, абс. (%)	Женщины, абс. (%)	Все пациенты, абс. (%)
18–44	63 679 (54,5)	92 219 (46,4)	155 898 (49,4)
45–59	28 013 (24,0)	53 066 (26,7)	81 079 (25,7)
60–74	20 979 (17,9)	44 073 (22,2)	65 052 (20,6)
75–89	4116 (3,5)	9117 (4,6)	13 233 (4,2)
90 и более	90 (0,1)	139 (0,1)	229 (0,1)
Всего	116 877(100)	198 614(100)	315 491 (100)
Примечание. Категория «норма» — результаты исследования без патологических признаков.

 

Выполнена оценка медицинской эффективности модели автономной сортировки результатов профилактических лучевых исследований органов грудной клетки с применением медицинских изделий на основе технологий ИИ.

В организации здравоохранения под медицинской эффективностью понимают степень достижения медицинского результата. На уровне медицинских организаций её можно измерить произвольной совокупностью показателей деятельности учреждения, заболеваемости, летальности, оценки исходов и т. д. В нашем исследовании показателем медицинской эффективности служит удельный вес результатов профилактических исследований, правильно отнесённых к категории «норма» [25, 26].

Среди результатов категории «норма» (n=315 491) выявлено 942 случая, в которых врачами-рентгенологами РМАНПО МЗ РФ зафиксированы патологические отклонения. Все указанные результаты отправлены на пересмотр врачом-рентгенологом с субспециализацией в области торакальной рентгенологии. После пересмотра отмечено, что 411 результатов исследований действительно содержали патологические отклонения, а остальные отнесены к ложноположительным решениям врача-рентгенолога, выполнявшего независимое описание (табл. 4).

 

Таблица 4. Случаи расхождения при классификации результатов профилактического лучевого исследования как «норма»

Патологические изменения	Количество случаев, абс. (%)
Клинически значимые расхождения
Инфильтрация или консолидация	188 (64,8)
Очаг затенения	78 (26,9)
Расширение средостения	9 (3,1)
Плевральный выпот	5 (1,7)
Нарушение целостности кортикального слоя кости	3 (1,0)
Ателектаз	3 (1,0)
Диссеминация	2 (0,7)
Полость	2 (0,6)
Всего	290(100)
Клинически незначимые расхождения
Консолидированный перелом	76 (62,8)
Кальцинат или кальцинированная тень в лёгких	44 (36,4)
Кардиомегалия	1 (0,8)
Всего	121 (100)
Примечание. Расхождения — ложноотрицательные решения сервиса искусственного интеллекта; категория «норма» — результаты исследования без патологических признаков.

 

Следует отметить, что в структуре клинически значимых расхождений преобладали пропуски инфильтрации и/или консолидации, а также очагов затенения — 64,8 и 26,9% соответственно. Остальные патологические признаки встречали реже, вплоть до единичных случаев (рис. 4, 5).

 

Рис. 4. Результаты исследования мужчины 53 лет. Клинически значимое расхождение: признаки мелкоочаговой полисегментарной диссеминации в лёгких.

 

Рис. 5. Результаты исследования женщины 47 лет. Клинически значимое расхождение: очаг в нижней доле левого лёгкого (красная стрелка).

 

При рассмотрении структуры расхождений в контексте модальностей установлено, что их чаще встречали при исследовании с помощью рентгенографии — 62,3 против 37,7% случаев соответственно (256 против 155). Тем не менее следует отметить, что клинически значимые расхождения превалировали при использовании и рентгенографии, и флюорографии, что составило 79,3 и 56,1% соответственно (203 и 87). Распределение патологических проявлений по удельному весу в целом идентично — со значительным отрывом лидировали пропуски инфильтрации и/или консолидации, а также очага затенения.

Проведена проверка гипотезы, состоящей в том, что для определённых половозрастных групп число случаев клинически значимых расхождений при автономной сортировке будет равно нулю (см. табл. 1).

При рассмотрении данных с учётом пола обследованных лиц установлено, что вероятность появления клинически значимого расхождения выше у мужчин (ОШ=1,317 [95% ДИ 1,044–1,661], р=0,020). Однако для отдельных ИИ-сервисов, в том числе с учётом модальностей, различия в частоте случаев дефектов у мужчин и женщин не были статистически значимыми. Наиболее часто клинически значимые расхождения наблюдали у лиц молодого возраста (18–44 лет). В дальнейшем происходит почти двукратное снижение доли ошибок в работе ИИ-сервисов (с 0,12 до 0,07%), соответствующее значение остаётся стабильным в двух возрастных группах. В период старческого возраста возобновляется рост (до 0,09%), сменяющийся практически полным отсутствием клинически значимых расхождений у долгожителей. Объём наблюдений в группе старше 90 лет был крайне мал и в целом нерепрезентативен для выявления частоты случаев дефектов.

Можно констатировать, что с помощью автоматизированной сортировки 575 549 результатов профилактических лучевых исследований к категории «норма» отнесён 315 491 случай. Таким образом, клинически значимые дефекты автономной сортировки произошли в 0,05% случаев общего числа исследований, прошедших автономную сортировку. Удельный вес клинически значимых дефектов при автономной сортировке — менее 0,1%. Полностью правильно автономная сортировка осуществлена в 99,95% случаев.

Для удельного веса клинически значимых расхождений методом Клоппера–Пирсона определён 95% ДИ с целью оценки диапазона их колебаний при масштабировании автономной сортировки на всю выборку исследований за год — в качестве исходного значения использовали количество профилактических лучевых исследований органов грудной клетки за 2023 год. Установлено, что минимально и максимально возможное количество ложноотрицательных решений ИИ-сервисов при автономной сортировке составляет 0,04 и 0,06% соответственно. Выше указанного уровня истинное значение не поднимется с вероятностью 97,5%.

Таким образом, доказана медицинская эффективность предложенной модели применения автономного ИИ.

Оценка экономической эффективности

В организации здравоохранения под экономической эффективностью понимают соотношение полученных результатов и произведённых затрат. Её расчёт связан с поиском наиболее экономичного использования имеющихся ресурсов. Этот показатель также является необходимым для обоснования мероприятий по охране здоровья населения [25, 26].

Для финансового обеспечения эксперимента в тарифное соглашение на оплату медицинской помощи, оказываемой по территориальной программе обязательного медицинского страхования г. Москвы на 2024 год, введены экспериментальные тарифы на оплату услуг по автоматизированной интерпретации данных рентгенологических исследований на основе технологий ИИ.

Соответственно сформировано четыре медицинские услуги:

• описание и интерпретация результатов флюорографического (услуга 1680/801680) или рентгенологического (услуга 1682/801682) исследования с использованием ИИ;
• автоматизированная интерпретация результатов флюорографического (услуга 1681/801681) или рентгенологического (услуга 1683/801683) исследования с применением технологий ИИ.

Выполнение лучевого исследования оплачивали за счёт средств подушевого финансирования медицинских организаций государственной системы здравоохранения г. Москвы, оказывающих медицинскую помощь в амбулаторных условиях (городские поликлиники).

Приобретение и эксплуатация медицинских изделий на основе технологий ИИ — организация и проведение автономной сортировки, выполняли в НПКЦ ДиТ ДЗМ за счёт финансирования по услугам 1681/801681 и 1683/801683 в зависимости от модальности. Описание результатов профилактических лучевых исследований, отнесённых к категории «не норма», осуществляли в референс-центре НПКЦ ДиТ ДЗМ за счёт финансирования по услугам 1680/801680 и 1682/801682 в зависимости от модальности. Описание результатов профилактических лучевых исследований, отнесённых к категории «норма», осуществляли в РМАНПО МЗ РФ за счёт целевого гранта Департамента здравоохранения г. Москвы. Проведение экспертных мероприятий и научной работы НПКЦ ДиТ ДЗМ финансировали за счёт средств государственного задания на проведение соответствующих видов работ.

Проведён расчёт финансовых затрат на интерпретацию и описание результатов профилактических лучевых исследований органов грудной клетки при автономной сортировке (табл. 5).

 

Таблица 5. Финансовые затраты средств обязательного медицинского страхования на интерпретацию и описание результатов профилактических лучевых исследований органов грудной клетки при автономной сортировке

	Категория «не норма»	Категория «норма»
Флюорография, n=345 408
Количество исследований, абс.	149 373	196 035
Тариф, руб.	155,62	6,9
Сумма, руб.	23 245 426,26	1 352 641,5
Рентгенография, n=230 141
Количество исследований, абс.	110 685	119 456
Тариф, руб.	157,56	8,8
Сумма, руб.	17 439 528,6	1 051 212,8
Итоговая сумма, руб.	40 684 954,86	2 403 854,3
	43 088 809,16
Примечание. Расчёт финансовых средств представлен за период эксперимента. Категория «не норма» — результаты исследования с патологическими признаками; категория «норма» — результаты исследования без патологических признаков.

 

За период эксперимента на медицинские услуги, связанные с интерпретацией результатов профилактических лучевых исследований органов грудной клетки, из средств системы обязательного медицинского страхования израсходовано 43 088 809,16 руб.

Альтернативно, без автономной сортировки, — для интерпретации аналогичного объёма исследований за тот же период необходимо было бы затратить 76 536 506,02 руб., причём без учёта индексации тарифов (табл. 6).

 

Таблица 6. Моделирование финансовых затрат средств обязательного медицинского страхования на интерпретацию и описание результатов профилактических лучевых исследований органов грудной клетки

Модальность	Количество исследований, абс.	Тариф, руб.	Сумма, руб.
Флюорография	345 408	132,98	45 932 355,84
Рентгенография	230 141		30 604 150,18
Итоговая сумма, руб.			76 536 506,02
Примечание. Моделирование финансовых затрат за период, аналогичный длительности эксперимента. Указан действующий тариф на услугу описания и интерпретация данных профилактических лучевых исследований органов грудной клетки без применения технологий искусственного интеллекта.

 

Таким образом, за пять месяцев эксперимента обеспечена экономия финансовых средств в объёме 33 447 696,86 руб., расходы сокращены на 43,7%.

Доказана экономическая эффективность предложенной модели применения автономного ИИ.

ОБСУЖДЕНИЕ

Согласно данным, которые мы получили, 54,8% результатов профилактических лучевых исследований, отнесённых к категории «норма» при автономной сортировке, потенциально врачи-рентгенологи могут не описывать и таким образом возможно обеспечить значительную экономию трудовых и финансовых ресурсов в системе здравоохранения. Данный подход к проведению профилактических лучевых исследований позволит гарантировать высокие качество и безопасность медицинской помощи, поскольку полностью корректная автономная сортировка осуществлена в 99,95% случаев. Клинически значимые расхождения фиксируют в 0,05% случаев (95% ДИ 0,04–0,06).

Проблему качества диагностических решений, принимаемых врачом-рентгенологом, достаточно широко изучают в научной литературе. Предложены различные классификации ошибок и расхождений, тщательно изучают механизмы некорректных оценок и пропусков, предлагают пути их профилактики. В табл. 7 систематизированы данные об удельном весе клинически значимых пропусков, допускаемых врачами-рентгенологами при интерпретации результатов лучевых исследований — как для всех модальностей в целом, так и отдельно для рентгенографии органов грудной клетки [19, 27–37].

 

Таблица 7. Удельный вес расхождений при интерпретации результатов лучевых исследований врачами-рентгенологами

Авторы	Удельный вес расхождений, %	Примечания
Все модальности
S. Morozov и соавт. [33]	6,0	·             данные Научно-практического клинического центра диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы; ·             результаты внутреннего контроля качества
L. Berlin [29]	4,0	·             среднее значение
A.P. Brady [30]	3,0–5,0	–
M.A. Bruno и соавт. [31]	4,0–30,0	–
Рентгенография органов грудной клетки
К.М. Арзамасов и соавт. [19]; K. Arzamasov и соавт. [28]	3,0–4,0	·             данные Научно-практического клинического центра диагностики и телемедицинских технологий Департамента здравоохранения г. Москвы; ·             экспериментальное исследование — рентгенография, флюорография (8815 исследований, 403 врача)
I. Satia и соавт. [35]	18,0	·             удельный вес ошибок при определении нормы; ·             пропуски пневмоторакса
P.N. Cascade и соавт. [32]	0,05	·             результаты интерпретировали 6 врачей
L.G. Quekel и соавт. [34]	19,0	·             пропуски немелкоклеточного рака лёгкого

 

Отмечено, что диапазон удельного веса дефектов варьирует в зависимости от выборки, модальности, отбора пациентов:

• минимальные значения (от 4,0%) — для типичной репрезентативной выборки со значительным количеством исследований с нормальными результатами;
• максимальные (до 30,0%) — если все исследования в выборке имели патологические отклонения [31].

В одной из статей представлены сомнительные данные, поскольку авторы указывают средний уровень расхождений (как значимых, так и незначимых) в виде 0,05% — это самое низкое значение. При этом выборка, содержащая более 300 тыс. результатов рентгенографии органов грудной клетки, достаточно репрезентативна. Однако в научном исследовании участвовали только 6 врачейрентгенологов, причём трое — с субспециализацией в области торакальной рентгенологии [32]. Характерная особенность расхождений при интерпретации результатов рентгенографии органов грудной клетки — высокая частота встречаемости дефектов выявления отдельных состояний (например, немелкоклеточного рака лёгкого), а также, что особенно интересно в контексте нашего исследования, дефектов выявления нормы (ложноположительные и ложноотрицательные случаи). Данный факт указывает, что частота гипердиагностики со стороны врача-рентгенолога может достигать 18,0% [35].

Наиболее репрезентативными считаем собственные изыскания НПКЦ ДиТ ДЗМ (см. табл. 7) [28, 36]. Именно поэтому для рентгенографии органов грудной клетки применяем в качестве эталонного диапазон частоты клинически значимых расхождений от 3,0 до 4,0%.

Частота случаев клинически значимых дефектов автономной сортировки, как показано выше, составляет 0,05% общего числа результатов исследований, прошедших такую сортировку. Это значение принципиально меньше нижней границы эталонного диапазона.

Следует отметить, что сортировка результатов профилактических лучевых исследований органов грудной клетки с помощью медицинских изделий на основе технологий ИИ превосходит возможности среднестатистического врачарентгенолога. Вместе с тем обращает на себя внимание разница в качестве работы ИИ-сервисов — удельный вес дефектов отличается значимо.

В медицине невозможна 100% вероятность наступления определённого события. Тем не менее существуют два стереотипа:

• медицинский работник всегда имеет 100% точность и качество своих действий и решений, тем самым являясь определённым «золотым стандартом»;
• медицинское изделие на основе технологий ИИ обязано иметь 100% точность и качество своих действий и решений.

Второй стереотип обусловлен постепенным отказом от первого и признанием права медицинского работника на ошибку и неточность в некоторых ситуациях.

Представленные выше доказательства очень высокой медицинской эффективности автономной сортировки подтверждают второй стереотип. Именно поэтому на практике даже 0,05% случаев клинически значимых расхождений должны быть превращены в ноль.

Для решения этой проблемы предлагают применить подход, известный при организации массового скрининга иных патологий, а именно — двойной просмотр результатов исследований.

Одним из итогов проведённого проспективного клинического исследования стала формулировка предложений по оптимизации исходной организационной модели с целью достижения полного отсутствия клинически значимых расхождений.

Обновлённую модель автономной сортировки результатов профилактических лучевых исследований органов грудной клетки реализуют в режиме двойных автоматизированных просмотров, когда два независимых медицинских изделия на основе технологий ИИ осуществляют параллельный анализ диагностического изображения, а итоговое решение формируют в пользу обследуемого лица. Далее будет представлено экономическое обоснование такого подхода.

Использованы данные о количестве релевантных лучевых исследований, выполненных в 2023 году. В случае применения автономной сортировки и с учётом удельного веса распределения результатов исследований на две категории произведены расчёты. Причём моделирование выполнено как для применения автономной сортировки по схеме эксперимента (табл. 8), так и в режиме двойного чтения (табл. 9).

 

Таблица 8. Моделирование финансовых затрат средств обязательного медицинского страхования на интерпретацию и описание результатов профилактических лучевых исследований органов грудной клетки при автономной сортировке (схема эксперимента)

	Категория «не норма»	Категория «норма»
Флюорография, n=1 149 810
Количество исследований, абс.	496 718	653 092
Тариф, руб.	155,62	6,9
Сумма, руб.	77 299 255,16	4 506 334,8
Рентгенография, n=840 032
Количество исследований, абс.	404 055	435 977
Тариф, руб.	157,56	8,8
Сумма, руб.	63 662 905,8	3 836 597,6
Итоговая сумма, руб.	140 962 160,96	8 342 932,4
	149 305 093,36
Примечание. Категория «не норма» — результаты исследования с патологическими признаками; категория «норма» — результаты исследования без патологических признаков.

 

Таблица 9. Моделирование финансовых затрат средств обязательного медицинского страхования на интерпретацию и описание результатов профилактических лучевых исследований органов грудной клетки при автономной сортировке

	Категория «не норма»	Категория «норма»
Флюорография, n=1 149 810
Количество исследований, абс.	496 718	653 092
Тариф, руб.	155,62	13,8
Сумма, руб.	77 299 255,16	9 012 669,6
Рентгенография, n=840 032
Количество исследований, абс.	404 055	435 977
Тариф, руб.	157,56	17,6
Сумма, руб.	63 662 905,8	7 673 195,2
Итоговая сумма, руб.	140 962 160,16	16 685 864,8
	157 648 024,96
Примечание. Моделирование финансовых затрат при условии режима двойного чтения. Категория «не норма» — результаты исследования с патологическими признаками; категория «норма» — результаты исследования без патологических признаков. Тариф на автономную сортировку удвоен.

 

С учётом годового количества профилактических лучевых исследований органов грудной клетки (рентгенографий — 1 149 810, флюорографий — 840 032) и базового тарифа (132,98 руб.) для выполнения интерпретации и описания результатов врачами-рентгенологами необходимо 264 609 189,16 руб.

В случае применения автономной сортировки по схеме проведённого эксперимента возможно наблюдать сокращение затрат на 43,6% (115 304 095,8 руб.), что составит 149 305 093,36 руб.

Если же использовать формат двойного чтения (то есть арифметически удвоить тариф на автоматизированную интерпретацию), то возможно наблюдать снижение затрат на 40,4% (106 961 164,2 руб.), что составит 157 648 024,96 руб.

Для полноты картины добавим затраты на мероприятия по контролю качества. Использованы следующие данные: 2,0% общего числа релевантных исследований за 2023 год, тариф — 132,98 руб. Дополнительные затраты при использовании формата двойного чтения составят 5 292 183,8 руб. Общая экономия достигнет 101 668 936,2 руб., то есть ежегодные расходы на интерпретацию результатов профилактических лучевых исследований органов грудной клетки снизятся на 38,4%. Очевидна значительность достигаемого эффекта.

Предложенная усовершенствованная модель автономной сортировки результатов профилактических лучевых исследований органов грудной клетки с применением медицинских изделий на основе технологий ИИ отличается выраженной экономической эффективностью.

Таким образом, в соответствии с гипотезой № 1, при автономной сортировке как минимум половина результатов профилактических лучевых исследований будет отнесена к категории «норма», что позволит пропорционально сократить трудовые затраты врачей-рентгенологов. Тем не менее и гипотеза № 2 не отвергнута — для определённых половозрастных групп число случаев клинически значимых расхождений при автономной сортировке будет равно нулю. Вместе с тем гипотеза № 1 позволяет научно обоснованно предложить принципиально новую модель организации массовых профилактических исследований. Результаты, полученные при исследовании гипотезы № 2, неприменимы в практическом здравоохранении и имеют только теоретический интерес.

Исходя из полученных результатов, мы предлагаем для практического внедрения обновлённую организационную модель:

• осуществление автономной сортировки результатов профилактических лучевых исследований органов грудной клетки в режиме двойных автоматизированных просмотров — с применением двух медицинских изделий на основе технологий ИИ;
• необходимо настроить каждое медицинское изделие на чувствительность 1,0 (95% ДИ 1,0–1,0);
• анализ необходимо осуществлять параллельно;
• необходимо направить результат исследования на интерпретацию и описание врачом-рентгенологом в случае, если хотя бы одно медицинское изделие, работающее на основе технологий ИИ, отнесло его к категории «не норма»;
• при формировании технологических карт и тарифов на оплату медицинской услуги автономной сортировки необходимо предусмотреть затраты на одновременную закупку и ввод в эксплуатацию двух независимых медицинских изделий с релевантным функционалом;
• рекомендовано организовать и провести внутренний контроль качества результатов профилактических исследований органов грудной клетки, отнесённых по итогам автономной сортировки к категории «норма», — 0,5–2,0% результатов исследований, проведённых за год (контроль проводить путём случайного выбора результатов исследований, выполненных не позднее предыдущего квартала).

Внедрение предложенной модели позволит решить ключевые проблемы системы здравоохранения:

• кратно увеличить доступность и охват населения профилактическими мероприятиями без создания дополнительной нагрузки на ресурсы системы здравоохранения;
• сократить финансовые затраты;
• высвободить дополнительные кадровые ресурсы, переведя врачей-рентгенологов на описание сложных и высоко востребованных видов исследований (компьютерной и магнитно-резонансной томографии);
• улучшить своевременную выявляемость социально значимых заболеваний.

С целью внедрения предложенной модели определены дальнейшие направления исследований:

• обоснование и разработка предложений по актуализации нормативно-правовых актов для обеспечения легитимности автономного применения определённых видов медицинских изделий на основе технологий ИИ в установленных условиях и задачах профилактики;
• оценка применимости и результативности обновлённой модели автономной сортировки результатов профилактических лучевых исследований органов грудной клетки в режиме двойных автоматизированных просмотров.

Ограничения исследования

Ограничения данного исследования связаны с отсутствием валидных данных о точности и качестве работы врачей-рентгенологов при интерпретации и описании результатов профилактических исследований органов грудной клетки, полученных в проспективном многоцентровом исследовании на крупных выборках.

ЗАКЛЮЧЕНИЕ

Полностью правильная автономная сортировка результатов профилактических лучевых исследований органов грудной клетки осуществлена в 99,95% случаев. К категории «норма» отнесено 54,8% результатов флюорографий и рентгенографий органов грудной клетки, что обеспечило снижение финансовых затрат на 43,7% (за 5 месяцев сэкономлено 33 447 696,86 руб.) в системе Московского здравоохранения за счёт разницы тарифов описания результатов исследований. Клинически значимые расхождения зафиксированы в 0,05% (95% ДИ 0,04–0,06) случаев. Для достижения полного отсутствия клинически значимых расхождений предложена оптимизация исходной организационной модели: автономную сортировку необходимо проводить в режиме двойного чтения, параллельно двумя независимыми медицинскими изделиями на основе технологий ИИ с настройкой на максимальную чувствительность — 1,0 (95% ДИ 1,0–1,0). Данный подход будет апробирован в рамках следующего проспективного исследования.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Исследование проведено в соответствии с постановлением Правительства Москвы от 24.04.2024 № 869-ПП «О проведении эксперимента по автоматизированной интерпретации данных рентгенологических исследований на основе технологий искусственного интеллекта» и приказом Департамента здравоохранения г. Москвы от 26.04.2024 № 360 «О правилах проведения эксперимента по автоматизированной интерпретации данных рентгенологических исследований на основе технологий искусственного интеллекта».

Раскрытие интересов. Авторы заявляют об отсутствии отношений, деятельности и интересов (личных, профессиональных или финансовых), связанных с третьими лицами (коммерческими, некоммерческими, частными), интересы которых могут быть затронуты содержанием статьи, а также иных отношений, деятельности и интересов за последние три года, о которых необходимо сообщить.

Вклад авторов. Ю.А. Васильев — концепция исследования, утверждение итогового варианта текста рукописи; Д.А. Сычёв — редактирование и утверждение итогового варианта текста рукописи; А.В. Бажин — концепция и дизайн исследования, сбор и анализ литературных данных, написание текста рукописи; И.М. Шулькин, А.Ю. Голикова, А.В. Мищенко, Г.А. Бекджанян, Л.Г. Родионова — редактирование текста рукописи; А.В. Владзимирский — написание текста рукописи; К.М. Арзамасов — сбор и анализ литературных данных, написание текста рукописи; А.С. Гольдберг — финальная вычитка текста рукописи. Все авторы одобрили рукопись (версию для публикации), а также согласились нести ответственность за все аспекты работы и гарантировали, что вопросы, связанные с точностью или добросовестностью любой части работы, будут должным образом рассмотрены и решены.

Благодарности. Авторы выражают признательность сотрудникам НПКЦ ДиТ ДЗМ: В.Г. Кляшторному за консультации по статистическому анализу, Д.М. Аникиной, Р.Н. Ахметову, М.К.Балашову, Д.И. Доронину, Н.Д. Кудрявцеву за консультации по методике проведения эксперимента, И.А. Блохину, А.А. Борисову, Ю.С. Кирпичёву за консультации по оценке ИИ-сервисов, В.А. Эмир-Усейновой за консультации по оценке экономической эффективности, Л.Н.Арзамасовой, В.П. Гамариной за помощь в оформлении рукописи, М.М. Ивакаевой, Н.К. Махмудовой, А.А. Скобелю, Л.Д. Стецюк, И.В. Трутеню за экспертный пересмотр исследований; сотрудникам РМАНПО МЗ РФ Г.Э. Гинетуллиной, С.В. Гуськовой, М.Ю. Дранковой, Д.С. Колюжному, С.А. Своеволину, М.И. Тибиеву, А.А. Трефиловой за помощь в проведении исследования.

ADDITIONAL INFORMATION

Funding source. The study was conducted in accordance with the Decree of the Government of Moscow No. 869-PP dated 24.04.2024 "On conducting an experiment on automated interpretation of X-ray studies using artificial intelligence technologies" and the order of the Moscow Health Care Department No. 360 dated 26.04.2024 "On the rules for conducting an experiment on automated interpretation of X-ray studies using artificial intelligence technologies".

Disclosure of interests. The authors declare that they have no relationships, activities or interests (personal, professional or financial) with third parties (commercial, non-commercial, private) whose interests may be affected by the content of the article, as well as no other relationships, activities or interests over the past three years that must be reported.

Authors’ contribution. Yu.A. Vasilev: study concept, approval of the final version of the manuscript text; D.A. Sychev editing and approval of the final version of the manuscript text; A.V. Bazhin: study concept and design, collection and analysis of literature data, writing the manuscript text; I.M. Shulkin, A.Yu. Golikova, A.V. Mishchenko, G.A. Bekdzhanyan, L.G. Rodionova editing the manuscript text; A.V. Vladzymyrskyy writing the manuscript text; K.M. Arzamasov: collection and analysis of literature data, writing the manuscript text; A.S. Goldberg: final proofreading of the manuscript text. Thereby, all authors provided approval of the version to be published and agree to be accountable for all aspects of the work in ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved.

Acknowledgments. The authors are grateful to the employees of the Moscow Center for Diagnostics and Telemedicine: V.G. Klyashtorny for consultations on statistical analysis, D.M. Anikina, R.N. Akhmetov, M.K. Balashov, D.I. Doronin, N.D. Kudryavtsev for consultations on the methodology of the experiment, I.A. Blokhin, A.A. Borisov, Y.S. Kirpichev for consultations on the evaluation of AI services, V.A. Emir-Useinova for consultations on the evaluation of economic efficiency, L.N. Arzamasova, V.P. Gamarina for assistance in manuscript preparation, M.M. Ivakaeva, N.K. Makhmudova, A.A. Skobel, L.D. Stetsyuk, I.V. Truten for expert review of the studies; employees of the Russian Medical Academy of Postgraduate Education of the Ministry of Health of the Russian Federation G.E. Ginetullina, S.V. Guskova, M.Y. Drankova, D.S. Kolyuzhny, S.A. Svoevolin, M.I. Tibiev, A.A. Trefilova for contributing to the study.

¹ Технологии искусственного интеллекта в здравоохранении. В: Центр диагностики и телемедицины [Internet]. Москва: Центр диагностики и телемедицины, 2020–2024. Режим доступа: https://mosmed.ai/ Дата обращения: 08.10.2024.

About the authors

Yuriy A. Vasilev

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN-code: 4458-5608

MD, Dr. Sci. (Medicine)

Russian Federation, Moscow

Dmitry A. Sychev

Medical Academy of Continuous Professional Education

Email: dimasychev@mail.ru
ORCID iD: 0000-0002-4496-3680
SPIN-code: 4525-7556

MD, Dr. Sci. (Medicine), Professor, academician of the Russian Academy of Sciences

Russian Federation, Moscow

Alexander V. Bazhin

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: BazhinAV@zdrav.mos.ru
ORCID iD: 0000-0003-3198-1334
SPIN-code: 6122-5786

MD, Cand. Sci. (Medicine)

Russian Federation, Moscow

Igor M. Shulkin

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: ShulkinIM@zdrav.mos.ru
ORCID iD: 0000-0002-7613-5273
SPIN-code: 5266-0618

MD, Cand. Sci. (Medicine)

Russian Federation, Moscow

Anton V. Vladzymyrskyy

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Author for correspondence.
Email: vladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-code: 3602-7120

MD, Dr. Sci. (Medicine)

Russian Federation, Moscow

Alexandra Yu. Golikova

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: GolikovaAY1@zdrav.mos.ru
ORCID iD: 0009-0001-5020-2765
Russian Federation, Moscow

Kirill M. Arzamasov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-code: 3160-8062

MD, Cand. Sci. (Medicine)

Russian Federation, Moscow

Andrei V. Mishchenko

Medical Academy of Continuous Professional Education

Email: dr.mishchenko@mail.ru
ORCID iD: 0000-0001-7921-3487
SPIN-code: 8825-4704

MD, Dr. Sci. (Medicine)

Russian Federation, Moscow

Gevorg A. Bekdzhanyan

Medical Academy of Continuous Professional Education

Email: rmapo@rmapo.ru
ORCID iD: 0009-0007-7150-7166
SPIN-code: 4579-9457
Russian Federation, Moscow

Arcadiy S. Goldberg

Medical Academy of Continuous Professional Education

Email: goldarcadiy@gmail.com
ORCID iD: 0000-0002-2787-4731
SPIN-code: 8854-0469

MD, Cand. Sci. (Medicine)

Russian Federation, Moscow

Larisa G. Rodionova

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: RodionovaLG@zdrav.mos.ru
ORCID iD: 0009-0008-9862-8205
Russian Federation, Moscow

References

Supplementary files