Ограничения при применении сервисов искусственного интеллекта для анализа рентгенограмм органов грудной клетки

Обложка


Цитировать

Полный текст

Аннотация

Обоснование. Одним из первых направлений в лучевой диагностике, в котором искусственный интеллект начал применяться и активно применяется по сей день, является рентгенография органов грудной клетки. Тем не менее при интерпретации этих исследований с помощью технологий искусственного интеллекта врачи-рентгенологи до сих пор ежедневно сталкиваются с рядом ограничений, которые приходится учитывать при вынесении врачебного заключения и на которые необходимо обратить внимание разработчиков с целью дальнейшего усовершенствования алгоритмов для повышения их эффективности.

Цель. Выявление ограничений при применении сервисов искусственного интеллекта для анализа рентгенограмм органов грудной клетки и оценка клинической значимости этих ограничений.

Материалы и методы. Проведён ретроспективный анализ 155 случаев расхождения результатов заключений сервисов искусственного интеллекта с врачебными заключениями при анализе рентгенограмм органов грудной клетки. Все включённые в исследование случаи были получены из Единого радиологического информационного сервиса Единой медицинской информационно-аналитической системы г. Москвы.

Результаты. Среди проанализированных 155 случаев расхождений 48 (31,0%) оказались ложноположительными, а 78 (50,3%) — ложноотрицательными. Остальные 29 (18,7%) случаев были исключены из дальнейшего исследования, поскольку при экспертном пересмотре оказались истинно положительными (27) или истинно отрицательными (2). Среди 48 ложноположительных случаев большинство (93,8%) было обусловлено тем, что сервис искусственного интеллекта принимал за признаки пневмоторакса нормальные анатомические структуры грудной клетки (97,8% случаев) или тень катетера (2,2% случаев). Среди ложноотрицательных исследований доля пропусков клинически значимой патологии составила 22,0%. Почти половина этих случаев (44,4%) была связана с пропуском лёгочных узлов. Самой распространённой клинически не значимой патологией оказались кальцинаты в лёгких (60,9%).

Заключение. Со стороны сервисов искусственного интеллекта прослеживается тенденция к гипердиагностике. Все ложноположительные случаи были связаны с ошибочным обнаружением клинически значимой патологии: пневмоторакса, лёгочных узлов и лёгочного затемнения. Среди ложноотрицательных случаев доля пропуска клинически значимой патологии была невелика и составила менее одной четвёртой.

Полный текст

ОБОСНОВАНИЕ

На сегодняшний день рентгенография органов грудной клетки по-прежнему остаётся одним из самых распространённых исследований в лучевой диагностике [1, 2]. Это обусловлено высокой доступностью и скоростью проведения, достаточной информативностью и низкой стоимостью данного метода диагностики [2, 3].

В последние годы появились и продолжают совершенствоваться многочисленные сервисы на основе технологий искусственного интеллекта (ИИ) для интерпретации рентгенограмм органов грудной клетки [1, 4, 5]. С одной стороны, этому способствовало большое количество накопленных изображений, которое позволило провести качественное обучение и тестирование алгоритмов ИИ. С другой стороны, появление данных сервисов было обусловлено возникшей в системе здравоохранения потребностью в более быстрой и качественной интерпретации рентгенограмм органов грудной клетки в связи с быстрым ростом количества этих исследований и сохранением их социальной значимости [6, 7].

На сегодняшний день диагностическая точность ряда сервисов ИИ достигла точности врачей-рентгенологов [8, 9]. Это способствовало появлению автономного программного обеспечения. В частности, в 2022 г. в зарубежном практическом здравоохранении начал применяться первый автономный сервис ИИ Oxipit (ChestLink) для оценки рентгенограмм органов грудной клетки [10].

Однако в связи с не окончательной разрешённостью вопросов этического, организационного и экономического характера, а также не абсолютной диагностической точностью большинство сервисов ИИ применяются сегодня не автономно, а в качестве системы поддержки принятия врачебных решений [2, 11].

Несомненными преимуществами этих ИИ-сервисов, предназначенных для оценки рентгенограмм органов грудной клетки, являются высокая скорость обработки изображений [12, 13], высокая точность оценки распространённости патологических процессов [14], а также повышение объективности при оценке выявленных изменений врачами-рентгенологами [15].

В то же время известно, что, в отличие от врачей-рентгенологов, у ИИ-сервисов есть ряд функциональных ограничений. Во-первых, ИИ-сервисы оценивают рентгеновские изображения только в прямой проекции без учёта изображений в боковых проекциях. Во-вторых, ИИ-сервисы не способны оценивать патологические процессы в динамике. В-третьих, выраженный мягкотканный компонент на изображениях, а также их субоптимальное качество значительно ухудшают работу ИИ-сервисов. И, в-четвертых, ИИ-сервисы в ряде случаев неудовлетворительно работают с рентгенограммами органов грудной клетки, выполненными в положении лёжа [16–18].

Таким образом, актуальными представляются исследования, направленные на изучение ограничений современных версий ИИ-сервисов и оценку клинической значимости этих ограничений для дальнейшего понимания границ применимости ИИ-сервисов.

ЦЕЛЬ

Выявление ограничений при применении ИИ-сервисов для анализа рентгенограмм органов грудной клетки и оценка клинической значимости этих ограничений.

МАТЕРИАЛЫ И МЕТОДЫ

Исследование выполнено в рамках Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения г. Москвы (далее — Московский эксперимент), проводимого с 2020 г. при поддержке Правительства Москвы (https://mosmed.ai/) [19].

Дизайн исследования

Проведено ретроспективное аналитическое исследование.

Технологии искусственного интеллекта

Для применения в клинической практике программное обеспечение на основе технологий искусственного интеллекта (ПО на основе ТИИ) должно быть зарегистрировано как медицинское изделие. В Российской Федерации статусом медицинских изделий обладают ПО на основе ТИИ, предназначенные для автоматизированного анализа результатов рентгенографии и флюорографии органов грудной клетки, разработанные ООО «Медицинские скрининг-системы» (РУ № РЗН 2021/14449), ООО «Платформа Третье Мнение» (РУ № РЗН2021/14506), ООО «ФБМ» (РУ № РЗН2022/17406), ООО «Care Mentor AI» (РУ № РЗН 2020/11137).

В исследовании использовались медицинские изделия, представляющие собой ПО на основе ТИИ, — продукты указанных выше компаний, интегрированных в Единый радиологический информационный сервис Единой медицинской информационно-аналитической системы г. Москвы (ЕРИС ЕМИАС). ПО на основе ТИИ принимало на вход цифровые изображения рентгенограмм и флюорограмм органов грудной клетки в формате DICOM, анализировало их и возвращало в качестве ответа текстовое описание (DICOM SR), изображения с разметкой патологических областей (DICOM SC), вероятности наличия патологии в исследовании в целом. Результаты анализа, выполненного ПО на основе ТИИ, становились доступны в ЕРИС ЕМИАС наравне с исходными результатами исследования. Для данного исследования использовались случаи расхождений заключений ПО на основе ТИИ и заключений, составленных непосредственно врачами-рентгенологами, то есть случаи с ложноположительными и ложноотрицательными результатами работы ПО на основе ТИИ.

Набор данных

В исследование было включено 155 цифровых рентгенограмм органов грудной клетки, выполненных в рамках скрининговых и диагностических исследований среди взрослого населения г. Москвы за период с 10.11.2022 по 23.11.2022, когда все поступавшие в ЕРИС ЕМИАС рентгенограммы органов грудной клетки обрабатывались несколькими ИИ-сервисами одновременно. Критерием включения изображений в выборку было расхождение между заключением врача-рентгенолога и хотя бы одним ИИ-сервисом. Общее число рентгенограмм органов грудной клетки, выполненных за указанный период времени, составило 12 860.

Для подготовки выборки был использован собственный инструмент, предназначенный для автоматизированного анализа медицинских протоколов1.

Этическая экспертиза

Данное исследование основано на результатах Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения г. Москвы, утверждённого этическим комитетом (выписка из протокола № 2 НЭК МРО РОРР от 20.02.2020), также зарегистрированного на ClinicalTrials (NCT04489992).

Статистический анализ

В анализ были включены исследования, содержащие признаки ложноположительной и ложноотрицательной оценки рентгеновских изображений ПО на основе ТИИ, полученных из системы ЕРИС ЕМИАС г. Москвы.

При проведении анализа были использованы методы описательной статистики. Анализ выполнен в программе MS Excel.

РЕЗУЛЬТАТЫ

Основные результаты исследования

В ходе исследования был проведён анализ 155 случаев расхождений. Изначально под расхождениями понимали несоответствие заключений ИИ-сервисов заключениям врачей-рентгенологов. Согласно заключениям врачей, из 155 случаев в 75 (48,4%) патология отсутствовала, тогда как остальные 80 (51,6%) случаев были с патологией.

Дальнейший анализ показал, что из 75 случаев без патологии 48 (64,5%) действительно не содержали патологию, однако ИИ-сервисы сделали прямо противоположные выводы (ложноположительные случаи). В остальных 27 (36,0%) случаях при экспертном пересмотре была обнаружена патология, которую ИИ-сервисы также корректно обнаружили (истинно положительные случаи). Появление этих случаев было обусловлено тем, что врачи не указали в заключении информацию о наличии старых консолидированных переломов рёбер, кардиомегалии и сколиоза грудного отдела позвоночника.

Как показал экспертный пересмотр, из 80 случаев с патологией 78 (97,5%) действительно содержали патологию, однако ИИ-сервисы сделали прямо противоположные выводы (ложноотрицательные случаи). В остальных 2 (2,5%) случаях при экспертном пересмотре было установлено отсутствие патологии, которое также было отражено в заключениях ИИ-сервисов (истинно отрицательные случаи). Появление этих случаев было обусловлено тем, что врачи изначально приняли тень соска за очаговую тень.

Далее был проведён анализ всех ложноположительных (48) и всех ложноотрицательных (78) случаев.

Ложноположительные случаи

Из 48 ложноположительных случаев 45 (93,8%) — случаи ложного обнаружения пневмоторакса ИИ-сервисами. В большинстве из них (97,8%) за край поджатого лёгкого ИИ-сервисы принимали нормальные анатомические структуры грудной клетки (рис. 1).

 

Рис. 1. Частота принятия сервисами искусственного интеллекта анатомических структур (зелёный) и инородных предметов (синий) за край поджатого воздухом лёгкого (пневмоторакс).

 

Остальными 3 из 48 ложноположительных случаев были 2 (4,2%) случая ложного обнаружения лёгочных узлов и 1 (2,0%) случай ложного обнаружения лёгочного затемнения.

Ложноотрицательные случаи

Из 78 ложноотрицательных случаев в 74 (94,9%) ИИ-сервисы пропустили по одной патологии, а в 4 (5,1%) было пропущено по 2 патологии. Таким образом, общее количество пропущенных патологий составило 82. Здесь и далее расчёт долей представлен относительно этого значения.

Дальнейший анализ пропусков патологии был выполнен с учётом её клинической значимости (табл. 1).

 

Таблица 1. Классификация патологии на клинически значимую и клинически незначимую

Клинически значимая патология

Клинически незначимая патология

1. Очаговые тени

2. Диссеминация

3. Полость

4. Гидроторакс

5. Пневмоторакс

6. Инфильтрация/консолидация (пневмония)

7. Грыжа пищеводного отверстия диафрагмы

8. Перелом ребра/ключицы

9. Ателектаз

1. Кальцинат

2. Консолидированный перелом ребра/ключицы

3. Метатуберкулёзные изменения

4. Фиброз

5. Расширение тени сердца

6. Кальциноз аорты

7. Анатомические варианты нормы (например, добавочная доля непарной вены)

8. Шов в грудине послеоперационный

9. Вертебропластика

10. Тени родинок/обызвествлений в мягких тканях

11. Уплотнение междолевой плевры

12. Тени катетеров

 

Всего было выявлено 18 (22,0%) пропусков клинически значимой патологии и 64 (78,0%) пропуска клинически незначимой патологии.

Среди 18 пропусков клинически значимой патологии почти половину (44,4%) составили случаи пропуска очаговых теней (рис. 2).

 

Рис. 2. Структура пропусков клинически значимой патологии. ПОД — пищеводное отверстие диафрагмы.

 

Среди 64 пропусков клинически незначимой патологии преобладали кальцинаты (60,9%). Структура пропусков клинически незначимой патологии представлена на рис. 3.

 

Рис. 3. Структура пропусков клинически незначимой патологии. ЦВК — центральный венозный катетер.

 

ОБСУЖДЕНИЕ

Резюме основного результата исследования

Все ложноположительные случаи были связаны с ошибочным обнаружением клинически значимой патологии: пневмоторакса, лёгочных узлов и лёгочного затемнения. Среди ложноотрицательных случаев доля пропуска клинически значимой патологии невелика и составила менее одной четвёртой.

Обсуждение основного результата исследования

В ходе исследования были выявлены как случаи действительно ложноположительного срабатывания ИИ-сервисов, так и случаи, которые при пересмотре оказались истинно отрицательными. Последние были связаны с невнимательностью самих врачей-рентгенологов, когда врач не указывает в заключении о фактически имеющихся на снимках изменениях, например, это 8 случаев кардиомегалии и 10 случаев консолидированных переломов рёбер. Очевидно, врач мог заметить или даже заметил данные изменения, но не посчитал необходимым их упомянуть в описании, в то время как ИИ-сервис их всё же обозначил, не совершив при этом ошибки [20].

Отдельно следует отметить некоторые неоднозначные результаты поиска расхождений в заключениях, например, такую особенность строения лёгких, как наличие добавочной доли непарной вены, о которой врач в своём заключении пишет, а ИИ-сервис — нет. Таких случаев в нашей выборке оказалось 7, но поскольку добавочная доля непарной вены является нормальным вариантом развития лёгких, а не патологическим изменением, то в данной ситуации было бы некорректно говорить и о действительно ложноотрицательном результате.

Среди действительно ложноотрицательных было выявлено 6 случаев пропуска ИИ-сервисами мелких очаговых теней в лёгких, 1 случай невыявленного перелома ключицы, 1 случай никак не обозначенного наличия центрального венозного катетера, 3 случая состояния после стернотомии с наличием металлических швов в грудине, 1 случай вертебропластики, 1 случай невыявленного смещения средостения в здоровую сторону при гидротораксе, которые могут быть объяснены только недообученностью текущих версий ИИ-сервисов.

Несомненным и самым существенным минусом применения технологий компьютерного зрения при анализе рентгенограмм органов грудной клетки как самостоятельного механизма является невозможность оценки сервисом ИИ динамики патологического процесса, поскольку ПО на основе ТИИ имеет доступ только к текущему исследованию, вследствие чего возрастает вероятность необоснованного дообследования пациентов со «старыми» изменениями в лёгких, такими как кальцинаты, фиброзные лёгочные и спаечные плевральные изменения [21]. В ряде случаев «старые» спайки в косто-диафрагмальных плевральных синусах интерпретируются и маркируются ПО на основе ТИИ как свободная жидкость в плевральной полости, что легко опровергается при пересмотре данных предыдущих исследований пациента непосредственно врачом-рентгенологом. Таким же образом врач-рентгенолог может оценить фиброзные изменения, кальцинаты, наслоения на костальной плевре, не изменяющиеся в динамике и не требующие повышенного внимания со стороны клинициста. При проведении данного исследования был выявлен случай ложноположительной оценки ПО на основе ТИИ старых участков линейного фиброза как участков затемнения, в то время как врач-рентгенолог не счёл необходимым указать их наличие, также имеется один случай ложноположительного срабатывания на участки старых плевральных наслоений, которые ПО на основе ТИИ определил как лёгочные узлы, и, кроме этого, имеется один случай ложноположительного срабатывания, связанный с наличием уплотнения в Ι ребре, которое ПО на основе ТИИ определило как лёгочное затемнение. Отдельно следует упомянуть об одном случае обнаружения старых метатуберкулёзных изменений, не являющихся действительно ложноположительными, которые ПО на основе ТИИ выявило, но не смогло правильно интерпретировать в связи с отсутствием полной динамической картины (рис. 4).

 

Рис. 4. Поствоспалительные изменения, фиброз, плевро-паренхиматозные тяжи, спайки.

 

Стоит отметить вероятность наличия теней дополнительных мягкотканных, в том числе кожных образований, уплотнений и сосков молочных желёз, проецирующихся на рентгеновское изображение лёгких, которые могут быть ошибочно интерпретированы ПО на основе ТИИ как лёгочные образования, и требующих пересмотра врачом [22, 23]. В рамках данного исследования был выявлен один ложноположительный случай срабатывания ПО на основе ТИИ, связанный с выраженной подкожно-жировой клетчаткой (рис. 5), а также один случай, когда ИИ-сервис принял тень соска за лёгочный узел (рис. 6).

 

Рис. 5. Ложноположительный случай срабатывания программного обеспечения на основе технологий искусственного интеллекта, связанный с выраженной подкожно-жировой клетчаткой.

 

Рис. 6. Тень соска молочной железы, ошибочно маркированная как лёгочный узел.

 

Следующим аспектом данной проблемы является то, что оценка рентгенограмм органов грудной клетки осуществляется ПО на основе ТИИ только в прямой проекции и, учитывая наличие «слепых зон» на прямых рентгенограммах (базальные и прикорневые отделы лёгких, задние косто-диафрагмальные синусы), не позволяет ИИ-сервисам сделать достоверный вывод о наличии либо отсутствии патологических изменений в указанных зонах [17, 23]. В данном исследовании был выявлен один случай ложноотрицательного заключения ПО на основе ТИИ при наличии у пациента грыжи пищеводного отверстия диафрагмы (рис. 7), а также один ложноположительный результат, связанный с ортоградным расположением лёгочного сосуда, который один из ИИ-сервисов обозначил как лёгочный узел.

 

Рис. 7. Грыжа пищеводного отверстия диафрагмы, не обнаруженная программным обеспечением на основе технологий искусственного интеллекта за тенью сердца.

 

Выявлен также случай необнаружения очаговой тени, которая в прямой проекции проецируется на тень средостения и может быть выявлена только на снимке в боковой проекции (рис. 8).

 

Рис. 8. На боковой проекции визуально определяется очаг в проекции верхней доли (все программные обеспечения на основе технологий искусственного интеллекта закономерно его не определили ввиду обработки только прямой проекции).

 

В другом случае ИИ-сервис, опять же по причине невозможности обработки боковой проекции, не определил фиброзные изменения (рис. 9).

 

Рис. 9. На боковой проекции определяются фиброзные изменения в заднем косто-диафрагмальном синусе справа, которые не видны на прямой проекции (сервис искусственного интеллекта их не определил ввиду обработки только прямой проекции). Аналогично данным изменениям сервис может «пропустить» минимальный плевральный выпот.

 

Проблемным вопросом диагностики при рентгенографии органов грудной клетки остаётся оценка корней лёгких на предмет патологических изменений ввиду суммации теней лёгочных сосудов и бронхов, вероятности наличия в корнях лёгких дополнительных образований, теней увеличенных уплотнённых лимфатических узлов, небольших прикорневых инфильтративных процессов в паренхиме лёгких, и проч. [18, 24]. В настоящее время задача по всесторонней оценке корней лёгких превышает имеющиеся возможности ИИ-сервисов. В данном исследовании было выявлено 39 ложноотрицательных случаев срабатывания ПО на основе ТИИ, связанных с наличием кальцинатов в корнях лёгких, о которых упоминает врач-рентгенолог при описании снимка, 1 ложноотрицательный случай кальциноза аорты, 1 случай ложноположительного срабатывания, связанный с тем, что сервис ИИ обозначил сосуд корня лёгкого как объёмное образование и 1 случай принятия расширенных сосудов корня лёгкого за лёгочное затемнение.

При оценке эффективности использования ПО на основе ТИИ необходимо также учитывать наличие в повседневной практике врача-рентгенолога рентгенограмм субоптимального качества, затрудняющих их оценку, что может приводить как к ложноположительным, так и к ложноотрицательным результатам [25].

Большое клиническое значение может приобрести применение ПО на основе ТИИ в ургентной практике [26–29] при физическом отсутствии квалифицированного врача-рентгенолога [30] для экстренной диагностики таких жизнеугрожающих состояний, как гидро- и пневмоторакс [28, 31], и принятия клиницистом решения о необходимости незамедлительной госпитализации пациента либо выполнения плевральной пункции.

В числе ложноотрицательных случаев в рамках данного исследования было выявлено 2 случая, когда ПО на основе ТИИ не выявило наличие гидроторакса у лежачих пациентов (рис. 10), 1 случай невыявленного пневмоторакса у лежачего пациента. В то же время было выявлено 3 случая ложноположительного срабатывания, когда ИИ находил несуществующий пневмоторакс у лежачих пациентов. Данные находки несомненно требуют дообучения ПО на основе ТИИ для более эффективной работы с рентгенограммами, выполненными лежачим пациентам.

 

Рис. 10. Гидроторакс у лежачего пациента не был распознан программным обеспечением на основе технологий искусственного интеллекта.

 

В ходе данного исследования выявлен единичный случай пневмоперитонеума, при котором очерченный воздухом снизу купол диафрагмы был маркирован ПО на основе ТИИ как линейная тень. В то же время в работе одного из ИИ-сервисов было выявлено 45 случаев ложноположительного пневмоторакса, когда ИИ принимал нормальный кортикальный слой края ребра либо другие нормальные анатомические структуры линейной формы за край поджатого воздухом лёгкого.

ЗАКЛЮЧЕНИЕ

В ходе работы проанализированы случаи расхождений в заключениях ИИ-сервисов и врачей-рентгенологов. Со стороны ИИ-сервисов прослеживалась тенденция к гипердиагностике. Все ложноположительные случаи были связаны с ошибочным обнаружением клинически значимой патологии: пневмоторакса, лёгочных узлов и лёгочного затемнения. Среди ложноотрицательных случаев доля пропуска клинически значимой патологии была невелика и составила менее одной четвёртой.

Актуальными ограничениями при использовании ПО на основе ТИИ как самостоятельного алгоритма диагностики являются невозможность оценки ИИ сервисами динамики патологических процессов, оценка изменений органов грудной клетки только в одной проекции, затруднения при оценке изменений корней лёгких и обработке изображений субоптимального качества, ложноположительная оценка при наличии на изображениях дополнительных теней мягких тканей органов грудной клетки и ложноположительная оценка нормальных анатомических структур грудной клетки как патологических изменений в лёгких.

Полученные результаты могут быть использованы врачами-рентгенологами для понимания ограничений в работе ИИ-сервисов при описании рентгенограмм органов грудной клетки. Кроме того, разработчики могут воспользоваться полученными данными для определения направлений совершенствования ИИ-сервисов.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Данная статья подготовлена авторским коллективом в рамках НИОКР «Разработка платформы повышения качества ИИ-сервисов для медицинской диагностики» (№ ЕГИСУ: 123031400006-0) в соответствии с Приказом № 1196 от 21.12.2022 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счёт средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов» Департамента здравоохранения г. Москвы.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: Ю.А. Васильев, А.В. Владзимирский — концепция и дизайн исследования, финальная вычитка текста; К.М. Арзамасов — концепция и дизайн исследования, написание и редактирование текста рукописи; И.М. Шулькин — дизайн исследования, написание и редактирование текста рукописи; Е.В. Астапенко — сбор и обработка материалов, анализ полученных данных, написание текста рукописи; Л.Д. Пестренин — анализ полученных данных, написание текста рукописи.

Благодарности. Авторы выражают благодарность А. Соловьёвой за подбор кейсов для иллюстраций.

ADDITIONAL INFORMATION

Funding source. This paper was prepared by a group of authors as part of the research and development effort titled “Development of a platform for improving the quality of AI services for clinical diagnostics” (USIS No.: 123031400006-0) in accordance with the Order No. 1196 dated December 21, 2022 “On approval of state assignments funded by means of allocations from the budget of the city of Moscow to the state budgetary (autonomous) institutions subordinate to the Moscow Health Care Department, for 2023 and the planned period of 2024 and 2025” issued by the Moscow Health Care Department.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. Yu.A. Vasilev, A.V. Vladzymyrskyy — research concept and design, final proofreading of the text; K.M. Arzamasov — research concept and design, writing and editing of the text; I.M. Shulkin — research design, writing and editing of the text; E.V. Astapenko — collection and processing of materials, analysis of the data obtained, writing the text; L.D. Pestrenin — analysis of the data obtained, writing the text.

Acknowledgments. We thank A. Solovyova for selecting cases for the illustrations.

 

1 Морозов С.П., Андрейченко А.Е., Кирпичев Ю.С. и др. MedLabel — автоматизированный анализ медицинских протоколов (база данных). Свидетельство о государственной регистрации программы для ЭВМ № 2020664321 от 11.11.2020.

×

Об авторах

Юрий Александрович Васильев

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN-код: 4458-5608

канд. мед. наук

Россия, Москва

Антон Вячеславович Владзимирский

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: a.vladzimirsky@npcmr.ru
ORCID iD: 0000-0002-2990-7736
SPIN-код: 3602-7120

д-р мед. наук, профессор

Россия, Москва

Кирилл Михайлович Арзамасов

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-код: 3160-8062

канд. мед. наук

Россия, Москва

Игорь Михайлович Шулькин

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: i.shulkin@npcmr.ru
ORCID iD: 0000-0002-7613-5273
SPIN-код: 5266-0618
Россия, Москва

Елена Васильевна Астапенко

Научно-практический клинический центр диагностики и телемедицинских технологий

Автор, ответственный за переписку.
Email: AstapenkoEV1@zdrav.mos.ru
ORCID iD: 0009-0006-6284-2088
SPIN-код: 7362-8553
Россия, Москва

Лев Дмитриевич Пестренин

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: PestreninLD@zdrav.mos.ru
ORCID iD: 0000-0002-1786-4329
SPIN-код: 7193-7706
Россия, Москва

Список литературы

  1. Çallı E., Sogancioglu E., van Ginneken B., et al. Deep learning for chest X-ray analysis: A survey // Medical Image Analysis. 2021. Vol. 72. P. 102125. doi: 10.1016/j.media.2021.102125
  2. Васильев Ю.А., Тыров И.А., Владзимирский А.В., и др. Новая модель организации массовых профилактических исследований, основанная на автономном искусственном интеллекте для сортировки результатов флюорографии // Здоровье населения и среда обитания. 2023. Т. 31, № 11. С. 23–32. doi: 10.35627/2219-5238/2023-31-11-23-32
  3. Akhter Y., Singh R., Vatsa M. AI-based radiodiagnosis using chest X-rays: A review // Frontiers in Big Data. 2023. Vol. 6. P. 1120989. doi: 10.3389/fdata.2023.1120989
  4. Fanni S.C., Marcucci A., Volpi F., et al. Artificial Intelligence-Based Software with CE Mark for Chest X-ray Interpretation: Opportunities and Challenges // Diagnostics (Basel). 2023. Vol. 13, N 12. P. 2020. doi: 10.3390/diagnostics13122020
  5. Гусев А.В., Владзимирский А.В., Шарова Д.Е., и др. Развитие исследований и разработок в сфере технологий искусственного интеллекта для здравоохранения в Российской Федерации: итоги 2021 года // Digital Diagnostics. 2022. Т. 3, № 3. С. 178–194. doi: 10.17816/DD107367
  6. Kim J., Kim K.H. Role of chest radiographs in early lung cancer detection // Translational Lung Cancer Research. 2020. Vol. 9, N 3. P. 522–531. doi: 10.21037/tlcr.2020.04.02
  7. Голубев Н.А., Огрызко Е.В., Тюрина Е.М., и др. Особенности развития службы лучевой диагностики в Российской Федерации за 2014-2019 года // Современные проблемы здравоохранения и медицинской статистики. 2021. № 2. С. 356–376. doi: 10.24412/2312-2935-2021-2-356-376
  8. Wu J.T., Wong K.C.L., Gur Y., et al. Comparison of Chest Radiograph Interpretations by Artificial Intelligence Algorithm vs Radiology Residents // JAMA Network Open. 2020. Vol. 3, N 10. P. e2022779. doi: 10.1001/jamanetworkopen.2020.22779
  9. Miró Catalina Q., Fuster-Casanovas A., Solé-Casals J., Vidal-Alaball J. Developing an Artificial Intelligence Model for Reading Chest X-rays: Protocol for a Prospective Validation Study // JMIR Research Protocols. 2022. Vol. 11, N 11. P. e39536. doi: 10.2196/39536
  10. Plesner L.L., Müller F.C., Nybing J.D., et al. Autonomous Chest Radiograph Reporting Using AI: Estimation of Clinical Impact // Radiology. 2023. Vol. 307, N 3. P. e222268. doi: 10.1148/radiol.222268
  11. Vasilev Yu., Vladzymyrskyy A., Omelyanskaya O., et al. AI-Based CXR First Reading: Current Limitations to Ensure Practical Value // Diagnostics (Basel). 2023. Vol. 13, N 8. P. 1430. doi: 10.3390/diagnostics13081430
  12. Driver C.N., Bowles B.S., Bartholmai B.J., Greenberg-Worisek A.J. Artificial Intelligence in Radiology: A Call for Thoughtful Application // Clinical and Translational Science. 2020. Vol. 13, N 2. P. 216–218. doi: 10.1111/cts.12704
  13. Yoo H., Kim E.Y., Kim H., et al. Artificial intelligence-based identification of normal chest radiographs: a simulation study in a multicenter health screening cohort // Korean Journal of Radiology. 2022. Vol. 23, N 10. P. 1009–1018. doi: 10.3348/kjr.2022.0189
  14. Suganuma N., Yoshida S., Takeuchi Y., et al. Artificial intelligence in quantitative chest imaging analysis for occupational lung disease // Seminars in Respiratory and Critical Care Medicine. 2023. Vol. 44, N 3. P. 362–369. doi: 10.1055/s-0043-1767760
  15. Brown C., Nazeer R., Gibbs A., et al. Breaking Bias: The role of artificial intelligence in improving clinical decision-making // Cureus. 2023. Vol. 15, N 3. P. e36415. doi: 10.7759/cureus.36415
  16. Kaviani P., Kalra M.K., Digumarthy S.R., et al. Frequency of missed findings on chest radiographs (CXRs) in an international, multicenter study: application of AI to reduce missed findings // Diagnostics (Basel). 2022. Vol. 12, N 10. P. 2382. doi: 10.3390/diagnostics12102382
  17. de Groot P.M., Carter B.W., Abbott G.F., Wu C.C. Pitfalls in chest radiographic interpretation: blind spots // Seminars in Roentgenology. 2015. Vol. 50, N. 3. P. 197–209. doi: 10.1053/j.ro.2015.01.008
  18. Gefter W.B., Post B.A., Hatabu H. Commonly missed findings on chest radiographs: causes and consequences // Chest. 2023. Vol. 163, N 3. P. 650–661. doi: 10.1016/j.chest.2022.10.039
  19. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента / под ред. Ю.А. Васильева, А.В. Владзимирского. Москва: Издательские решения, 2022.
  20. Морозов С.П., Буренчев Д.В., Владзимирский А.В, и др. Принципы и правила описаний результатов лучевых исследований. Серия «Лучшие практики лучевой и инструментальной диагностики». Вып. 97. Москва: Государственное бюджетное учреждение здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы», 2021.
  21. Choi Y.R., Yoon S.H., Kim J., et al. Chest Radiography of Tuberculosis: Determination of Activity Using Deep Learning Algorithm // Tuberculosis and Respiratory Diseases. 2023. Vol. 86, N 3. P. 226–233. doi: 10.4046/trd.2023.0020
  22. Sun Z., Zhou J., Zhao L. Application status and problems summary of artificial intelligence in chest imaging // Asian Journal of Surgery. 2023. Vol. 46, N 10. P. 4437–4438. doi: 10.1016/j.asjsur.2023.04.100
  23. Bernstein M.H., Atalay M.K., Dibble E.H., et al. Can incorrect artificial intelligence (AI) results impact radiologists, and if so, what can we do about it? A multi-reader pilot study of lung cancer detection with chest radiography // European Radiology. 2023. Vol. 33, N 11. P. 8263–8269. doi: 10.1007/s00330-023-09747-1
  24. Becker J., Decker J.A., Römmele C., et al. Artificial Intelligence-based detection of pneumonia in chest radiographs // Diagnostics (Basel). 2022. Vol. 12, N 6. P. 1465. doi: 10.3390/diagnostics12061465
  25. Dasegowda G., Bizzo B.C., Gupta R.V., et al. Radiologist-trained AI model for identifying suboptimal chest-radiographs // Academic Radiology. 2023. Vol. 30, N 12. P. 2921–2930. doi: 10.1016/j.acra.2023.03.006
  26. Fanni S.C., Greco G., Rossi S., et al. Role of artificial intelligence in oncologic emergencies: a narrative review // Exploration of Targeted Anti-tumor Therapy. 2023. Vol. 4, N 2. P. 344–354. doi: 10.37349/etat.2023.00138
  27. Hwang E.J., Goo J.M., Nam J.G., et al. Conventional versus artificial intelligence-assisted interpretation of chest radiographs in patients with acute respiratory symptoms in emergency department: a pragmatic randomized clinical trial // Korean Journal of Radiology. 2023. Vol. 24, N 3. P. 259–270. doi: 10.3348/kjr.2022.0651
  28. Tan H., Xu H., Yu N., et al. The value of deep learning-based computer aided diagnostic system in improving diagnostic performance of rib fractures in acute blunt trauma // BMC Medical Imaging. 2023. Vol. 23, N 1. P. 55. doi: 10.1186/s12880-023-01012-7
  29. Wu J., Liu N., Li X., et al. Convolutional neural network for detecting rib fractures on chest radiographs: a feasibility study // BMC Medical Imaging. 2023. Vol. 23, N 1. P. 18. doi: 10.1186/s12880-023-00975-x
  30. Lee H.W., Jin K.N., Oh S., et al. Artificial intelligence solution for chest radiographs in respiratory outpatient clinics: multicenter prospective randomized clinical trial // Annals of the American Thoracic Society. 2023. Vol. 20, N 5. P. 660–667. doi: 10.1513/AnnalsATS.202206-481OC
  31. Hillis J.M., Bizzo B.C., Mercaldo S., et al. Evaluation of an artificial intelligence model for detection of pneumothorax and tension pneumothorax in chest radiographs // JAMA Network Open. 2022. Vol. 5, N 12. P. e2247172. doi: 10.1001/jamanetworkopen.2022.47172

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Частота принятия сервисами искусственного интеллекта анатомических структур (зелёный) и инородных предметов (синий) за край поджатого воздухом лёгкого (пневмоторакс).

Скачать (121KB)
Метаданные
3. Рис. 2. Структура пропусков клинически значимой патологии. ПОД — пищеводное отверстие диафрагмы.

Скачать (102KB)
Метаданные
4. Рис. 3. Структура пропусков клинически незначимой патологии. ЦВК — центральный венозный катетер.

Скачать (192KB)
Метаданные
5. Рис. 4. Поствоспалительные изменения, фиброз, плевро-паренхиматозные тяжи, спайки.

Скачать (209KB)
Метаданные
6. Рис. 5. Ложноположительный случай срабатывания программного обеспечения на основе технологий искусственного интеллекта, связанный с выраженной подкожно-жировой клетчаткой.

Скачать (80KB)
Метаданные
7. Рис. 6. Тень соска молочной железы, ошибочно маркированная как лёгочный узел.

Скачать (101KB)
Метаданные
8. Рис. 7. Грыжа пищеводного отверстия диафрагмы, не обнаруженная программным обеспечением на основе технологий искусственного интеллекта за тенью сердца.

Скачать (213KB)
Метаданные
9. Рис. 8. На боковой проекции визуально определяется очаг в проекции верхней доли (все программные обеспечения на основе технологий искусственного интеллекта закономерно его не определили ввиду обработки только прямой проекции).

Скачать (462KB)
Метаданные
10. Рис. 9. На боковой проекции определяются фиброзные изменения в заднем косто-диафрагмальном синусе справа, которые не видны на прямой проекции (сервис искусственного интеллекта их не определил ввиду обработки только прямой проекции). Аналогично данным изменениям сервис может «пропустить» минимальный плевральный выпот.

Скачать (119KB)
Метаданные
11. Рис. 10. Гидроторакс у лежачего пациента не был распознан программным обеспечением на основе технологий искусственного интеллекта.

Скачать (110KB)
Метаданные

© Эко-вектор, 2024

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.