Limitations of using artificial intelligence services to analyze chest x-ray imaging

Мұқаба


Дәйексөз келтіру

Толық мәтін

Аннотация

BACKGROUND: Chest X-ray examination is one of the first radiology areas that started applying artificial intelligence, and it is still used to the present. However, when interpreting X-ray scans using artificial intelligence, radiologists still experience several routine restrictions that should be considered in issuing a medical report and require the attention of artificial intelligence developers to further improve the algorithms and increase their efficiency.

AIM: To identify restrictions of artificial intelligence services for analyzing chest X-ray images and assesses the clinical significance of these restrictions.

MATERIALS AND METHODS: A retrospective analysis was performed for 155 cases of discrepancies between the conclusions of artificial intelligence services and medical reports when analyzing chest X-ray images. All cases included in the study were obtained from the Unified Radiological Information Service of the Unified Medical Information and Analytical System of Moscow.

RESULTS: Of the 155 analyzed difference cases, 48 (31.0%) were false-positive and 78 (50.3%) were false-negative cases. The remaining 29 (18.7%) cases were removed from further studies because they were true positive (27) or true negative (2) in the expert review. Most (93.8%) of the 48 false-positive cases were due to the artificial intelligence service mistaking normal chest anatomy (97.8% of cases) or catheter shadow (2.2% of cases) for pneumothorax signs. Overlooked clinically significant pathologies accounted for 22.0% of false-negative scans. Nearly half of these cases (44.4%) were overlooked lung nodules. Lung calcifications (60.9%) were the most common clinically insignificant pathology.

CONCLUSIONS: Artificial intelligence services demonstrate a tendency toward over diagnosis. All false-positive cases were associated with erroneous detection of clinically significant pathology: pneumothorax, lung nodules, and pulmonary consolidation. Among false-negative cases, the rate of overlooked clinically significant pathology was low, which accounted for less than one-fourth.

Толық мәтін

ОБОСНОВАНИЕ

На сегодняшний день рентгенография органов грудной клетки по-прежнему остаётся одним из самых распространённых исследований в лучевой диагностике [1, 2]. Это обусловлено высокой доступностью и скоростью проведения, достаточной информативностью и низкой стоимостью данного метода диагностики [2, 3].

В последние годы появились и продолжают совершенствоваться многочисленные сервисы на основе технологий искусственного интеллекта (ИИ) для интерпретации рентгенограмм органов грудной клетки [1, 4, 5]. С одной стороны, этому способствовало большое количество накопленных изображений, которое позволило провести качественное обучение и тестирование алгоритмов ИИ. С другой стороны, появление данных сервисов было обусловлено возникшей в системе здравоохранения потребностью в более быстрой и качественной интерпретации рентгенограмм органов грудной клетки в связи с быстрым ростом количества этих исследований и сохранением их социальной значимости [6, 7].

На сегодняшний день диагностическая точность ряда сервисов ИИ достигла точности врачей-рентгенологов [8, 9]. Это способствовало появлению автономного программного обеспечения. В частности, в 2022 г. в зарубежном практическом здравоохранении начал применяться первый автономный сервис ИИ Oxipit (ChestLink) для оценки рентгенограмм органов грудной клетки [10].

Однако в связи с не окончательной разрешённостью вопросов этического, организационного и экономического характера, а также не абсолютной диагностической точностью большинство сервисов ИИ применяются сегодня не автономно, а в качестве системы поддержки принятия врачебных решений [2, 11].

Несомненными преимуществами этих ИИ-сервисов, предназначенных для оценки рентгенограмм органов грудной клетки, являются высокая скорость обработки изображений [12, 13], высокая точность оценки распространённости патологических процессов [14], а также повышение объективности при оценке выявленных изменений врачами-рентгенологами [15].

В то же время известно, что, в отличие от врачей-рентгенологов, у ИИ-сервисов есть ряд функциональных ограничений. Во-первых, ИИ-сервисы оценивают рентгеновские изображения только в прямой проекции без учёта изображений в боковых проекциях. Во-вторых, ИИ-сервисы не способны оценивать патологические процессы в динамике. В-третьих, выраженный мягкотканный компонент на изображениях, а также их субоптимальное качество значительно ухудшают работу ИИ-сервисов. И, в-четвертых, ИИ-сервисы в ряде случаев неудовлетворительно работают с рентгенограммами органов грудной клетки, выполненными в положении лёжа [16–18].

Таким образом, актуальными представляются исследования, направленные на изучение ограничений современных версий ИИ-сервисов и оценку клинической значимости этих ограничений для дальнейшего понимания границ применимости ИИ-сервисов.

ЦЕЛЬ

Выявление ограничений при применении ИИ-сервисов для анализа рентгенограмм органов грудной клетки и оценка клинической значимости этих ограничений.

МАТЕРИАЛЫ И МЕТОДЫ

Исследование выполнено в рамках Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения г. Москвы (далее — Московский эксперимент), проводимого с 2020 г. при поддержке Правительства Москвы (https://mosmed.ai/) [19].

Дизайн исследования

Проведено ретроспективное аналитическое исследование.

Технологии искусственного интеллекта

Для применения в клинической практике программное обеспечение на основе технологий искусственного интеллекта (ПО на основе ТИИ) должно быть зарегистрировано как медицинское изделие. В Российской Федерации статусом медицинских изделий обладают ПО на основе ТИИ, предназначенные для автоматизированного анализа результатов рентгенографии и флюорографии органов грудной клетки, разработанные ООО «Медицинские скрининг-системы» (РУ № РЗН 2021/14449), ООО «Платформа Третье Мнение» (РУ № РЗН2021/14506), ООО «ФБМ» (РУ № РЗН2022/17406), ООО «Care Mentor AI» (РУ № РЗН 2020/11137).

В исследовании использовались медицинские изделия, представляющие собой ПО на основе ТИИ, — продукты указанных выше компаний, интегрированных в Единый радиологический информационный сервис Единой медицинской информационно-аналитической системы г. Москвы (ЕРИС ЕМИАС). ПО на основе ТИИ принимало на вход цифровые изображения рентгенограмм и флюорограмм органов грудной клетки в формате DICOM, анализировало их и возвращало в качестве ответа текстовое описание (DICOM SR), изображения с разметкой патологических областей (DICOM SC), вероятности наличия патологии в исследовании в целом. Результаты анализа, выполненного ПО на основе ТИИ, становились доступны в ЕРИС ЕМИАС наравне с исходными результатами исследования. Для данного исследования использовались случаи расхождений заключений ПО на основе ТИИ и заключений, составленных непосредственно врачами-рентгенологами, то есть случаи с ложноположительными и ложноотрицательными результатами работы ПО на основе ТИИ.

Набор данных

В исследование было включено 155 цифровых рентгенограмм органов грудной клетки, выполненных в рамках скрининговых и диагностических исследований среди взрослого населения г. Москвы за период с 10.11.2022 по 23.11.2022, когда все поступавшие в ЕРИС ЕМИАС рентгенограммы органов грудной клетки обрабатывались несколькими ИИ-сервисами одновременно. Критерием включения изображений в выборку было расхождение между заключением врача-рентгенолога и хотя бы одним ИИ-сервисом. Общее число рентгенограмм органов грудной клетки, выполненных за указанный период времени, составило 12 860.

Для подготовки выборки был использован собственный инструмент, предназначенный для автоматизированного анализа медицинских протоколов1.

Этическая экспертиза

Данное исследование основано на результатах Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения г. Москвы, утверждённого этическим комитетом (выписка из протокола № 2 НЭК МРО РОРР от 20.02.2020), также зарегистрированного на ClinicalTrials (NCT04489992).

Статистический анализ

В анализ были включены исследования, содержащие признаки ложноположительной и ложноотрицательной оценки рентгеновских изображений ПО на основе ТИИ, полученных из системы ЕРИС ЕМИАС г. Москвы.

При проведении анализа были использованы методы описательной статистики. Анализ выполнен в программе MS Excel.

РЕЗУЛЬТАТЫ

Основные результаты исследования

В ходе исследования был проведён анализ 155 случаев расхождений. Изначально под расхождениями понимали несоответствие заключений ИИ-сервисов заключениям врачей-рентгенологов. Согласно заключениям врачей, из 155 случаев в 75 (48,4%) патология отсутствовала, тогда как остальные 80 (51,6%) случаев были с патологией.

Дальнейший анализ показал, что из 75 случаев без патологии 48 (64,5%) действительно не содержали патологию, однако ИИ-сервисы сделали прямо противоположные выводы (ложноположительные случаи). В остальных 27 (36,0%) случаях при экспертном пересмотре была обнаружена патология, которую ИИ-сервисы также корректно обнаружили (истинно положительные случаи). Появление этих случаев было обусловлено тем, что врачи не указали в заключении информацию о наличии старых консолидированных переломов рёбер, кардиомегалии и сколиоза грудного отдела позвоночника.

Как показал экспертный пересмотр, из 80 случаев с патологией 78 (97,5%) действительно содержали патологию, однако ИИ-сервисы сделали прямо противоположные выводы (ложноотрицательные случаи). В остальных 2 (2,5%) случаях при экспертном пересмотре было установлено отсутствие патологии, которое также было отражено в заключениях ИИ-сервисов (истинно отрицательные случаи). Появление этих случаев было обусловлено тем, что врачи изначально приняли тень соска за очаговую тень.

Далее был проведён анализ всех ложноположительных (48) и всех ложноотрицательных (78) случаев.

Ложноположительные случаи

Из 48 ложноположительных случаев 45 (93,8%) — случаи ложного обнаружения пневмоторакса ИИ-сервисами. В большинстве из них (97,8%) за край поджатого лёгкого ИИ-сервисы принимали нормальные анатомические структуры грудной клетки (рис. 1).

 

Рис. 1. Частота принятия сервисами искусственного интеллекта анатомических структур (зелёный) и инородных предметов (синий) за край поджатого воздухом лёгкого (пневмоторакс).

 

Остальными 3 из 48 ложноположительных случаев были 2 (4,2%) случая ложного обнаружения лёгочных узлов и 1 (2,0%) случай ложного обнаружения лёгочного затемнения.

Ложноотрицательные случаи

Из 78 ложноотрицательных случаев в 74 (94,9%) ИИ-сервисы пропустили по одной патологии, а в 4 (5,1%) было пропущено по 2 патологии. Таким образом, общее количество пропущенных патологий составило 82. Здесь и далее расчёт долей представлен относительно этого значения.

Дальнейший анализ пропусков патологии был выполнен с учётом её клинической значимости (табл. 1).

 

Таблица 1. Классификация патологии на клинически значимую и клинически незначимую

Клинически значимая патология

Клинически незначимая патология

1. Очаговые тени

2. Диссеминация

3. Полость

4. Гидроторакс

5. Пневмоторакс

6. Инфильтрация/консолидация (пневмония)

7. Грыжа пищеводного отверстия диафрагмы

8. Перелом ребра/ключицы

9. Ателектаз

1. Кальцинат

2. Консолидированный перелом ребра/ключицы

3. Метатуберкулёзные изменения

4. Фиброз

5. Расширение тени сердца

6. Кальциноз аорты

7. Анатомические варианты нормы (например, добавочная доля непарной вены)

8. Шов в грудине послеоперационный

9. Вертебропластика

10. Тени родинок/обызвествлений в мягких тканях

11. Уплотнение междолевой плевры

12. Тени катетеров

 

Всего было выявлено 18 (22,0%) пропусков клинически значимой патологии и 64 (78,0%) пропуска клинически незначимой патологии.

Среди 18 пропусков клинически значимой патологии почти половину (44,4%) составили случаи пропуска очаговых теней (рис. 2).

 

Рис. 2. Структура пропусков клинически значимой патологии. ПОД — пищеводное отверстие диафрагмы.

 

Среди 64 пропусков клинически незначимой патологии преобладали кальцинаты (60,9%). Структура пропусков клинически незначимой патологии представлена на рис. 3.

 

Рис. 3. Структура пропусков клинически незначимой патологии. ЦВК — центральный венозный катетер.

 

ОБСУЖДЕНИЕ

Резюме основного результата исследования

Все ложноположительные случаи были связаны с ошибочным обнаружением клинически значимой патологии: пневмоторакса, лёгочных узлов и лёгочного затемнения. Среди ложноотрицательных случаев доля пропуска клинически значимой патологии невелика и составила менее одной четвёртой.

Обсуждение основного результата исследования

В ходе исследования были выявлены как случаи действительно ложноположительного срабатывания ИИ-сервисов, так и случаи, которые при пересмотре оказались истинно отрицательными. Последние были связаны с невнимательностью самих врачей-рентгенологов, когда врач не указывает в заключении о фактически имеющихся на снимках изменениях, например, это 8 случаев кардиомегалии и 10 случаев консолидированных переломов рёбер. Очевидно, врач мог заметить или даже заметил данные изменения, но не посчитал необходимым их упомянуть в описании, в то время как ИИ-сервис их всё же обозначил, не совершив при этом ошибки [20].

Отдельно следует отметить некоторые неоднозначные результаты поиска расхождений в заключениях, например, такую особенность строения лёгких, как наличие добавочной доли непарной вены, о которой врач в своём заключении пишет, а ИИ-сервис — нет. Таких случаев в нашей выборке оказалось 7, но поскольку добавочная доля непарной вены является нормальным вариантом развития лёгких, а не патологическим изменением, то в данной ситуации было бы некорректно говорить и о действительно ложноотрицательном результате.

Среди действительно ложноотрицательных было выявлено 6 случаев пропуска ИИ-сервисами мелких очаговых теней в лёгких, 1 случай невыявленного перелома ключицы, 1 случай никак не обозначенного наличия центрального венозного катетера, 3 случая состояния после стернотомии с наличием металлических швов в грудине, 1 случай вертебропластики, 1 случай невыявленного смещения средостения в здоровую сторону при гидротораксе, которые могут быть объяснены только недообученностью текущих версий ИИ-сервисов.

Несомненным и самым существенным минусом применения технологий компьютерного зрения при анализе рентгенограмм органов грудной клетки как самостоятельного механизма является невозможность оценки сервисом ИИ динамики патологического процесса, поскольку ПО на основе ТИИ имеет доступ только к текущему исследованию, вследствие чего возрастает вероятность необоснованного дообследования пациентов со «старыми» изменениями в лёгких, такими как кальцинаты, фиброзные лёгочные и спаечные плевральные изменения [21]. В ряде случаев «старые» спайки в косто-диафрагмальных плевральных синусах интерпретируются и маркируются ПО на основе ТИИ как свободная жидкость в плевральной полости, что легко опровергается при пересмотре данных предыдущих исследований пациента непосредственно врачом-рентгенологом. Таким же образом врач-рентгенолог может оценить фиброзные изменения, кальцинаты, наслоения на костальной плевре, не изменяющиеся в динамике и не требующие повышенного внимания со стороны клинициста. При проведении данного исследования был выявлен случай ложноположительной оценки ПО на основе ТИИ старых участков линейного фиброза как участков затемнения, в то время как врач-рентгенолог не счёл необходимым указать их наличие, также имеется один случай ложноположительного срабатывания на участки старых плевральных наслоений, которые ПО на основе ТИИ определил как лёгочные узлы, и, кроме этого, имеется один случай ложноположительного срабатывания, связанный с наличием уплотнения в Ι ребре, которое ПО на основе ТИИ определило как лёгочное затемнение. Отдельно следует упомянуть об одном случае обнаружения старых метатуберкулёзных изменений, не являющихся действительно ложноположительными, которые ПО на основе ТИИ выявило, но не смогло правильно интерпретировать в связи с отсутствием полной динамической картины (рис. 4).

 

Рис. 4. Поствоспалительные изменения, фиброз, плевро-паренхиматозные тяжи, спайки.

 

Стоит отметить вероятность наличия теней дополнительных мягкотканных, в том числе кожных образований, уплотнений и сосков молочных желёз, проецирующихся на рентгеновское изображение лёгких, которые могут быть ошибочно интерпретированы ПО на основе ТИИ как лёгочные образования, и требующих пересмотра врачом [22, 23]. В рамках данного исследования был выявлен один ложноположительный случай срабатывания ПО на основе ТИИ, связанный с выраженной подкожно-жировой клетчаткой (рис. 5), а также один случай, когда ИИ-сервис принял тень соска за лёгочный узел (рис. 6).

 

Рис. 5. Ложноположительный случай срабатывания программного обеспечения на основе технологий искусственного интеллекта, связанный с выраженной подкожно-жировой клетчаткой.

 

Рис. 6. Тень соска молочной железы, ошибочно маркированная как лёгочный узел.

 

Следующим аспектом данной проблемы является то, что оценка рентгенограмм органов грудной клетки осуществляется ПО на основе ТИИ только в прямой проекции и, учитывая наличие «слепых зон» на прямых рентгенограммах (базальные и прикорневые отделы лёгких, задние косто-диафрагмальные синусы), не позволяет ИИ-сервисам сделать достоверный вывод о наличии либо отсутствии патологических изменений в указанных зонах [17, 23]. В данном исследовании был выявлен один случай ложноотрицательного заключения ПО на основе ТИИ при наличии у пациента грыжи пищеводного отверстия диафрагмы (рис. 7), а также один ложноположительный результат, связанный с ортоградным расположением лёгочного сосуда, который один из ИИ-сервисов обозначил как лёгочный узел.

 

Рис. 7. Грыжа пищеводного отверстия диафрагмы, не обнаруженная программным обеспечением на основе технологий искусственного интеллекта за тенью сердца.

 

Выявлен также случай необнаружения очаговой тени, которая в прямой проекции проецируется на тень средостения и может быть выявлена только на снимке в боковой проекции (рис. 8).

 

Рис. 8. На боковой проекции визуально определяется очаг в проекции верхней доли (все программные обеспечения на основе технологий искусственного интеллекта закономерно его не определили ввиду обработки только прямой проекции).

 

В другом случае ИИ-сервис, опять же по причине невозможности обработки боковой проекции, не определил фиброзные изменения (рис. 9).

 

Рис. 9. На боковой проекции определяются фиброзные изменения в заднем косто-диафрагмальном синусе справа, которые не видны на прямой проекции (сервис искусственного интеллекта их не определил ввиду обработки только прямой проекции). Аналогично данным изменениям сервис может «пропустить» минимальный плевральный выпот.

 

Проблемным вопросом диагностики при рентгенографии органов грудной клетки остаётся оценка корней лёгких на предмет патологических изменений ввиду суммации теней лёгочных сосудов и бронхов, вероятности наличия в корнях лёгких дополнительных образований, теней увеличенных уплотнённых лимфатических узлов, небольших прикорневых инфильтративных процессов в паренхиме лёгких, и проч. [18, 24]. В настоящее время задача по всесторонней оценке корней лёгких превышает имеющиеся возможности ИИ-сервисов. В данном исследовании было выявлено 39 ложноотрицательных случаев срабатывания ПО на основе ТИИ, связанных с наличием кальцинатов в корнях лёгких, о которых упоминает врач-рентгенолог при описании снимка, 1 ложноотрицательный случай кальциноза аорты, 1 случай ложноположительного срабатывания, связанный с тем, что сервис ИИ обозначил сосуд корня лёгкого как объёмное образование и 1 случай принятия расширенных сосудов корня лёгкого за лёгочное затемнение.

При оценке эффективности использования ПО на основе ТИИ необходимо также учитывать наличие в повседневной практике врача-рентгенолога рентгенограмм субоптимального качества, затрудняющих их оценку, что может приводить как к ложноположительным, так и к ложноотрицательным результатам [25].

Большое клиническое значение может приобрести применение ПО на основе ТИИ в ургентной практике [26–29] при физическом отсутствии квалифицированного врача-рентгенолога [30] для экстренной диагностики таких жизнеугрожающих состояний, как гидро- и пневмоторакс [28, 31], и принятия клиницистом решения о необходимости незамедлительной госпитализации пациента либо выполнения плевральной пункции.

В числе ложноотрицательных случаев в рамках данного исследования было выявлено 2 случая, когда ПО на основе ТИИ не выявило наличие гидроторакса у лежачих пациентов (рис. 10), 1 случай невыявленного пневмоторакса у лежачего пациента. В то же время было выявлено 3 случая ложноположительного срабатывания, когда ИИ находил несуществующий пневмоторакс у лежачих пациентов. Данные находки несомненно требуют дообучения ПО на основе ТИИ для более эффективной работы с рентгенограммами, выполненными лежачим пациентам.

 

Рис. 10. Гидроторакс у лежачего пациента не был распознан программным обеспечением на основе технологий искусственного интеллекта.

 

В ходе данного исследования выявлен единичный случай пневмоперитонеума, при котором очерченный воздухом снизу купол диафрагмы был маркирован ПО на основе ТИИ как линейная тень. В то же время в работе одного из ИИ-сервисов было выявлено 45 случаев ложноположительного пневмоторакса, когда ИИ принимал нормальный кортикальный слой края ребра либо другие нормальные анатомические структуры линейной формы за край поджатого воздухом лёгкого.

ЗАКЛЮЧЕНИЕ

В ходе работы проанализированы случаи расхождений в заключениях ИИ-сервисов и врачей-рентгенологов. Со стороны ИИ-сервисов прослеживалась тенденция к гипердиагностике. Все ложноположительные случаи были связаны с ошибочным обнаружением клинически значимой патологии: пневмоторакса, лёгочных узлов и лёгочного затемнения. Среди ложноотрицательных случаев доля пропуска клинически значимой патологии была невелика и составила менее одной четвёртой.

Актуальными ограничениями при использовании ПО на основе ТИИ как самостоятельного алгоритма диагностики являются невозможность оценки ИИ сервисами динамики патологических процессов, оценка изменений органов грудной клетки только в одной проекции, затруднения при оценке изменений корней лёгких и обработке изображений субоптимального качества, ложноположительная оценка при наличии на изображениях дополнительных теней мягких тканей органов грудной клетки и ложноположительная оценка нормальных анатомических структур грудной клетки как патологических изменений в лёгких.

Полученные результаты могут быть использованы врачами-рентгенологами для понимания ограничений в работе ИИ-сервисов при описании рентгенограмм органов грудной клетки. Кроме того, разработчики могут воспользоваться полученными данными для определения направлений совершенствования ИИ-сервисов.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Данная статья подготовлена авторским коллективом в рамках НИОКР «Разработка платформы повышения качества ИИ-сервисов для медицинской диагностики» (№ ЕГИСУ: 123031400006-0) в соответствии с Приказом № 1196 от 21.12.2022 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счёт средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов» Департамента здравоохранения г. Москвы.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: Ю.А. Васильев, А.В. Владзимирский — концепция и дизайн исследования, финальная вычитка текста; К.М. Арзамасов — концепция и дизайн исследования, написание и редактирование текста рукописи; И.М. Шулькин — дизайн исследования, написание и редактирование текста рукописи; Е.В. Астапенко — сбор и обработка материалов, анализ полученных данных, написание текста рукописи; Л.Д. Пестренин — анализ полученных данных, написание текста рукописи.

Благодарности. Авторы выражают благодарность А. Соловьёвой за подбор кейсов для иллюстраций.

ADDITIONAL INFORMATION

Funding source. This paper was prepared by a group of authors as part of the research and development effort titled “Development of a platform for improving the quality of AI services for clinical diagnostics” (USIS No.: 123031400006-0) in accordance with the Order No. 1196 dated December 21, 2022 “On approval of state assignments funded by means of allocations from the budget of the city of Moscow to the state budgetary (autonomous) institutions subordinate to the Moscow Health Care Department, for 2023 and the planned period of 2024 and 2025” issued by the Moscow Health Care Department.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. Yu.A. Vasilev, A.V. Vladzymyrskyy — research concept and design, final proofreading of the text; K.M. Arzamasov — research concept and design, writing and editing of the text; I.M. Shulkin — research design, writing and editing of the text; E.V. Astapenko — collection and processing of materials, analysis of the data obtained, writing the text; L.D. Pestrenin — analysis of the data obtained, writing the text.

Acknowledgments. We thank A. Solovyova for selecting cases for the illustrations.

 

1 Морозов С.П., Андрейченко А.Е., Кирпичев Ю.С. и др. MedLabel — автоматизированный анализ медицинских протоколов (база данных). Свидетельство о государственной регистрации программы для ЭВМ № 2020664321 от 11.11.2020.

×

Авторлар туралы

Yuriy Vasilev

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN-код: 4458-5608

MD, Cand. Sci. (Medicine)

Ресей, Moscow

Anton Vladzymyrskyy

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: a.vladzimirsky@npcmr.ru
ORCID iD: 0000-0002-2990-7736
SPIN-код: 3602-7120

MD, Dr. Sci. (Medicine), Professor

Ресей, Moscow

Kirill Arzamasov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-код: 3160-8062

MD, Cand. Sci. (Medicine)

Ресей, Moscow

Igor Shulkin

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: i.shulkin@npcmr.ru
ORCID iD: 0000-0002-7613-5273
SPIN-код: 5266-0618
Ресей, Moscow

Elena Astapenko

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Хат алмасуға жауапты Автор.
Email: AstapenkoEV1@zdrav.mos.ru
ORCID iD: 0009-0006-6284-2088
SPIN-код: 7362-8553
Ресей, Moscow

Lev Pestrenin

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: PestreninLD@zdrav.mos.ru
ORCID iD: 0000-0002-1786-4329
SPIN-код: 7193-7706
Ресей, Moscow

Әдебиет тізімі

  1. Çallı E, Sogancioglu E, van Ginneken B, et al. Deep learning for chest X-ray analysis: A survey. Medical Image Analysis. 2021;72:102125. doi: 10.1016/j.media.2021.102125
  2. Vasilev YuA, Tyrov IA, Vladzymyrskyy AV, et al. A New Model of Organizing Mass Screening Based on Stand-Alone Artificial Intelligence Used for Fluorography Image Triage. Zdorov’e Naseleniya i Sreda Obitaniya. 2023;31(11):23–32. (In Russ.) doi: 10.35627/2219-5238/2023-31-11-23-32
  3. Akhter Y, Singh R, Vatsa M. AI-based radiodiagnosis using chest X-rays: A review. Frontiers in Big Data. 2023;6:1120989. doi: 10.3389/fdata.2023.1120989
  4. Fanni SC, Marcucci A, Volpi F, et al. Artificial Intelligence-Based Software with CE Mark for Chest X-ray Interpretation: Opportunities and Challenges. Diagnostics (Basel). 2023;13(12):2020. doi: 10.3390/diagnostics13122020
  5. Gusev AV, Vladzymyrskyy AV, Sharova DE, et al. Evolution of research and development in the field of artificial intelligence technologies for healthcare in the Russian Federation: results of 2021. Digital Diagnostics. 2022;3(3):178–194. doi: 10.17816/DD107367
  6. Kim J, Kim KH. Role of chest radiographs in early lung cancer detection. Translational Lung Cancer Research. 2020;9(3):522–531. doi: 10.21037/tlcr.2020.04.02
  7. Golubev NA, Ogryzko EV, Tyurina EM, et al. Features of the development of the radiology diagnostic service in the Russian Federation for 2014-2019. Current problems of health care and medical statistics. 2021;(2):356–376. doi: 10.24412/2312-2935-2021-2-356-376
  8. Wu JT, Wong KCL, Gur Y, et al. Comparison of Chest Radiograph Interpretations by Artificial Intelligence Algorithm vs Radiology Residents. JAMA Network Open. 2020;3(10):e2022779. doi: 10.1001/jamanetworkopen.2020.22779
  9. Miró Catalina Q, Fuster-Casanovas A, Solé-Casals J, Vidal-Alaball J. Developing an Artificial Intelligence Model for Reading Chest X-rays: Protocol for a Prospective Validation Study. JMIR Research Protocols. 2022;11(11):e39536. doi: 10.2196/39536
  10. Plesner LL, Müller FC, Nybing JD, et al. Autonomous Chest Radiograph Reporting Using AI: Estimation of Clinical Impact. Radiology. 2023;307(3):e222268. doi: 10.1148/radiol.222268
  11. Vasilev Yu, Vladzymyrskyy A, Omelyanskaya O, et al. AI-Based CXR First Reading: Current Limitations to Ensure Practical Value. Diagnostics (Basel). 2023;13(8):1430. doi: 10.3390/diagnostics13081430
  12. Driver CN, Bowles BS, Bartholmai BJ, Greenberg-Worisek AJ. Artificial Intelligence in Radiology: A Call for Thoughtful Application. Clinical and Translational Science. 2020;13(2):216–218. doi: 10.1111/cts.12704
  13. Yoo H, Kim EY, Kim H, et al. Artificial intelligence-based identification of normal chest radiographs: a simulation study in a multicenter health screening cohort. Korean Journal of Radiology. 2022;23(10):1009–1018. doi: 10.3348/kjr.2022.0189
  14. Suganuma N, Yoshida S, Takeuchi Y, et al. Artificial intelligence in quantitative chest imaging analysis for occupational lung disease. Seminars in Respiratory and Critical Care Medicine. 2023;44(3):362–369. doi: 10.1055/s-0043-1767760
  15. Brown C, Nazeer R, Gibbs A, et al. Breaking Bias: The role of artificial intelligence in improving clinical decision-making. Cureus. 2023;15(3):e36415. doi: 10.7759/cureus.36415
  16. Kaviani P, Kalra MK, Digumarthy SR, et al. Frequency of missed findings on chest radiographs (CXRs) in an international, multicenter study: application of AI to reduce missed findings. Diagnostics (Basel). 2022;12(10):2382. doi: 10.3390/diagnostics12102382
  17. de Groot PM, Carter BW, Abbott GF, Wu CC. Pitfalls in chest radiographic interpretation: blind spots. Seminars in Roentgenology. 2015;50(3):197–209. doi: 10.1053/j.ro.2015.01.008
  18. Gefter WB, Post BA, Hatabu H. Commonly missed findings on chest radiographs: causes and consequences. Chest. 2023;163(3):650–661. doi: 10.1016/j.chest.2022.10.039
  19. Vasilev YuA, Vladzimirsky AV, editors. Komp’yuternoe zrenie v luchevoj diagnostike: pervyj etap Moskovskogo eksperimenta. Moscow: Izdatelskie resheniya; 2022. (In Russ.)
  20. Morozov SP, Burenchev DV, Vladzimirsky AV, et al. Principy i pravila opisanij rezul’tatov luchevyh issledovanij. The series “Best practices of radiation and instrumental diagnostics”. Issue 97. Moscow: State Budget-Funded Health Care Institution of the City of Moscow “Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department”; 2021. (In Russ.)
  21. Choi YR, Yoon SH, Kim J, et al. Chest Radiography of Tuberculosis: Determination of Activity Using Deep Learning Algorithm. Tuberculosis and Respiratory Diseases. 2023;86(3):226–233. doi: 10.4046/trd.2023.0020
  22. Sun Z, Zhou J, Zhao L. Application status and problems summary of artificial intelligence in chest imaging. Asian Journal of Surgery. 2023;46(10):4437–4438. doi: 10.1016/j.asjsur.2023.04.100
  23. Bernstein MH, Atalay MK, Dibble EH, et al. Can incorrect artificial intelligence (AI) results impact radiologists, and if so, what can we do about it? A multi-reader pilot study of lung cancer detection with chest radiography. European Radiology. 2023;33(11):8263–8269. doi: 10.1007/s00330-023-09747-1
  24. Becker J, Decker JA, Römmele C, et al. Artificial Intelligence-based detection of pneumonia in chest radiographs. Diagnostics (Basel). 2022;12(6):1465. doi: 10.3390/diagnostics12061465
  25. Dasegowda G, Bizzo BC, Gupta RV, et al. Radiologist-trained AI model for identifying suboptimal chest-radiographs. Academic Radiology. 2023;30(12):2921–2930. doi: 10.1016/j.acra.2023.03.006
  26. Fanni SC, Greco G, Rossi S, et al. Role of artificial intelligence in oncologic emergencies: a narrative review. Exploration of Targeted Anti-tumor Therapy. 2023;4(2):344–354. doi: 10.37349/etat.2023.00138
  27. Hwang EJ, Goo JM, Nam JG, et al. Conventional versus artificial intelligence-assisted interpretation of chest radiographs in patients with acute respiratory symptoms in emergency department: a pragmatic randomized clinical trial. Korean Journal of Radiology. 2023;24(3):259–270. doi: 10.3348/kjr.2022.0651
  28. Tan H, Xu H, Yu N, et al. The value of deep learning-based computer aided diagnostic system in improving diagnostic performance of rib fractures in acute blunt trauma. BMC Medical Imaging. 2023;23(1):55. doi: 10.1186/s12880-023-01012-7
  29. Wu J, Liu N, Li X, et al. Convolutional neural network for detecting rib fractures on chest radiographs: a feasibility study. BMC Medical Imaging. 2023;23(1):18. doi: 10.1186/s12880-023-00975-x
  30. Lee HW, Jin KN, Oh S, et al. Artificial intelligence solution for chest radiographs in respiratory outpatient clinics: multicenter prospective randomized clinical trial. Annals of the American Thoracic Society. 2023;20(5):660–667. doi: 10.1513/AnnalsATS.202206-481OC
  31. Hillis JM, Bizzo BC, Mercaldo S, et al. Evaluation of an artificial intelligence model for detection of pneumothorax and tension pneumothorax in chest radiographs. JAMA Network Open. 2022;5(12):e2247172. doi: 10.1001/jamanetworkopen.2022.47172

Қосымша файлдар

Қосымша файлдар
Әрекет
1. JATS XML
Жүктеу
2. Fig. 1. Frequency of recognition by artificial intelligence services of anatomical structures (green) and foreign objects (blue) as the edge of a lung compressed by air (pneumothorax).

Жүктеу (121KB)
Метадеректер
3. Fig. 2. Structure of omissions of clinically significant pathology. OOP — esophageal opening of the diaphragm.

Жүктеу (102KB)
Метадеректер
4. Fig. 3. Structure of omissions of clinically insignificant pathology. CVC — central venous catheter.

Жүктеу (192KB)
Метадеректер
5. Fig. 4. Post-inflammatory changes, fibrosis, pleuro-parenchymatous cords, adhesions.

Жүктеу (209KB)
Метадеректер
6. Fig. 5. False positive case of AI-based software triggering associated with pronounced subcutaneous fat.

Жүктеу (80KB)
Метадеректер
7. Fig. 6. Shadow of the mammary gland nipple, mistakenly labeled as a pulmonary nodule.

Жүктеу (101KB)
Метадеректер
8. Fig. 7. Hiatal hernia undetected by AI-based software behind the heart shadow.

Жүктеу (213KB)
Метадеректер
9. Fig. 8. On the lateral projection, a lesion in the projection of the upper lobe is visually determined (all software based on artificial intelligence technologies naturally did not determine it due to the processing of only the direct projection).

Жүктеу (462KB)
Метадеректер
10. Fig. 9. The lateral projection shows fibrous changes in the posterior costophrenic sinus on the right, which are not visible on the direct projection (the artificial intelligence service did not detect them due to processing only the direct projection). Similarly to these changes, the service can "miss" minimal pleural effusion.

Жүктеу (119KB)
Метадеректер
11. Fig. 10. Hydrothorax in a bedridden patient was not recognized by the AI-based software.

Жүктеу (110KB)
Метадеректер

© Eco-Vector, 2024

Creative Commons License
Бұл мақала лицензия бойынша қол жетімді Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.