Practical application of a quality control tool for chest X-ray images. The results of the pilot experiment.

Full Text

Обоснование

Оценка качества лучевых диагностических исследований – важный этап диагностического процесса, позволяющий выявлять некачественные изображения, негативно влияющие на диагностику различных патологических состояний [1]. При выполнении рентгенографических исследований периодически возникают нарушения качества и ошибки, связанные с человеческим фактором или настройками диагностической аппаратуры. Дефектные и неоптимальные исследования имеют сниженную диагностическую ценность и зачастую отклоняются врачами-рентгенологами, что приводит к повторному проведению исследования у пациентов [2].

Обычно процедура оценки качества проводится вручную рентгенолаборантом во время проведения исследования, а затем врачом-рентгенологом при получении изображения на описание. Если получено изображение ненадлежащего качества, при диагностической необходимости, существует возможность оперативно повторить исследование и получить более качественное изображение [3]. Однако, все более распространенным становится дистанционное описание рентгенологических исследований [4]. В таком случае врач-рентгенолог не имеет прямого контакта с рентгенолаборантом, а изображение поступает на описание с временной задержкой, что исключает возможность быстрого проведения повторного исследования. В связи с этим качество выполненных исследований зависит исключительно от квалификации рентгенолаборанта [5].

          По данным литературы, доля исследований с нарушениями качества для рентгенографии органов грудной клетки (РГ ОГК) составляет от 9 до 50%. При этом наиболее распространенными нарушениями являются нарушения позиционирования пациента, такие как обрезка анатомических структур и ротация грудной клетки, технические дефекты изображения, наличие инородных тел и артефактов [6-9]. Отдельной проблемой являются ошибки заполнения метаинформации об исследовании, хранящейся в формате DICOM. Эта информация активно используется для маршрутизации исследований, а также анализируется различными диагностическими решениями, применяющими технологии искусственного интеллекта (ТИИ) [10]. В случае ошибок заполнения метаинформации, исследования могут поступать на описание врачу другого профиля, а также некорректно обрабатываться программным обеспечением с применением ТИИ [11]. Самыми распространенными ошибками в данной области является некорректное заполнение информации о проекции, модальности и анатомической области исследования [12].

Перспективным подходом для решения задачи оценки качества является использование автоматизированных алгоритмов [13]. Подобные решения потенциально могут быть встроены на различных этапах диагностического процесса и позволяют быстро и без дополнительных трудозатрат провести процесс оценки качества. Нами в ГБУЗ «НПКЦ ДиТ ДЗМ» был разработан такой инструмент контроля качества (далее Инструмент) [14]. Функционал Инструмента позволяет загрузить исследование в формате DICOM и получить детализированный отчет о наличии или отсутствии в исследовании следующих нарушений качества: неполной визуализации легких и реберно-диафрагмальных синусов, ротации грудной клетки, неверной ориентации изображения, некорректно заполненной информации об анатомической области, проекции, фотометрической интерпретации исследования. Предварительно полученные метрики точности данного Инструмента превышали 95% по всем направлениям работы [15]. Однако известно, что модели ИИ склонны к деградации метрик точности при применении в условиях реального диагностического процесса [11].  В связи с этим, следующим этапом развития Инструмента была оценка его эффективности в реальной диагностической практике. Для реализации данной задачи был проведен пилотный проект по апробации использования технологий искусственного интеллекта для обнаружения дефектов изображений при проведении рентгенографических исследований органов грудной клетки в медицинских организациях государственной системы здравоохранения города Москвы (далее Пилотный эксперимент).

Цель исследования

Оценка результативности применения Инструмента контроля качества в условиях практического здравоохранения.

Методы

Дизайн исследования

Разведывательное сплошное исследование

Условия проведения исследования

Данная работа основана на результатах ранее зарегистрированного исследования (№NCT04489992), одобренного локальным этическим комитетом, «Эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы» (Московский Эксперимент).

Пилотный эксперимент проводился в марте-мае 2025 года в 3 пилотных медицинских (МО) организациях государственной системы здравоохранения города Москвы, осуществляющих медицинскую помощь в амбулаторных условиях, и имеющих в своей структуре отделения лучевой диагностики (ОЛД). Выбранные пилотные организации оказывают взрослому населению медицинские услуги «Рентгенография органов грудной клетки обзорная» и «Рентгенография органов грудной клетки», результаты которых анализировались в рамках Пилотного эксперимента. Исследования в рамках данных услуг выполнялись на 7 диагностических устройствах общим количеством около 300 в сутки.

Критерии соответствия (отбора)

Выбранные пилотные организации оказывают взрослому населению медицинские услуги «Рентгенография органов грудной клетки обзорная» и «Рентгенография органов грудной клетки», результаты которых анализировались в рамках Пилотного эксперимента. Исследования в рамках данных услуг выполнялись на 7 диагностических устройствах общим количеством около 300 в сутки.

Описание вмешательства

Схема Пилотного эксперимента представлена на (рис. 1). Исследования, выполненные в пилотных МО, сразу после их выполнения направляются в Единый радиологический информационный сервис автоматизированной информационной системы города Москвы «Единая медицинская информационно-аналитическая система города Москвы» (ЕРИС ЕМИАС) для описания врачами-рентгенологами. Из ЕРИС ЕМИАС исследования после деперсонализации также могут быть направлены для описания на целевые сервисы искусственного интеллекта (ИИ-сервисы). В рамках Пилотного эксперимента исследования направлялись на наш Инструмент контроля качества. Обработка исследований происходила на виртуальной машине с характеристиками: 16ГБ ОЗУ, 4-х ядерный процессор Intel Core i5 2500, 32Гб HDD.

После обработки исследований Инструментом формировался отчет о наличии/отсутствии оцениваемых дефектов по каждому изображению, а исследования направлялись на пересмотр врачам-рентгенологам для проверки правильности выставленных Инструментом оценок. В пересмотре принимали участие 10 врачей-рентгенологов с опытом работы от 1 до 22 лет. Рентгенологам были выданы единые рекомендации по оценке изображений, а также был проведено обучение для формирования единообразного подхода к разметке. В результате врачебного пересмотра формировался сводный отчет о тестировании, который ежемесячно направлялся заведующим ОЛД соответствующих организаций. Отчет содержал сведения об исследованиях с подтвержденными нарушениями качества и при необходимости комментарии врача, подтвердившего нарушение.

Статистические процедуры

По результатам врачебного пересмотра проводилась оценка точности работы Инструмента. Для оценки качества работы моделей в составе Инструмента проводился ROC-анализ, рассчитывалась площадь под характеристической кривой (AUC), вычислялись стандартные метрики диагностической точности: чувствительность, специфичность, точность с расчетом 95% доверительных интервалов.

Результаты

Характеристики выборки

В рамках Пилотного эксперимента Инструментом контроля качества было обработано 4870 исследований, содержащих 9642 изображения. Врачами-рентгенологами было перепроверено 4060 (83,4%) исследований, содержащих 8042 изображений, из них 3977 изображений в прямой проекции и 4052 изображения в боковой проекции. В дальнейшем анализе принимали участия только исследования, прошедшие пересмотр врачами-рентгенологами. В рамках Пилотного эксперимента были оценены: время обработки исследований Инструментом, метрики точности моделей, входящих в состав Инструмента, а также структура нарушений качества в выборке обработанных исследований.

Основные результаты исследования

Время обработки

Медиана времени обработки одного исследования Инструментом составила:

• От момента попадания исследования в ЕРИС ЕМИАС: 14 [13;15] секунд
• От момента поступления исследования в Инструмент контроля качества: 2 [2;3] секунды

Данные результаты показывают, что наибольший вклад во временные затраты (80-85%) при использовании данной методологии контроля качества вносят процессы маршрутизации и выгрузки исследований. При использовании более короткого пути исследования до Инструмента контроля качества, например при его прямом взаимодействии со станцией рентгенолаборанта, время обработки исследования возможно сократить до меньших значений. Тем не менее даже при применении текущей схемы взаимодействия результат обработки исследования может быть получен в течение 15 секунд, что позволяет принимать оперативные решения в условиях реального диагностического процесса.

Выявленные нарушения позиционирования пациента

В рамках пересмотра исследований врачами-рентгенологами было выявлено 3386 изображений с различными нарушениями качества, структура нарушений представлена в табл. 1.

Неполная визуализация отделов легких и легочных синусов на изображении в прямой проекции.

Всего врачами выявлено 564 изображения органов грудной клетки в прямой проекции с неполной визуализацией отделов легких и легочных синусов, что составляет 14,2% от всех рентгенограмм в прямой проекции. Из них врачи посчитали 32 изображения содержащими клинически незначимые нарушения (например, незначительную обрезку легочных синусов). При этом, 294 изображения с данным нарушением встречались парами в рамках одного исследования. Это связано с тем, что рентгенолаборант видел допущенную ошибку и устранял ее с помощью получения дополнительного изображения, на котором присутствовали те отделы легких, которые не визуализировались на первом изображении. В таком случае мы получаем 2 изображения, каждое из которых неоптимально и содержит нарушение качества, однако, если рассматривать их вместе, можно получить целостною картину о состоянии легких пациента. Пример такой пары изображений приведен на (рис. 2). Подобные действия рентгенолаборанта позволяют врачу-рентгенологу описать исследование, однако не решают проблему для диагностических ИИ-сервисов, для них каждое из изображений будет дефектным и трудно интерпретируемым. В 270 исследованиях (6,8%) исходные нарушения качества не были устранены лаборантом.

 

Неполная визуализация отделов легких и легочных синусов на изображении в боковой проекции.

Всего врачами выявлено 968 изображения органов грудной клетки в боковой проекции с неполной визуализацией отделов легких и легочных синусов, что составляет 23,9% от всех рентгенограмм в боковой проекции. Пример изображения с данным нарушением качества представлен на (рис. 3). Из них врачи посчитали 147 изображения содержащими клинически незначимые нарушения. 5 нарушений были устранены с помощью получения дополнительного изображения по аналогии с предыдущим разделом. 958 нарушений не были устранены рентгенолаборантом.

 

Ротация грудной клетки

          Индикатором чрезмерной ротации грудной клетки при выполнении рентгенографии ОГК в истинно боковой проекции считается расстояние между задними отделами правых и левых ребер более 1см при фокусном расстоянии 180 см [16]. Рентгенолаборант по клиническим показаниям может выполнить исследование в косых или иных проекциях отличных от истинно боковой, также физическое состояние пациента, например выраженный сколиоз может не позволить выполнить высококачественное исследование в боковой проекции. Однако, в рамках Пилотного эксперимента у нас отсутствовала любая клиническая информация о пациенте, поэтому оценка качества производилась с допущением, что все латеральные изображения выполнены в истинно боковой проекции. Всего врачами выявлено 1846 изображения органов грудной клетки в боковой проекции с чрезмерной ротацией грудной клетки, что составляет 45,6% от всех рентгенограмм в боковой проекции. Пример изображения с данным нарушением качества представлен на (рис. 4).  Из них врачи посчитали 278 изображений содержащими клинически незначимые нарушения. Ни одно из выявленных нарушений данной категории не было устранено рентгенолаборантом.

 

Другие нарушения

Во время пересмотра врачи-рентгенологи обнаружили единичные нарушения качества, которые не оценивались сервисом. Информация о нарушениях также была передана в отчете заведующим ОЛД медицинских организаций. Примеры нарушений представлены на (рис. 5). В нескольких исследованиях при проведении рентгенографии в боковой проекции пациент не поднял руки, что привело в визуализации костей конечности в проекции легочного поля. Также в ряде исследований в проекции легких визуализировались устранимые инородные тела, в основном украшения, которые должны сниматься при выполнении исследования. Одно изображение было невозможно интерпретировать, видимо из-за сбоя диагностического устройства.

 

Выявленные нарушения заполнения метаинформации об исследовании

В рамках пилотного эксперимента оценивалась корректность заполнения 3 групп DICOM тегов: описывающих анатомическую область исследования, проекцию и фотометрическую интерпретацию. Во время пересмотра исследований врачи выставляли метки о реальной проекции, анатомической области и фотометрической интерпретации исследования. Затем эти метки сравнивались с корректными значениями, утвержденными в стандарте DICOM [17]. Структура качества заполнения метаинформации представлена в табл. 2.

 

Из оцениваемых DICOM тегов только тег Photometric Interpretation (0028,0004) был заполнен корректно в 100% случаев. Обращает на себя внимает высокий процент незаполненных значений тегов. Он колеблется от 0,07% для тега Body Part Examined (0018,0015) до 80,7% для тега Patient Orientation (0020,0020). При этом, даже если значение тега заполнено, это не гарантирует правильность заполнения. Для всех тегов были обнаружены ошибки заполнения, для тега Image Laterality (0020,0062) доля некорректных значений превысила долю корректных.

Интересной ошибкой являлось единственное исследование с некорректно заполненным тегом Body Part Examined (0018,0015). Это исследование имело название услуги в ЕРИС ЕМИАС «Рентгенография органов грудной клетки», значение тега Body Part Examined (0018,0015) «CHEST», при этом содержало рентгенографию придаточных пазух носа в 2-х проекциях (рис. 6). В данном случае ошибка допущена еще и в коде услуги ЕРИС ЕМИАС, что может привести к нарушениям оплаты услуг.

 

Также обращают на себя внимание ошибки в заполнении тега Patient Orientation (0020,0020). Все некорректные ошибки в данном теге получены на одном диагностическом устройстве и имели одинаковое заполненное значение «R\H», что некорректно для рентгенограмм грудной клетки и говорит о неправильной настройке устройства.

 

Результаты работы Инструмента контроля качества

В ходе пилотного эксперимента была проведена оценка точности работы Инструмента контроля качества. В качестве ground truth (эталонных значений) принималась разметка, выставленная врачами-рентгенологами во время пересмотра исследований.

 

Точность выявления ошибок заполнения метаинформации

Инструмент осуществлял контроль заполнения метаинформации об исследовании в формате DICOM по направлениям: анатомическая область исследования, проекция исследования, фотометрическая интерпретация исследования. Для оценки заполнения метаинформации Инструмент проводит классификацию поступающего на вход изображения, а затем сравнивает значения тегов в DICOM-файле с допустимым списком значений для определенного класса изображений. В ходе пилотного проекта была оценена точность классификации изображения Инструментом. Метрики точности классификации приведены в табл. 3.

Инструмент хорошо справился с задачей классификации, допуская единичные ошибки при классификации проекции.

 

Точность выявления ошибок позиционирования пациента

Инструмент оценивал наиболее распространенные нарушения позиционирования пациента: полноту визуализации отделов легких и легочных синусов на РГ ОГК в прямой и боковой проекциях отдельно, а также ротацию грудной клетки. Метрики точности оценки приведены в табл. 4.

Инструмент показал высокие метрики точности выявления неполной визуализации отделов легких и легочных синусов на РГ ОГК в прямой проекции хорошие метрики для решения аналогичной задачи на боковой проекции и средние метрики точности при выявлении ротации грудной клетки.

Метрики точности Инструмента оказались значимо ниже предварительных, особенно при работе с боковой проекцией. Мы связываем это с особенностью позиционирования пациента на рентгенограмме в конкретных пилотных медицинских учреждениях. Мы выявили, что у Инструмента вызывают трудности исследования в боковой проекции, в которых проекция тела пациента занимает практически все изображение, а верхняя граница легких размыта и постепенно сливается с мягкими тканями. Такие сложности возникли из-за особенностей обучающей выборки, в которой в основном присутствовали изображения с большим размером детектора. Для устранения ошибок данного типа мы планируем дообучить Инструмент на дополнительных рентгенограммах, которые вызывают у него затруднения. Также мы планируем усовершенствовать модели, входящие в состав Инструмента, добавив возможность маркировки выявляемых нарушений качества на изображении, для удобства визуализации.

 

Обсуждение

Резюме результатов исследования

В рамках пилотного эксперимента нами была определена структура нарушений качества в пилотных медицинских организациях. Разработанный нами инструмент контроля качества показал высокие перспективы практического применения, однако требует доработки для работы с некоторыми нарушениями качества.

Интерпретация результатов исследования

Полученная нами информация о структуре нарушений качества, в целом, согласуется с данными, опубликованными в литературе. Нарушения в заполнении метаинформации об исследовании характеризуется теми же проблемами, что были выявлены нами в 2023 году, за исключением того, что в выбранных пилотных организациях корректно заполнялась информация о фотометрической интерпретации исследования [10]. Структура выявленных нарушений проведения рентгенографического исследования ОГК соответствует наблюдениям иностранных коллег [8, 9], однако характеризуются более высокой частотой чрезмерной ротации грудной клетки и меньшим числом визуализации инородных тел и артефактов.

В литературе нами не было обнаружено аналогов, разработанного нами Инструмента контроля качества, однако были выявлены исследования, посвященные разработкам отдельных моделей, которые могут применяться для контроля качества. Так Nousiainen и соавт. разработали модель определения неполной визуализации анатомической области на РГ ОГК в прямой проекции с AUC 0,92[0, 9;0, 93] [18], что несколько ниже полученных нами в Пилотном эксперименте 0,947 [0, 935; 0, 959]. При этом наш Инструмент также оценивает неполную визуализацию анатомической области на РГ ОГК в боковой проекции, что не описано у Nousiainen и соавт. и в других исследованиях. Rajkomar и соавт. создали модель для классификации РГ ОГК на фронтальную или боковую проекцию. Точность их модели сопоставима с нашей и близка к 100% [19].

Ограничения исследования

К ограничениям данного исследования можно отнести тот факт, что не все исследования удалось пересмотреть врачами-рентгенологами ввиду большого количества исследований и утвержденных сроков проведения Пилотного эксперимента. Это подчеркивает актуальность применения автоматизированных систем для осуществления контроля качества. 

Также стоит отметить, что отдельные типы выявленных в данном исследовании нарушений качества могут быть в большей степени характерными для определенных медицинских организаций и диагностических устройств, и не полностью характеризовать структуру нарушений качества в других медицинских организациях. Для выявления репрезентативной структуры нарушений качества необходимо проведение массовых аудитов качества во всех медицинских организациях.

Однако, подобные ограниченные пилотные эксперименты позволяют получить актуальную информацию о наиболее распространенных типах нарушений качества и приблизиться к определению их причин и способов устранения. Также они являются важным и эффективным инструментом оценки эффективности решений на основе ТИИ, позволяя оценить их работу в реальных клинических условиях и выявить недочеты, которые невозможно учесть во время разработки решений. 

Заключение

В рамках Пилотного эксперимента было выявлено, что неустраненные нарушения позиционирования пациента при проведении РГ ОГК встречаются до 7% случаев для прямой проекции и до 45% в боковой проекции. Также распространены пропуски и нарушения заполнения метаинформации об исследованиях. В зависимости от конкретного DICOM тега они составляют до 85% от их значений. Инструмент автоматизированного контроля качества показал себя перспективным в выявлении ошибок в заполнении метаинформации об исследовании с AUC 98-100% и в выявлении ошибок позиционирования пациента с AUC 78-95%. Схема интеграции Инструмента в процесс контроля качества позволила получать результат оценки спустя 15 секунд после проведения исследований. В случае оптимизации пути исследования, это время может быть сокращено.

About the authors

Aleksandr Borisov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department

Author for correspondence.
Email: aleksandrborisov10650@gmail.com
ORCID iD: 0000-0003-4036-5883
SPIN-code: 4294-4736
Scopus Author ID: 58236812800
ResearcherId: HCI-7802-2022
Russian Federation

Москва, Россия. Arzamasov

State Budget-Funded Health Care Institution of the City of Moscow "Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department", Moscow, Russia; Samara State Medical University, Samara, Russia; MIREA – Russian Technological University, Moscow, Russia.

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-code: 3160-8062

PhD

Russian Federation

Olga Omelyanskaya

State Budget-Funded Health Care Institution of the City of Moscow "Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department", Moscow, Russia; MIREA – Russian Technological University, Moscow, Russia.

Email: OmelyanskayaOV@zdrav.mos.ru
ORCID iD: 0000-0002-0245-4431
SPIN-code: 8948-6152
Russian Federation

Anton Vladzymyrskyy

State Budget-Funded Health Care Institution of the City of Moscow "Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department", Moscow, Russia; Federal State I.M. Sechenov First Moscow State Medical University of the Ministry of Health of the Russian Federation (Sechenov University), Moscow, Russia.

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-code: 3602-7120

PhD

Yuriy Vasilev

State Budget-Funded Health Care Institution of the City of Moscow "Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department", Moscow, Russia.

Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN-code: 4458-5608

PhD

References

Supplementary files