Alternative scheme of organizing the automated workstation of a radiologist
- Authors: Vasilev Y.A.1, Slavushcheva E.A.1, Zelenova M.A.2, Shulkin I.M.1, Arzamasov K.M.1
-
Affiliations:
- Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies
- Moscow Center for Diagnostics and Telemedicine
- Section: Technical Reports
- Submitted: 02.05.2024
- Accepted: 20.03.2025
- Published: 14.10.2025
- URL: https://jdigitaldiagnostics.com/DD/article/view/631519
- DOI: https://doi.org/10.17816/DD631519
- ID: 631519
Cite item
Full Text
Abstract
AIM: To compare the two aforementioned approaches in terms of their functionality and financial burden on the medical institution.
MATERIALS AND METHODS: Data on AI-based software were obtained from participants of the Moscow Computer Vision Experiment, and information on vendor-specific solutions was partly collected from open sources, partly provided by vendors. To determine the relevance of the software functions, we conducted a survey among 40 center specialists.
RESULTS: Today, AI-based software is able to analyze more than 20 areas of radiology, and 22 areas are under development; ready-made vendor - dependent solutions are presented for 18 areas. The cost of one ready-made solution, together with additional modules for the analysis of various modalities and anatomical regions, averages to 6 million rubles (based on 5 pathologies), while the main cost of AI-based software consists of the price of each study, actually evaluated by the software. With the processing cost per one study evaluated by AI-based software being at 50 rubles (estimated cost calculated based on the tariff agreement for 2023), and considering 24 CT/MRI studies per day and 22 working days per month, the cost of using AI-based software equals 316 800 rubles per year.
CONCLUSION: Thus, the relevance of choosing one or another way of organizing the workspace of a radiologist currently depends on the patient flow of the institution and the actual use of decision support systems by the doctor. In general, AI-based software is more cost-effective due to reduced use of medical equipment and independence from specific company solutions, and has broader functionality than off-the-shelf vendor-specific solutions in the near future.
Full Text
ОБОСНОВАНИЕ
Современные медицинские организации невозможно представить без использования информационных технологий. Стремительный поток пациентов приводит к высокой нагрузке на систему здравоохранения в целом, и к высокой загрузке отдельных учреждений, в частности. Обследование большого количества пациентов создает огромные объемы информации о различных заболеваниях, обработку которых в настоящее время не представляется возможным проводить вручную. Медицинские и радиологические информационные системы (МИС и РИС, соответственно) автоматизируют процессы в медицинских организациях, позволяют консолидировать информацию о пациентах внутри хранилища данных. Наиболее объёмной информацией в РИС являются изображения. Для хранения и обработки медицинских изображений в настоящее время как правило используют систему архивирования и передачи изображений (Picture Archiving and Communication System - PACS). PACS представляет собой центральное хранилище данных и программное обеспечение (ПО), которое поддерживает передачу изображений согласно стандарту DICOM. Такое ПО связывает медицинские аппараты, создающие медицинские изображения, с хранилищем данных, РИС/МИС и АРМ – автоматизированным рабочим местом (персональным компьютером со специальным программным обеспечением) врачей. Таким образом врач, работая на АРМ, получает доступ к медицинским изображениям, может обрабатывать и изображения, и сопровождающее текстовое описание, и накапливать информацию в локальном или облачном хранилище данных. Организацию работы с PACS можно представить следующей последовательностью действий:
- Врач (клинический специалист) создает электронное направление на исследование в МИС.
- Из МИС направление автоматически попадает в РИС.
- Из РИС направление либо сразу попадает в рабочий лист диагностического устройства, либо маршрутизируется на устройство рентгенолаборантом (минимальные требования к оснащению медицинских организаций оборудованием для лучевой и инструментальной диагностики представлены в специализированных таблицах данных [1].
- Проводится диагностическое исследование.
- Рентгенолаборант может оценить техническое качество проведения исследования, и далее передаёт информацию в соответствии со стандартом DICOM в хранилище данных медицинского подразделения (например, PACS – сервер) и уведомление о завершении исследования обратно в РИС/МИС.
- К хранилищу данных, в зависимости от архитектуры информационной системы медицинского учреждения, подключаются АРМ врачей или персональные компьютеры со специализированным программным обеспечением (Рис.1). Врач может получить информацию об исследовании посредством специализированного ПО или его веб-версии на АРМ врача-рентгенолога или через удаленное рабочее место.
Рис. 1 Маршрутизация исследования в лучевой диагностике с использованием PACS
В настоящее время существует около 10 российских компаний, поставляющих отечественные PACS-решения.
АВТОМАТИЗИРОВАННОЕ Рабочее место врача-ренТгенолога
Для того, чтобы обеспечить врача-рентгенолога доступом к исследованиям, необходимо автоматизированное рабочее место. Согласно рекомендациям ГБУЗ "НПКЦ ДиТ ДЗМ" г. Москвы [2], рабочее место врача-рентгенолога должно включать в себя современный компьютер, обеспечивающий доступ к единому РИС/МИС (рекомендованные минимальные требования к комплектующим компьютерной системы отражены в Таблице 2), 3 диагностических монитора (2 - с диагональю не менее 21 дюйма и 1 - с диагональю не менее 30 дюймов), устройство голосового ввода, клавиатуру и компьютерную мышь.
Таблица 2 – Минимальные требования к комплектующим компьютерной системы для работы в ЕРИС ЕМИАС.
Комплектующие | Минимальные требования |
Процессор | Intel Core i7 8-го поколения или новее |
Оперативная память | DDR4 16 Гб |
Хранилище | SSD 512 Гб |
Сетевой порт | Ethernet 1 x 1000BASE-T RJ-45 |
Видеокарта | Дискретная, с выделенной памятью 4–8 Гб, не менее 3 видеовыходов, HDMI/DisplayPort. Драйвер видеокарты должен поддерживать специализированные функции визуализации от производителей. |
Операционная система | Microsoft® Windows 10 Professional 64-bit |
Офисный пакет | Для чтения и редактирования текстовых, табличных и подобных файлов (пример: Microsoft Office, LibreOffice, OpenOffice) |
Двумя наиболее распространенными подходами к организации АРМ врача-рентгенолога можно считать подход с использованием готового решения от производителей рентгеновского оборудования и подход с самостоятельным подбором компонентов АРМ и программного обеспечения. Оба подхода могут применяться для получения независимого мнения (когда врач видит результаты работы ПО только после того, как закончил работать над описанием исследования), параллельного прочтения (врач видит результаты работы ПО одновременно с изображением, полученным с диагностического оборудования), приоритизации исследований (исследования, оцененные ПО как патологические или срочные, попадают врачу на интерпретацию первыми), и их исключения (исследования, оцененные ПО как непатологические, попадают на оценку врачу в порядке общей очереди).
Подход с использованием готового решения от производителей рентгеновского оборудования.
Готовое решение для второго мнения в лучевой диагностике было первые одобрено в США в 1998 году для маммографии. К 2016 году в этой стране уже около 92% маммограмм выполнялось с использованием компьютерных автоматизированных систем помощи врачу-рентгенологу (CAD - Computer-Aided Detection) [3]. Применение этих систем считают наиболее целесообразным в случае поддержки решений начинающего специалиста [4]. Использование программно-аппаратного комплекса, состоящего из диагностического, сетевого, компьютерного оборудования и специального программного обеспечения от одного производителя несет в себе ряд как преимуществ, так и недостатков. Среди преимуществ данного подхода можно выделить полную совместимость всех компонент, сервисную поддержку, отсутствие необходимости содержать большой штат специалистов поддержки ИТ систем. К недостаткам подхода можно отнести высокую стоимость, возможную несовместимость с уже имеющимся оборудованием, ограничение отдельных модулей решений специфическими анатомическими областями и патологиями. В ряде работ отмечается высокий уровень ложноположительных срабатываний такого оборудования и его неравномерная эффективность в клинической практике [5 - 10]. Для получения изображений и их анализа готовое решение должно иметь возможность подключения к серверной части PACS, в которой хранятся изображения.
Подход с самостоятельным подбором компонентов АРМ и программного обеспечения.
В настоящий момент в качестве основы такого решения логично рассматривать программы на основе ТИИ (технологий искусственного интеллекта). Плюсами использования ПО на основе ТИИ в рентгенологии являются расчет стоимости исходя из реально оцененного исследования, регулярная смена версионности ПО для внесения качественных улучшений производителем, наличие решений для широкого круга анатомических областей и модальностей. Так как основная стоимость ПО на основе ТИИ складывается из цены каждого исследования, проанализированного ПО, экономический эффект использования ПО рассчитывается из стоимости обработки одного исследования, что является выгодным в случае работы учреждения с различными патологиями [10]. К негативным сторонам данного решения можно отнести ограниченную возможность клинического применения алгоритмов из-за определенного количества методологических ошибок при их разработке и необъективных оценок результатов их работы, что может являться причиной завышенных метрик диагностической точности, предоставляемых разработчиками [12-14]. В обзоре более 500 исследований, в которых оценивалась производительность ПО на основе ТИИ для анализа медицинских изображений, сообщается, что почти все они были разработаны в качестве технических прототипов для проверки концепции и не учитывали особенности, которые рекомендуется брать во внимание для надежной проверки реальной клинической эффективности алгоритмов [15]. В рамках реализации эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы (далее – Эксперимент) задействовано 153 медицинские организации, исследования из которых направляются для обработки на так называемые ИИ-сервисы (ПО на основе ТИИ), а результаты из работы становятся доступны врачу-рентгенологу в привычной для него среде. Таким образом, врач-рентгенолог на рабочем месте получает предварительное текстовое заключение, сформированное ИИ-сервисом и графическую серию с маркировкой патологических областей и всеми необходимыми инструментами. В предыдущих исследованиях нашего центра было выявлено, что показатели диагностической точности ПО на основе ТИИ эквивалентны показателям врачей-рентгенологов [16-19].
Цель исследования - сравнить два вышеупомянутых подхода (встраивание ПО на основе ТИИ в инструмент визуализации врача-рентгенолога и вендер-зависимое готовое ПО для поддержки принятия врачебных решений) с точки зрения их функциональных возможностей, актуальности для врачей и финансовой нагрузки на медицинское учреждение.
МАТЕРИАЛЫ И МЕТОДЫ
В настоящем исследовании использовались аналитические и социологические методы. Данные о ПО на основе ТИИ получены из каталога ИИ-сервисов, участников Эксперимента (https://mosmed.ai/service_catalog/, дата обращения 02.10.2023), а информация о вендер-зависимых решениях агрегирована с сайтов компаний-производителей. Для определения актуальности функций ПО проводилось социологическое исследование. Для социологического исследования подготовлен опросник, содержащий 18 вопросов и размещенный в виде web-формы, которая была доступна с любого устройства по ссылке, для удобства прохождения врачами-рентгенологами. Первый вопрос был направлен на определение вида исследования, с которым чаще всего работает опрашиваемый врач-рентгенолог. Следующие 17 вопросов охватывали основные направления CAD в части применения систем поддержки принятия врачебных решений. Их полный перечень: 1) Анализ вентиляции/перфузии легких; 2) Обнаружение узелков в легких; 3) Скоринг кальция коронарных артерий; 4) Автоматическая детекция тромбов; 5) Анализ эмфиземы легких; 6) Обнаружение кровоизлияния в мозг; 7) Обнаружение компрессионного перелома позвонков; 8) Обнаружение рака молочной железы; 9) Обнаружение поражений печени; 10) Анализ КТ- колонографии; 11) Обнаружение полипов толстой кишки; 12) Анализ перфузии мозга; 13) МР анализ простаты; 14) Инструменты для полуавтоматического анализа сосудов; 15) Анализ плотности костной ткани; 16) Маркировка позвоночника; 17) "Выпрямление" изображения ребер. На каждый из вопросов респондент мог ответить «Не использовал(-а) / не знаю»; или оценить ценность данного инструмента как «низкая», «средняя» или «высокая». Опрос проходил в октябре 2023 года; в опросе приняли участие 40 специалистов ГБУЗ «НПКЦ ДиТ ДЗМ» , работающих в модальностях КТ и МРТ. Никакой персональной информации и дополнительных данных в ходе опроса не собиралось.
Этическая экспертиза
Настоящая работа проводилась в рамках ранее одобренного локальным этическим комитетом исследования (№ NCT04489992) «Эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы» (Московский эксперимент).
РЕЗУЛЬТАТЫ
Самым дорогим компонентом АРМ врача-рентгенолога является медицинский диагностический монитор. Цена на такое устройство в среднем составляет 500 тысяч рублей, с разбросом от 158 тысяч до 1 млн. 100 тыс (цифры получены после анализа цен на 12 мониторов производителей JVC и JUSHA). Помимо диагностического монитора и компьютера с необходимыми составляющими при таком решении, помимо подключения к серверной части PACS, понадобится веб-просмотрщик изображений и ПО для поддержки врачебных решений. В рентгенологической практике врач, как правило, анализирует определенную модальность (например, компьютерная томография, рентгенография) и различные анатомические области (напр. органы грудной клетки, брюшной полости) на предмет наличия патологических изменений. Следовательно, вспомогательное ПО должно обеспечивать полноценную поддержку врачебных решений, позволяя анализировать максимальное количество анатомических областей и типов изменений. Однако, готовые решения производителей как правило состоят из отдельных модулей, которые устанавливаются на АРМ врача-рентгенолога, каждый за дополнительную плату. Сравнительный анализ ПО на основе ТИИ, участвующих в эксперименте по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы [19] и готовых решений для помощи врачу-рентгенологу представлен в Таблице 3. Количество сервисов, в настоящий момент участвующих в Московском эксперименте, составляет 58, а количество ПО на основе ТИИ, предоставивших данные о предстоящих разработках, составляет еще 54 и охватывает 22 новых патологий/функций, ранее не входящих в функционал ни ПО на основе ТИИ, ни готовых вендер-зависимых решений. Информация о функциях готовых вендер-зависимых решений взята из веб-ресурсов [19-22].
Таблица 3. Функциональные возможности готовых решений и ПО на основе ТИИ в рентгенологии. Сокращения: КТ – компьютерная томография, ММГ – маммография, МРТ – магнитно-резонансная томография, ОГК – органы грудной клетки, ГМ – головной мозг, ОБП – органы брюшной полости, МЖ – молочная железа, ШОП – шейный отдел позвоночника, ГОП – грудной отдел позвоночника, ПКОП – пояснично-крестцовый отдел, ОМТ – органы малого таза
Модальность | Область исследования | Функция CAD | Целевая патология ПО на основе ТИИ (ближайшая аналогия функции CAD) | Реализация CAD системами | Реализация ПО на основе ТИИ |
КТ | ОГК |
| 7+ патологий | нет | да |
Анализ вентиляции/перфузии легких | COVID19 / Нарушения воздушности легочной ткани | да | да | ||
Обнаружение узелков в легких | Рак легкого | да | да | ||
| Остеопороз | нет | да | ||
| Гидроторакс | нет | да | ||
Скоринг кальция коронарных артерий | Коронарный кальций | да | да | ||
| Диаметр грудной аорты | нет | да | ||
| Диаметр легочного ствола | нет | да | ||
| Лимфатические узлы | нет | есть наработки | ||
Анализ эмфиземы | Эмфизема легких | да | да | ||
| Туберкулез | нет | есть наработки | ||
| Саркоидоз | нет | есть наработки | ||
| Бронхо-эктатическая болезнь | нет | есть наработки | ||
| Паракардиальный жир | нет | да | ||
| Перелом ребра/рёбер | нет | есть наработки | ||
| Очаговые изменения костной структуры скелета органов грудной клетки | нет | есть наработки | ||
Анализ сосудов |
| да | нет | ||
| Образования надпочечников | нет | есть наработки | ||
ГМ | Обнаружение кровоизлияния в мозг | Внутричерепное кровоизлияние | да | да | |
| Инсульты (ишемический) | нет | да | ||
| Автоматизация рутинных измерений структур головного мозга | нет | есть наработки | ||
ОБП |
| 6+ патологий | нет | есть наработки | |
| Мочекаменная болезнь | нет | есть наработки | ||
| Образования надпочечников | нет | да | ||
Обнаружение поражений печени | Образования печени | да | есть наработки | ||
| Образования почек | нет | да | ||
Анализ плотности костной ткани | Остеопороз | да | нет | ||
Маркировка позвоночника |
| да | нет | ||
Обнаружение компрессионного перелома позвонков |
| да | да | ||
| Аневризма брюшной аорты | нет | да | ||
| Очаговые изменения костной структуры скелета органов брюшной полости и таза | нет | есть наработки | ||
CAD для КТ брюшной полости | Автоматизация рутинных измерений почки | да | есть наработки | ||
Анализ печени | Автоматизация рутинных измерений печени | да | есть наработки | ||
CAD для КТ брюшной полости | Автоматизация рутинных измерений поджелудочной железы и селезенки | да | есть наработки | ||
Анализ КТ-колонографии |
| да | нет | ||
Обнаружение полипов толстой кишки |
| да | нет | ||
| Желчнокаменная болезни (калькулезная форма) | нет | есть наработки | ||
ММГ | МЖ | Обнаружение рака молочной железы | Рак молочной железы | да | да |
МРТ | ГМ | Анализ перфузии мозга |
| да | нет |
| Рассеянный склероз | нет | да | ||
| Образования | нет | да | ||
ШОП |
| Очаговые изменения костной структуры позвонков | нет | есть наработки | |
| Протрузии и грыжи межпозвонковых дисков, стеноз позвоночного канала | нет | есть наработки | ||
ГОП |
| Очаговые изменения костной структуры позвонков | нет | есть наработки | |
| Протрузии и грыжи межпозвонковых дисков, стеноз позвоночного канала | нет | есть наработки | ||
ПКОП |
| Очаговые изменения костной структуры позвонков | нет | есть наработки | |
| Протрузии и грыжи межпозвонковых дисков, стеноз позвоночного канала | нет | да | ||
ОМТ | МР анализ простаты | Автоматизации рутинных измерений предстательной железы | да | нет | |
Коленный сустав |
| Повреждение суставного хряща (хондромаляция) | нет | есть наработки |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Комплексных готовых решений, доступных в настоящее время, нами выявлено не было. В отношении ПО на основе ТИИ, в настоящее время три сервиса могут анализировать комплекс из более 7 патологий органов грудной клетки. Разница между функциональными возможностями решений представлена на Рис.2.
Рис.2. Разница между функциональными возможностями готовых вендер-зависимых решений (CAD) и ПО на основе ТИИ, подключающегося к просмотрщику изображений.
Таким образом, устанавливая готовое решение в виде CAD-системы, медицинский центр приобретает стабильную техническую поддержку ПО, но теряет в гибкости в плане установки дополнительных модулей, быстроты их обновления, и использования модулей от другого производителя. Стоимость базового ПО известного производителя может достигать 1,8 млн.руб, а каждого дополнительного модуля – от 1 до 6 млн. Таким образом, организация каждого нового рабочего места врача-рентгенолога может обойтись, помимо трат на диагностический монитор, компьютер с комплектующими и подключением к серверной части PACS, в сумму более 10 млн. рублей. Данная сумма может быть оправданной в случае, если врач действительно использует подключенные модули в рутинной практике, и их использование улучшает метрики диагностической точности врача-рентгенолога. Однако, подобные данные в литературе до настоящего момента представлены не были, в связи с чем нами был проведен опрос врачей-рентгенологов на предмет актуальности для них функций вспомогательного ПО.
Потребность врачей в функциях CAD-систем
Для определения актуальности функций CAD-систем для практикующих врачей нами было опрошено 40 врачей-рентгенологов ГБУЗ НПКЦ ДиТ ДМЗ, специализирующихся на модальностях «КТ» и «МРТ». Врачам было предложено оценить актуальность 17 функций CAD-систем (Табл.4) на рабочих станциях врача-рентгенолога (Vitrea, Tetis, Philips Portal и др.). Предложенные варианты оценки включали в себя «Не использовал(-а) / не знаю», «Низкая», «Средняя», «Высокая».
Таблица 4. Результаты опроса врачей-рентгенологов об актуальности функций CAD (в процентах)
Функция CAD | Не использовал(-а) / не знаю | Высокая | Средняя | Низкая |
Анализ вентиляции/перфузии легких | 70 | 10 | 15 | 5 |
Обнаружение узелков в легких | 45 | 35 | 17,5 | 2,5 |
Скоринг кальция коронарных артерий | 47,5 | 45 | 7,5 | 0 |
Автоматическая детекция тромбов | 72,5 | 15 | 7,5 | 5 |
Анализ эмфиземы легких | 52,5 | 17,5 | 20 | 10 |
Обнаружение кровоизлияния в мозг | 47,5 | 40 | 7,5 | 5 |
Обнаружение компрессионного перелома позвонков | 35 | 42,5 | 15 | 7,5 |
Обнаружение рака молочной железы | 72,5 | 17,5 | 7,5 | 2,5 |
Обнаружение поражений печени | 62,5 | 22,5 | 12,5 | 2,5 |
Анализ КТ- колонографии | 85 | 5 | 7,5 | 2,5 |
Обнаружение полипов толстой кишки | 82,5 | 0 | 15 | 2,5 |
Анализ перфузии мозга | 62,5 | 27,5 | 10 | 0 |
МР анализ простаты | 67,5 | 22,5 | 5 | 5 |
Инструменты для полуавтоматического анализа сосудов | 62,5 | 27,5 | 7,5 | 0 |
Анализ плотности костной ткани | 47,5 | 40 | 10 | 2,5 |
Маркировка позвоночника | 32,5 | 50 | 15 | 2,5 |
"Выпрямление" изображения ребер | 57,5 | 35 | 2,5 | 5 |
Таким образом, подавляющее большинство опрошенных врачей либо не использовали в своей работе указанные функции систем – помощников врачей, либо не осведомлены об их актуальности. В целом, наиболее высокую значимость врачи придали функциям «Маркировка позвоночника» и «Скоринг кальция коронарных артерий». Среди врачей, не выбравших «Не использовал(-а) / не знаю», наиболее высокую оценку получили функции «Скоринг кальция коронарных артерий» и «Выпрямление изображения ребер» (Рис.4). В связи с этим в настоящее время представляется наиболее актуальным либо подключение отдельных узкоспециализированных модулей CAD, либо использование связанного с просмотровщиком ПО на основе ТИИ, которое оплачивается по факту применения к конкретному исследованию. Для понимания разницы в стоимости данных решений, рассчитаем финансовую нагрузку применительно к условной медицинской организации.
Рис.4. Распределение значимости функций CAD среди врачей, лучше знакомых с функциями вспомогательного оборудования (в процентах)
Расчет стоимости двух решений
Искусственный интеллект в рентгенологии в настоящее время используется в рамках Московской территориальной программы ОМС. На данный момент врачам доступна услуга - описание и интерпретация данных маммографического исследования с использованием искусственного интеллекта. Опираясь на стоимость этой услуги и стоимость подобной услуги без использования искусственного интеллекта, можно подсчитать стоимость работы искусственного интеллекта, как разницу между стоимостями – 49 рублей [24]. Если ожидать, что стоимость работы искусственного интеллекта для других направлений будет иметь тот же порядок (десятки рублей) и не будет превышать стоимость работы врача-рентгенолога, то за опорную точку для последующих расчетов можно взять стоимость в 50 рублей за исследование. В таком случае при расчете на 24 КТ/МРТ исследования в день и 22 рабочих дня в месяц стоимость использования ПО на основе ТИИ составляет 316 800 руб. в год, в то время как стоимость одного готового решения вместе с дополнительными модулями для анализа различных модальностей и анатомических областей в среднем будет составлять 6 000 000 руб. (из расчета на 5 патологий). Вопрос об экономической выгоде ПО на основе ТИИ регулярно рассматривается в литературе, однако качественных исследований, методология которых позволяла бы полноценно оценить его вклад, в настоящий момент практически нет [25]. Исследователи рассчитывают примерную выгоду работы такого ПО исходя из загруженности определенного медицинского учреждения в год и цен из официальных тарифных документов страны или учреждения [26, 27]. Таким образом, в настоящий момент с точки зрения экономической выгоды представляется целесообразным оценивать стоимость решений для конкретного учреждения, исходя из загруженности и типов патологии. Однако, учитывая результаты опроса врачей-рентгенологов (Табл.4) можно предположить, что оплата за конкретное исследование будет выгоднее, так как врачам не актуальны многие функции вспомогательного ПО.
Сравнение качества работы ПО на основе ТИИ и CAD
Помимо сравнения по функциональным возможностям и экономической нагрузке, можно сравнивать эти два решения в плане ожидаемых изменений метрик качества со временем. Необходимо упомянуть, что далее речь будет идти только об алгоритмических CAD-системах (также существуют системы, основанные на нейронных сетях глубокого обучения). С увеличением количества информации (в том числе - медицинских изображений) становится возможным формировать большие наборы данных, которые точнее описывают генеральную совокупность. При обучении ПО на основе ТИИ на данных, всё более и более приближенных к генеральной совокупности, всё реже встречаются случаи, с которыми программное обеспечение не сталкивалось при обучении. Это приводит к повышению метрик диагностической точности ПО, что происходит без доработки программ. В свою очередь, принципы работы CAD, основанных на алгоритмах, не подразумевают вклад увеличения объема данных в изменение работы ПО. Для увеличения метрик диагностической точности таких CAD необходима доработка или изменение алгоритмов, лежащих в их основе. Таким образом, ожидается, что ИИ покажет лучшую производительность, чем классические CAD, по мере увеличения количества изображений. Так же с помощью ТИИ возможна приоритезация списка исследований, на основе выявленной патологии ИИ, как это было реализовано в рамках Московского эксперимента [28].
Рис.5. Рабочий список врачей-рентгенологов. Красным- выделены исследования, содержащие патологию, выявленную ИИ; желтым-исследования, выделенные рентген-лаборантом; черным-исследования, обработанные ИИ, не содержащие патологии.
ОБСУЖДЕНИЕ
Добиться феноменального улучшения диагностических метрик врача-рентгенолога путем применения CAD вероятно, не удалось. Так, в 2018 году американская национальная программа медицинского страхования в США для лиц от 65 лет и старше Medicare прекратила дополнительные платежи за CAD, так как было рассчитано, что широкое и преждевременное внедрение CAD привело к ненужным расходам на здравоохранение в размере более 400 миллионов долларов в год. Хотя компании-разработчики все чаще получают одобрение соответствующих инстанций, а ПО становится коммерчески доступным, в непосредственной клинической практике показатели диагностической точности ПО не всегда достигают 81% (минимальный порог, который используется для допуска алгоритмов к участию в Эксперименте) [11, 19].
Одним из недостатков традиционных алгоритмических CAD-систем является то, что многие из них полагаются на выделенные вручную (или полу-автоматически) признаки, обработанные с помощью различных алгоритмов (например, SVM или LDA) [29, 30], которые обычно являются специализированными. Напротив, системы, основанные на глубоком обучении, используют сверточные слои в нейронных сетях для извлечения признаков высокого уровня. Путем применения нескольких сверточных слоев признаки могут быть извлечены без предварительной обработки или дальнейших шагов постобработки [31-33].
Однако, для обучения качественного ПО на основе ТИИ требуются большие мощности и высококачественные наборы данных. Кроме того, в обоих случаях играет роль порядок предъявления результата программной обработки. Так, было выявлено, что пропуск патологии отмечался в меньшем количестве случаев если программный результат был доступен после собственной оценки изображений врачом, чем если он показывался параллельно [34]. Безусловно, некоторые действия при описании рентгенологом медицинского изображения сложно или в принципе невозможно выполнить без вспомогательного оборудования – например, криволинейные измерения, когда речь идет о сосудах, измерение размеров аорты и легочного ствола, определение ударного объема сердца. Таким образом, в настоящее время очевидна необходимость наличия установленного ПО для поддержки врачебных решений на АРМ врачей-рентгенологов, однако значимость многих функций такого оборудования в повседневной работе варьирует. В настоящей работе мы предлагаем схему организации АРМ врача-рентгенолога, включающую систему поддержки принятия врачебных решений и альтернативную использованию вендер-зависимого ПО (Рис.6)
Рис.6. Предлагаемая в настоящей работе схема организации АРМ врача-рентгенолога.
Заключение
В настоящей работе показано, что в данный момент ПО на основе ТИИ, являющееся вендер-независимым, и готовые вендер-зависимые решения демонстрируют сравнимые возможности. Мы предлагаем схему организации АРМ врача-рентгенолога, альтернативную приобретению готовых вендер-зависимых решений. Предлагаемая схема основана на интеграции ПО на основе ТИИ с радиологической информационной системой и подразумевает, что врач-рентгенолог работает на АРМ, состоящем из диагностического монитора и ПК, а результат работы ПО на основе ТИИ получает в стандартном инструменте визуализации. Такой подход позволяет врачу пользоваться системой поддержки принятия врачебных решений, охватывающей в настоящее время около 20 направлений лучевой диагностики. Так как большинство врачей в настоящее время не использует в своей работе функциональные возможности инструментов автоматической диагностики, данный подход, подразумевающий оплату учреждением фактического использования ПО, предположительно является экономически более выгодным за счет сокращения расходов на медицинское оборудование. Кроме того, ПО на основе ТИИ является более гибким решением, и позволяет подобрать необходимые инструменты для автоматического анализа, а также использовать их по необходимости. Так же применение ТИИ за счет приоритезации списка исследований позволяет в первую очередь просматривать исследования с патологией, тем самым сокращая время ожидания заключения по ним.
About the authors
Yuriy A. Vasilev
Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies
Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN-code: 4458-5608
MD, Cand. Sci. (Med.)
Russian Federation, MoscowEkaterina A. Slavushcheva
Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies
Email: SlavuschevaEA1@zdrav.mos.ru
ORCID iD: 0009-0009-1315-0829
Russian Federation
Maria A. Zelenova
Moscow Center for Diagnostics and Telemedicine
Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0001-7458-5396
SPIN-code: 3823-6872
Cand. of Sci. (Biol.)
Russian Federation, MoscowIgor M. Shulkin
Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies
Email: npcmr@zdrav.mos.ru
ORCID iD: 0000-0002-7613-5273
SPIN-code: 5266-0618
Russian Federation, Moscow
Kirill M. Arzamasov
Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies
Author for correspondence.
Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-code: 3160-8062
MD, Cand. Sci. (Medicine)
Russian Federation, MoscowReferences
- Certificate of state registration of the database N 2022621124 Russian Federation. Data defining minimum requirements for equipping medical organizations with equipment for radiological and instrumental diagnostics : N 2022620666 : appl. 05.04.2022 : published 19.05.2022 / Morozov SP, Soldatov IV, Kireev SG, et al.; applicant State Budget-Funded Health Care Institution of the City of Moscow "Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department". (In Russ).
- Kudryavtsev ND, Zinchenko VV, Semenov DS, et al. Organization of the radiologist's workplace. Series «Best Practices in Radiologic and Instrumental Diagnostics». Мoscow: State Budget-Funded Health Care Institution of the City of Moscow "Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department"; 2021. (In Russ).
- Guo Z, Xie J, Wan Y, et al. A review of the current state of the computer-aided diagnosis (CAD) systems for breast cancer diagnosis. Open Life Sci. 2022;17(1):1600–1611. doi: 10.1515/biol-2022-0517.
- Fujita H. AI-based computer-aided diagnosis (AI-CAD): the latest review to read first. Radiol Phys Technol. 2020;13(1):6–19. doi: 10.1007/s12194-019-00552-4.
- Kobli A, Jha S. Why CAD failed in mammography. J Am Coll Radiol. 2018;15(3):535–537. doi: 10.1016/j.jacr.2017.12.029.
- Lehman CD, Wellman RD, Buist DS, et al. Diagnostic accuracy of digital screening mammography with and without computer-aided detection. JAMA Intern Med. 2015;175(11):1828–1837. doi: 10.1001/jamainternmed.2015.5231.
- Fenton JJ, Taplin SH, Carney PA, et al. Influence of computer-aided detection on performance of screening mammography. N Engl J Med. 2007;356(14):1399–1409. doi: 10.1056/NEJMoa066099.
- Gilbert FJ, Astley SM, Gillan MG, et al. Single reading with computer-aided detection for screening mammography. N Engl J Med. 2008;359(16):1675–1684. doi: 10.1056/NEJMoa0803545.
- Tchou PM, Haygood TM, Atkinson EN, et al. Interpretation time of computer-aided detection at screening mammography. Radiology. 2010;257(1):40–46. doi: 10.1148/radiol.10092170.
- Philpotts LE. Can computer-aided detection be detrimental to mammographic interpretation? Radiology. 2009;253(1):17–22. doi: 10.1148/radiol.2531090689.
- Order of the Department of Health of the City of Moscow dated February 16, 2023 N 134 "On Approval of the Procedure and Conditions for Conducting an Experiment on the Use of Innovative Technologies in the Field of Computer Vision for Analyzing Medical Images and Further Application in the Healthcare System of the City of Moscow". Available from: https://www.mos.ru/dzdrav/documents/department-acts/view/283286220/. (In Russ).
- Hadjiiski L, Cha K, Chan HP, et al. 3rd. AAPM task group report 273: Recommendations on best practices for AI and machine learning for computer-aided diagnosis in medical imaging. Med Phys. 2023;50(2):e1–e24. doi: 10.1002/mp.16188.
- Roberts M, Driggs D, Thorpe M, et al. Common pitfalls and recommendations for using machine learning to detect and prognosticate for COVID-19 using chest radiographs and CT scans. Nat Mach Intell. 2021;3:199–217. doi: 10.1038/s42256-021-00307-0.
- Gu Y, Chi J, Liu J, et al. A survey of computer-aided diagnosis of lung nodules from CT scans using deep learning. Comput Biol Med. 2021;137:104806. doi: 10.1016/j.compbiomed.2021.104806.
- Aggarwal R, Sounderajah V, Martin G, et al. Diagnostic accuracy of deep learning in medical imaging: a systematic review and meta-analysis. NPJ Dig Med. 2021;4(1):65. doi: 10.1038/s41746-021-00438-z.
- Arzamasov K, Vasilev Y, Vladzymyrskyy A, et al. An International Non-Inferiority Study for the Benchmarking of AI for Routine Radiology Cases: Chest X-ray, Fluorography and Mammography. Healthcare (Basel). 2023;11(12):1684. doi: 10.3390/healthcare11121684.
- Chernjaeva GN, Morozov SP, Vladzymyrskyy AV. Quality of artificial intelligence algorithms for detecting signs of multiple sclerosis on magnetic resonance imaging (systematic review). Annaly klinicheskoj i jeksperimental'noj nevrologii. 2021;15(4):54–65. (In Russ). doi: 10.54101/ACEN.2021.4.6.
- Vasilev Y, Vladzymyrskyy A, Omelyanskaya O, et al. AI-Based CXR First Reading: Current Limitations to Ensure Practical Value. Diagnostics (Basel). 2023;13(8):1430. doi: 10.3390/diagnostics13081430.
- Gusev AV, Vladzymyrskyy AV, Sharova DE, et al. Evolution of research and development in the field of artificial intelligence technologies for healthcare in the Russian Federation: results of 2021. Digital Diagnostics. 2022;3(3):178–194. (In Russ). doi: 10.17816/DD107367.
- Medical imaging software: catalog. Available from: https://www.medicalexpo.ru/cat/radiologia/programmnoe-obespecenie-medicinskoj-vizualizacii-AJ-1440.html.
- Philips website. Available from: https://www.usa.philips.com/healthcare/resources/feature-detail/av-application-browser/modality/computed-tomography.
- Medical Technology Company website. Available from: https://medtech30.ru/. (In Russ).
- Gehealthcare company website. Available from: https://www.gehealthcare.com/products/healthcare-it.
- Tariffs for payment for medical care provided in outpatient conditions within the framework of the Territorial Program of Compulsory Medical Insurance, applied, including for horizontal calculations (Appendix No. 6 to the tariff agreement for 2023). Available from: https://www.ronc.ru/upload/prilozhenie_no_6_k_tarifnomu_soglasheniyu_na_2022_god_ot_30.12.2021%20%D0%9E%D0%9C%D0%A1%202022.pdf. (In Russ).
- Wolff J, Pauling J, Keck A, Baumbach J. The Economic Impact of Artificial Intelligence in Health Care: Systematic Review. J Med Internet Res. 2020;22(2):e16866. doi: 10.2196/16866.
- Bashir S, Kik SV, Ruhwald M, et al. Economic analysis of different throughput scenarios and implementation strategies of computer-aided detection software as a screening and triage test for pulmonary TB. PLoS One. 2022;17(12):e0277393. doi: 10.1371/journal.pone.0277393.
- Elmore JG, Lee CI. Artificial intelligence in medical imaging - learning from past mistakes in mammography. JAMA health forum. 2022;3(2):e215207. doi: 10.1001/jamahealthforum.2021.5207.
- Vasilev YA., Vladzymyrskyy AV, Arzamasov KM, et al. Computer vision in radiation diagnostics: the first stage of the Moscow experiment. M.: Izdatel'skie reshenija; 2023. (In Russ).
- Khanna NN, Maindarkar MA, Viswanathan V, et al. Economics of Artificial Intelligence in Healthcare: Diagnosis vs. Treatment. Healthcare (Basel). 2022;10(12):2493. doi: 10.3390/healthcare10122493.
- Xing X, Zhao X, Wei H, Li Y. Diagnostic accuracy of different computer-aided diagnostic systems for prostate cancer based on magnetic resonance imaging: A systematic review with diagnostic meta-analysis. Medicine (Baltimore). 2021;100(3):e23817. doi: 10.1097/MD.0000000000023817.
- Kim DW, Jang HY, Kim KW, et al. Design characteristics of studies reporting the performance of artificial intelligence algorithms for diagnostic analysis of medical images: results from recently published papers. Korean J Radiol. 2019;20(3):405–410. doi: 10.3348/kjr.2019.0025.
- Nam JG, Hwang EJ, Kim J, et al. AI Improves Nodule Detection on Chest Radiographs in a Health Screening Population: A Randomized Controlled Trial. Radiology. 2023;307(2):e221894. doi: 10.1148/radiol.221894.
- Yu X, Wang J, Hong QQ, et al. Transfer learning for medical images analyses: A survey. Neurocomputing. 2022;489:230–254. doi: 10.1016/j.neucom.2021.08.159.
- Kunar MA. The optimal use of computer aided detection to find low prevalence cancers. Cogn Res Princ Implic. 2022;7(1):13. doi: 10.1186/s41235-022-00361-1.
Supplementary files
