Technological defects in software based on artificial intelligence

Viktoria V. Zinchenko; Зинченко Виктория Валерьевна; Viktoria V. Zinchenko; Kirill M. Arzamasov; Арзамасов Кирилл Михайлович; Kirill M. Arzamasov; Elena I. Kremneva; Кремнева Елена Игоревна; Elena I. Kremneva; Anton V. Vladzymyrskyy; Владзимирский Антон Вячеславович; Anton V. Vladzymyrskyy; Yuriy A. Vasilev; Васильев Юрий Александрович; Yuriy A. Vasilev

doi:10.17816/DD501759

Technological defects in software based on artificial intelligence

Authors: Zinchenko V.V.¹, Arzamasov K.M.¹, Kremneva E.I.¹, Vladzymyrskyy A.V.¹, Vasilev Y.A.¹
Affiliations:
1. Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies
Issue: Vol 4, No 4 (2023)
Pages: 593-604
Section: Technical Reports
URL: https://jdigitaldiagnostics.com/DD/article/view/501759
DOI: https://doi.org/10.17816/DD501759
ID: 501759

Cite item

Full Text

Abstract
Full Text
About the authors
References
Supplementary files
Statistics

Abstract

BACKGROUND: Technological defects in the use of artificial intelligence software are critical when deciding on the practical applicability and clinical value of artificial intelligence software.

AIM: To conduct an analysis and systematization of technological defects occurring when artificial intelligence software analyzes medical images.

MATERIALS AND METHODS: As part of the experiment on the use of innovative computer vision technologies for the analysis of medical images and further application in the Moscow healthcare system, technological parameters of all artificial intelligence software are monitored at the testing and operation stages of the trial. This article presents graphical information on the average number of technological defects in mass mammography screening in 2021. This period was chosen as the most indicative and characterized by the active development of artificial intelligence software and increased technical stability of its performance. To assess the applicability of the analysis for technological defects, a similar analysis was conducted for the direction of detection of intracranial hemorrhage on computed tomography scans of the brain for 2022–2023.

RESULTS: During the study, artificial intelligence software used for mammography (two algorithms) and brain computed tomography (one algorithm) were analyzed. Fourteen mammography samples were collected for technological monitoring during the identified period, each from 20 studies, and 12 brain computed tomography samples were obtained, each from 80 studies. Graphs were constructed for each type of defect, and trend lines were plotted for each modality. The coefficients of the trend line equations indicate a downward tendency in the number of technological defects.

CONCLUSION: This analysis allows tracing a downward trend in the number of technological defects, which may indicate a refinement of artificial intelligence software and an increase in its quality because of periodic monitoring. It also shows the versatility of use for both preventive and emergency methods.

Keywords

artificial intelligence, artificial intelligence software, technological monitoring, technological defects, Moscow experiment

Full Text

ОБОСНОВАНИЕ

Программное обеспечение с технологиями искусственного интеллекта (ПО с ИИ) может помочь в рутинных и сложных задачах медицинскому персоналу, а также повысить уровень, доступность и скорость оказываемой пациентам медицинской помощи [1–3]. Это стало возможным в большей степени благодаря «Эксперименту по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы» (далее — Эксперимент), а также преемственности зарубежного и отечественного опыта по работе с искусственным интеллектом в здравоохранении [4–7]. Цель Эксперимента — научное исследование возможности использования в системе здравоохранения города Москвы методов поддержки приятия врачебных решений на основе результатов анализа данных с применением передовых инновационных технологий. Были разработаны требования к результатам работы ПО с ИИ по 21 направлению лучевой диагностики. На данный момент врачам доступны результаты более 50 решений на основе искусственного интеллекта. По состоянию на конец сентября 2023 обработано более 10 млн исследований.

Применение новых технологий в здравоохранении требует обязательного соблюдения правил безопасности, поэтому этапы разработки, ввода в эксплуатацию и применения ПО с ИИ должны в обязательном порядке контролироваться [8]. ПО с ИИ требует особого контроля в процессе эксплуатации ещё и по той причине, что в нём возможно смещение результатов при его использовании на отличной от обучающей популяции [9, 10].

Для контроля качества обработки исследований ПО с ИИ в рамках Эксперимента используют ряд тестирований. Самотестирование — начальный этап, предназначен для понимания технической совместимости ПО с ИИ и подаваемых на обработку исследований (входных данных). Следующий этап — функциональное тестирование, которое определяет наличие заявленных функций ПО с ИИ, в том числе и его работоспособность. Оценка ПО с ИИ проводится как с технической, так и с клинической точек зрения, то есть техническими и медицинскими экспертами. Калибровочное тестирование — этап определения метрик работы ПО с ИИ, где основной показатель — площадь под ROC-кривой.

В случае успешного прохождения всех тестирований, ПО с ИИ допускается к работе, при этом по результатам работы для алгоритмов проводят технологический и клинический мониторинги. Техническое тестирование (мониторинг технологических параметров), согласно международным исследованиям, — неотъемлемая часть проверки продукта, которую проводят в рамках комплексного тестирования для возможности использования в условиях реальной клинической практики [11]. Именно поэтому в рамках данной работы мы сосредоточились на мониторинге технологических дефектов.

ЦЕЛЬ

Изучение технологических дефектов ПО с ИИ по результатам Эксперимента, их анализ, статистика и влияние на безопасность и качество ПО с ИИ в условиях работы в клинической практике.

МАТЕРИАЛЫ И МЕТОДЫ

Условия проведения

Мониторинг выполнялся для всех исследований, проанализированных ПО с ИИ за отчётный период для модальности «Маммография» в 2021 г., по категориям дефектов, указанных в табл. 1 (левая колонка, согласно Приказу Департамента здравоохранения города Москвы № 51 от 26.01.2021 г.) [12]:

Группа «а» — время, затрачиваемое на анализ одного исследования, превышает 6,5 минут. Ограничение по времени было получено эмпирическим путём как среднее время описания исследования ПО с ИИ для того, чтобы врач-рентгенолог смог воспользоваться его результатами.
Группа «б» — отсутствие результатов проанализированных исследований.
Группа «в» — изображения, содержащиеся в результатах работы ПО с ИИ, не соответствуют изображениям нативного (исходного) исследования (искажены). В редких случаях изменение метаданных может приводить к изменению настроек при просмотре исследований, что существенно затрудняет визуализацию оригинального изображения.
Группа «г» — некорректная работа заявленного функционала ПО с ИИ, затрудняющая работу врача или делающая её выполнение невозможным с надлежащим качеством, в том числе — обрезка изображений, изменение яркости/контрастности, отсутствие описания результата, отсутствие разметки при наличии патологии.
Группа «д» — иные нарушения целостности и содержимого файлов с результатами исследований, обуславливающих ограничение их диагностической интерпретации, в том числе — разметка за пределами целевого органа, анализ ПО с ИИ некорректной анатомической области.
Группа «е» — изменение оригинальной серии исследования. В 2022 г. была произведена реструктуризация дефектов, что учтено при обработке данных мониторингов для модальности «КТ» (см. табл. 1, правая колонка).

Таблица 1. Соотношение критериев технологических дефектов в Приказах Департамента здравоохранения города Москвы

Технологические дефекты согласно Приказу Департамента здравоохранения города Москвы № 51 от 26.01.2021 г. (актуальные для данных маммографии, представленных в статье)	Технологические дефекты согласно Приказу Департамента здравоохранения города Москвы № 160 от 03.11.2022 г. (реструктурированные) (актуальные для данных КТ головного мозга, представленных в статье)
группа «а» — время, затрачиваемое на анализ одного исследования, превышает 6,5 минут	группа «а» — время, затрачиваемое на анализ одного исследования, превышает 6,5 минут
группа «б» — отсутствие результатов проанализированных исследований	группа «б» — отсутствие результатов проанализированных исследований
–	группа «в» — некорректная работа заявленного функционала ПО с ИИ, затрудняющая работу врача-рентгенолога или делающая её выполнение невозможным с надлежащим качеством
г2 — отсутствие дополнительной серии	в1 — отсутствие дополнительной серии
г3 — отсутствие DICOM SR	в2 — отсутствие DICOM SR
г4 — наличие двух и более DICOM SR	в3 — наличие двух и более DICOM SR
г5 — отсутствие названия ПО С ИИ	в4 — отсутствие названия ПО с ИИ
г6 — отсутствие сведений о версии ПО с ИИ	в5 — отсутствие сведений о версии ПО с ИИ
–	группа «г» — дефекты, связанные с отображением области изображений
в1 — изображения обрезаны	г1 — изображения в дополнительной серии обрезаны
в2 — изменена яркость/контрастность	г2 — яркость/контрастность дополнительной серии не соответствует оригинальному изображению
в3 — проанализированы не все необходимые изображения	г3 — проанализированы не все необходимые изображения
г1 — полное отсутствие результатов работы ПО с ИИ	исключено
г7 — отсутствие предупреждающей надписи: «Только для использования в исследовательских/научных целях»	г4 — отсутствие предупреждающей надписи: «Только для использования в исследовательских/научных целях»
г8 — отсутствие разметки при наличии патологии	«е» — дефекты, связанные с клинической работой
Д1 — противоречие информации DICOM SR и дополнительной серии	исключено
Е — изменение оригинальной серии исследования	г5 — изменение оригинальной серии исследования
–	группа «д» — иные нарушения целостности и содержимого файлов с результатами исследований, обусловливающие ограничение их диагностической интерпретации в том числе
Д2 — разметка за пределами целевого органа	д1 — разметка за пределами целевого органа
Д3 — проанализирована некорректная анатомическая область, проекция или серия	д2 — проанализирована некорректная анатомическая область, проекция или серия

Примечание. SR — structure report.

Продолжительность исследования

Мониторинг проводился ежемесячно до момента окончания участия ПО с ИИ в рамках работы Эксперимента. Отчётный период мониторинга равен календарному месяцу. Промежуточный отчёт по мониторингу дефектов групп «а» и «б» формировался по данным на 10-е и 20-е число каждого месяца и направлялся производителю ПО с ИИ.

Для выборок маммографических исследований в статье указана информация о дефектах с марта по декабрь 2021 года, для выборки КТ-исследований головного мозга — с мая 2022 по май 2023 года. Для различных ПО с ИИ периодичность проводимого мониторинга различна ввиду варьирования момента захода в Эксперимент и времени доработки после получения обратной связи.

Технологический мониторинг выполнялся экспертной группой, в которую входили технические специалисты и врачи-рентгенологи, прошедшие дополнительное обучение по проведению мониторингов и инструктаж по работе с конкретными ПО с ИИ. Для отчётности по проведённому мониторингу также была разработана и применялась унифицированная форма внутреннего отчёта и инструкция по проведению технологического мониторинга.

Статистический анализ

Для тестирования в ходе проведения технологического мониторинга использовался псевдослучайно отобранный набор данных (выборка исследований) с учётом следующей пропорции: 25% исследований, в которых ПО с ИИ не обнаружило патологию (группа «без патологии»), и 75% исследований с выявленной патологией (группа «с патологией»). Отобранные исследования с результатами от ПО с ИИ изучались на наличие технологических дефектов. Исследование определялось в группу «с патологией» в случае превышения оптимального порогового значения, установленного при проведении тестирования; в противном случае классифицировалось как «без патологии» [13, 14].

В 2021 году в Эксперименте объём псевдослучайной выборки составлял 20 исследований ежемесячно. При этом необходимо отметить, что это был ещё Пилотный этап проекта, и уровень мощности, согласно номограмме, составлял 42,5% при уровне статистической значимости 0,05. Стандартные различия между элементами выборки — 0,79 [15]. В полноценном проекте после 2021 года, используя риск-анализ, объём выборки составил 80 исследований (обоснование в статье С.Ф. Четверикова и соавт. [13]). Именно такой объём — 80 исследований — составлял ежемесячную выборку для КТ-исследований головного мозга.

РЕЗУЛЬТАТЫ

Для проведения технологического мониторинга для модальности «Маммография» всего было использовано 14 выборок по 20 исследований. Сформированные псевдослучайные выборки ежемесячно во временном интервале с марта по декабрь 2021 года направлялись всем работающим (не находящимся на доработке) ПО с ИИ для тестирования.

С целью оценки применимости метода выявления технологических дефектов аналогичный анализ проводился на сформированных псевдослучайных выборках для модальности «КТ головного мозга» на предмет обнаружения внутричерепных кровоизлияний. С мая 2022 по май 2023 года в ПО с ИИ для тестирования ежемесячно направлялись 80 исследований (всего 12 выборок по 80 исследований).

Для построения графика динамики технологических дефектов за период с марта по декабрь 2021 года (для модальности «Маммография») или с мая 2022 по май 2023 года (для модальности «КТ») была использована общая статистика по всем результатам технологического мониторинга ПО с ИИ. Количество технологических дефектов считалось в процентах от общего числа исследований в наборе данных.

На рис. 1 представлена динамика среднего числа технологических дефектов для модальности «Маммография» с марта 2021 года по декабрь 2021 года, где ось ординат — наличие дефектов (представлено в процентном соотношении от общего числа исследований выборки), а ось абсцисс — отчётный период в месяцах. На рис. 2 представлена аналогичная информация для модальности «КТ головного мозга» (период с мая 2022 по май 2023 года).

Рис. 1. Динамика выявления среднего числа каждого технологического дефекта для программного обеспечения с искусственным интеллектом модальностью «Маммография». Дефекты распределены по группам согласно Приказу Департамента здравоохранения города Москвы № 51 от 26.01.2021 г.

Рис. 2. Динамика выявления числа каждого технологического дефекта для программного обеспечения с искусственным интеллектом модальностью «Компьютерная томография головного мозга» (наличие или отсутствие внутричерепного кровоизлияния). Дефекты распределены по группам согласно Приказу Департамента здравоохранения города Москвы № 160 от 03.11.2022 г.

Для модальности «Маммография» дефекты представлены согласно левой колонке в табл. 1. Из рис. 1 видно, что в начале исследуемого периода мониторинга преобладали дефекты групп «в» (дефекты, связанные с отображением области изображений), «г» (некорректная работа заявленного функционала ПО с ИИ) и «б» (отсутствие результатов проанализированных исследований). К концу периода исследования остались только дефекты группы «в», хотя и их доля также значительно снизилась в процентном соотношении.

Для модальности «КТ» дефекты представлены согласно правой колонке в табл. 1. Из рис. 2 для модальности «КТ головного мозга» на предмет обнаружения внутричерепного кровоизлияния видно, что процент соотношения дефектов к выборке для всех дефектов, кроме группы «б» (отсутствие результатов проанализированных исследований), был ниже, чем для других проанализированных модальностей. При этом отмечалось снижение (в процентном соотношении) количества дефектов групп «г» (дефекты, связанные с отображением области изображений) и «д» (нарушения целостности и содержимого файлов), тогда как дефекты группы «б» показали большой разброс от месяца к месяцу.

С целью количественной оценки данной тенденции были добавлены соответствующие линии тренда. Это линейные функции вида k×x+b, где коэффициент k задаёт наклон кривой аппроксимации, то есть указывает на тенденцию к росту или снижению числа дефектов, а коэффициент b соответствует количеству дефектов в начале мониторинга. Аппроксимация проводилась для всех ПО с ИИ по отдельным модальностям, при этом аппроксимировался сразу весь массив данных (см. рис. 1–2). Зная коэффициент k, можно прогнозировать динамику в ликвидации технологических дефектов для каждого ПО с ИИ в отдельности или для целого направления.

На рис. 3–6 представлены примеры технологических дефектов для ПО с ИИ.

Рис. 3. Дефект — проанализированы не все необходимые изображения. Модальность "Маммография".

Рис. 4. Дефект — разметка за пределами целевого органа. Модальность "Маммография".

Рис. 5. Дефект — проанализирована некорректная серия (постконтрастная КТ вместо нативной). Модальность "Компьютерная томография".

Рис. 6. Дефект — разметка за пределами целевого органа, постконтрастная компьютерная томография вместо нативной. Модальность "Компьютерная томография".

ОБСУЖДЕНИЕ

На основании полученных и проанализированных результатов исследования, модальность «Маммография» показывает отличную тенденцию по снижению числа технологических дефектов (см. рис. 1 — линия тренда). ПО с ИИ с модальностью «КТ головного мозга» имеет более ровную тенденцию к снижению числа технологических дефектов (см. рис. 2 — линия тренда), несмотря на значения дефектов группы «б». Это, в свою очередь, можно объяснить тем, что флуктуации некоторых технологических дефектов связаны с автоматическим выявлением, а также быстрой обратной связью и оперативной доработкой ПО с ИИ производителем (сменой версии или исправлением ошибок).

Важно отметить, что смена версий ПО с ИИ для модальности «Маммография» пришлась на сентябрь–октябрь 2021 года, и в это же время снизилось в среднем количество дефектов групп «б» и «г» (см. рис. 1). Это может указывать на успешную доработку ПО с ИИ, что, в свою очередь, может свидетельствовать об эффективности применения представленной методологии технологического мониторинга.

Необходимо отметить, что выявление технологических дефектов в рамках проведения технологического мониторинга представляется важной частью комплексного тестирования с целью более безопасной, качественной и эффективной работы ПО с ИИ не только в области лучевой диагностики, но и в целом в медицине. Результаты проведённого анализа показывают, что с уменьшением количества дефектов качество ПО с ИИ возрастает. Таким образом, ПО с ИИ получают больше доверия от пользователей, работая с минимальным количеством дефектов и помогая врачу [16, 17].

Реструктурирование технологических дефектов

На основании результатов мониторинга технологических дефектов и их анализа, приведённых в данной статье, в 2022 году были реструктурированы группы технологических дефектов. Мониторинг дефектов ПО с ИИ для модальности «КТ головного мозга» на предмет наличия или отсутствия внутричерепного кровоизлияния был проведён в соответствии с обновлённой классификацией групп (см. табл. 1, правая колонка). Дефекты групп «а» и «б» проходили проверку в автоматизированном режиме, а дефекты групп «в», «г» и «д» требовали ручной проверки от экспертов. Обновлённый перечень технологических дефектов представлен в Приказе Департамента здравоохранения города Москвы № 160 от 03.11.2022 г. и актуален по настоящее время [18]. Обоснование увеличения числа исследований в выборке представлено в статье С.Ф. Четверикова и соавт. [13]. Подобная реструктуризация технологических дефектов позволила оптимизировать работу экспертов, анализирующих результаты мониторингов ПО с ИИ.

Кроме того, по итогу проведения технологического мониторинга ПО с ИИ в условиях Эксперимента, технологические дефекты согласно Приказу от 2021 г. для модальности «Маммография» можно условно разделить на три группы, касательно безопасности ПО с ИИ как медицинского изделия:

Влияют на безопасность пациента и на работу врача — отсутствие реализации заявленного функционала от производителя; замечания, оказывающие влияние на врача-рентгенолога или затрудняющие его деятельность; необратимое искажение исходных данных исследования. К этой группе относятся, например, дефекты «г» («г2», «г3», «г4»), а также дефект группы «е» (изменение оригинальной серии исследования, что напрямую влияет на безопасность использования ПО с ИИ). Отдельно необходимо рассмотреть дефект «г7» (отсутствие предупредительной надписи: «Только для использования в исследовательских/ научных целях»). Этот дефект может иметь место только в рамках научного исследования, но ни в коем случае не в рамках использования ПО с ИИ как медицинского изделия.
Не влияют на безопасность пациента, но влияют на работу врача — недоработки функционала, которые не соответствуют общепринятым стандартам представления результатов интерпретации исследования. К этой группе можно отнести дефекты групп «д» и «в» («в1», «в2», «в3»).
Не влияют на безопасность пациента, не влияют на работу врача — несущественные недоработки, которые необходимо устранить для более удобной, интуитивно понятной и оперативной работы врача. К данной группе можно отнести дефекты «г5», «г6» и «г8».

Для модальности «КТ» ввиду реструктуризации дефектов (табл. 1) разделение по трём подгруппам касательно безопасности, начиная с ноября 2023 г. и до данного периода, представлялось согласно Приказу 2021 г.:

Влияют на безопасность пациента и на работу врача: дефекты «в» («в1», «в2», «в3»), а также дефект «г4», «г5».
Не влияют на безопасность пациента, но влияют на работу врача: дефекты групп «д» и «г» («г1», «г2», «г3»).
Не влияют на безопасность пациента, не влияют на работу врача: дефекты «в4» и «в5».

Графически информация об изменении количества дефектов по группам и по месяцам представлена на рис. 7–8 для обеих модальностей.

Рис. 7. Количество дефектов в группе в динамике для модальности

Рис. 8. Количество дефектов в группе в динамике для модальности «Компьютерная томография».

Для модальности «Маммография» (см. рис. 7) дефекты, влияющие на безопасность пациента и на работу врача, в результате доработки ПО с ИИ не выявляются после июня. Дефекты, влияющие на работу врача, но не влияющие на безопасность пациента, также имеют тенденцию к снижению к моменту окончания периода исследования.

Для модальности «КТ головного мозга» (см. рис. 8) наиболее часто встречающиеся дефекты (влияющие на работу врача, но не влияющие на безопасность пациента» не имеют явной тенденции к снижению.

Представленная в данной статье методология мониторинга технологических дефектов позволяет осуществлять контроль технической стабильности алгоритмов, что имеет важное практическое значение при оценке ПО с ИИ, его безопасности. Применяемая методология контроля работы ПО с ИИ на потоке позволила выявить технологические дефекты и доработать решения, что в конечном итоге привело к повышению технологической стабильности ПО с ИИ, что мы видим на примере данных анализа КТ головного мозга. Таким образом, разработанная методология оказалась эффективным и универсальным инструментом повышения технической стабильности ПО с ИИ.

ЗАКЛЮЧЕНИЕ

В настоящей работе представлен перечень основных технологических дефектов, возникающих при внедрении ПО с ИИ, а также методология мониторинга технологических дефектов, основанная на регулярном выборочном контрольном тестировании, позволяющая повышать техническую стабильность ПО с ИИ. Разработанная методология тестирования ПО с ИИ при выявлении технологических дефектов представляется частью мониторинга безопасности, качества и эффективности для тестирования ПО с ИИ в условиях работы в реальной клинической практике.

ДОПОЛНИТЕЛЬНО

Источник финансирования. Анализ и оценка технологических дефектов КТ-выборки на предмет наличия или отсутствия внутричерепного кровоизлияния подготовлено за счёт гранта Российского научного фонда № 22-25-20231, https://rscf.ru/project/22-25-20231/.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение работы и подготовку статьи, прочли и одобрили финальную версию перед публикацией).

Наибольший вклад распределён следующим образом: В.В. Зинченко — структурирование и анализ полученных результатов, написание рукописи статьи; К.М. Арзамасов — получение данных технологического мониторинга, анализ полученных результатов, корректировка рукописи статьи; Е.И. Кремнева — структурирование и анализ полученных результатов (компьютерная томография), написание текста статьи; А.В. Владзимирский — рецензирование рукописи статьи, формирование гипотезы исследования; Ю.А. Васильев — формирование гипотезы исследования, общее управление исследованием.

ADDITIONAL INFORMATION

Funding source. Analysis of technological defects in computed tomography dataset with or without intracranial bleeding was funded by Russian Science Foundation Grant № 22-25-20231, https://rscf.ru/project/22-25-20231/.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. The contribution is distributed as follows: V.V. Zinchenko — structuring and analysis of the results obtained (mammography modality), writing the manuscript of the article; K.M. Arzamasov — obtaining technological monitoring data, analyzing the results obtained, correcting the manuscript of the article; E.I. Kremneva — structuring and analysis of the results obtained (computed tomography modality), writing the manuscript of the article; A.V. Vladzymyrskyy — review of the manuscript of the article, formation of the research hypothesis; Yu.A. Vasilev — formation of the research hypothesis, general management of the research.