Technological defects in software based on artificial intelligence

Viktoria V. Zinchenko; Зинченко Виктория Валерьевна; Viktoria V. Zinchenko; Kirill M. Arzamasov; Арзамасов Кирилл Михайлович; Kirill M. Arzamasov; Elena I. Kremneva; Кремнева Елена Игоревна; Elena I. Kremneva; Anton V. Vladzymyrskyy; Владзимирский Антон Вячеславович; Anton V. Vladzymyrskyy; Yuriy A. Vasilev; Васильев Юрий Александрович; Yuriy A. Vasilev

doi:10.17816/DD501759

Технологические дефекты программного обеспечения с искусственным интеллектом

Авторы: Зинченко В.В.¹, Арзамасов К.М.¹, Кремнева Е.И.¹, Владзимирский А.В.¹, Васильев Ю.А.¹
Учреждения:
1. Научно-практический клинический центр диагностики и телемедицины
Выпуск: Том 4, № 4 (2023)
Страницы: 593-604
Раздел: Технические отчеты
Статья получена: 20.06.2023
Статья одобрена: 21.11.2023
Статья опубликована: 15.12.2023
URL: https://jdigitaldiagnostics.com/DD/article/view/501759
DOI: https://doi.org/10.17816/DD501759
ID: 501759

Цитировать

Полный текст

Аннотация
Полный текст
Об авторах
Список литературы
Дополнительные файлы
Статистика

Аннотация

Обоснование. Технологические дефекты в работе программного обеспечения с искусственным интеллектом являются критически важными при принятии решения о практической применимости и клинической ценности программного обеспечения с искусственным интеллектом.

Цель — анализ и систематизация технологических дефектов, возникающих при работе программного обеспечения с искусственным интеллектом для анализа медицинских изображений.

Материалы и методы. В рамках эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы проводится мониторинг технологических параметров для всех участвующих решений как на этапе апробации, так и на этапе опытной эксплуатации. В статье представлена графическая информация о среднем числе технологических дефектов для профилактического направления, модальность «Маммография», за 2021 год. Этот период выбран как наиболее показательный, характеризующийся активным развитием программного обеспечения с искусственным интеллектом с позиции увеличения технической стабильности их работы. С целью оценки применимости подхода по выявлению технологических дефектов аналогичный анализ проводился для направления обнаружения внутричерепных кровоизлияний на компьютерных томограммах головного мозга за 2022–2023 годы.

Результаты. В ходе исследования было проанализировано программное обеспечение с искусственным интеллектом по модальностям «Маммография» (2 алгоритма) и «Компьютерная томография головного мозга» (1). Всего для модальности «Маммография» собрано 14 выборок по 20 исследований; для модальности «Компьютерная томография» — 12 выборок по 80 исследований. Для каждого типа дефекта были построены графики, а для каждой из модальностей были построены линии тренда. Коэффициенты уравнений линий трендов указывают на тенденцию к снижению числа технологических дефектов.

Заключение. Проведённый анализ позволяет проследить тенденцию к снижению числа технологических дефектов, что может свидетельствовать о доработке программного обеспечения с искусственным интеллектом и повышении его качества благодаря периодическому мониторингу. Кроме того, такой результат показывает универсальность использования как для профилактических методов, так и для экстренных.

Ключевые слова

искусственный интеллект, программное обеспечение с искусственным интеллектом, технологический мониторинг, технологические дефекты, Московский эксперимент

Полный текст

ОБОСНОВАНИЕ

Программное обеспечение с технологиями искусственного интеллекта (ПО с ИИ) может помочь в рутинных и сложных задачах медицинскому персоналу, а также повысить уровень, доступность и скорость оказываемой пациентам медицинской помощи [1–3]. Это стало возможным в большей степени благодаря «Эксперименту по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы» (далее — Эксперимент), а также преемственности зарубежного и отечественного опыта по работе с искусственным интеллектом в здравоохранении [4–7]. Цель Эксперимента — научное исследование возможности использования в системе здравоохранения города Москвы методов поддержки приятия врачебных решений на основе результатов анализа данных с применением передовых инновационных технологий. Были разработаны требования к результатам работы ПО с ИИ по 21 направлению лучевой диагностики. На данный момент врачам доступны результаты более 50 решений на основе искусственного интеллекта. По состоянию на конец сентября 2023 обработано более 10 млн исследований.

Применение новых технологий в здравоохранении требует обязательного соблюдения правил безопасности, поэтому этапы разработки, ввода в эксплуатацию и применения ПО с ИИ должны в обязательном порядке контролироваться [8]. ПО с ИИ требует особого контроля в процессе эксплуатации ещё и по той причине, что в нём возможно смещение результатов при его использовании на отличной от обучающей популяции [9, 10].

Для контроля качества обработки исследований ПО с ИИ в рамках Эксперимента используют ряд тестирований. Самотестирование — начальный этап, предназначен для понимания технической совместимости ПО с ИИ и подаваемых на обработку исследований (входных данных). Следующий этап — функциональное тестирование, которое определяет наличие заявленных функций ПО с ИИ, в том числе и его работоспособность. Оценка ПО с ИИ проводится как с технической, так и с клинической точек зрения, то есть техническими и медицинскими экспертами. Калибровочное тестирование — этап определения метрик работы ПО с ИИ, где основной показатель — площадь под ROC-кривой.

В случае успешного прохождения всех тестирований, ПО с ИИ допускается к работе, при этом по результатам работы для алгоритмов проводят технологический и клинический мониторинги. Техническое тестирование (мониторинг технологических параметров), согласно международным исследованиям, — неотъемлемая часть проверки продукта, которую проводят в рамках комплексного тестирования для возможности использования в условиях реальной клинической практики [11]. Именно поэтому в рамках данной работы мы сосредоточились на мониторинге технологических дефектов.

ЦЕЛЬ

Изучение технологических дефектов ПО с ИИ по результатам Эксперимента, их анализ, статистика и влияние на безопасность и качество ПО с ИИ в условиях работы в клинической практике.

МАТЕРИАЛЫ И МЕТОДЫ

Условия проведения

Мониторинг выполнялся для всех исследований, проанализированных ПО с ИИ за отчётный период для модальности «Маммография» в 2021 г., по категориям дефектов, указанных в табл. 1 (левая колонка, согласно Приказу Департамента здравоохранения города Москвы № 51 от 26.01.2021 г.) [12]:

Группа «а» — время, затрачиваемое на анализ одного исследования, превышает 6,5 минут. Ограничение по времени было получено эмпирическим путём как среднее время описания исследования ПО с ИИ для того, чтобы врач-рентгенолог смог воспользоваться его результатами.
Группа «б» — отсутствие результатов проанализированных исследований.
Группа «в» — изображения, содержащиеся в результатах работы ПО с ИИ, не соответствуют изображениям нативного (исходного) исследования (искажены). В редких случаях изменение метаданных может приводить к изменению настроек при просмотре исследований, что существенно затрудняет визуализацию оригинального изображения.
Группа «г» — некорректная работа заявленного функционала ПО с ИИ, затрудняющая работу врача или делающая её выполнение невозможным с надлежащим качеством, в том числе — обрезка изображений, изменение яркости/контрастности, отсутствие описания результата, отсутствие разметки при наличии патологии.
Группа «д» — иные нарушения целостности и содержимого файлов с результатами исследований, обуславливающих ограничение их диагностической интерпретации, в том числе — разметка за пределами целевого органа, анализ ПО с ИИ некорректной анатомической области.
Группа «е» — изменение оригинальной серии исследования. В 2022 г. была произведена реструктуризация дефектов, что учтено при обработке данных мониторингов для модальности «КТ» (см. табл. 1, правая колонка).

Таблица 1. Соотношение критериев технологических дефектов в Приказах Департамента здравоохранения города Москвы

Технологические дефекты согласно Приказу Департамента здравоохранения города Москвы № 51 от 26.01.2021 г. (актуальные для данных маммографии, представленных в статье)	Технологические дефекты согласно Приказу Департамента здравоохранения города Москвы № 160 от 03.11.2022 г. (реструктурированные) (актуальные для данных КТ головного мозга, представленных в статье)
группа «а» — время, затрачиваемое на анализ одного исследования, превышает 6,5 минут	группа «а» — время, затрачиваемое на анализ одного исследования, превышает 6,5 минут
группа «б» — отсутствие результатов проанализированных исследований	группа «б» — отсутствие результатов проанализированных исследований
–	группа «в» — некорректная работа заявленного функционала ПО с ИИ, затрудняющая работу врача-рентгенолога или делающая её выполнение невозможным с надлежащим качеством
г2 — отсутствие дополнительной серии	в1 — отсутствие дополнительной серии
г3 — отсутствие DICOM SR	в2 — отсутствие DICOM SR
г4 — наличие двух и более DICOM SR	в3 — наличие двух и более DICOM SR
г5 — отсутствие названия ПО С ИИ	в4 — отсутствие названия ПО с ИИ
г6 — отсутствие сведений о версии ПО с ИИ	в5 — отсутствие сведений о версии ПО с ИИ
–	группа «г» — дефекты, связанные с отображением области изображений
в1 — изображения обрезаны	г1 — изображения в дополнительной серии обрезаны
в2 — изменена яркость/контрастность	г2 — яркость/контрастность дополнительной серии не соответствует оригинальному изображению
в3 — проанализированы не все необходимые изображения	г3 — проанализированы не все необходимые изображения
г1 — полное отсутствие результатов работы ПО с ИИ	исключено
г7 — отсутствие предупреждающей надписи: «Только для использования в исследовательских/научных целях»	г4 — отсутствие предупреждающей надписи: «Только для использования в исследовательских/научных целях»
г8 — отсутствие разметки при наличии патологии	«е» — дефекты, связанные с клинической работой
Д1 — противоречие информации DICOM SR и дополнительной серии	исключено
Е — изменение оригинальной серии исследования	г5 — изменение оригинальной серии исследования
–	группа «д» — иные нарушения целостности и содержимого файлов с результатами исследований, обусловливающие ограничение их диагностической интерпретации в том числе
Д2 — разметка за пределами целевого органа	д1 — разметка за пределами целевого органа
Д3 — проанализирована некорректная анатомическая область, проекция или серия	д2 — проанализирована некорректная анатомическая область, проекция или серия

Примечание. SR — structure report.

Продолжительность исследования

Мониторинг проводился ежемесячно до момента окончания участия ПО с ИИ в рамках работы Эксперимента. Отчётный период мониторинга равен календарному месяцу. Промежуточный отчёт по мониторингу дефектов групп «а» и «б» формировался по данным на 10-е и 20-е число каждого месяца и направлялся производителю ПО с ИИ.

Для выборок маммографических исследований в статье указана информация о дефектах с марта по декабрь 2021 года, для выборки КТ-исследований головного мозга — с мая 2022 по май 2023 года. Для различных ПО с ИИ периодичность проводимого мониторинга различна ввиду варьирования момента захода в Эксперимент и времени доработки после получения обратной связи.

Технологический мониторинг выполнялся экспертной группой, в которую входили технические специалисты и врачи-рентгенологи, прошедшие дополнительное обучение по проведению мониторингов и инструктаж по работе с конкретными ПО с ИИ. Для отчётности по проведённому мониторингу также была разработана и применялась унифицированная форма внутреннего отчёта и инструкция по проведению технологического мониторинга.

Статистический анализ

Для тестирования в ходе проведения технологического мониторинга использовался псевдослучайно отобранный набор данных (выборка исследований) с учётом следующей пропорции: 25% исследований, в которых ПО с ИИ не обнаружило патологию (группа «без патологии»), и 75% исследований с выявленной патологией (группа «с патологией»). Отобранные исследования с результатами от ПО с ИИ изучались на наличие технологических дефектов. Исследование определялось в группу «с патологией» в случае превышения оптимального порогового значения, установленного при проведении тестирования; в противном случае классифицировалось как «без патологии» [13, 14].

В 2021 году в Эксперименте объём псевдослучайной выборки составлял 20 исследований ежемесячно. При этом необходимо отметить, что это был ещё Пилотный этап проекта, и уровень мощности, согласно номограмме, составлял 42,5% при уровне статистической значимости 0,05. Стандартные различия между элементами выборки — 0,79 [15]. В полноценном проекте после 2021 года, используя риск-анализ, объём выборки составил 80 исследований (обоснование в статье С.Ф. Четверикова и соавт. [13]). Именно такой объём — 80 исследований — составлял ежемесячную выборку для КТ-исследований головного мозга.

РЕЗУЛЬТАТЫ

Для проведения технологического мониторинга для модальности «Маммография» всего было использовано 14 выборок по 20 исследований. Сформированные псевдослучайные выборки ежемесячно во временном интервале с марта по декабрь 2021 года направлялись всем работающим (не находящимся на доработке) ПО с ИИ для тестирования.

С целью оценки применимости метода выявления технологических дефектов аналогичный анализ проводился на сформированных псевдослучайных выборках для модальности «КТ головного мозга» на предмет обнаружения внутричерепных кровоизлияний. С мая 2022 по май 2023 года в ПО с ИИ для тестирования ежемесячно направлялись 80 исследований (всего 12 выборок по 80 исследований).

Для построения графика динамики технологических дефектов за период с марта по декабрь 2021 года (для модальности «Маммография») или с мая 2022 по май 2023 года (для модальности «КТ») была использована общая статистика по всем результатам технологического мониторинга ПО с ИИ. Количество технологических дефектов считалось в процентах от общего числа исследований в наборе данных.

На рис. 1 представлена динамика среднего числа технологических дефектов для модальности «Маммография» с марта 2021 года по декабрь 2021 года, где ось ординат — наличие дефектов (представлено в процентном соотношении от общего числа исследований выборки), а ось абсцисс — отчётный период в месяцах. На рис. 2 представлена аналогичная информация для модальности «КТ головного мозга» (период с мая 2022 по май 2023 года).

Рис. 1. Динамика выявления среднего числа каждого технологического дефекта для программного обеспечения с искусственным интеллектом модальностью «Маммография». Дефекты распределены по группам согласно Приказу Департамента здравоохранения города Москвы № 51 от 26.01.2021 г.

Рис. 2. Динамика выявления числа каждого технологического дефекта для программного обеспечения с искусственным интеллектом модальностью «Компьютерная томография головного мозга» (наличие или отсутствие внутричерепного кровоизлияния). Дефекты распределены по группам согласно Приказу Департамента здравоохранения города Москвы № 160 от 03.11.2022 г.

Для модальности «Маммография» дефекты представлены согласно левой колонке в табл. 1. Из рис. 1 видно, что в начале исследуемого периода мониторинга преобладали дефекты групп «в» (дефекты, связанные с отображением области изображений), «г» (некорректная работа заявленного функционала ПО с ИИ) и «б» (отсутствие результатов проанализированных исследований). К концу периода исследования остались только дефекты группы «в», хотя и их доля также значительно снизилась в процентном соотношении.

Для модальности «КТ» дефекты представлены согласно правой колонке в табл. 1. Из рис. 2 для модальности «КТ головного мозга» на предмет обнаружения внутричерепного кровоизлияния видно, что процент соотношения дефектов к выборке для всех дефектов, кроме группы «б» (отсутствие результатов проанализированных исследований), был ниже, чем для других проанализированных модальностей. При этом отмечалось снижение (в процентном соотношении) количества дефектов групп «г» (дефекты, связанные с отображением области изображений) и «д» (нарушения целостности и содержимого файлов), тогда как дефекты группы «б» показали большой разброс от месяца к месяцу.

С целью количественной оценки данной тенденции были добавлены соответствующие линии тренда. Это линейные функции вида k×x+b, где коэффициент k задаёт наклон кривой аппроксимации, то есть указывает на тенденцию к росту или снижению числа дефектов, а коэффициент b соответствует количеству дефектов в начале мониторинга. Аппроксимация проводилась для всех ПО с ИИ по отдельным модальностям, при этом аппроксимировался сразу весь массив данных (см. рис. 1–2). Зная коэффициент k, можно прогнозировать динамику в ликвидации технологических дефектов для каждого ПО с ИИ в отдельности или для целого направления.

На рис. 3–6 представлены примеры технологических дефектов для ПО с ИИ.

Рис. 3. Дефект — проанализированы не все необходимые изображения. Модальность "Маммография".

Рис. 4. Дефект — разметка за пределами целевого органа. Модальность "Маммография".

Рис. 5. Дефект — проанализирована некорректная серия (постконтрастная КТ вместо нативной). Модальность "Компьютерная томография".

Рис. 6. Дефект — разметка за пределами целевого органа, постконтрастная компьютерная томография вместо нативной. Модальность "Компьютерная томография".

ОБСУЖДЕНИЕ

На основании полученных и проанализированных результатов исследования, модальность «Маммография» показывает отличную тенденцию по снижению числа технологических дефектов (см. рис. 1 — линия тренда). ПО с ИИ с модальностью «КТ головного мозга» имеет более ровную тенденцию к снижению числа технологических дефектов (см. рис. 2 — линия тренда), несмотря на значения дефектов группы «б». Это, в свою очередь, можно объяснить тем, что флуктуации некоторых технологических дефектов связаны с автоматическим выявлением, а также быстрой обратной связью и оперативной доработкой ПО с ИИ производителем (сменой версии или исправлением ошибок).

Важно отметить, что смена версий ПО с ИИ для модальности «Маммография» пришлась на сентябрь–октябрь 2021 года, и в это же время снизилось в среднем количество дефектов групп «б» и «г» (см. рис. 1). Это может указывать на успешную доработку ПО с ИИ, что, в свою очередь, может свидетельствовать об эффективности применения представленной методологии технологического мониторинга.

Необходимо отметить, что выявление технологических дефектов в рамках проведения технологического мониторинга представляется важной частью комплексного тестирования с целью более безопасной, качественной и эффективной работы ПО с ИИ не только в области лучевой диагностики, но и в целом в медицине. Результаты проведённого анализа показывают, что с уменьшением количества дефектов качество ПО с ИИ возрастает. Таким образом, ПО с ИИ получают больше доверия от пользователей, работая с минимальным количеством дефектов и помогая врачу [16, 17].

Реструктурирование технологических дефектов

На основании результатов мониторинга технологических дефектов и их анализа, приведённых в данной статье, в 2022 году были реструктурированы группы технологических дефектов. Мониторинг дефектов ПО с ИИ для модальности «КТ головного мозга» на предмет наличия или отсутствия внутричерепного кровоизлияния был проведён в соответствии с обновлённой классификацией групп (см. табл. 1, правая колонка). Дефекты групп «а» и «б» проходили проверку в автоматизированном режиме, а дефекты групп «в», «г» и «д» требовали ручной проверки от экспертов. Обновлённый перечень технологических дефектов представлен в Приказе Департамента здравоохранения города Москвы № 160 от 03.11.2022 г. и актуален по настоящее время [18]. Обоснование увеличения числа исследований в выборке представлено в статье С.Ф. Четверикова и соавт. [13]. Подобная реструктуризация технологических дефектов позволила оптимизировать работу экспертов, анализирующих результаты мониторингов ПО с ИИ.

Кроме того, по итогу проведения технологического мониторинга ПО с ИИ в условиях Эксперимента, технологические дефекты согласно Приказу от 2021 г. для модальности «Маммография» можно условно разделить на три группы, касательно безопасности ПО с ИИ как медицинского изделия:

Влияют на безопасность пациента и на работу врача — отсутствие реализации заявленного функционала от производителя; замечания, оказывающие влияние на врача-рентгенолога или затрудняющие его деятельность; необратимое искажение исходных данных исследования. К этой группе относятся, например, дефекты «г» («г2», «г3», «г4»), а также дефект группы «е» (изменение оригинальной серии исследования, что напрямую влияет на безопасность использования ПО с ИИ). Отдельно необходимо рассмотреть дефект «г7» (отсутствие предупредительной надписи: «Только для использования в исследовательских/ научных целях»). Этот дефект может иметь место только в рамках научного исследования, но ни в коем случае не в рамках использования ПО с ИИ как медицинского изделия.
Не влияют на безопасность пациента, но влияют на работу врача — недоработки функционала, которые не соответствуют общепринятым стандартам представления результатов интерпретации исследования. К этой группе можно отнести дефекты групп «д» и «в» («в1», «в2», «в3»).
Не влияют на безопасность пациента, не влияют на работу врача — несущественные недоработки, которые необходимо устранить для более удобной, интуитивно понятной и оперативной работы врача. К данной группе можно отнести дефекты «г5», «г6» и «г8».

Для модальности «КТ» ввиду реструктуризации дефектов (табл. 1) разделение по трём подгруппам касательно безопасности, начиная с ноября 2023 г. и до данного периода, представлялось согласно Приказу 2021 г.:

Влияют на безопасность пациента и на работу врача: дефекты «в» («в1», «в2», «в3»), а также дефект «г4», «г5».
Не влияют на безопасность пациента, но влияют на работу врача: дефекты групп «д» и «г» («г1», «г2», «г3»).
Не влияют на безопасность пациента, не влияют на работу врача: дефекты «в4» и «в5».

Графически информация об изменении количества дефектов по группам и по месяцам представлена на рис. 7–8 для обеих модальностей.

Рис. 7. Количество дефектов в группе в динамике для модальности

Рис. 8. Количество дефектов в группе в динамике для модальности «Компьютерная томография».

Для модальности «Маммография» (см. рис. 7) дефекты, влияющие на безопасность пациента и на работу врача, в результате доработки ПО с ИИ не выявляются после июня. Дефекты, влияющие на работу врача, но не влияющие на безопасность пациента, также имеют тенденцию к снижению к моменту окончания периода исследования.

Для модальности «КТ головного мозга» (см. рис. 8) наиболее часто встречающиеся дефекты (влияющие на работу врача, но не влияющие на безопасность пациента» не имеют явной тенденции к снижению.

Представленная в данной статье методология мониторинга технологических дефектов позволяет осуществлять контроль технической стабильности алгоритмов, что имеет важное практическое значение при оценке ПО с ИИ, его безопасности. Применяемая методология контроля работы ПО с ИИ на потоке позволила выявить технологические дефекты и доработать решения, что в конечном итоге привело к повышению технологической стабильности ПО с ИИ, что мы видим на примере данных анализа КТ головного мозга. Таким образом, разработанная методология оказалась эффективным и универсальным инструментом повышения технической стабильности ПО с ИИ.

ЗАКЛЮЧЕНИЕ

В настоящей работе представлен перечень основных технологических дефектов, возникающих при внедрении ПО с ИИ, а также методология мониторинга технологических дефектов, основанная на регулярном выборочном контрольном тестировании, позволяющая повышать техническую стабильность ПО с ИИ. Разработанная методология тестирования ПО с ИИ при выявлении технологических дефектов представляется частью мониторинга безопасности, качества и эффективности для тестирования ПО с ИИ в условиях работы в реальной клинической практике.

ДОПОЛНИТЕЛЬНО

Источник финансирования. Анализ и оценка технологических дефектов КТ-выборки на предмет наличия или отсутствия внутричерепного кровоизлияния подготовлено за счёт гранта Российского научного фонда № 22-25-20231, https://rscf.ru/project/22-25-20231/.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение работы и подготовку статьи, прочли и одобрили финальную версию перед публикацией).

Наибольший вклад распределён следующим образом: В.В. Зинченко — структурирование и анализ полученных результатов, написание рукописи статьи; К.М. Арзамасов — получение данных технологического мониторинга, анализ полученных результатов, корректировка рукописи статьи; Е.И. Кремнева — структурирование и анализ полученных результатов (компьютерная томография), написание текста статьи; А.В. Владзимирский — рецензирование рукописи статьи, формирование гипотезы исследования; Ю.А. Васильев — формирование гипотезы исследования, общее управление исследованием.