Experience in using artificial intelligence technologies to identify adrenal tumors on computed tomography

Texto integral

АКТУАЛЬНОСТЬ

Новообразования надпочечников относятся к частым находкам при проведении КТ исследований. Общепопуляционная статистика их выявления при выполнении КТ исследований приближается к 4% [1-2], а в группе пациентов старше 70 лет ее частота возрастает до 7-10% [3-5]. По данным сводной аутопсийной статистики, распространенность случайно выявленных новообразований надпочечников колеблется от 1 до 32%, составляя в среднем 6% [6-7], а в структуре всех новообразований надпочечников адренокортикальный рак, по данным разных авторов, составляет 4–12% [8-9].

Во многих случаях новообразования надпочечников имеют отличительные особенности, которые позволяют охарактеризовать их с помощью неинвазивных методов. Компьютерная томография, представляет собой основной метод визуализации, поскольку в большинстве случаев позволяет предположить нозологическую форму образования.

В настоящее время активно разрабатывается и внедряется ПО на основе ТИИ для обнаружения новообразований надпочечников при проведении компьютерной томографии. Данное ПО может не только определять факт наличия образований надпочечников, но также оконтурить новообразование на дополнительной Dicom серии с графическим отображением найденных находок, предоставить размеры и плотность (в единицах Хаунсфилда) новообразования [10-11].

Также технологии искусственного интеллекта активно используются для интерпретации результатов КТ органов грудной клетки и брюшной полости для определения ряда патологий: нарушения воздушности легочной ткани, новообразований легкого и других [12-16]. Отдельно следует отметить, что ПО на основе ТИИ для обнаружения новообразований надпочечников может быть применен для КТ ОГК, т.к. в процессе выполнения КТ этой области, надпочечники, как правило, попадают в поле сканирования.

Настоящее исследование посвящено оценке применимости программного обеспечения для выявления новообразований надпочечников на КТ органов грудной клетки и брюшной полости.

 

МАТЕРИАЛЫ И МЕТОДЫ

ПО на основе ТИИ

В настоящее время в рамках эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы для выявления и оценки новообразований надпочечников свои решения представили две компании, каждое из которых было в двух модификациях: моносервис, определяющий только новообразования надпочечников и комплексный ИИ-сервис для оценки КТ органов брюшной полости и грудной клетки. Комплексный ИИ-сервис предназначался для определения признаков до 11 патологий при анализе КТ ОГК и до 6 патологий при анализе КТ ОБП.

Алгоритмы принимают на вход нативную фазу исследования в формате DICOM, содержащую изображения компьютерной томографии органов грудной клетки или брюшной полости.

Результаты работы ПО на основе ТИИ получены в виде текстового описания (Dicom SR) c информацией о наличии или отсутствии новообразований надпочечников, а также их количестве, размерах и плотности (в единицах Хаунсфилда), и в виде дополнительной DICOM-серии с графическим оконтуриванием областей интереса, представлением размеров и плотности (в единицах Хаунсфилда) новообразования надпочечника. Методология определения наличия патологии каждым разработчиком выбиралась самостоятельно и в настоящей работе не являлась предметом изучения.

Заявленные метрики диагностической точности работы ПО на основе ТИИ представлены на таб. 1 .

Таблица 1. Заявленные показатели диагностической точности ИИ-сервисов.

	Параметр AUC Чувствительность Специфичность Точность ИИ-1 моно (для анализа ОБП) 0,82 0,81 0,83 0,81 ИИ-1 моно (для анализа ОГК) 0,84 0,84 0,84 0,81 ИИ-1 комплекс (для анализа ОГК) 0,84 0,84 0,84 0,81 ИИ-2 моно (для анализа ОБП) 0,93 0,84 0,91 0,88 ИИ-2 комплекс (для анализа ОГК 0,93 0,84 0,91 0,88 ИИ-2 комплекс (для анализа ОБП 0,93 0,89 0,92 0,9

 

 

 

 

 

 

 

 

 

 

 

Примеры работы ИИ-сервисов представлены на рисунке 1 (А, Б, В).

1А. ИИ1 моносервис: голубым контуром обведены новообразования надпочечников при анализе КТ ОБП.

1Б. ИИ2 моносервис: желтым контуром обведены новообразования надпочечников при анализе КТ ОБП.

 

 

1В. ИИ-2 комплексный сервис: слева – желтым контуром обведено образование левого надпочечника при анализе КТ ОБП; справа – желтым контуром обведено образование правого надпочечника при анализе КТ ОГК.

Наборы данных

Данные были получены из ЕРИС ЕМИАС (Единый Радиологический Информационный Сервис Единой Медицинской Информационно-Аналитической Системы). В работе использовались два набора данных (НД) компьютерной томографии: органов брюшной полости (НД 1) и органов грудной клетки (НД2) [17]. Каждый набор данных состоял из 100 исследований КТ с наличием (50) и отсутствием (50) признаков новообразований надпочечников, предварительно анонимизированных [18-19]. Формирование набора данных осуществлялось на основании методологии подготовки наборов данных, разработанной в ГБУЗ НПКЦ ДиТ ДЗМ [20-21].

Критерии включения пациентов (для двух НД): возраст старше 18 лет.

Критерии включения исследования: для НД 1: КТ органов брюшной полости и малого таза с в/в контрастированием, КТ органов брюшной полости и малого таза, КТ органов брюшной полости, КТ органов брюшной полости с в/в контрастированием, КТ почек и мочевыводящих путей, КТ почек и мочевыводящих путей с в/в контрастированием, КТ надпочечников. Для НД 2: Компьютерная томография органов грудной клетки, Компьютерная томография органов грудной клетки с в/в контрастированием.

Критерии невключения исследования (для двух НД): состояния после оперативных вмешательств, технические дефекты и несоблюдение методики сканирования при выполнении исследования, а также отсутствие врачебной валидации.

Популяционные данные распределены следующим образом:

№ НД	мин. возраст	макс. возраст	средний возраст	мужской пол	женский пол
НД1	19 лет	90 лет	59 лет	29 пациентов	71 пациент
НД2	50 лет	94 года	68 лет	40 пациентов	60 пациентов

 

Верификация данных осуществлялась путем пересмотра исследований двумя врачами-рентгенологами. Исследование классифицировалось как патологическое при достижении консенсуса между двумя врачами. В случае разногласия врачей подключался эксперт. Решение о включении исследования в набор данных принималось на основании согласия эксперта. Критериями отнесения к классу с патологией являлись наличие образования тела или ножек надпочечника с размером по короткой оси ≥ 10 мм на нативных изображениях, без патологии – отсутствие перечисленных признаков.

Оценку точности ПО на основе ТИИ проводили путем расчета следующих метрик: AUC ROC, точности (1), чувствительности (2) и специфичности (3) [22].

(1) Точность = (ИП + ИО) / (ИП + ЛО + ИО + ЛП);

(2) Чувствительность = ИП / (ИП + ЛО);

 (3) Специфичность = ИО / (ЛП + ИО).

Сравнение и расчет p-value проводилось с помощью функции roc.test языка R (method = "delong"). Проверялась нулевая гипотеза об отсутствии статистически значимых различий между ПО на основе ТИИ.

 

РЕЗУЛЬТАТЫ

Для каждого ПО на основе ТИИ построена характеристическая кривая. ROC-кривые сглажены, точками показаны изменения чувствительности и специфичности при дискретном изменении порога в соответствии с дискретным увеличением вероятности патологии (рис. 2: А, Б, В, Г, Д, Е).

2А. ИИ-1 комплекс (для анализа ОГК)	2Б. ИИ-1 моно (для анализа ОБП)
2В. ИИ-1 моно (для анализа ОГК)	2Г. ИИ-2 комплекс (для анализа ОБП)
2Д. ИИ-2 комплекс (для анализа ОГК)	2Е. ИИ-2 моно (для анализа ОБП)

 

Рисунок 3. Результаты ROC-анализа всех алгоритмов ИИ:

ИИ-1 комплекс (для анализа ОГК)         ИИ-1 моно (для анализа ОБП)         ИИ-1 моно (для анализа ОГК)         ИИ-2 комплекс (для анализа ОБП)         ИИ-2 комплекс (для анализа ОГК)         ИИ-2 моно (для анализа ОБП)

 

 

Результаты тестирования работы ПО на основе ТИИ при поиске новообразований надпочечников представлены на таб.2.

Таблица 2. Метрики диагностической точности ПО на основе ТИИ на тестовом наборе данных.

Параметр AUC (95% ДИ) Чувствительность (95% ДИ)* Специфичность (95% ДИ)* Точность (95% ДИ)* ИИ-1 моно (для анализа ОБП) 0,978 (0,949-1.000) 0,940 (0,874-1,000) 0,980 (0,941-1,000) 0,960 (0,922-0,998) ИИ-1 моно (для анализа ОГК) 0,888 (0,823-0,952) 0,837 (0,733-0,940) 0,920 (0,845-0,995) 0,879 (0,814-0,943) ИИ-1 комплекс (для анализа ОГК) 0,858 (0,793-0,926) 0,739 (0,612-0,866) 0,938 (0,869-1,000) 0,840 (0,766-0,914) ИИ-2 моно (для анализа ОБП) 0,995 (0,985-1,000) 1.000 (1,000-1,000) 0,958 (0,902-1.000) 0,979 (0,950-1,000) ИИ-2 комплекс (для анализа ОГК) 0,964 (0,927-1,000) 0,878 (0,786-0,969) 1.000 (1,000-1,000) 0,938 (0,889-0,986) ИИ-2 комплекс (для анализа ОБП) 0,993 (0,982-1,000) 1.000 (1,000-1,000) 0,940 (0,874-1,000) 0,969 (0,935-1,000)

 

 

 

 

 

 

 

 

Примечание. * — метрики рассчитаны для порогового значения, определенного по максимуму индекса Юдена.

 

 

Таблица 3. Сравнение AUC-алгоритмов искусственного интеллекта*

i        j	ИИ-1 моно (для анализа ОБП)	ИИ-1 моно (для анализа ОГК)	ИИ-1 комплекс (для анализа ОГК)	ИИ-2 моно (для анализа ОБП)	ИИ-2 комплекс (для анализа ОГК)	ИИ-2 комплекс (для анализа ОБП)
ИИ-1 моно (для анализа ОБП)	0,978	0,090	0,120	-0,017	0,014	-0,015
ИИ-1 моно (для анализа ОГК)	-0,090	0,888	0,030	-0,107	-0,076	-0,105
ИИ-1 комплекс (для анализа ОГК)	-0,120	-0,030	0,858	-0,137	-0,106	-0,135
ИИ-2 моно (для анализа ОБП)	0,017	0,107	0,137	0,995	0,031	0,002
ИИ-2 комплекс (для анализа ОГК)	-0,014	0,076	0,106	-0,031	0,964	-0,029
ИИ-2 комплекс (для анализа ОБП)	0,015	0,105	0,135	-0,002	0,029	0,993

* В каждой клетке представлена разность AUC для ИИ-сервисов, прописанных в строке и столбце. На диагоналях – AUC соответствующего строке и столбцу ИИ-сервиса. Статистическую значимость различия сервисов оценивали по p-value: если больше 0,05, то статистически значимых различий нет, если меньше, то есть. Статистически значимые различия выделены зеленым цветом и жирным шрифтом.

 

Как следует из представленных данных ПО на основе ТИИ обладают довольно высокими метриками диагностической точности (AUC более 86 %, Ч более 74 %, С более 92%, Т более 84%). Для ИИ-2 получены максимальные значения для специфичности и чувствительности. Для комплексной оценки баланса чувствительности и специфичности можно использовать метрику точность. По абсолютным значениям этой метрики ИИ-2 комплекс (для анализа ОБП) показал наилучшие показатели.

 

ОБСУЖДЕНИЯ

При внедрении в клиническую практику новых методик или технологий необходимо понимание степени их влияния на текущий процесс. То же самое применимо и к внедрению технологий на основе ИИ, в том числе в лучевой диагностике: необходимо определить оптимальную точку приложения этой технологии [23].

В результате проверки сервисов ИИ для выявления новообразований надпочечников на тестовом наборе данных были получены высокие показатели метрик диагностической точности, некоторые показатели у сервисов имели максимальные значения.

Относительно низкие показатели специфичности сервисов ИИ при выявлении новообразований надпочечников связаны с ложно положительными (ЛП) случаями срабатывания в графической маркировке и заключении: за целевую патологию были приняты анатомические структуры (сосуды, ножки диафрагмы, л/у); оконтурены патологически не измененные надпочечники. На показатели чувствительности повлияло пропуск алгоритмами ИИ новообразований надпочечников (ложноотрицательные случаи (ЛО) срабатывания) или разметка не всех новообразований надпочечников, в том числе из-за анализа комплексными ПО на основе ТИИ для анализа ОГК легочного режима, на котором мягкотканые структуры дифференцируются плохо.

Примеры некорректного срабатывания сервисов ИИ при выявлении новообразований надпочечников представлены на рис.4 (А, Б, В).

 

4А. Пропуск сервисом ИИ новообразования левого надпочечника (справа) – ложноотрицательный случай срабатывания. Слева пропущенное новообразование надпочечника указано стрелкой.

 

4Б. Оконтуривание хвоста поджелудочной железы (справа) как целевую патологию (новообразование надпочечника) – ложноположительный случай срабатывания.

 

 

4В. Пропуск комплексным сервисом ИИ для анализа ОГК (на нижнем изображении) новообразований надпочечников (проанализирован только легочной режим) – ложноотрицательный случай срабатывания. На верхнем изображении пропущенные новообразования надпочечников указаны стрелками.

 

По имеющимся в литературе данным зарубежные авторы также используют алгоритмы ИИ для выявления новообразования надпочечников. Необходимо отметить исследование Cory Robinson-Weiss и соавторов., которые создали алгоритм машинного обучения для сегментации надпочечников на КТ с в/в контрастным усилением и определения надпочечников как нормальных или с новообразованием. Для оценки алгоритма ИИ использовали два набора данных (ретроспективные данные). НД1 включал 274 КТ-исследования (средний возраст 61 год; 133 женщины), а НД2 содержал 991 КТ-исследование (средний возраст 62 года; 578 женщин). При тестировании на НД1 модель имела чувствительность 83% и специфичность 89%. На НД2 модель имела чувствительность 69% и специфичность 91% [24].

 

В рамках нашего исследования задачей рассматриваемого нами ПО было выявить новообразования надпочечников, используя нативную фазу. С практической точки зрения этой функции достаточно для того, чтобы минимизировать риск пропуска образования и для привлечения внимания врача-рентгенолога. Тем не менее, большой практический интерес представляет классификация новообразования, а для этого необходимо внутривенное контрастирование. Так в одном когортном исследовании авторы использовали сервисы ИИ на основе методов глубокого обучения для количественной оценки и сегментирования функциональных опухолей надпочечников на основе КТ-изображений с контрастным усилением. В задаче классификации образований надпочечников, модель глубокого обучения достигла средней площади под характеристической ROC-кривой (ROC-AUC) 0,915 [25].

 

Задача классификации также успешно была решена в исследовании Hanchao Chai и соавторов. которые предложили автоматический метод компьютерного анализа для обнаружения и классификации опухолей надпочечников на КТ с в/в контрастированием. Он состоял из алгоритмов автоматической сегментации, выделения радиомических признаков и алгоритмов классификации. Эти алгоритмы затем были интегрированы в систему и реализованы в графическом интерфейсе с использованием графического пользовательского интерфейса MATLAB (GUI). Тестирование модели проводилось на 236 КТ исследованиях. По результатам тестирования точность классификации опухолей моделью достигла 90% [26].

 

В нашем исследовании все решения на основе ТИИ для обнаружения новообразований надпочечников показали высокие метрики точности, обеспечивая чувствительность от 74% до 100%, при этом специфичность составляла от 92% до 100 %.

 

Таким образом, ПО на основе ТИИ может быть использовано в качестве помощника врачу-рентгенологу для снижения случаев пропуска новообразований надпочечников, акцентирования внимания врачей на наличие патологии надпочечников при большом потоке пациентов и, как следствие, снижении внимания врачей-рентгенологов, ургентных исследованиях, которые требуют более быстрого описания, а также при исследованиях, когда надпочечники не являются целевым органом, но «входят в зону сканирования». Однако при этом возможны ложноположительные или ложноотрицательные случаи срабатывания алгоритмов ИИ из за отдельных вариантов синтопии (например у пациентов с ранее проведенными оперативными вмешательствами на органах брюшной полости, у пациентов с низким индексом массы тела), и усовершенствование алгоритмов возможно при дообучении алгоритмов ИИ на более качественном, разнообразном и большем объеме данных, для исключения выявления анатомических структур как целевую патологию и минимизации случаев пропуска.

 

ЗАКЛЮЧЕНИЕ:

По результатам данного исследования ПО на основе ТИИ могут быть применены на практике в качестве метода эффективного обнаружения новообразований надпочечников, демонстрируя чувствительность до 100% и обеспечивая специфичность до 100%.

 

 

Дополнительная информация

Источник финансирования. Данная статья подготовлена авторским коллективом в рамках НИР «Научные методологии устойчивого развития технологий искусственного интеллекта в медицинской диагностике», (ЕГИСУ: № 123031500004-5) в соответствии с Приказом от 21.12.2022 г. № 1196 "Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов" Департамента здравоохранения города Москвы.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Sobre autores

David Shikhmuradov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Autor responsável pela correspondência
Email: ShikhmuradovDU@zdrav.mos.ru
ORCID ID: 0000-0003-1597-5786
Código SPIN: 9641-0913

врач-рентгенолог, младший научный сотрудник

Rússia, 127051, г. Москва, ул. Петровка, д. 24, стр. 1

Yuriy Vasilev

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: VasilevYA1@zdrav.mos.ru
ORCID ID: 0000-0002-5283-5961
Código SPIN: 4458-5608

MD, Cand. Sci. (Med.)

Rússia, Moscow

Kirill Arzamasov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: ArzamasovKM@zdrav.mos.ru
ORCID ID: 0000-0001-7786-0349
Código SPIN: 3160-8062

MD, Cand. Sci. (Medicine)

Rússia, Moscow

Tatiana Bobrovskaya

Moscow Center for Diagnostics and Telemedicine

Email: BobrovskayaTM@zdrav.mos.ru
ORCID ID: 0000-0002-2746-7554
Código SPIN: 3400-8575

MD

Rússia, Moscow

Ekaterina Savkina

Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Department of Health

Email: SavkinaEF@zdrav.mos.ru
ORCID ID: 0000-0001-9165-0719
Código SPIN: 4986-5592

Junior Researcher, Depart. of Radiomics and Radiogenomics

Rússia, Moscow, Russia

Rustam Erizhokov

Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Department of Health

Email: ErizhokovRA@zdrav.mos.ru
ORCID ID: 0009-0007-3636-2889

Lev Pestrenin

Moscow Center for Diagnostics and Telemedicine

Email: PestreninLD@zdrav.mos.ru
ORCID ID: 0000-0002-1786-4329
Código SPIN: 7193-7706

Junior Research Associate

Rússia, Moscow

Bibliografia

Arquivos suplementares