Application of artificial intelligence technologies in detecting adrenal neoplasms on computed tomography scans

Full Text

ОБОСНОВАНИЕ

Новообразования надпочечников относят к числу наиболее частых находок при проведении компьютерной томографии (КТ). Согласно популяционным данным, их выявляемость при КТ достигает 4% [1, 2], а в группе пациентов старше 70 лет возрастает до 7–10% [3–5]. По данным сводных аутопсийных исследований, распространённость инциденталом надпочечников варьирует от 1 до 32%, составляя в среднем 6% [6, 7]. В свою очередь, в структуре всех новообразований надпочечников доля адренокортикального рака, по данным различных авторов, составляет 4–12% [8, 9].

Во многих случаях новообразования надпочечников обладают характерными признаками, которые могут быть выявлены с использованием неинвазивных методов диагностики. Основным методом визуализации является КТ, позволяющая в большинстве наблюдений предположить нозологическую форму образования [10–12].

В настоящее время активно разрабатывают и внедряют программные обеспечения на основе технологий искусственного интеллекта для выявления новообразований надпочечников при проведении КТ. Такие системы позволяют не только фиксировать факт наличия образования, но и выполнять его сегментацию на дополнительной серии DICOM (Digital Imaging and Communications in Medicine) с графическим отображением, а также предоставляют информацию о размерах и рентгеновской плотности (в единицах Хаунсфилда) [13, 14].

Кроме того, технологии искусственного интеллекта активно используют для интерпретации результатов КТ органов грудной клетки и брюшной полости с целью выявления различных патологических изменений, включая нарушения воздушности лёгочной ткани и новообразования лёгких¹ [15–18]. Следует отметить, что программные обеспечения на основе технологий искусственного интеллекта для обнаружения новообразований надпочечников можно применять и при анализе изображений КТ органов грудной клетки, поскольку надпочечники, как правило, попадают в поле сканирования. Настоящее исследование посвящено оценке их диагностической эффективности в отношении выявления новообразований надпочечников по данным КТ органов грудной клетки и брюшной полости.

ЦЕЛЬ

Оценить диагностическую эффективность программных обеспечений на основе технологий искусственного интеллекта при выявлении новообразований надпочечников по данным КТ.

МЕТОДЫ

Дизайн исследования

Проведено ретроспективное многоцентровое выборочное исследование.

Условия проведения исследования

В исследование включали данные пациентов, извлечённые из Единого радиологического информационного сервиса Единой медицинской информационно-аналитической системы.

Использовали два набора данных КТ²:

• органов брюшной полости (набор данных № 1);
• органов грудной клетки (набор данных № 2).

Каждый набор данных состоял из 100 исследований КТ с наличием (n=50) и отсутствием (n=50) признаков новообразований надпочечников, предварительно анонимизированных [19, 20]. Для формирования двух наборов данных использовали результаты КТ пациентов старше 18 лет. Формирование набора данных осуществляли в соответствии с методологией их подготовки, разработанной в Научно-практическом клиническом центре диагностики и телемедицинских технологий [21, 22].

Верификацию данных осуществляли путём пересмотра результатов КТ двумя врачами-рентгенологами с опытом работы более трёх лет. Исследование классифицировали как патологическое при достижении консенсуса между двумя врачами. В случае их разногласия подключали эксперта (опыт работы более 5 лет). Решение о включении исследования в набор данных принимали на основании согласия эксперта. Критериями отнесения к классу с патологией были наличие образования тела или ножек надпочечника с размером по короткой оси ≥10 мм на нативных изображениях, без патологии — отсутствие перечисленных признаков.

Критерии соответствия

Критерии включения. При создании набора данных № 1 использовали:

• изображения КТ органов брюшной полости и малого таза с внутривенным контрастированием и без него;
• изображения КТ органов брюшной полости с контрастированием и без него;
• изображения КТ почек и мочевыводящих путей с контрастированием и без него;
• изображения КТ надпочечников.

При создании набора данных № 2 использовали результаты КТ органов грудной клетки с внутривенным контрастированием и без него.

Критерии невключения:

• состояния после оперативных вмешательств;
• технические дефекты;
• изображения, полученные при несоблюдении методики сканирования;
• отсутствие врачебной валидации.

Программные обеспечения на основе технологий искусственного интеллекта

В настоящее время в условиях Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения Москвы для выявления и оценки новообразований надпочечников свои решения представили две компании: ООО «Интел диагностик» и ООО «АЙРА Лабс», которые в дальнейшем по тексту будут анонимизированы и деперсонализированы. Решение каждой компании представлено двумя модификациями:

• моносервис, определяющий только новообразования надпочечников;
• комплексный сервис на основе технологий искусственного интеллекта (ИИ-сервис) для оценки изображений КТ органов брюшной полости и грудной клетки.

Комплексный ИИ-сервис предназначался для определения признаков до 11 патологий при анализе результатов КТ органов грудной клетки и до 6 патологий — КТ органов брюшной полости, включая и новообразования надпочечников.

Модели на основе искусственного интеллекта анализируют нативные серии исследования, а также изображения, полученные после внутривенного контрастирования, представленные в формате DICOM и содержащие данные КТ органов грудной клетки или брюшной полости.

Результаты работы программных обеспечений на основе технологий искусственного интеллекта представлены в виде текстового отчёта [DICOM Structured Report (SR)], содержащего сведения о наличии или отсутствии новообразований надпочечников, их количестве, размерах и рентгеновской плотности (в единицах Хаунсфилда), а также в виде дополнительной серии DICOM с графическим оконтуриванием областей интереса и отображением размеров и плотности новообразований. При этом методологию определения патологии каждый разработчик выбирал самостоятельно, однако в настоящей работе мы это не рассматривали.

Заявленные метрики диагностической эффективности программных обеспечений на основе технологий искусственного интеллекта при выявлении новообразований надпочечников по данным КТ органов грудной клетки и брюшной полости представлены в табл. 1.

 

Таблица 1. Заявленные показатели диагностической точности программных обеспечений на основе технологий искусственного интеллекта для диагностики новообразований надпочечников по данным компьютерной томографии органов грудной клетки и брюшной полости
Сервисы искусственного интеллекта	Area Under the Curve	Чувствительность	Специфичность	Точность
МCИИ-1 (для анализа изображений ОБП)	0,82	0,81	0,83	0,81
МСИИ-1 (для анализа изображений ОГК)	0,84	0,84	0,84	0,81
КСИИ-1 (для анализа изображений ОГК)	0,84	0,84	0,84	0,81
МСИИ-2 (для анализа изображений ОБП)	0,93	0,84	0,91	0,88
КСИИ-2 (для анализа изображений ОГК)	0,93	0,84	0,91	0,88
КСИИ-2 (для анализа изображений ОБП)	0,93	0,89	0,92	0,9
Примечание. ОБП — органы брюшной полости; ОГК — органы грудной клетки; МСИИ — моносервис на основе искусственного интеллекта; КСИИ — комплексный сервис на основе искусственного интеллекта.

 

Примеры работы ИИ-сервисов для диагностики новообразований надпочечников продемонстрированы на рис. 1.

 

Рис. 1. Примеры работы сервисов искусственного интеллекта для выявления новообразований надпочечников по данным компьютерной томографии органов грудной клетки и брюшной полости: a, b — моносервис на основе искусственного интеллекта-1 для диагностики новообразований надпочечников: голубым контуром обведены новообразования надпочечников на изображениях компьютерной томографии органов брюшной полости; c, d — моносервис на основе искусственного интеллекта-2 для диагностики новообразований надпочечников: жёлтым контуром обведены новообразования надпочечников на изображениях компьютерной томографии органов брюшной полости; e, f — комплексный сервис на основе искусственного интеллекта-2 для диагностики новообразований надпочечников: жёлтым контуром обведено образование левого надпочечника (e) на изображении компьютерной томографии органов брюшной полости и правого надпочечника (f) на изображении компьютерной томографии органов грудной клетки.

 

Основной исход исследования

Оценка диагностической эффективности программных обеспечений на основе технологий искусственного интеллекта в отношении выявления новообразований надпочечников по данным КТ органов грудной клетки и брюшной полости.

Методы регистрации исходов

Оценку точности программных обеспечений на основе технологий искусственного интеллекта проводили путём расчёта следующих метрик³:

• AUC (Area Under the Curve);
• точности;
• чувствительности;
• специфичности.

Точность (Ac) оценивали как отношение количества правильно классифицированных случаев к общему числу наблюдений:

$Ac=\frac{TP+TN}{TP+FN+TN+FP},$ (1)

где ТР — количество истинно положительных результатов; TN — количество истинно отрицательных результатов; FN — количество ложноотрицательных результатов; FP — количество ложноположительных результатов.

Чувствительность (Se) оценивали как долю истинно положительных результатов:

$Se=\frac{TP}{TP+FN},$ (2)

где ТР — количество истинно положительных результатов; FN — количество ложноотрицательных результатов.

Специфичность (Sp) оценивали как долю истинно отрицательных результатов:

$Sp=\frac{TN}{FP+TN},$ (3)

где TN — количество истинно отрицательных результатов; FP — количество ложноположительных результатов.

Этическая экспертиза

Данное исследование основано на результатах Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения Москвы, одобренного этическим комитетом НЭК МРО РОРР (протокол № 2 от 20.02.2020), а также зарегистрированного на ClinicalTrials (NCT04489992).

Статистический анализ

Общие метрики ИИ-сервисов, представленные в результатах, рассчитаны с 95% доверительным интервалом. Сравнение и расчёт p проводили с помощью функции roc.test языка R (method="delong"). Проверяли нулевую гипотезу об отсутствии статистически значимых различий между программными обеспечениями на основе технологий искусственного интеллекта. Уровень статистической значимости p=0,05 (двусторонний).

РЕЗУЛЬТАТЫ

Характеристика выборки

Демографические характеристики выборки пациентов, чьи результаты КТ включены в наборы данных, представлены в табл. 2.

 

Таблица 2. Демографические характеристики выборки пациентов, чьи результаты компьютерной томографии включены в наборы данных
Набор данных	Возраст, лет			Пол, n
	Min	Max	Средний	Мужской	Женский
№ 1	19	90	59	29	71
№ 2	50	94	68	40	60

 

Основные результаты исследования

Для каждого программного обеспечения на основе технологий искусственного интеллекта построена характеристическая кривая. ROC-кривые сглажены, точками показаны изменения чувствительности и специфичности при дискретном изменении порога в соответствии с дискретным увеличением вероятности патологии (рис. 2, 3).

 

Рис. 2. Характеристические кривые сервисов на основе искусственного интеллекта для выявления новообразований надпочечников по данным компьютерной томографии органов грудной клетки и брюшной полости: a — комплексный сервис на основе искусственного интеллекта-1 (для анализа изображений органов грудной клетки); b — моносервис на основе искусственного интеллекта-1 (для анализа изображений органов брюшной полости); c — моносервис на основе искусственного интеллекта-1 (для анализа изображений органов грудной клетки); d — комплексный сервис на основе искусственного интеллекта-2 (для анализа изображений органов брюшной полости); e — комплексный сервис на основе искусственного интеллекта-2 (для анализа изображений органов грудной клетки); f — моносервис на основе искусственного интеллекта-2 (для анализа изображений органов брюшной полости).

 

Рис. 3. Результаты ROC-анализа всех сервисов на основе искусственного интеллекта для выявления новообразований надпочечников по данным компьютерной томографии органов грудной клетки и брюшной полости: жёлтый — комплексный сервис на основе искусственного интеллекта-1 (для анализа изображений органов грудной клетки); красный — моносервис на основе искусственного интеллекта-1 (для анализа изображений органов брюшной полости); оранжевый — моносервис на основе искусственного интеллекта-1 (для анализа изображений органов грудной клетки); голубой — комплексный сервис на основе искусственного интеллекта-2 (для анализа изображений органов брюшной полости); зелёный — комплексный сервис на основе искусственного интеллекта-2 (для анализа изображений органов грудной клетки); синий — моносервис на основе искусственного интеллекта-2 (для анализа изображений органов брюшной полости).

 

Результаты тестирования работы программных обеспечений на основе технологий искусственного интеллекта для выявления новообразований надпочечников при анализе изображений КТ органов грудной клетки и брюшной полости представлены в табл. 3.

 

Таблица 3. Метрики диагностической точности программных обеспечений на основе технологий искусственного интеллекта для диагностики новообразований надпочечников по данным компьютерной томографии органов грудной клетки и брюшной полости на тестовой выборке
Сервисы искусственного интеллекта	Area Under the Curve (95% ДИ)	Чувствительность (95% ДИ)*	Специфичность (95% ДИ)*	Точность (95% ДИ)*
МСИИ-1 (изображения ОБП)	0,978 (0,949–1,000)	0,940 (0,874–1,000)	0,980 (0,941–1,000)	0,960 (0,922–0,998)
МСИИ-1 (изображения ОГК)	0,888 (0,823–0,952)	0,837 (0,733–0,940)	0,920 (0,845–0,995)	0,879 (0,814–0,943)
КСИИ-1 (изображения ОГК)	0,858 (0,793–0,926)	0,739 (0,612–0,866)	0,938 (0,869–1,000)	0,840 (0,766–0,914)
МСИИ-2 (изображения ОБП)	0,995 (0,985–1,000)	1,000 (1,000–1,000)	0,958 (0,902–1,000)	0,979 (0,950–1,000)
КСИИ-2 (изображения ОГК)	0,964 (0,927–1,000)	0,878 (0,786–0,969)	1,000 (1,000–1,000)	0,938 (0,889–0,986)
КСИИ-2 (изображения ОБП)	0,993 (0,982–1,000)	1,000 (1,000–1,000)	0,940 (0,874–1,000)	0,969 (0,935–1,000)
Примечание. * — метрики рассчитаны для порогового значения, определённого по максимуму индекса Юдена. ОБП — органы брюшной полости; ОГК — органы грудной клетки; МСИИ — моносервис на основе искусственного интеллекта; КСИИ — комплексный сервис на основе искусственного интеллекта; ДИ — доверительный интервал.

 

Результаты сравнения значений AUC ИИ-сервисов продемонстрированы в табл. 4.

 

Таблица 4. Сравнение значений площади под характеристической кривой для сервисов искусственного интеллекта при выявлении новообразований надпочечников по данным компьютерной томографии органов грудной клетки и брюшной полости
i	j
	МСИИ-1 (изображения ОБП)	МСИИ-1 (изображения ОГК)	КСИИ-1 (изображения ОГК)	МСИИ-2 (изображения ОБП)	КСИИ-2 (изображения ОГК)	КСИИ-2 (изображения ОБП)
МСИИ-1 (изображения ОБП)	0,978	0,090	0,120	−0,017	0,014	−0,015
МСИИ-1 (изображения ОГК)	−0,090	0,888	0,030	−0,107	−0,076	−0,105
КСИИ-1 (изображения ОГК)	−0,120	−0,030	0,858	−0,137	−0,106	−0,135
МСИИ-2 (изображения ОБП)	0,017	0,107	0,137	0,995	0,031	0,002
КСИИ-2 (изображения ОГК)	−0,014	0,076	0,106	−0,031	0,964	−0,029
КСИИ-2 (изображения ОБП)	0,015	0,105	0,135	−0,002	0,029	0,993
Примечание. В ячейках представлена разность значений площади под характеристической кривой для сервисов на основе искусственного интеллекта, прописанных в строке (i) и столбце (j). На главной диагонали указано значение площади под характеристической кривой соответствующего строке и столбцу сервиса на основе искусственного интеллекта. Статистически значимые различия при p <0,05. Статистически значимые различия выделены зелёным цветом и жирным шрифтом. ОБП — органы брюшной полости; ОГК — органы грудной клетки; МСИИ — моносервис на основе искусственного интеллекта; КСИИ — комплексный сервис на основе искусственного интеллекта.

 

Как следует из представленных данных, программные обеспечения на основе технологий искусственного интеллекта обладают высокими метриками диагностической точности: AUC, чувствительность, специфичность и точность составили более 86, 74, 92 и 84% соответственно. Для ИИ-сервисов-2 получены максимальные значения для специфичности и чувствительности. С целью комплексной оценки их баланса можно использовать метрику точность. По абсолютным её значениям комплексный ИИ-сервис-2 (для анализа результатов КТ органов брюшной полости) показал наилучшие показатели.

ОБСУЖДЕНИЕ

При внедрении в клиническую практику новых методик или технологий необходимо оценивать их влияния на текущие диагностические процессы. Это в полной мере относится и к решениям на основе искусственного интеллекта в лучевой диагностике, где важна корректная идентификация оптимальной области их применения [23].

В результате проверки ИИ-сервисов для выявления новообразований надпочечников на тестовых наборах данных получены высокие значения метрик диагностической точности, при этом для отдельных параметров зафиксированы максимальные показатели.

Относительно низкая специфичность ИИ-сервисов при выявлении новообразований надпочечников обусловлена ложноположительными результатами, когда за патологию ошибочно приняты анатомические структуры (сосуды, ножки диафрагмы, лимфатические узлы) или контурированы неизменённые надпочечники. Снижение чувствительности связано с ложноотрицательными случаями — пропуском отдельных новообразований надпочечников или неполной их разметкой. Это могло быть связано, в частности, с использованием для анализа данных КТ, реконструированных по «костным» фильтрам, на которых мягкотканые структуры визуализируются недостаточно чётко.

Примеры некорректного работы ИИ-сервисов при выявлении новообразований надпочечников представлены на рис. 4.

 

Рис. 4. Примеры некорректного срабатывания сервисов на основе искусственного интеллекта при выявлении новообразований надпочечников: a — пропущенное новообразование надпочечника (жёлтая стрелка); b — пропуск сервисом на основе искусственного интеллекта новообразования левого надпочечника (ложноотрицательный результат); c — результаты компьютерной томографии органов брюшной полости; d — оконтуривание хвоста поджелудочной железы в качестве новообразования надпочечника (ложноположительный результат); e — невыявленные новообразования надпочечников (красные стрелки); f — пропуск комплексным сервисом на основе искусственного интеллекта новообразований надпочечников по данным компьютерной томографии органов грудной клетки в лёгочном режиме (ложноотрицательный результат).

 

Согласно данным литературы, зарубежные авторы также используют системы на основе технологий искусственного интеллекта для выявления новообразования надпочечников. Так, C. Robinson-Weiss и соавт. [24] разработали модель машинного обучения для сегментации надпочечников на изображениях КТ с внутривенным контрастным усилением и их последующей классификации как нормальных либо содержащих новообразование. Для оценки модели на основе искусственного интеллекта использовали два набора данных (ретроспективные данные): набор данных-1 включал 274 исследования КТ (средний возраст 61 год; 133 женщины); набор данных-2 — 991 исследование КТ (средний возраст 62 года; 578 женщин). При тестировании на наборе данных-1 чувствительность и специфичность составили 83 и 89% соответственно; на наборе данных-2 — 69 и 91% соответственно.

В нашего исследовании задачей программных обеспечений на основе искусственного интеллекта было выявление новообразования надпочечников по данным нативной фазы КТ. С практической точки зрения функциональность достаточна для снижения риска пропуска патологических образований и привлечения внимания врача-рентгенолога. Тем не менее для решения задачи классификации новообразований необходимо внутривенное контрастирование. Так, P. Alimu и соавт. [25] использовали ИИ-сервисы на основе методов глубокого обучения для количественной оценки и сегментации функциональных опухолей надпочечников на изображениях КТ с контрастным усилением. При этом модель достигла значения AUC 0,915.

Подобный подход реализован в исследовании H. Chai и соавт. [26], где авторы предложили автоматизированный метод анализа изображений КТ с контрастным усилением, включающий алгоритмы сегментации, выделения радиомических признаков и последующей классификации опухолей надпочечников. Разработанный инструмент интегрирован в программный интерфейса MATLAB® (Graphical User Interface, GUI) (MathWorks, Inc., США) и протестирован на 236 исследованиях КТ, показав точность классификации опухолей до 90%.

В нашем исследовании все решения на основе технологий искусственного интеллекта для обнаружения новообразований надпочечников продемонстрировали высокие показатели диагностической точности, обеспечивая чувствительность и специфичность в диапазоне 74–100 и 92–100% соответственно.

Ограничения исследования

Оценку морфометрических данных (размеров и плотности новообразований надпочечников) в настоящем исследовании не проводили. Разброс данных и их влияние на результаты работы ИИ-сервисов являются предметом дальнейших исследований.

ЗАКЛЮЧЕНИЕ

По результатам исследования программные решения на основе технологий искусственного интеллекта можно использовать в клинической практике как эффективный инструмент для выявления новообразований надпочечников, демонстрируя чувствительность, специфичность и точность 74–100, 92–100 и 84–98% соответственно. При этом сохраняется вероятность ложноположительных и ложноотрицательных результатов, что может быть связано с особенностями синтопии (например, у пациентов после оперативных вмешательств на органах брюшной полости или при низком индексе массы тела). Повышение качества программных обеспечений на основе искусственного интеллекта возможно за счёт их дообучения на более разнообразных, репрезентативных и качественных данных, что позволит снизить вероятность ошибочной идентификации анатомических структур как патологических изменений и минимизировать случаи пропуска.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Вклад авторов. Д.У. Шихмурадов — сбор и анализ литературных данных, анализ и интерпретация результатов исследования, написание и редактирование текста рукописи, подготовка графических материалов; Т.М. Бобровская, Е.Ф. Савкина, Р.А. Ерижоков, Л.Д. Пестренин — сбор и анализ литературных данных, анализ и интерпретация результатов исследования; К.М. Арзамасов — концепция и дизайн исследования, критическая оценка работы. Все авторы одобрили рукопись (версию для публикации), а также согласились нести ответственность за все аспекты работы, гарантируя надлежащее рассмотрение и решение вопросов, связанных с точностью и добросовестностью любой её части.

Этическая экспертиза. Данное исследование основано на результатах Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения Москвы, одобренного этическим комитетом НЭК МРО РОРР (протокол № 2 от 20.02.2020), также зарегистрированного на ClinicalTrials (NCT04489992).

Источники финансирования. Данная статья подготовлена авторским коллективом в рамках научно-исследовательской работы «Научные методологии устойчивого развития технологий искусственного интеллекта в медицинской диагностике», (ЕГИСУ: № 123031500004-5) в соответствии с Приказом № 1196 от 21 декабря 2022 г. «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счёт средств бюджета города Москвы государственным бюджетным (автономным) учреждениям подведомственным Департаменту здравоохранения города Москвы, на 2023 год и плановый период 2024 и 2025 годов» Департамента здравоохранения города Москвы.

Раскрытие интересов. Авторы заявляют об отсутствии отношений, деятельности и интересов за последние три года, связанных с третьими лицами (коммерческими и некоммерческими), интересы которых могут быть затронуты содержанием статьи.

Оригинальность. При создании настоящей работы авторы не использовали ранее опубликованные сведения (текст, иллюстрации, данные).

Доступ к данным. Редакционная политика в отношении совместного использования данных к настоящей работе не применима.

Генеративный искусственный интеллект. При создании настоящей статьи технологии генеративного искусственного интеллекта не использовали.

Рассмотрение и рецензирование. Настоящая работа подана в журнал в инициативном порядке и рассмотрена по обычной процедуре. В рецензировании участвовали три внешних рецензента и член редакционной коллегии журнала.

ADDITIONAL INFORMATION

Author contributions: D.U. Shikhmuradov: data curation, formal analysis, investigation, writing—original draft, writing—review & editing, visualization; T.M. Bobrovskaya, E.F. Savkina, R.A. Erizhokov, L.D. Pestrenin: data curation, formal analysis, investigation; K.M. Arzamasov: conceptualization, methodology, supervision, writing—review & editing. All the authors approved the final version of the manuscript for publication and agreed to be accountable for all aspects of the work, ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved.

Ethics approval: This study is based on the results of the Experiment on the use of innovative computer vision technologies for analysis of medical images in the Moscow healthcare system, which was approved by the Ethics Committee of the Independent Ethics Council of the Moscow Regional Branch of the Russian Society of Radiologists (Minutes No. 2 dated February 20, 2020), registered at ClinicalTrials (NCT04489992).

Funding sources: This article was prepared by the author team as part of the research project “Scientific Methodologies for the Sustainable Development of Artificial Intelligence Technologies in Medical Diagnostics” (EGISU No. 123031500004-5), in accordance with Order No. 1196 dated December 21, 2022, On the Approval of State Assignments Funded from the Budget of the City of Moscow for State Budgetary (Autonomous) Institutions Subordinate to the Moscow City Health Department for 2023 and the Planned Period of 2024–2025, issued by the Moscow City Health Department.

Disclosure of interests: The authors have no relationships, activities, or interests for the last three years related to for-profit or not-for-profit third parties whose interests may be affected by the content of the article.

Statement of originality: No previously published material (text, images, or data) was used in this study or article.

Data availability statement: The editorial policy regarding data sharing does not apply to this work.

Generative AI: No generative artificial intelligence technologies were used to prepare this article.

Provenance and peer-review: This article was submitted unsolicited and reviewed following the standard procedure. The peer review process involved two external reviewers and a member of the Editorial Board, and the in-house science editor.

 

¹ Базовые диагностические требования к результатам работы ИИ-сервисов [интернет]. В: Научно-практический клинический центр диагностики и телемедицинских технологи, 2024–2024. Режим доступа: https://mosmed.ai/ai/docs/ Дата обращения: 13.04.2024.

² Свидетельство о государственной регистрации базы данных № 2023621091/ 04.04.2023. Бюл. № 4. Васильев Ю.А., Туравилова Е.В., Шулькин И.М., и др. MosMedData: КТ с признаками образований надпочечников. Режим доступа: https://elibrary.ru/download/elibrary_52121913_33574960.PDF Дата обращения: 13.04.2024.

³ Свидетельство о государственной регистрации программы для ЭВМ № 2022617324/ 19.04.2022. Бюл. № 4. Морозов С.П., Андрейченко А.Е., Четвериков С.Ф., и др. Веб-инструмент для выполнения ROC анализа результатов диагностических тестов. Режим доступа: https://elibrary.ru/download/elibrary_48373757_42748544.PDF Дата обращения: 13.04.2024.

About the authors

David U. Shikhmuradov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Author for correspondence.
Email: ShikhmuradovDU@zdrav.mos.ru
ORCID iD: 0000-0003-1597-5786
SPIN-code: 9641-0913

MD

Russian Federation, Moscow

Kirill M. Arzamasov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-code: 3160-8062

MD, Dr. Sci. (Medicine)

Russian Federation, Moscow

Tatiana M. Bobrovskaya

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: BobrovskayaTM@zdrav.mos.ru
ORCID iD: 0000-0002-2746-7554
SPIN-code: 3400-8575
Russian Federation, Moscow

Ekaterina F. Savkina

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: SavkinaEF@zdrav.mos.ru
ORCID iD: 0000-0001-9165-0719
SPIN-code: 4986-5592
Russian Federation, Moscow

Rustam A. Erizhokov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: ErizhokovRA@zdrav.mos.ru
ORCID iD: 0009-0007-3636-2889
SPIN-code: 2274-6428

MD

Russian Federation, Moscow

Lev D. Pestrenin

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: PestreninLD@zdrav.mos.ru
ORCID iD: 0000-0002-1786-4329
SPIN-code: 7193-7706
Russian Federation, Moscow

References

Supplementary files