Experience with artificial intelligence algorithms for the diagnosis of vertebral compression fractures based on computed tomography: from testing to practical evaluation

Cover Image


Cite item

Full Text

Abstract

BACKGROUND: Osteoporosis is often diagnosed at the stage with complications, i.e., low-energy fractures. Vertebral compression fractures, which are complications of osteoporosis and predictors of subsequent fractures, are often asymptomatic. Compression fractures can be found by computed tomography performed for other indications with vertebral morphometry. Approaches to using artificial intelligence algorithms designed for diagnosing vertebral compression fractures were analyzed.

AIM: Testing artificial intelligence algorithms to conduct morphometric analysis of vertebrae on chest computed tomography scans and assess the possibility of their implementation in medical organizations of the Moscow Healthcare Department.

MATERIALS AND METHODS: To set a clinical task for artificial intelligence algorithms, basic diagnostic requirements in the area of “vertebral compression fractures (osteoporosis)” were formulated. The testing of the artificial intelligence algorithms included the following stages: self-testing, functional and calibration testing, practical evaluation, and operation testing. The first three stages of testing were performed using previously generated datasets. At practical evaluation and operation testing, artificial intelligence algorithms analyzed the data from computed tomography performed in medical organizations. The expert group of radiologists assessed the diagnostic accuracy and functional capacity of the AI algorithms at all stages. The resulting quantitative metrics of the accuracy of artificial intelligence algorithms were compared with the required target values.

RESULTS: From June 2021 to June 2022, two artificial intelligence algorithms (Nos. 1 and 2) with different methods of detecting compression fractures were tested. Both artificial intelligence algorithms successfully passed the self-testing (6 tests), functional (5 tests), and calibration (100 tests) stages. The area under the ROC curve for artificial intelligence algorithm No. 1 was 0.99 (95% CI, 0.98–1), and for artificial intelligence algorithm No. 2, it was 0.91 (95% CI, 0.85–0.96). Artificial intelligence algorithm No. 1 passed the practical evaluation stage without any significant remarks, whereas algorithm No. 2 was sent for fine-tuning. After the operation testing stage, the following accuracy metrics were obtained: the areas under the ROC curve for artificial intelligence algorithm Nos. 1 and 2 were 0.93 (95% CI, 0.89–0.96) and 0.92 (95% CI, 0.90–0.94), respectively. At all stages, both artificial intelligence algorithms demonstrated sufficient metrics for clinical validation.

CONCLUSION: Artificial intelligence algorithms for the automatic diagnosis of vertebral compression fractures have been tested, demonstrating the high quality of their operation. artificial intelligence algorithms can be applied as a supplementary tool in the medical decision support system.

Full Text

ОБОСНОВАНИЕ

Остеопороз (ОП) — метаболическое заболевание скелета, характеризующееся снижением костной массы, нарушением микроархитектоники костной ткани и, как следствие, переломами при минимальной травме [1]. Характерным осложнением данного заболевания являются низкоэнергетические переломы, приводящие к длительной утрате дееспособности, а также к инвалидизации и даже летальному исходу [2].

Согласно актуальным клиническим рекомендациям, имеются следующие критерии постановки диагноза «остеопороз»:

  • наличие патологических переломов крупных костей;
  • высокая 10-летняя вероятность перелома (установленная по FRAX, инструменту оценки риска перелома);
  • сниженная минеральная плотность кости (МПК).

Компьютерная томография (КТ) позволяет выполнить объективную количественную оценку, характерную для компрессионного перелома (КП) тела позвонка [3–5], и оценить снижение МПК [6–8]. Выполнение КТ в целях прямой диагностики ОП по показаниям связано с излишней лучевой нагрузкой на пациента в сравнении с золотым стандартом — двухэнергетической рентгеновской абсорбциометрией [1, 9]. Однако реализация оппортунистического скрининга по данным КТ представляется перспективным направлением [9].

Следует отметить, что в отношении диагностики ОП по данным КТ существует проблема гиподиагностики данного заболевания [10]. Это может быть объяснено недостаточным вниманием рентгенологов к нецелевой патологии при анализе исследований. Было показано, что КП в случае выполнения КТ по иным показаниям врачи описывают лишь в 12–17% случаев [11, 12]. Решением данной проблемы может быть применение современных методов анализа медицинских изображений на основе технологии искусственного интеллекта (ИИ-сервисов), в частности, проведение морфометрического анализа тел позвонков [13, 14]. На базе Государственного бюджетного учреждения здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» с 2019 года проводится эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы (далее — Эксперимент), который создаёт оптимальные условия для оценки эффективности таких сервисов [15].

Ранее коллективом авторов был разработан подход к измерению МПК с использованием калибровочного фантома и алгоритмов искусственного интеллекта (ИИ) [6]. Однако для обеспечения всестороннего анализа критериев постановки ОП по данным КТ необходимо решение задачи выявления КП тел позвонков.

ЦЕЛЬ

Тестирование ИИ-сервисов для проведения морфометрического анализа тел позвонков по данным КТ органов грудной клетки и оценка возможности внедрения таких сервисов в практику медицинских организаций Департамента здравоохранения города Москвы.

МАТЕРИАЛЫ И МЕТОДЫ

Схема тестирования сервиса искусственного интеллекта

В рамках Эксперимента используется этапная схема ввода в эксплуатацию и оценки ИИ-сервисов для лучевой диагностики, включающая самотестирование (self-test), функциональное и калибровочное тестирование, апробацию и опытную эксплуатацию (рис. 1) [15].

 

Рис. 1. Последовательность прохождения сервиса искусственного интеллекта до этапа опытной эксплуатации. ЕРИС ЕМИАС — Единый радиологический информационный сервис «Единая медицинская информационно-аналитическая система»; ИИ-сервис — сервис искусственного интеллекта; КТ ОГК — компьютерная томография органов грудной клетки.

 

В разработке базовых функциональных и диагностических требований, а также проведении клинического аудита сервисов ИИ участвовали 4 врача-эксперта со стажем более 10 лет и 2 валидатора со стажем работы более 15 лет.

Первым шагом стала разработка базовых функциональных и диагностических требований. Функциональные требования определяли формат получаемого описания, которое сохраняется в файле DICOM SR, и перечень обязательных полей: название сервиса, описание, заключение и краткое руководство пользователя. Помимо этого, предъявлялось требование к созданию дополнительной серии изображений, визуализирующей результаты работы сервиса. В диагностических требованиях установлена клиническая задача по данному направлению: определение наличия и локализации КП тел позвонков с деформацией более 25%, а также их дифференцировка по степени согласно классификации Genant [14, 16]. Для улучшения диагностики ОП была сформирована дополнительная задача — выявление снижения МПК для тел позвонков (для уровня ThXI–LIII) и оценка соответствии с критериями The International Society For Clinical Densitometry (ISCD 2023) и American College of Radiology (ACR 2023) [17, 18].

Были подготовлены эталонные наборы данных для каждого из этапов тестирования. Для самотестирования разработчикам сервисов были предложены 6 исследований с бинарной классификацией (пять с признаками патологии, одно — без). Для функционального тестирования — 5 исследований (два с признаками патологии, два — без, и одно с техническим дефектом). Для калибровочного тестирования — 100 исследований (50 с признаками патологии, 50 — без) [19]. Все наборы данных доступны на сайте Эксперимента [15].

Цель самотестирования — подтверждение соответствия разработанного ИИ-сервиса требованиям Эксперимента в целом и конкретного диагностического направления в частности. Self-test выполняется компанией-разработчиком самостоятельно. Успешное прохождение теста — обязательное условие подачи заявки на участие в Эксперименте [15].

Результаты функционального тестирования оценивались экспертной группой для подтверждения формального соответствия базовых функциональных и диагностических требований, а также оценки корректности решения поставленной клинической задачи.

Калибровочное тестирование предполагает обработку существенной выборки КТ-исследований ИИ-сервисом c определённым балансом классов (100 пациентов старше 50 лет; по 50 пациентов с патологией и без неё; за патологию считалось наличие компрессионной деформации более 25%). Это позволило рассчитать количественные метрики точности (чувствительность, специфичность, точность, площадь под ROC-кривой). Все метрики оценивались в диапазоне от 0 до 1:

  • ≤0,6 — непригодно;
  • 0,61–0,8 — требуется доработка;
  • ≥0,81 — может быть допущено к клинической валидации.

Помимо этого, оценивалось время, затрачиваемое сервисом ИИ на получение исследования, его обработку и передачу результатов анализа обратно в Единый радиологический информационный сервис «Единая медицинская информационно-аналитическая система» (<6,5 минуты).

Следом за калибровочным тестированием ИИ-сервис переходил на трёхмесячный этап апробации. Она предполагает интеграцию в информационную систему Департамента здравоохранения города Москвы и обработку результатов выполняемых диагностических исследований в ограниченном наборе медицинских организаций. При этом, помимо тех же метрик точности, с интервалом 3–4 недели выполняется мониторинг: экспертная группа анализировала 20 случайных исследований и оценивала качество работы сервиса. Первый этап анализа заключался в бинарной оценке («эксперт согласен с заключением сервиса» и «эксперт согласен с локализацией, которую отметил сервис»), затем перечень критериев расширялся («трактовка полностью верная», «трактовка не полностью верная», «ошибочная трактовка», «отмечены все и только целевые находки», «локализованы не все целевые находки», «лишняя находка в целевом органе», «некорректное оконтуривание»).

После успешного прохождения апробации проводился заключительный этап: опытная эксплуатация. При этом алгоритмы работали в условиях, идентичных реальной практике, в тестовом контуре информационной системы, и число обрабатываемых исследований кратно возрастало по сравнению с калибровочным тестированием. Объём мониторинга здесь также увеличен с 20 до 80 единиц.

Работа экспертной группы на всех этапах предполагала детальный анализ результатов работы ИИ-сервиса. Отмечали верность трактовки (полностью соответствует, некорректная оценка, ложноположительный результат, ложноотрицательный результат), локализации (полностью соответствует, некорректная оценка, ложноположительный результат, ложноотрицательный результат), а также наличие или отсутствие патологии, по мнению эксперта. Все ошибки и неточности срабатывания алгоритма документировались. Отдельно описывались дефекты, связанные с нестандартными исследованиями (область сканирования, проекция, реконструкция) и некорректной интерпретацией. После каждого аудита выполнялся расчёт количественных метрик, и разработчик получал детальную информацию о результатах с рекомендациями по улучшению работы сервиса.

Сервисы искусственного интеллекта

В период с июня 2021 по июнь 2022 года в Эксперименте проходили тестирование два алгоритма ИИ от разных компаний-разработчиков:

  • ИИ-сервис № 1 — Genant-IRA (ООО «АЙРА Лабс»);
  • ИИ-сервис № 2 — HealthVCF (ООО «МИП “Биномикс-Рэй”») [15].

ИИ-сервис № 1, основанный на свёрточных нейронных сетях (convolutional neural networks), осуществляет морфометрическую оценку тел позвонков [20]. Результаты работы сервиса имеют вид реконструированного сагиттального среза толщиной 1 см в виде криволинейной проекции вдоль позвоночного столба. ИИ-сервис № 1 автоматически определяет вентральную, срединную и дорсальную высоту тел позвонков с последующим расчётом степени компрессионной деформации и дифференцировки по классификации Genant:

  • Genant 1 — деформация до 25% (разметка отмечена зелёным);
  • Genant 2 — деформация 25–40% (отмечено жёлтым);
  • Genant 3 — деформация от 40% (отмечено красным) (рис. 2) [14].

 

Рис. 2. Пример работы сервиса Genant-IRA: дополнительная криволинейная реконструированная серия компьютерного томографического исследования с разметкой целевой патологии — компрессионного перелома тела позвонка ThXII.

 

ИИ-сервис № 2 осуществляет полуколичественную оценку. Данный сервис также основан на свёрточных нейронных сетях с последующим использованием рекуррентной нейронной сети для прогнозирования наличия деформации тела позвонка (рис. 3) [21]. Результат работы ИИ-сервиса № 2 представляется в виде трёх строго сагиттальных срезов (что позволяет визуализировать целевую патологию у пациентов со сколиозом), на которых отмечено тело позвонка с максимальной деформацией (см. рис. 3). При отсутствии деформации в дополнительной серии отображается надпись: «Целевая патология не обнаружена».

 

Рис. 3. Примеры работы сервиса HealthVCF: дополнительная серия компьютерного томографического исследования с разметкой целевой патологии — компрессионного перелома.

 

РЕЗУЛЬТАТЫ

Оба ИИ-сервиса, участвовавших в Эксперименте по направлению «Компрессионный перелом тел позвонков (остеопороз)» в период выполнения исследования прошли все этапы тестирования [15]. Общий ход проведения тестирования представлен на рис. 1.

На этапе функционального тестирования у ИИ-сервиса № 2 были выявлены следующие недостатки: наличие двух DICOM SR в одном исследовании, причём название дополнительной серии не соответствовало названию сервиса ИИ. ИИ-сервис № 1 прошёл с некритичными замечаниями. Калибровочное тестирование показало соответствие сервисов технологическим требованиям в части точности, чувствительности, специфичности, площади под ROC-кривой и времени работы. Значения метрик представлены в табл. 1.

 

Таблица 1. Результаты метрик точности сервисов искусственного интеллекта на этапе калибровочного тестирования и на этапе опытной эксплуатации

Метрики/сервисы

Чувствительность

Специфичность

Точность

ROC AUC

Время обработки исследования, с

Калибровочное тестирование (n=100)

ИИ-сервис № 1

1,00 (95% ДИ 0,93–1,00)

0,98 (95% ДИ 0,89–1,00)

0,99 (95% ДИ 0,94–1,00)

0,99 (95% ДИ 0,98–1,00)

50±29

ИИ-сервис № 2

0,86 (95% ДИ 0,72–0,95)

0,87 (95% ДИ 0,85–0,99)

0,91 (95% ДИ 0,83–0,96)

0,91 (95% ДИ 0,85–0,96)

79±54

Этап опытной эксплуатации (n=360 для ИИ-сервиса № 1 и n=520 для ИИ-сервиса № 2)

ИИ-сервис № 1

1,00 (95%ДИ 0,97–1,00)

0,87 (95% ДИ 0,8–0,92)

0,95 (95% ДИ 0,92–0,97)

0,93 (95% ДИ 0,89–0,96)

48±23

ИИ-сервис № 2

0,90 (95% ДИ 0,86–0,94)

0,78 (95% ДИ 0,72–0,82)

0,83 (95% ДИ 0,80–0,87)

0,92 (95% ДИ 0,90–0,94)

66±43

Примечание. ROC AUC — receiver operating characteristic (рабочая характеристика приёмника) area under curve (площадь под кривой). ДИ — доверительный интервал; ИИ — искусственный интеллект.

 

Время обработки одного исследования в обоих случаях было кратно меньше допустимого значения в 6,5 минуты и не возрастало на протяжении всех этапов Эксперимента [15].

На следующем этапе проводилась апробация каждого сервиса, которая длилась 3 месяца. За это время в ходе мониторинга экспертами было сформировано по 4 отчёта по каждому сервису. С помощью ИИ-сервиса № 1 было проанализировано 17 848 КТ-исследований пациентов группы риска по ОП (старше 50 лет). Из них 80 случайно отобранных исследований были проверены экспертами в ходе мониторинга. По результатам мониторингов диагностическая ценность и качество работы сервисов были отражены в бинарной оценке для 80 исследований: в 97% случаев эксперт был согласен с заключением сервиса, и в 100% случаев эксперт был согласен с локализацией, которую отметил сервис.

ИИ-сервис № 2 проанализировал 4823 КТ-исследования. В ходе мониторинга показано значительное снижение показателей точности по сравнению с проведением калибровочного тестирования. Из 40 случайно отобранных исследований лишь в 40% случаев эксперты были согласны с заключением сервиса, и в 75% случаев — с локализацией. После доработки алгоритма для следующих 40 отобранных исследований были определены следующие показатели: в 65% случаев эксперты были согласны с заключением сервиса, в 80% случаев — согласны с локализацией, которую отметил сервис. Это позволило сервису № 2 продолжить участие в Эксперименте [15].

В заключительном этапе опытной эксплуатации, который длился 7 месяцев (с 01.10.2021 по 29.04.2022) с помощью ИИ-сервиса № 1 было проанализировано 59 482 КТ-исследования органов грудной клетки из Единого радиологического информационного сервиса. Каждый месяц эксперты проводили мониторинг работы сервиса, всего было оценено 360 исследований. С помощью ИИ-сервиса № 2 на этапе опытной эксплуатации за 8 месяцев (с 01.11.2021 по 30.06.2022) было проанализировано 26 746 КТ-исследований органов грудной клетки. Из них 520 исследований прошли оценку экспертов. Результаты расчёта метрик точности ИИ-сервисов на этапе опытной эксплуатации (в сравнении с метриками точности, полученными при калибровочном тестировании) представлены в табл. 1 и на рис. 4. При этом в ходе тестовой эксплуатации количество пациентов с компрессионной деформацией более 25% (Genant 2 и 3) составило, по данным сервиса № 1, 10 885 (18,3%), а по данным сервиса № 2 — 6 312 (23,6%).

 

Рис. 4. Результаты расчёта метрик точности с 95% доверительным интервалом: a — сервис Genant-IRA; b — сервис HealthVCF.

 

На рис. 5 представлены ROC-кривые для сервисов на окончательном этапе тестирования, которые были построены на основе вероятности наличия данной патологии.

 

Рис. 5. ROC-кривая определения компрессионных переломов: a — сервис Genant-IRA (360 исследований); b — сервис HealthVCF (520 исследований).

 

Примеры ошибок обработки КТ-изображений ИИ-сервисами № 1 и № 2 представлены на рис. 6 и рис. 7 соответственно.

 

Рис. 6. Примеры ошибок работы сервиса Genant-IRA: a — ложноположительный результат: сервис отметил обызвествлённый межпозвонковый диск ThXI–ThXII как тело позвонка ThXII с компрессионной деформацией >40% (Genant 3); b — ложноположительный результат: сервис отметил выраженный остеофит LI как тело позвонка ThXII с компрессионной деформацией >40% (Genant 3), при этом тело позвонка ThXII не размечено; c — ложноположительный результат: у пациента с выраженным сколиозом произошло критическое нарушение работы алгоритма (так называемый слом алгоритма), нарушение построения криволинейной реконструкции, как следствие — некорректная разметка позвонков и оценка степени их компрессионной деформации; d — ложноположительный результат: ошибочно проведена разметка и выявлена компрессионная деформация >40% (Genant 3) «тел» позвонков ThVII и ThVIII вследствие выраженных ring artefacts из-за неисправности детектора компьютерного томографического сканера. Данные о дефекте сканера переданы в техническую службу Департамента здравоохранения города Москвы.

 

Рис. 7. Примеры ошибок работы сервиса HealthVCF: a — ложноположительный результат и некорректная оценка локализации: отсутствие компрессионной деформации >25%; b — ложноотрицательный результат (вероятнее всего — из-за выраженного кифоза у пациента): сервис не отметил компрессионную деформацию тел позвонков более 25% (ThIV, ThV, ThVI, ThVII, LII), отметки сделаны экспертом (красные рамочки); c — ложноположительный результат: отсутствует компрессионная деформация >25% тела позвонка ThIX с грыжей Шморля; d — ложноположительный результат: сервисом ошибочно выявлена компрессионная деформация >25% тела позвонка ThVIII вследствие выраженных «ring artefacts» из-за неисправности детектора компьютерного томографического сканера. Данные о дефекте сканера переданы в техническую службу Департамента здравоохранения города Москвы.

 

ОБСУЖДЕНИЕ

В работе представлены этапы тестирования двух ИИ-сервисов по направлению «Компрессионный перелом тел позвонков (остеопороз)» в рамках Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы [15]. Данный подход является реализацией общей методологии, разработанной экспертами Научно-практического клинического центра диагностики и телемедицинских технологий, по анализу эффективности сервисов ИИ и их внедрению в практику лучевой диагностики города Москвы [13].

КП тел позвонков — один из наиболее частых типов переломов при ОП [22]. Между тем диагноз «остеопороз» не тождественен наличию КП. Это является ограничением предлагаемой методологии в нашей работе. Предполагается установление диагноза «остеопороз» по другим критериям: переломам крупных костей скелета (отличных от тел позвонков), выявлению риска перелома с помощью FRAX, определению сниженной МПК [1].

Достижения в области машинного обучения позволили использовать сервисы ИИ для анализа медицинских изображений. Разработаны сервисы, которые позволяют определять КП тел позвонков на рентгенографических и КТ-изображениях [23–27]. В частности, разрабатываются ИИ-сервисы, которые оценивают рентгеновскую плотность тел позвонков на КТ-изображениях. Измерение рентгеновской плотности позволяет определить снижение МПК, что также является одним из признаков ОП [28, 29]. В позициях ISCD 2023 отмечено, что снижение рентгеновской плотности тел позвонков LI и LII менее 100 HU соответствует ОП [17].

В процессе прохождения всех этапов ИИ-сервис № 1, реализующий морфометрический подход, показал высокие метрики точности, как на этапе калибровочного тестирования, так и на этапе апробации и опытной эксплуатации, превосходя по некоторым показателям зарубежные аналоги [26, 30]. Несмотря на это, экспертами отмечены ошибки работы алгоритма, некоторые из которых представлены на рис. 6.

ИИ-сервис № 2, основанный на бинарной классификации (наличие/отсутствие КП у пациента), продемонстрировал более низкие результаты на этапе калибровочного тестирования и опытной эксплуатации по сравнению с ИИ-сервисом № 1. Некоторые ошибки работы ИИ-сервиса № 2 представлены на рис. 7. Следует отметить, что предоставляемая ИИ-сервисом № 2 величина «вероятность патологии» не привязана непосредственно к величине компрессионной деформации (КД), а возможно отражает качественные характеристики позвонков с КП. Однако в описании ИИ-сервиса № 2, а также по результатам выполненной работы не получено данных об этих свойствах.

Оба сервиса показали снижение значений всех метрик точности при переходе от калибровочного тестирования к апробации и опытной эксплуатации. Это объясняется спецификой подготовки эталонного набора данных для первичной оценки качества работы алгоритма: в него включены исследования, не содержащие вынужденную укладку пациента при проведении КТ-исследования, пациенты с искривлением позвоночника (сколиоз II степени и более), пациенты с постоперационными изменениями позвоночника (к примеру, состояние после вертебропластики или остеосинтеза позвоночника), КТ-исследования со значительными артефактами от аппарата (к примеру, кольцевыми артефактами).

В ходе мониторинга показано, что алгоритм, реализующий морфометрическую оценку, предпочтительнее алгоритма, основанного на бинарной классификации. Преимуществами морфометрического алгоритма (ИИ-сервис № 1) является счёт позвонков и маркирование деформированных позвонков цветом. Наглядная демонстрация высоты позвонка и отображения относительной деформации упрощает анализ результатов исследования врачом-рентгенологом.

Ранее было определено, что клинически важной является выявленная компрессионная деформация >25% (Genant 2–3) [3, 31]. Однако в ходе мониторингов экспертами было выявлено, что не каждая компрессионная деформация более 25% (Genant 2–3) является компрессионным переломом. Тем не менее при увеличении порога деформации до 40% и больше (Genant 3) увеличивается вероятность пропуска целевой патологии, а именно КП с меньшим процентом деформации. При данных условиях ИИ-сервис № 1 на эксплуатационном этапе продемонстрировал высокую специфичность (0,97) и низкую чувствительность (0,52) в диагностике целевой патологии, что свидетельствует о пропуске патологии в половине случаев. Необходимо продолжить исследование по определению оптимального порога дифференцировки компрессионной деформации и КП.

Кроме того, установлено, что ИИ-сервисы обнаруживают компрессионную деформацию, не связанную с ОП вследствие кифотической деформации в грудном отделе позвоночника. ИИ-сервисы также определяют давние посттравматические деформации тел позвонков. Подобная гипердиагностика связана с требованиями к результатам работы ИИ-сервисов, которые прописаны в базовых диагностических требованиях. Такой подход обеспечивает высокую чувствительность сервисов, выявляющих компрессионные деформации при работе в клинических условиях (ИИ-сервис № 1 — 1,0; ИИ-сервис № 2 — 0,9; см. табл. 1). Относительно низкая специфичность (ИИ-сервис № 1 — 0,87; ИИ-сервис № 2 — 0,78; см. табл. 1) допустима, с учётом того, что предполагается пересмотр исследований врачом-рентгенологом. Для дифференцировки различных патологических состояний тел позвонков возможны различные подходы: дообучение ИИ-сервисов для выявления специфических признаков КП, применение радиомического анализа [30, 32]. Однако апробация такого подхода в условиях Эксперимента требует отдельной проработки и рассматривается в перспективе [15].

Удобный и доступный интерфейс текстового описания и дополнительной серии, создаваемых ИИ-сервисами, помогут снизить временные затраты для формирования протоколов описания врачами-рентгенологами, а также повысят выявляемость КП при рутинных КТ-исследованиях [33, 34]. В перспективе рассматривается использование данных сервисов в оппортунистическом скрининге ОП в целях предотвращения осложнений, снижения затрат на лечение и уменьшения количества летальных исходов, связанных с данным заболеванием [35].

ЗАКЛЮЧЕНИЕ

Эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы — проект, который позволяет пересмотреть подходы к ранней диагностике и скринингу различных заболеваний. На примере сервисов по направлению «Компрессионный перелом тел позвонков (остеопороз)» продемонстрировано высокое качество диагностики и решения клинической задачи морфометрического анализа тел позвонков. Следует отметить, что сервисы ИИ не заменяют врача-рентгенолога, но благодаря удобному представлению количественных данных (измерение высоты тел позвонков и определение МПК) обеспечивают мощный современный инструмент в системе поддержки принятия врачебных решений.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Данная статья подготовлена в рамках научно-исследовательской и опытно-конструкторской работы «Разработка и создание аппаратно-программного комплекса для оппортунистического скрининга остеопороза» (№ в Единой государственной информационной системе учёта: 123031400007-7).

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: З.Р. Артюкова, Н.Д. Кудрявцев — написание текста статьи, выполнение экспериментальной части исследований; Д.Е. Шарова, А.В. Владзимирский, Ю.А. Васильев — концепция и дизайн исследования; А.В. Петряйкин, Ф.А. Петряйкин, Д.С. Семёнов — анализ полученных данных; Ж.Е. Белая — утверждение финальной версии рукописи, редактирование текста статьи.

ADDITIONAL INFORMATION

Funding source. This article was prepared by the authors as part of the research and development work (Unified State Information System of Records: N 123031400007-7).

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. Z.R. Artyukova, N.D. Kudryavtsev — writing the text of the article, performing the experimental part of the research; D.E. Sharova, A.V. Vladzymyrskyy, Yu.A. Vasilev — study concept and design; A.V. Petraikin, F.A. Petryaykin, D.S. Semenov — data analysis; Zh.E. Belaya — approval the final version of the manuscript, editing the article.

×

About the authors

Zlata R. Artyukova

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Author for correspondence.
Email: zl.artyukova@gmail.com
ORCID iD: 0000-0003-2960-9787
SPIN-code: 7550-2441
Russian Federation, Moscow

Alexey V. Petraikin

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: alexeypetraikin@gmail.com
ORCID iD: 0000-0003-1694-4682
SPIN-code: 6193-1656

MD, Dr. Sci. (Medicine), Assistant Professor

Russian Federation, Moscow

Nikita D. Kudryavtsev

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: KudryavtsevND@zdrav.mos.ru
ORCID iD: 0000-0003-4203-0630
SPIN-code: 1125-8637
Russian Federation, Moscow

Fedor A. Petryaykin

Lomonosov Moscow State University

Email: feda.petraykin@gmail.com
ORCID iD: 0000-0001-6923-3839
SPIN-code: 7803-1005
Russian Federation, Moscow

Dmitry S. Semenov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: semenovds4@zdrav.mos.ru
ORCID iD: 0000-0002-4293-2514
SPIN-code: 2278-7290

Cand. Sci. (Engineering)

Russian Federation, Moscow

Daria E. Sharova

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: SharovaDE@zdrav.mos.ru
ORCID iD: 0000-0001-5792-3912
SPIN-code: 1811-7595
Russian Federation, Moscow

Zhanna E. Belaya

Endocrinology Research Centre

Email: jannabelaya@gmail.com
ORCID iD: 0000-0002-6674-6441
SPIN-code: 4746-7173

MD, Dr. Sci. (Medicine)

Russian Federation, Moscow

Anton V. Vladzimirskyy

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; The First Sechenov Moscow State Medical University

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-code: 3602-7120

MD, Dr. Sci. (Medicine)

Russian Federation, Moscow; Moscow

Yuriy A. Vasilev

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-0208-5218
SPIN-code: 4458-5608

MD, Cand. Sci. (Medicine)

Russian Federation, Moscow

References

  1. Belaya ZhE, Belova KYu, Biryukova EV, et al. Federal clinical guidelines for diagnosis, treatment and prevention of osteoporosis. Osteoporosis and Bone Diseases. 2021;24(2):4–47. doi: 10.14341/osteo12930
  2. Petraikin A, Artyukova Z, Nisovtsova LA, et al. Analysis of the effectiveness of implementing screening of osteoporosis. Manager Zdravoochranenia. 2021;2:31–39. doi: 10.21045/1811-0185-2021-2-31-39
  3. Alacreu E, Moratal D, Arana E. Opportunistic screening for osteoporosis by routine CT in Southern Europe. Osteoporosis International. 2017;28(3):983–990. doi: 10.1007/s00198-016-3804-3
  4. Ziemlewicz TJ, Binkley N, Pickhardt PJ. Opportunistic Osteoporosis Screening: Addition of Quantitative CT Bone Mineral Density Evaluation to CT Colonography. Journal of the American College of Radiology. 2015;12(10):1036–1041. doi: 10.1016/j.jacr.2015.04.018
  5. Rebello D, Anjelly D, Grand DJ, et al. Opportunistic screening for bone disease using abdominal CT scans obtained for other reasons in newly diagnosed IBD patients. Osteoporosis international. 2018;29(6):1359–1366. doi: 10.1007/s00198-018-4444-6
  6. Artyukova ZR, Kudryavtsev ND, Petraikin AV, et al. Using an artificial intelligence algorithm to assess the bone mineral density of the vertebral bodies based on computed tomography data. Medical Visualization. 2023;27(2):125–137. doi: 10.24835/1607-0763-1257
  7. Jang S, Graffy PM, Ziemlewicz TJ, et al. Opportunistic osteoporosis screening at routine abdominal and Thoracic CT: Normative L1 trabecular attenuation values in more than 20 000 adults. Radiology. 2019;291(2):360–367. doi: 10.1148/radiol.2019181648
  8. Smets J, Shevroja E, Hügle T, et al. Machine Learning Solutions for Osteoporosis-A Review. J Bone Miner Res. 2021;36(5):833–851. doi: 10.1002/jbmr.4292
  9. Petraikin AV, Skripnikova IA. Quantitative Computed Tomography, modern data. Review. Medical Visualization. 2021;25(4):134–146. doi: 10.24835/1607-0763-1049
  10. Lenchik L, Rogers LF, Delmas PD, et al. Diagnosis of Osteoporotic Vertebral Fractures: Importance of Recognition and Description by Radiologists. American Journal of Roentgenology. 2004;183(4):949–958. doi: 10.2214/ajr.183.4.1830949
  11. Pinto A, Berritto D, Russo A, et al. Traumatic fractures in adults: Missed diagnosis on plain radiographs in the Emergency Department. Acta Biomedica. 2018;89:111–123. doi: 10.23750/abm.v89i1-S.7015
  12. Carberry GA, Pooler BD, Binkley N, et al. Unreported vertebral body compression fractures at abdominal multidetector CT. Radiology. 2013;268(1):120–126. doi: 10.1148/radiol.13121632
  13. Vladzimirskii AV, Vasil’ev YuA, Arzamasov KM, et al. Computer Vision in Radiologic Diagnostics: The First Stage of the Moscow Experiment: Monograph. 2nd edition, revised and supplemented. Moscow: Izdatel’skie resheniya; 2023. (In Russ.) EDN: FOYLXK
  14. Genant HK, Wu CY, Cornelis van K, et al. Vertebral fracture assessment using a semiquantitative technique. Journal of Bone and Mineral Research. 1993;8(9):1137–1148. doi: 10.1002/jbmr.5650080915
  15. Mosmed.ai [Internet]. State Budgetary Institution of Healthcare of the City of Moscow “Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Department of Healthcare of the City of Moscow” [cited 2024 Mar 14]. (In Russ.)Available from: https://mosmed.ai/
  16. Clinical guidelines. Osteoporosis. [Internet]. Ministry of Health of the Russian Federation. [cited 2023 Oct 24]. Available from: https://cr.minzdrav.gov.ru/schema/87_4
  17. The Adult Official Positions of the ISCD [Internet]. The International Society For Clinical Densitometry [cited 2023 Oct 24]. Available from: https://iscd.org/official-positions-2023/
  18. ACR–SPR–SSR practice parameter for the performance of quantitative computed tomography (QCT) bone mineral density [Internet]. American College of Radiology [cited 2023 Oct 24]. Available from: https://www.acr.org/-/media/ACR/Files/Practice-Parameters/qct.pdf
  19. Certificate of the Russian Federation on state registration of the database № 2023621171/ 11.04.2023. Vasil’ev YuA, Turavilova EV, Vladzimirskii AV, et al. MosMedData: CT scan with signs of osteoporosis of the spine. Available from: https://www.elibrary.ru/download/elibrary_52123357_73775308.PDF [cited 2023 Oct 23]. (In Russ.) EDN: SHLWTC
  20. Pisov M, Kondratenko V, Zakharov A, et al. Keypoints Localization for Joint Vertebra Detection and Fracture Severity Quantification. In: Martel AL, et al. Medical Image Computing and Computer Assisted Intervention – MICCAI 2020. MICCAI 2020. Lecture Notes in Computer Science. Vol. 12266. Springer; 2020. P:723–732. doi: 10.1007/978-3-030-59725-2_70
  21. Bar A, Wolf BL, Orna A, et al. Compression fractures detection on CT. Medical Imaging 2017: Computer-Aided Diagnosis. 2017;10134:1013440. doi: 10.48550/arXiv.1706.01671
  22. Lesnyak O, Baranova I, Belova K, et al. Osteoporosis in Russian Federation: epidemiology, socio-medical and economical aspects (review). Traumatology and Orthopedics of Russia. 2018;24(1):155–168. doi: 10.21823/2311-2905-2018-24-1-155-168
  23. Seo JW, Lim SH, Jeong JG, et al. A deep learning algorithm for automated measurement of vertebral body compression from X-ray images. Sci Rep. 2021;11(1):13732. doi: 10.1038/s41598-021-93017-x
  24. Murata K, Endo K, Aihara T, et al. Artificial intelligence for the detection of vertebral fractures on plain spinal radiography. Sci Rep. 2020;10(1):20031. doi: 10.1038/s41598-020-76866-w
  25. Dong Q, Luo G, Lane NE, et al. Deep Learning Classification of Spinal Osteoporotic Compression Fractures on Radiographs using an Adaptation of the Genant Semiquantitative Criteria. Acad Radiol. 2022;29(12):1819–1832. doi: 10.1016/j.acra.2022.02.020
  26. Tomita N, Cheung YY, Hassanpour S. Deep neural networks for automatic detection of osteoporotic vertebral fractures on CT scans. Computers in Biology and Medicine. 2018;98:8–15. doi: 1016/j.compbiomed.2018.05.011
  27. Valentinitsch A, Trebeschi S, Kaesmacher J, et al. Opportunistic osteoporosis screening in multi-detector CT images via local classification of textures. Osteoporosis International. 2019;30(6):1275–1285. doi: 10.1007/s00198-019-04910-1
  28. Yasaka K, Akai H, Kunimatsu A, et al. Prediction of bone mineral density from computed tomography: application of deep learning with a convolutional neural network. Eur Radiol. 2020;30(6):3549–3557. doi: 10.1007/s00330-020-06677-0
  29. Nam KH, Seo I, Kim DH, et al. Machine Learning Model to Predict Osteoporotic Spine with Hounsfield Units on Lumbar Computed Tomography. J Korean Neurosurg Soc. 2019;62(4):442–449. doi: 10.3340/jkns.2018.0178
  30. Zhang J, Liu F, Xu J, et al. Qingqing. Automated detection and classification of acute vertebral body fractures using a convolutional neural network on computed tomography. Frontiers in Endocrinology. 2023;14(1132725):1–10. doi: 10.3389/fendo.2023.1132725
  31. Pickhardt PJ, Dustin PB, Travisи L, et al. Opportunistic Screening for Osteoporosis Using Abdominal Computed Tomography Scans Obtained for Other Indications. Annals of internal medicine. 2013;158(8):588. doi: 10.7326/0003-4819-158-8-201304160-00003
  32. Del Lama RS, Candido RM, Chiari-Correia NS, et al. Computer-Aided Diagnosis of Vertebral Compression Fractures Using Convolutional Neural Networks and Radiomics. J Digit Imaging. 2022;35(3):446–458. doi: 10.1007/s10278-022-00586-y
  33. Morozov SP, Gavrilov AV, Arkhipov IV, et al. Effect of artificial intelligence technologies on the CT scan interpreting time in COVID-19 patients in inpatient setting. Russian Journal of Preventive Medicine. 2022;25(1):14–20. doi: 10.17116/profmed20222501114
  34. Vladzymyrskyy AV, Kudryavtsev ND, Kozhikhina DD, et al. Effectiveness of using artificial intelligence technologies for dual descriptions of the results of preventive lung examinations. Russian Journal of Preventive Medicine. 2022;25(7):7–15. doi: 10.17116/profmed2022250717
  35. Shelepa AA, Petraikin AV, Artyukova ZR, et al. Artificial intelligence for bone mineral density assessment: general population data. Digital Diagnostics. 2022;3(S1):23–24. doi: 10.17816/DD10571

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Fig. 1. Sequence of passing the artificial intelligence service to the stage of trial operation. ERIS EMIAS — Unified radiological information service "Unified medical information and analytical system"; AI-service — artificial intelligence service; CT OGK — computed tomography of the chest organs.

Download (151KB)
Indexing metadata
3. Fig. 2. An example of the Genant-IRA service: an additional curvilinear reconstructed series of a computed tomography study with marking of the target pathology - a compression fracture of the ThXII vertebral body.

Download (138KB)
Indexing metadata
4. Fig. 3. Examples of the HealthVCF service: an additional series of computed tomography studies with marking of the target pathology - compression fracture.

Download (307KB)
Indexing metadata
5. Fig. 4. Results of calculating accuracy metrics with 95% confidence interval: a — Genant-IRA service; b — HealthVCF service.

Download (252KB)
Indexing metadata
6. Fig. 5. ROC curve for determining compression fractures: a — Genant-IRA service (360 studies); b — HealthVCF service (520 studies).

Download (233KB)
Indexing metadata
7. Fig. 6. Examples of errors in the Genant-IRA service: a — false positive result: the service marked the calcified intervertebral disc ThXI–ThXII as the vertebral body ThXII with compression deformation >40% (Genant 3); b — false positive result: the service marked the pronounced osteophyte LI as the vertebral body ThXII with compression deformation >40% (Genant 3), while the vertebral body ThXII is not marked; c — false positive result: a patient with severe scoliosis experienced a critical failure of the algorithm (the so-called algorithm breakdown), a failure in constructing the curvilinear reconstruction, and, as a result, incorrect marking of the vertebrae and assessment of the degree of their compression deformation; d — false positive result: erroneous marking and compression deformation of >40% (Genant 3) of the "bodies" of the ThVII and ThVIII vertebrae was detected due to pronounced ring artefacts due to a malfunction of the computer tomography scanner detector. Data on the scanner defect were forwarded to the technical service of the Moscow City Health Department.

Download (265KB)
Indexing metadata
8. Fig. 7. Examples of errors in the HealthVCF service: a — false positive result and incorrect localization assessment: no compression deformation >25%; b — false negative result (most likely due to severe kyphosis in the patient): the service did not note compression deformation of the vertebral bodies >25% (ThIV, ThV, ThVI, ThVII, LII), notes were made by an expert (red frames); c — false positive result: no compression deformation >25% of the ThIX vertebral body with Schmorl's node; d — false positive result: the service erroneously identified compression deformation >25% of the ThVIII vertebral body due to severe "ring artefacts" caused by a malfunction of the CT scanner detector. Data on the scanner defect were forwarded to the technical service of the Moscow City Health Department.

Download (237KB)
Indexing metadata

Copyright (c) 2024 Eco-Vector

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.