Опыт применения сервисов искусственного интеллекта для диагностики компрессионных переломов тел позвонков по данным компьютерной томографии: от тестирования до апробации

Обложка


Цитировать

Полный текст

Аннотация

Обоснование. Остеопороз зачастую диагностируется на этапе возникновения осложнений — низкоэнерегетических переломов. Компрессионные переломы тел позвонков — осложнение остеопороза и одновременно предиктор последующих переломов различной локализации — нередко протекают бессимптомно. Компрессионные переломы возможно выявить при исследованиях методом компьютерной томографии, выполненных по другим показаниям, путём проведения морфометрии тел позвонков. Нами проанализированы подходы использования сервисов искусственного интеллекта, предназначенных для диагностики компрессионных переломов тел позвонков.

Цель — тестирование сервисов искусственного интеллекта для проведения морфометрического анализа тел позвонков по данным компьютерной томографии органов грудной клетки, а также оценка возможности их внедрения в практику медицинских организаций Департамента здравоохранения города Москвы.

Материалы и методы. Для постановки клинической задачи сервисам искусственного интеллекта были сформированы базовые диагностические требования по направлению «Компрессионный перелом тел позвонков (остеопороз)». Сервисы проходили следующие этапы: самотестирование, функциональное и калибровочное тестирование, апробацию и опытную эксплуатацию. Для первых трёх этапов тестирование проводилось на ранее подготовленных наборах данных. На этапе апробации и опытной эксплуатации с помощью сервисов искусственного интеллекта анализировали данные исследований методом компьютерной томографии, выполненных в медицинских организациях. На всех этапах работала экспертная группа врачей, оценивая диагностическую точность и функциональную полноценность сервисов. Сравнивались полученные количественные метрики точности работы сервисов искусственного интеллекта с целевыми значениями.

Результаты. В период с июня 2021 по июнь 2022 года проходили тестирование два сервиса искусственного интеллекта (№ 1 и № 2), которые используют отличные друг от друга методы определения наличия компрессионных переломов. Оба сервиса успешно прошли этап самотестирования (6 исследований), а также функциональное (5 исследований) и калибровочное (100 исследований) тестирование. Площадь под ROC-кривой составила 0,99 (здесь и далее в скобках указаны значения 95% доверительного интервала; 0,98–1) для сервиса № 1, и 0,91 (0,85–0,96) для сервиса № 2. Этап апробации сервис № 1 прошёл без существенных замечаний, в то время как сервис № 2 был отправлен на доработку. После этапа опытной эксплуатации были получены следующие метрики точности: для сервиса № 1 площадь под ROC-кривой составила 0,93 (0,89–0,96), для сервиса № 2 — 0,92 (0,90–0,94). На всех этапах выбранные сервисы искусственного интеллекта показали метрики достаточные для клинической валидации.

Заключение. Проведено тестирование сервисов искусственного интеллекта, выполняющих автоматизированную диагностику компрессионных переломов тел позвонков. Продемонстрировано высокое качество их работы. Сервисы на основе искусственного интеллекта могут быть использованы в качестве вспомогательного инструмента в системе поддержки принятия врачебных решений.

Полный текст

ОБОСНОВАНИЕ

Остеопороз (ОП) — метаболическое заболевание скелета, характеризующееся снижением костной массы, нарушением микроархитектоники костной ткани и, как следствие, переломами при минимальной травме [1]. Характерным осложнением данного заболевания являются низкоэнергетические переломы, приводящие к длительной утрате дееспособности, а также к инвалидизации и даже летальному исходу [2].

Согласно актуальным клиническим рекомендациям, имеются следующие критерии постановки диагноза «остеопороз»:

  • наличие патологических переломов крупных костей;
  • высокая 10-летняя вероятность перелома (установленная по FRAX, инструменту оценки риска перелома);
  • сниженная минеральная плотность кости (МПК).

Компьютерная томография (КТ) позволяет выполнить объективную количественную оценку, характерную для компрессионного перелома (КП) тела позвонка [3–5], и оценить снижение МПК [6–8]. Выполнение КТ в целях прямой диагностики ОП по показаниям связано с излишней лучевой нагрузкой на пациента в сравнении с золотым стандартом — двухэнергетической рентгеновской абсорбциометрией [1, 9]. Однако реализация оппортунистического скрининга по данным КТ представляется перспективным направлением [9].

Следует отметить, что в отношении диагностики ОП по данным КТ существует проблема гиподиагностики данного заболевания [10]. Это может быть объяснено недостаточным вниманием рентгенологов к нецелевой патологии при анализе исследований. Было показано, что КП в случае выполнения КТ по иным показаниям врачи описывают лишь в 12–17% случаев [11, 12]. Решением данной проблемы может быть применение современных методов анализа медицинских изображений на основе технологии искусственного интеллекта (ИИ-сервисов), в частности, проведение морфометрического анализа тел позвонков [13, 14]. На базе Государственного бюджетного учреждения здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» с 2019 года проводится эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы (далее — Эксперимент), который создаёт оптимальные условия для оценки эффективности таких сервисов [15].

Ранее коллективом авторов был разработан подход к измерению МПК с использованием калибровочного фантома и алгоритмов искусственного интеллекта (ИИ) [6]. Однако для обеспечения всестороннего анализа критериев постановки ОП по данным КТ необходимо решение задачи выявления КП тел позвонков.

ЦЕЛЬ

Тестирование ИИ-сервисов для проведения морфометрического анализа тел позвонков по данным КТ органов грудной клетки и оценка возможности внедрения таких сервисов в практику медицинских организаций Департамента здравоохранения города Москвы.

МАТЕРИАЛЫ И МЕТОДЫ

Схема тестирования сервиса искусственного интеллекта

В рамках Эксперимента используется этапная схема ввода в эксплуатацию и оценки ИИ-сервисов для лучевой диагностики, включающая самотестирование (self-test), функциональное и калибровочное тестирование, апробацию и опытную эксплуатацию (рис. 1) [15].

 

Рис. 1. Последовательность прохождения сервиса искусственного интеллекта до этапа опытной эксплуатации. ЕРИС ЕМИАС — Единый радиологический информационный сервис «Единая медицинская информационно-аналитическая система»; ИИ-сервис — сервис искусственного интеллекта; КТ ОГК — компьютерная томография органов грудной клетки.

 

В разработке базовых функциональных и диагностических требований, а также проведении клинического аудита сервисов ИИ участвовали 4 врача-эксперта со стажем более 10 лет и 2 валидатора со стажем работы более 15 лет.

Первым шагом стала разработка базовых функциональных и диагностических требований. Функциональные требования определяли формат получаемого описания, которое сохраняется в файле DICOM SR, и перечень обязательных полей: название сервиса, описание, заключение и краткое руководство пользователя. Помимо этого, предъявлялось требование к созданию дополнительной серии изображений, визуализирующей результаты работы сервиса. В диагностических требованиях установлена клиническая задача по данному направлению: определение наличия и локализации КП тел позвонков с деформацией более 25%, а также их дифференцировка по степени согласно классификации Genant [14, 16]. Для улучшения диагностики ОП была сформирована дополнительная задача — выявление снижения МПК для тел позвонков (для уровня ThXI–LIII) и оценка соответствии с критериями The International Society For Clinical Densitometry (ISCD 2023) и American College of Radiology (ACR 2023) [17, 18].

Были подготовлены эталонные наборы данных для каждого из этапов тестирования. Для самотестирования разработчикам сервисов были предложены 6 исследований с бинарной классификацией (пять с признаками патологии, одно — без). Для функционального тестирования — 5 исследований (два с признаками патологии, два — без, и одно с техническим дефектом). Для калибровочного тестирования — 100 исследований (50 с признаками патологии, 50 — без) [19]. Все наборы данных доступны на сайте Эксперимента [15].

Цель самотестирования — подтверждение соответствия разработанного ИИ-сервиса требованиям Эксперимента в целом и конкретного диагностического направления в частности. Self-test выполняется компанией-разработчиком самостоятельно. Успешное прохождение теста — обязательное условие подачи заявки на участие в Эксперименте [15].

Результаты функционального тестирования оценивались экспертной группой для подтверждения формального соответствия базовых функциональных и диагностических требований, а также оценки корректности решения поставленной клинической задачи.

Калибровочное тестирование предполагает обработку существенной выборки КТ-исследований ИИ-сервисом c определённым балансом классов (100 пациентов старше 50 лет; по 50 пациентов с патологией и без неё; за патологию считалось наличие компрессионной деформации более 25%). Это позволило рассчитать количественные метрики точности (чувствительность, специфичность, точность, площадь под ROC-кривой). Все метрики оценивались в диапазоне от 0 до 1:

  • ≤0,6 — непригодно;
  • 0,61–0,8 — требуется доработка;
  • ≥0,81 — может быть допущено к клинической валидации.

Помимо этого, оценивалось время, затрачиваемое сервисом ИИ на получение исследования, его обработку и передачу результатов анализа обратно в Единый радиологический информационный сервис «Единая медицинская информационно-аналитическая система» (<6,5 минуты).

Следом за калибровочным тестированием ИИ-сервис переходил на трёхмесячный этап апробации. Она предполагает интеграцию в информационную систему Департамента здравоохранения города Москвы и обработку результатов выполняемых диагностических исследований в ограниченном наборе медицинских организаций. При этом, помимо тех же метрик точности, с интервалом 3–4 недели выполняется мониторинг: экспертная группа анализировала 20 случайных исследований и оценивала качество работы сервиса. Первый этап анализа заключался в бинарной оценке («эксперт согласен с заключением сервиса» и «эксперт согласен с локализацией, которую отметил сервис»), затем перечень критериев расширялся («трактовка полностью верная», «трактовка не полностью верная», «ошибочная трактовка», «отмечены все и только целевые находки», «локализованы не все целевые находки», «лишняя находка в целевом органе», «некорректное оконтуривание»).

После успешного прохождения апробации проводился заключительный этап: опытная эксплуатация. При этом алгоритмы работали в условиях, идентичных реальной практике, в тестовом контуре информационной системы, и число обрабатываемых исследований кратно возрастало по сравнению с калибровочным тестированием. Объём мониторинга здесь также увеличен с 20 до 80 единиц.

Работа экспертной группы на всех этапах предполагала детальный анализ результатов работы ИИ-сервиса. Отмечали верность трактовки (полностью соответствует, некорректная оценка, ложноположительный результат, ложноотрицательный результат), локализации (полностью соответствует, некорректная оценка, ложноположительный результат, ложноотрицательный результат), а также наличие или отсутствие патологии, по мнению эксперта. Все ошибки и неточности срабатывания алгоритма документировались. Отдельно описывались дефекты, связанные с нестандартными исследованиями (область сканирования, проекция, реконструкция) и некорректной интерпретацией. После каждого аудита выполнялся расчёт количественных метрик, и разработчик получал детальную информацию о результатах с рекомендациями по улучшению работы сервиса.

Сервисы искусственного интеллекта

В период с июня 2021 по июнь 2022 года в Эксперименте проходили тестирование два алгоритма ИИ от разных компаний-разработчиков:

  • ИИ-сервис № 1 — Genant-IRA (ООО «АЙРА Лабс»);
  • ИИ-сервис № 2 — HealthVCF (ООО «МИП “Биномикс-Рэй”») [15].

ИИ-сервис № 1, основанный на свёрточных нейронных сетях (convolutional neural networks), осуществляет морфометрическую оценку тел позвонков [20]. Результаты работы сервиса имеют вид реконструированного сагиттального среза толщиной 1 см в виде криволинейной проекции вдоль позвоночного столба. ИИ-сервис № 1 автоматически определяет вентральную, срединную и дорсальную высоту тел позвонков с последующим расчётом степени компрессионной деформации и дифференцировки по классификации Genant:

  • Genant 1 — деформация до 25% (разметка отмечена зелёным);
  • Genant 2 — деформация 25–40% (отмечено жёлтым);
  • Genant 3 — деформация от 40% (отмечено красным) (рис. 2) [14].

 

Рис. 2. Пример работы сервиса Genant-IRA: дополнительная криволинейная реконструированная серия компьютерного томографического исследования с разметкой целевой патологии — компрессионного перелома тела позвонка ThXII.

 

ИИ-сервис № 2 осуществляет полуколичественную оценку. Данный сервис также основан на свёрточных нейронных сетях с последующим использованием рекуррентной нейронной сети для прогнозирования наличия деформации тела позвонка (рис. 3) [21]. Результат работы ИИ-сервиса № 2 представляется в виде трёх строго сагиттальных срезов (что позволяет визуализировать целевую патологию у пациентов со сколиозом), на которых отмечено тело позвонка с максимальной деформацией (см. рис. 3). При отсутствии деформации в дополнительной серии отображается надпись: «Целевая патология не обнаружена».

 

Рис. 3. Примеры работы сервиса HealthVCF: дополнительная серия компьютерного томографического исследования с разметкой целевой патологии — компрессионного перелома.

 

РЕЗУЛЬТАТЫ

Оба ИИ-сервиса, участвовавших в Эксперименте по направлению «Компрессионный перелом тел позвонков (остеопороз)» в период выполнения исследования прошли все этапы тестирования [15]. Общий ход проведения тестирования представлен на рис. 1.

На этапе функционального тестирования у ИИ-сервиса № 2 были выявлены следующие недостатки: наличие двух DICOM SR в одном исследовании, причём название дополнительной серии не соответствовало названию сервиса ИИ. ИИ-сервис № 1 прошёл с некритичными замечаниями. Калибровочное тестирование показало соответствие сервисов технологическим требованиям в части точности, чувствительности, специфичности, площади под ROC-кривой и времени работы. Значения метрик представлены в табл. 1.

 

Таблица 1. Результаты метрик точности сервисов искусственного интеллекта на этапе калибровочного тестирования и на этапе опытной эксплуатации

Метрики/сервисы

Чувствительность

Специфичность

Точность

ROC AUC

Время обработки исследования, с

Калибровочное тестирование (n=100)

ИИ-сервис № 1

1,00 (95% ДИ 0,93–1,00)

0,98 (95% ДИ 0,89–1,00)

0,99 (95% ДИ 0,94–1,00)

0,99 (95% ДИ 0,98–1,00)

50±29

ИИ-сервис № 2

0,86 (95% ДИ 0,72–0,95)

0,87 (95% ДИ 0,85–0,99)

0,91 (95% ДИ 0,83–0,96)

0,91 (95% ДИ 0,85–0,96)

79±54

Этап опытной эксплуатации (n=360 для ИИ-сервиса № 1 и n=520 для ИИ-сервиса № 2)

ИИ-сервис № 1

1,00 (95%ДИ 0,97–1,00)

0,87 (95% ДИ 0,8–0,92)

0,95 (95% ДИ 0,92–0,97)

0,93 (95% ДИ 0,89–0,96)

48±23

ИИ-сервис № 2

0,90 (95% ДИ 0,86–0,94)

0,78 (95% ДИ 0,72–0,82)

0,83 (95% ДИ 0,80–0,87)

0,92 (95% ДИ 0,90–0,94)

66±43

Примечание. ROC AUC — receiver operating characteristic (рабочая характеристика приёмника) area under curve (площадь под кривой). ДИ — доверительный интервал; ИИ — искусственный интеллект.

 

Время обработки одного исследования в обоих случаях было кратно меньше допустимого значения в 6,5 минуты и не возрастало на протяжении всех этапов Эксперимента [15].

На следующем этапе проводилась апробация каждого сервиса, которая длилась 3 месяца. За это время в ходе мониторинга экспертами было сформировано по 4 отчёта по каждому сервису. С помощью ИИ-сервиса № 1 было проанализировано 17 848 КТ-исследований пациентов группы риска по ОП (старше 50 лет). Из них 80 случайно отобранных исследований были проверены экспертами в ходе мониторинга. По результатам мониторингов диагностическая ценность и качество работы сервисов были отражены в бинарной оценке для 80 исследований: в 97% случаев эксперт был согласен с заключением сервиса, и в 100% случаев эксперт был согласен с локализацией, которую отметил сервис.

ИИ-сервис № 2 проанализировал 4823 КТ-исследования. В ходе мониторинга показано значительное снижение показателей точности по сравнению с проведением калибровочного тестирования. Из 40 случайно отобранных исследований лишь в 40% случаев эксперты были согласны с заключением сервиса, и в 75% случаев — с локализацией. После доработки алгоритма для следующих 40 отобранных исследований были определены следующие показатели: в 65% случаев эксперты были согласны с заключением сервиса, в 80% случаев — согласны с локализацией, которую отметил сервис. Это позволило сервису № 2 продолжить участие в Эксперименте [15].

В заключительном этапе опытной эксплуатации, который длился 7 месяцев (с 01.10.2021 по 29.04.2022) с помощью ИИ-сервиса № 1 было проанализировано 59 482 КТ-исследования органов грудной клетки из Единого радиологического информационного сервиса. Каждый месяц эксперты проводили мониторинг работы сервиса, всего было оценено 360 исследований. С помощью ИИ-сервиса № 2 на этапе опытной эксплуатации за 8 месяцев (с 01.11.2021 по 30.06.2022) было проанализировано 26 746 КТ-исследований органов грудной клетки. Из них 520 исследований прошли оценку экспертов. Результаты расчёта метрик точности ИИ-сервисов на этапе опытной эксплуатации (в сравнении с метриками точности, полученными при калибровочном тестировании) представлены в табл. 1 и на рис. 4. При этом в ходе тестовой эксплуатации количество пациентов с компрессионной деформацией более 25% (Genant 2 и 3) составило, по данным сервиса № 1, 10 885 (18,3%), а по данным сервиса № 2 — 6 312 (23,6%).

 

Рис. 4. Результаты расчёта метрик точности с 95% доверительным интервалом: a — сервис Genant-IRA; b — сервис HealthVCF.

 

На рис. 5 представлены ROC-кривые для сервисов на окончательном этапе тестирования, которые были построены на основе вероятности наличия данной патологии.

 

Рис. 5. ROC-кривая определения компрессионных переломов: a — сервис Genant-IRA (360 исследований); b — сервис HealthVCF (520 исследований).

 

Примеры ошибок обработки КТ-изображений ИИ-сервисами № 1 и № 2 представлены на рис. 6 и рис. 7 соответственно.

 

Рис. 6. Примеры ошибок работы сервиса Genant-IRA: a ложноположительный результат: сервис отметил обызвествлённый межпозвонковый диск ThXI–ThXII как тело позвонка ThXII с компрессионной деформацией >40% (Genant 3); b ложноположительный результат: сервис отметил выраженный остеофит LI как тело позвонка ThXII с компрессионной деформацией >40% (Genant 3), при этом тело позвонка ThXII не размечено; c — ложноположительный результат: у пациента с выраженным сколиозом произошло критическое нарушение работы алгоритма (так называемый слом алгоритма), нарушение построения криволинейной реконструкции, как следствие — некорректная разметка позвонков и оценка степени их компрессионной деформации; d — ложноположительный результат: ошибочно проведена разметка и выявлена компрессионная деформация >40% (Genant 3) «тел» позвонков ThVII и ThVIII вследствие выраженных ring artefacts из-за неисправности детектора компьютерного томографического сканера. Данные о дефекте сканера переданы в техническую службу Департамента здравоохранения города Москвы.

 

Рис. 7. Примеры ошибок работы сервиса HealthVCF: a — ложноположительный результат и некорректная оценка локализации: отсутствие компрессионной деформации >25%; b — ложноотрицательный результат (вероятнее всего — из-за выраженного кифоза у пациента): сервис не отметил компрессионную деформацию тел позвонков более 25% (ThIV, ThV, ThVI, ThVII, LII), отметки сделаны экспертом (красные рамочки); c ложноположительный результат: отсутствует компрессионная деформация >25% тела позвонка ThIX с грыжей Шморля; d — ложноположительный результат: сервисом ошибочно выявлена компрессионная деформация >25% тела позвонка ThVIII вследствие выраженных «ring artefacts» из-за неисправности детектора компьютерного томографического сканера. Данные о дефекте сканера переданы в техническую службу Департамента здравоохранения города Москвы.

 

ОБСУЖДЕНИЕ

В работе представлены этапы тестирования двух ИИ-сервисов по направлению «Компрессионный перелом тел позвонков (остеопороз)» в рамках Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы [15]. Данный подход является реализацией общей методологии, разработанной экспертами Научно-практического клинического центра диагностики и телемедицинских технологий, по анализу эффективности сервисов ИИ и их внедрению в практику лучевой диагностики города Москвы [13].

КП тел позвонков — один из наиболее частых типов переломов при ОП [22]. Между тем диагноз «остеопороз» не тождественен наличию КП. Это является ограничением предлагаемой методологии в нашей работе. Предполагается установление диагноза «остеопороз» по другим критериям: переломам крупных костей скелета (отличных от тел позвонков), выявлению риска перелома с помощью FRAX, определению сниженной МПК [1].

Достижения в области машинного обучения позволили использовать сервисы ИИ для анализа медицинских изображений. Разработаны сервисы, которые позволяют определять КП тел позвонков на рентгенографических и КТ-изображениях [23–27]. В частности, разрабатываются ИИ-сервисы, которые оценивают рентгеновскую плотность тел позвонков на КТ-изображениях. Измерение рентгеновской плотности позволяет определить снижение МПК, что также является одним из признаков ОП [28, 29]. В позициях ISCD 2023 отмечено, что снижение рентгеновской плотности тел позвонков LI и LII менее 100 HU соответствует ОП [17].

В процессе прохождения всех этапов ИИ-сервис № 1, реализующий морфометрический подход, показал высокие метрики точности, как на этапе калибровочного тестирования, так и на этапе апробации и опытной эксплуатации, превосходя по некоторым показателям зарубежные аналоги [26, 30]. Несмотря на это, экспертами отмечены ошибки работы алгоритма, некоторые из которых представлены на рис. 6.

ИИ-сервис № 2, основанный на бинарной классификации (наличие/отсутствие КП у пациента), продемонстрировал более низкие результаты на этапе калибровочного тестирования и опытной эксплуатации по сравнению с ИИ-сервисом № 1. Некоторые ошибки работы ИИ-сервиса № 2 представлены на рис. 7. Следует отметить, что предоставляемая ИИ-сервисом № 2 величина «вероятность патологии» не привязана непосредственно к величине компрессионной деформации (КД), а возможно отражает качественные характеристики позвонков с КП. Однако в описании ИИ-сервиса № 2, а также по результатам выполненной работы не получено данных об этих свойствах.

Оба сервиса показали снижение значений всех метрик точности при переходе от калибровочного тестирования к апробации и опытной эксплуатации. Это объясняется спецификой подготовки эталонного набора данных для первичной оценки качества работы алгоритма: в него включены исследования, не содержащие вынужденную укладку пациента при проведении КТ-исследования, пациенты с искривлением позвоночника (сколиоз II степени и более), пациенты с постоперационными изменениями позвоночника (к примеру, состояние после вертебропластики или остеосинтеза позвоночника), КТ-исследования со значительными артефактами от аппарата (к примеру, кольцевыми артефактами).

В ходе мониторинга показано, что алгоритм, реализующий морфометрическую оценку, предпочтительнее алгоритма, основанного на бинарной классификации. Преимуществами морфометрического алгоритма (ИИ-сервис № 1) является счёт позвонков и маркирование деформированных позвонков цветом. Наглядная демонстрация высоты позвонка и отображения относительной деформации упрощает анализ результатов исследования врачом-рентгенологом.

Ранее было определено, что клинически важной является выявленная компрессионная деформация >25% (Genant 2–3) [3, 31]. Однако в ходе мониторингов экспертами было выявлено, что не каждая компрессионная деформация более 25% (Genant 2–3) является компрессионным переломом. Тем не менее при увеличении порога деформации до 40% и больше (Genant 3) увеличивается вероятность пропуска целевой патологии, а именно КП с меньшим процентом деформации. При данных условиях ИИ-сервис № 1 на эксплуатационном этапе продемонстрировал высокую специфичность (0,97) и низкую чувствительность (0,52) в диагностике целевой патологии, что свидетельствует о пропуске патологии в половине случаев. Необходимо продолжить исследование по определению оптимального порога дифференцировки компрессионной деформации и КП.

Кроме того, установлено, что ИИ-сервисы обнаруживают компрессионную деформацию, не связанную с ОП вследствие кифотической деформации в грудном отделе позвоночника. ИИ-сервисы также определяют давние посттравматические деформации тел позвонков. Подобная гипердиагностика связана с требованиями к результатам работы ИИ-сервисов, которые прописаны в базовых диагностических требованиях. Такой подход обеспечивает высокую чувствительность сервисов, выявляющих компрессионные деформации при работе в клинических условиях (ИИ-сервис № 1 — 1,0; ИИ-сервис № 2 — 0,9; см. табл. 1). Относительно низкая специфичность (ИИ-сервис № 1 — 0,87; ИИ-сервис № 2 — 0,78; см. табл. 1) допустима, с учётом того, что предполагается пересмотр исследований врачом-рентгенологом. Для дифференцировки различных патологических состояний тел позвонков возможны различные подходы: дообучение ИИ-сервисов для выявления специфических признаков КП, применение радиомического анализа [30, 32]. Однако апробация такого подхода в условиях Эксперимента требует отдельной проработки и рассматривается в перспективе [15].

Удобный и доступный интерфейс текстового описания и дополнительной серии, создаваемых ИИ-сервисами, помогут снизить временные затраты для формирования протоколов описания врачами-рентгенологами, а также повысят выявляемость КП при рутинных КТ-исследованиях [33, 34]. В перспективе рассматривается использование данных сервисов в оппортунистическом скрининге ОП в целях предотвращения осложнений, снижения затрат на лечение и уменьшения количества летальных исходов, связанных с данным заболеванием [35].

ЗАКЛЮЧЕНИЕ

Эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы — проект, который позволяет пересмотреть подходы к ранней диагностике и скринингу различных заболеваний. На примере сервисов по направлению «Компрессионный перелом тел позвонков (остеопороз)» продемонстрировано высокое качество диагностики и решения клинической задачи морфометрического анализа тел позвонков. Следует отметить, что сервисы ИИ не заменяют врача-рентгенолога, но благодаря удобному представлению количественных данных (измерение высоты тел позвонков и определение МПК) обеспечивают мощный современный инструмент в системе поддержки принятия врачебных решений.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Данная статья подготовлена в рамках научно-исследовательской и опытно-конструкторской работы «Разработка и создание аппаратно-программного комплекса для оппортунистического скрининга остеопороза» (№ в Единой государственной информационной системе учёта: 123031400007-7).

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: З.Р. Артюкова, Н.Д. Кудрявцев — написание текста статьи, выполнение экспериментальной части исследований; Д.Е. Шарова, А.В. Владзимирский, Ю.А. Васильев — концепция и дизайн исследования; А.В. Петряйкин, Ф.А. Петряйкин, Д.С. Семёнов — анализ полученных данных; Ж.Е. Белая — утверждение финальной версии рукописи, редактирование текста статьи.

ADDITIONAL INFORMATION

Funding source. This article was prepared by the authors as part of the research and development work (Unified State Information System of Records: N 123031400007-7).

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. Z.R. Artyukova, N.D. Kudryavtsev — writing the text of the article, performing the experimental part of the research; D.E. Sharova, A.V. Vladzymyrskyy, Yu.A. Vasilev — study concept and design; A.V. Petraikin, F.A. Petryaykin, D.S. Semenov — data analysis; Zh.E. Belaya — approval the final version of the manuscript, editing the article.

×

Об авторах

Злата Романовна Артюкова

Научно-практический клинический центр диагностики и телемедицинских технологий

Автор, ответственный за переписку.
Email: zl.artyukova@gmail.com
ORCID iD: 0000-0003-2960-9787
SPIN-код: 7550-2441
Россия, Москва

Алексей Владимирович Петряйкин

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: alexeypetraikin@gmail.com
ORCID iD: 0000-0003-1694-4682
SPIN-код: 6193-1656

д-р мед. наук, доцент

Россия, Москва

Никита Дмитриевич Кудрявцев

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: KudryavtsevND@zdrav.mos.ru
ORCID iD: 0000-0003-4203-0630
SPIN-код: 1125-8637
Россия, Москва

Федор Алексеевич Петряйкин

Московский государственный университет имени М.В. Ломоносова

Email: feda.petraykin@gmail.com
ORCID iD: 0000-0001-6923-3839
SPIN-код: 7803-1005
Россия, Москва

Дмитрий Сергеевич Семёнов

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: semenovds4@zdrav.mos.ru
ORCID iD: 0000-0002-4293-2514
SPIN-код: 2278-7290

канд. техн. наук

Россия, Москва

Дарья Евгеньевна Шарова

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: SharovaDE@zdrav.mos.ru
ORCID iD: 0000-0001-5792-3912
SPIN-код: 1811-7595
Россия, Москва

Жанна Евгеньевна Белая

Национальный медицинский исследовательский центр эндокринологии

Email: jannabelaya@gmail.com
ORCID iD: 0000-0002-6674-6441
SPIN-код: 4746-7173

д-р мед. наук

Россия, Москва

Антон Вячеславович Владзимирский

Научно-практический клинический центр диагностики и телемедицинских технологий; Первый Московский государственный медицинский университет имени И.М. Сеченова

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-код: 3602-7120

д-р мед. наук

Россия, Москва; Москва

Юрий Александрович Васильев

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-0208-5218
SPIN-код: 4458-5608

канд. мед. наук

Россия, Москва

Список литературы

  1. Белая Ж.Е., Белова К.Ю., Бирюкова Е.В., и др. Федеральные клинические рекомендации по диагностике, лечению и профилактике остеопороза // Остеопороз и остеопатии. 2021. Т. 24, № 2. С. 4–47. doi: 10.14341/osteo12930
  2. Петряйкин А.В., Артюкова З.Р., Низовцова Л.А., и др. Анализ эффективности внедрения системы скрининга остеопороза // Менеджер здравоохранения. 2021. Т. 2. С. 31–39. doi: 10.21045/1811-0185-2021-2-31-39
  3. Alacreu E., Moratal D., Arana E. Opportunistic screening for osteoporosis by routine CT in Southern Europe // Osteoporosis International. 2017. Vol. 28, N 3. P. 983–990. doi: 10.1007/s00198-016-3804-3
  4. Ziemlewicz T.J., Binkley N., Pickhardt P.J. Opportunistic Osteoporosis Screening: Addition of Quantitative CT Bone Mineral Density Evaluation to CT Colonography // Journal of the American College of Radiology. 2015. Vol. 12, N 10. P. 1036–1041. doi: 10.1016/j.jacr.2015.04.018
  5. Rebello D., Anjelly D., Grand D.J., et al. Opportunistic screening for bone disease using abdominal CT scans obtained for other reasons in newly diagnosed IBD patients // Osteoporosis international. 2018. Vol. 29, N 6. P. 1359–1366. doi: 10.1007/s00198-018-4444-6
  6. Артюкова З.Р., Кудрявцев Н.Д., Петряйкин А.В., и др. Применение алгоритма искусственного интеллекта для оценки минеральной плотности тел позвонков по данным компьютерной томографии // Медицинская визуализация. 2023. Т. 27, № 2. С. 125–137. doi: 10.24835/1607-0763-1257
  7. Jang S., Graffy P.M., Ziemlewicz T.J., et al. Opportunistic osteoporosis screening at routine abdominal and Thoracic CT: Normative L1 trabecular attenuation values in more than 20 000 adults // Radiology. 2019. Vol. 291, N 2. P. 360–367. doi: 10.1148/radiol.2019181648
  8. Smets J., Shevroja E., Hügle T., et al. Machine Learning Solutions for Osteoporosis-A Review // J Bone Miner Res. 2021. Vol. 36, N 5. P. 833–851. doi: 10.1002/jbmr.4292
  9. Петряйкин А.В., Скрипникова И.А. Количественная компьютерная томография, современные данные. Обзор // Медицинская визуализация. 2021. Т. 25, № 4. С. 134–146. doi: 10.24835/1607-0763-1049
  10. Lenchik L., Rogers L.F., Delmas P.D., et al. Diagnosis of Osteoporotic Vertebral Fractures: Importance of Recognition and Description by Radiologists // American Journal of Roentgenology. 2004. Vol. 183, N 4. P. 949–958. doi: 10.2214/ajr.183.4.1830949
  11. Pinto A., Berritto D., Russo A., et al. Traumatic fractures in adults: Missed diagnosis on plain radiographs in the Emergency Department // Acta Biomedica. 2018. Vol. 89. P. 111–123. doi: 10.23750/abm.v89i1-S.7015
  12. Carberry G.A., Pooler B.D., Binkley N., et al. Unreported vertebral body compression fractures at abdominal multidetector CT // Radiology. 2013. Vol. 268, N 1. P. 120–126. doi: 10.1148/radiol.13121632
  13. Владзимирский А.В., Васильев Ю.А., Арзамасов К.М., и др. Компьютерное зрение в лучевой диагностике: первый этап Московского Эксперимента: Монография. 2-е издание, переработанное и дополненное. Москва : Издательские решения, 2023. EDN: FOYLXK
  14. Genant H.K., Wu C.Y., Cornelis van K., et al. Vertebral fracture assessment using a semiquantitative technique // Journal of Bone and Mineral Research. 1993. Vol. 8, N 9. P. 1137–1148. doi: 10.1002/jbmr.5650080915
  15. Mosmed.ai [интернет]. Государственное бюджетное учреждение здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» [дата обращения: 14.03.2024]. Доступ по ссылке: https://mosmed.ai/
  16. Клинические рекомендации. Остеопороз. [интернет]. Министерство здравоохранения Российской Федерации. [дата обращения: 24.10.2023]. Доступ по ссылке: https://cr.minzdrav.gov.ru/schema/87_4
  17. The Adult Official Positions of the ISCD [интернет]. The International Society For Clinical Densitometry [дата обращения: 24.10.2023]. Доступ по ссылке: https://iscd.org/official-positions-2023/
  18. ACR–SPR–SSR practice parameter for the performance of quantitative computed tomography (QCT) bone mineral density [интернет]. American College of Radiology. [дата обращения: 24.10.2023]. Доступ по ссылке: https://www.acr.org/-/media/ACR/Files/Practice-Parameters/qct.pdf
  19. Свидетельство РФ о государственной регистрации базы данных № 2023621171/ 11.04.2023. Васильев Ю.А., Туравилова Е.В., Владзимирский А.В., и др. MosMedData: КТ с признаками остеопороза позвоночника. Режим доступа: https://www.elibrary.ru/download/elibrary_52123357_73775308.PDF Дата обращения: 23.10.2023. EDN: SHLWTC
  20. Pisov M., Kondratenko V., Zakharov A., et al. Keypoints Localization for Joint Vertebra Detection and Fracture Severity Quantification. In: Martel A.L., et al. Medical Image Computing and Computer Assisted Intervention – MICCAI 2020. MICCAI 2020. Lecture Notes in Computer Science. Vol. 12266. Springer, 2020. P. 723–732. doi: 10.1007/978-3-030-59725-2_70
  21. Bar A., Wolf B.L., Orna A., et al. Compression fractures detection on CT // Medical Imaging 2017: Computer-Aided Diagnosis. 2017. Vol. 10134. P. 1013440. doi: 10.48550/arXiv.1706.01671
  22. Лесняк О.М., Баранова И.А., Белова К.Ю., и др. Остеопороз в Российской Федерации: эпидемиология, медико-социальные и экономические аспекты проблемы (обзор литературы) // Травматология и ортопедия России. 2018. Т. 24, № 1. С. 155–168. doi: 10.21823/2311-2905-2018-24-1-155-168
  23. Seo J.W., Lim S.H., Jeong J.G., et al. A deep learning algorithm for automated measurement of vertebral body compression from X-ray images // Sci Rep. 2021. Vol. 11, N 1. P. 13732. doi: 10.1038/s41598-021-93017-x
  24. Murata K., Endo K., Aihara T., et al. Artificial intelligence for the detection of vertebral fractures on plain spinal radiography // Sci Rep. 2020. Vol. 10, N 1. P. 20031. doi: 10.1038/s41598-020-76866-w
  25. Dong Q., Luo G., Lane N.E., et al. Deep Learning Classification of Spinal Osteoporotic Compression Fractures on Radiographs using an Adaptation of the Genant Semiquantitative Criteria // Acad Radiol. 2022. Vol. 29, N 12. P. 1819–1832. doi: 10.1016/j.acra.2022.02.020
  26. Tomita N., Cheung Y.Y., Hassanpour S. Deep neural networks for automatic detection of osteoporotic vertebral fractures on CT scans // Computers in Biology and Medicine. 2018. Vol. 98. P. 8–15. doi: 1016/j.compbiomed.2018.05.011
  27. Valentinitsch A., Trebeschi S., Kaesmacher J., et al. Opportunistic osteoporosis screening in multi-detector CT images via local classification of textures // Osteoporosis International. 2019. Vol. 30, N 6. P. 1275–1285. doi: 10.1007/s00198-019-04910-1
  28. Yasaka K., Akai H., Kunimatsu A., et al. Prediction of bone mineral density from computed tomography: application of deep learning with a convolutional neural network // Eur Radiol. 2020. Vol. 30, N 6. P. 3549–3557. doi: 10.1007/s00330-020-06677-0
  29. Nam K.H., Seo I., Kim D.H., et al. Machine Learning Model to Predict Osteoporotic Spine with Hounsfield Units on Lumbar Computed Tomography. J Korean Neurosurg Soc. 2019. Vol. 62, N 4. P. 442–449. doi: 10.3340/jkns.2018.0178
  30. Zhang J., Liu F., Xu J., et al. Qingqing. Automated detection and classification of acute vertebral body fractures using a convolutional neural network on computed tomography // Frontiers in Endocrinology. 2023. Vol. 14, N 1132725. P. 1–10. doi: 10.3389/fendo.2023.1132725
  31. Pickhardt P.J., Dustin P.B., Travisи L., et al. Opportunistic Screening for Osteoporosis Using Abdominal Computed Tomography Scans Obtained for Other Indications // Annals of internal medicine. 2013. Vol. 158, N 8. P. 588. doi: 10.7326/0003-4819-158-8-201304160-00003
  32. Del Lama RS, Candido RM, Chiari-Correia NS, et al. Computer-Aided Diagnosis of Vertebral Compression Fractures Using Convolutional Neural Networks and Radiomics // J Digit Imaging. 2022. Vol. 35, N 3. P. 446–458. doi: 10.1007/s10278-022-00586-y
  33. Морозов С.П., Гаврилов А.В., Архипов И.В., и др. Влияние технологий искусственного интеллекта на длительность описаний результатов компьютерной томографии пациентов с COVID-19 в стационарном звене здравоохранения // Профилактическая медицина. 2022. Т. 25, № 1. С. 14–20. doi: 10.17116/profmed20222501114
  34. Владзимирский А.В., Кудрявцев Н.Д., Кожихина Д.Д., и др. Эффективность применения технологий искусственного интеллекта для двойных описаний результатов профилактических исследований легких // Профилактическая медицина. 2022. Т. 25, № 7. С. 7–15. doi: 10.17116/profmed2022250717
  35. Шелепа А.А., Петряйкин А.В., Артюкова З.Р., и др. Применение алгоритма искусственного интеллекта для определения минеральной плотности кости: популяционные данные // Digital Diagnostics. 2022. Т. 3, № S1. С. 23–24. doi: 10.17816/DD105714

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Последовательность прохождения сервиса искусственного интеллекта до этапа опытной эксплуатации. ЕРИС ЕМИАС — Единый радиологический информационный сервис «Единая медицинская информационно-аналитическая система»; ИИ-сервис — сервис искусственного интеллекта; КТ ОГК — компьютерная томография органов грудной клетки.

Скачать (151KB)
3. Рис. 2. Пример работы сервиса Genant-IRA: дополнительная криволинейная реконструированная серия компьютерного томографического исследования с разметкой целевой патологии — компрессионного перелома тела позвонка ThXII.

Скачать (138KB)
4. Рис. 3. Примеры работы сервиса HealthVCF: дополнительная серия компьютерного томографического исследования с разметкой целевой патологии — компрессионного перелома.

Скачать (307KB)
5. Рис. 4. Результаты расчёта метрик точности с 95% доверительным интервалом: a — сервис Genant-IRA; b — сервис HealthVCF.

Скачать (252KB)
6. Рис. 5. ROC-кривая определения компрессионных переломов: a — сервис Genant-IRA (360 исследований); b — сервис HealthVCF (520 исследований).

Скачать (233KB)
7. Рис. 6. Примеры ошибок работы сервиса Genant-IRA: a — ложноположительный результат: сервис отметил обызвествлённый межпозвонковый диск ThXI–ThXII как тело позвонка ThXII с компрессионной деформацией >40% (Genant 3); b — ложноположительный результат: сервис отметил выраженный остеофит LI как тело позвонка ThXII с компрессионной деформацией >40% (Genant 3), при этом тело позвонка ThXII не размечено; c — ложноположительный результат: у пациента с выраженным сколиозом произошло критическое нарушение работы алгоритма (так называемый слом алгоритма), нарушение построения криволинейной реконструкции, как следствие — некорректная разметка позвонков и оценка степени их компрессионной деформации; d — ложноположительный результат: ошибочно проведена разметка и выявлена компрессионная деформация >40% (Genant 3) «тел» позвонков ThVII и ThVIII вследствие выраженных ring artefacts из-за неисправности детектора компьютерного томографического сканера. Данные о дефекте сканера переданы в техническую службу Департамента здравоохранения города Москвы.

Скачать (265KB)
8. Рис. 7. Примеры ошибок работы сервиса HealthVCF: a — ложноположительный результат и некорректная оценка локализации: отсутствие компрессионной деформации >25%; b — ложноотрицательный результат (вероятнее всего — из-за выраженного кифоза у пациента): сервис не отметил компрессионную деформацию тел позвонков более 25% (ThIV, ThV, ThVI, ThVII, LII), отметки сделаны экспертом (красные рамочки); c — ложноположительный результат: отсутствует компрессионная деформация >25% тела позвонка ThIX с грыжей Шморля; d — ложноположительный результат: сервисом ошибочно выявлена компрессионная деформация >25% тела позвонка ThVIII вследствие выраженных «ring artefacts» из-за неисправности детектора компьютерного томографического сканера. Данные о дефекте сканера переданы в техническую службу Департамента здравоохранения города Москвы.

Скачать (237KB)

© Эко-вектор, 2024

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.