Новая интеллектуальная система для автоматической диагностики сколиоза по фронтальным рентгенограммам позвоночника: точность, преимущества и ограничения

Полный текст

Обоснование

Сколиоз — одна из наиболее распространённых деформаций позвоночника среди всех возрастных групп. Сколиоз представляет собой боковое искривление позвоночника в корональной плоскости с углом ≥10° и торсией (скручиванием) тел позвонков и их задних элементов. Сколиоз в основном диагностируется на основании фронтальных рентгенограмм. Метод Кобба считается золотым стандартом в оценке угла сколиотической деформации позвоночника [1–8]. В последние годы многие исследователи активно изучают возможности использования искусственного интеллекта (ИИ) для оценки сколиоза с помощью различных методов визуализации, которые позволили бы получать более объективные результаты и снизить вариабельность измерений по методу Кобба у разных исследователей [9–14].

Мы разработали новую программу, основанную на машинном обучении. На первом этапе разработки системы произведено обучение искусственной нейронной сети таким образом, чтобы автоматически идентифицировать тела позвонков. Для этого из базы данных (XrScl) [15] были отобраны 1000 снимков позвоночника. Выполнена разметка каждого рентгеновского изображения, где тела позвонков определились с использованием четырёх опорных точек, и все тела грудных и поясничных позвонков на каждом снимке были пронумерованы. После обучения нейросеть могла самостоятельно определять тела позвонков и их номера. На втором этапе автоматически измерялся угол Кобба и определялась степень сколиоза. Автоматическое измерение угла Кобба может осуществляться при помощи трёх методов:

1) классический метод Кобба, при котором угол сколиоза измеряется между верхней и нижней границами тела верхнего и нижнего конечного позвонка соответственно;

2) метод, используемый в практике рентгенологов (в частности, в городской Мариинской больнице) при котором угол сколиоза определяется между максимально наклонёнными гранями замыкательных пластинок тел верхнего и нижнего конечного позвонка;

3) метод средних линий, при котором угол сколиоза определяется между максимально наклонёнными средними линиями тел позвонков, проведёнными через среднюю часть тела конечных позвонков.

При измерении углов Кобба и определении степени сколиоза мы проверили точность новой автоматической системы.

ЦЕЛЬ

Проанализировать точность, преимущества и недостатки новой программы ИИ при автоматическом определении степени сколиоза и измерении угла Кобба на фронтальных спондилограммах.

МАТЕРИАЛЫ И МЕТОДЫ

Дизайн исследования

Проведено наблюдательное ретроспективное одноцентровое выборочное неконтролируемое исследование.

Описание исследования и статистический анализ

Для оценки надёжности новой программы ИИ в измерении углов Кобба из базы данных XrScl (тестовый набор 1) [15] было отобрано 114 цифровых рентгенограмм позвоночника и рентгенограмм органов грудной клетки (ОГК). Эта база данных включает в себя более 2500 снимков. Таким образом, мы могли использовать различные наборы данных для обучения и проверки системы. Согласованность углов Кобба, измеряемых программой и рентгенологом, проверяли с использованием метода Бленда–Альтмана в программе Microsoft Excel. Рассчитывали среднюю разность между двумя методами («систематическое расхождение») и 95% доверительные интервалы (2 стандартных отклонения, SD). Сравнивались только те углы, которые были измерены с помощью обеих методик (рентгенолог и ИИ).

Для проверки возможности внедрения новой программы в медицинскую практику были проведены предварительные клинико-технические испытания в Санкт-Петербургском государственном бюджетном учреждении здравоохранения «Городская Мариинская больница». Для исследования было отобрано 120 рентгенограмм из архива Мариинской больницы и Федерального государственного бюджетного учреждения «Федеральный научно-образовательный центр медико-социальной экспертизы и реабилитации им. Г.А. Альбрехта» Министерства труда и социальной защиты Российской Федерации (тестовый набор 2). Надёжность системы в определении степени сколиоза проверяли путём расчёта площади под ROC-кривой и таких параметров, как чувствительность, специфичность и точность. Эти параметры рассчитывали по следующим формулам (где TP, TN, FP и FN означают истинно положительный, истинно отрицательный, ложноположительный и ложноотрицательный результаты соответственно):

• чувствительность — $\frac{TP}{TP+FN}$;
• специфичность — $\frac{TN}{TN+FP}$;
• точность — $\frac{TP+TN}{TP+TN+FP+FN}$.

Рентгенограммы в наборах данных 1 и 2 оценивались двумя рентгенологами, один из которых имел опыт работы более 25 лет, а другой — более 9 лет.

РЕЗУЛЬТАТЫ

Участники (субъекты) исследования

В тестовом наборе 1 рентгенограммы были распределены по четырём группам выраженности сколиоза (в соответствии с постановлением Правительства Российской Федерации № 565¹) следующим образом:

• I степень — 5–10°, 16%;
• II степень — 11–25°, 15%;
• III степень — 26–50°, 16%;
• IV степень — >50°, 16%.

К этой классификации была добавлена группа «норма» (0 степень; <5°, 37%). Кроме того, проанализировано и сопоставлено 179 углов (5,1–91,3°), найденных как врачом, так и системой ИИ.

Для предварительных клинико-технических испытаний системы тестовый набор 2 разделили на одинаковые по количеству снимков группы — нормальные и патологические (со сколиозом) — по 60 рентгенограмм в каждой. Рентгенограммы со сколиозом распределили в зависимости от степени сколиоза (I–IV), по 15 снимков на каждую степень.

Основные результаты исследования

Согласованность измерений угла Кобба между ИИ и рентгенологом наблюдалась в основном при сколиозе I и II степени. При этом средняя разница в измерении составляла 0,10 и 0,46, а SD — 1,29 и 1,73 соответственно. Углы, измеренные двумя методиками, различались на <4,5° в 95% случаев при всех степенях сколиоза, за исключением группы со сколиозом III степени, где 95% доверительные интервалы составляли от –6,60° до 7,85°. Наибольшее SD (3,69°) также было выявлено в этой группе. Результаты статистического анализа данных для каждой степени сколиоза представлены на рис. 1 и рис. 2 (графики Бленда–Альтмана), а также в табл. 1. Только 2,8% результатов были клинически неудовлетворительными (вариабельность >5°).

Рис. 1. Результаты измерений по методу Бленда–Альтмана. Согласованность измерений угла Кобба по двум методикам на рентгенограммах со сколиозом I и II степени.

Рис. 2. Результаты измерений по методу Бленда–Альтмана. Согласованность измерений угла Кобба по двум методикам на рентгенограммах со сколиозом III и IV степени.

Таблица 1. Статистические параметры для оценки согласованности двух методик измерения угла Кобба при различных степенях сколиоза

Показатели диагностической точности предварительных клинико-технических испытаний в Мариинской городской больнице (тестовый набор 2) также подтвердили надёжность системы в определении степени сколиоза:

• чувствительность составила 0,97;
• специфичность — 0,88;
• точность (общая валидность) — 0,93;
• площадь под ROC-кривой — 0,93 (рис. 3).

Рис. 3. Подтверждение на ROC-кривой точности новой программы искусственного интеллекта в определении степени сколиоза.

Среднее время анализа каждого снимка программой ИИ составило 5 с. Полученные результаты подтверждают эффективность системы в определении степени сколиоза.

ОБСУЖДЕНИЕ

Резюме основного результата исследования

Основная часть исследования была проведена в больнице, где лиц призывного возраста проверяли на наличие сколиоза в рамках многочисленных обследований для прохождения медицинской комиссии по призыву на воинскую службу. Таким образом, рентгенограммы в тестовых наборах 1 и 2 были разделены на группы согласно постановлению Правительства Российской Федерации № 565¹. Согласно этой классификации, любые небольшие искривления позвоночника менее 10° считаются сколиозом I степени.

Новая система автоматической оценки степени сколиоза по цифровым спондилограммам (программа ИИ) может помочь рентгенологам в быстром и точном определении степени сколиоза и в измерении угла Кобба, особенно при массовом скрининге сколиоза и в случае большой нагрузки в медицинских учреждениях. В таких ситуациях рентгенологи могут использовать новою программу ИИ как объективный инструмент с более высокой точностью диагностики сколиоза, поскольку при использовании врачами одного и того же инструмента можно избежать вариабельности результатов. Кроме того, программа позволяет значительно сэкономить время врача- рентгенолога, необходимое для анализа рентгенограмм. К тому же результаты измерения углов Кобба, вычисленные программой ИИ, были удовлетворительными. В большинстве случаев не было значительных расхождений в измерениях угла Кобба. Пример работы ИИ показан на рис. 4.

Рис. 4. Рентгеновский снимок со сколиозом II степени. Анализ снимка выполнен программой искусственного интеллекта (слева) и рентгенологом (справа). Рентгенолог не измерял грудопоясничную кривую, так как нижний конечный позвонок не виден на снимке.

Обсуждение основных результатов исследования

Предлагаемая программа ИИ даёт возможность измерять углы Кобба тремя различными методами. Все они могут быть полезны врачу-рентгенологу, особенно в тех случаях, когда не используется стандартный метод измерения (как, например, в Мариинской городской больнице при обследовании на сколиоз). Определение замыкательной пластинки наиболее наклонённого позвонка занимает много времени и может привести к несогласованности полученных результатов. Именно поэтому возможность объективного и автоматического определения верхнего и нижнего конечного позвонка дуги сколиоза, которые между собой образуют наибольший угол искривления, была бы полезна в практике рентгенолога.

Кроме того, программа ИИ позволяет врачу-рентгенологу изменять разметку позвонков, которую она сделала автоматически. Это очень важно, поскольку любые ошибки в разметке могут привести к неверному конечному результату. Дальнейший анализ результатов показал, что неточная разметка тел позвонков и их границ приводила к менее точным результатам измерения угла Кобба и определения степени сколиоза. В основном такие ошибки наблюдались при оценке сколиоза на некачественных снимках и на рентгенограммах ОГК. Границы позвонков среднегрудного отдела на снимках обычно не видны на фоне органов средостения. Многие нормальные снимки ОГК (0 степень, определяемая рентгенологом) были распознаны программой как сколиоз I степени по причине обнаружения кривой с ложноположительными результатами (проксимальная или среднегрудная кривая) (рис. 5). Ещё одна распространённая ошибка также наблюдалась при разметке границ тела позвонка L V (рис. 6). Прилегающие костные структуры (соседние крестцовые и подвздошные кости) затрудняют определение границ тела L V, в особенности его нижней замыкательной пластинки.

Рис. 5. Ошибки в разметке позвонков на рентгенограммах с степенью 0 (норма). На снимках органов грудной клетки нечёткая визуализация границ позвонков может привести к ложным результатам измерений.

Рис. 6. Ошибки в разметке позвонков на рентгенограммах с оценкой 0 (норма). Ошибки в определении тела позвонка L V могут привести к ложноположительным результатам (слева).

Что касается ошибок при оценке снимков со сколиозом группы «норма», большинство измерений, выполненных программой ИИ, превышали угол 5°, но были очень близки к нему. Однако такая минимальная вариабельность измерений между программой ИИ и рентгенологом приводила к изменению оценки сколиоза — с 0 на I степень (рис. 7). Большинство таких углов (70%) находилось в диапазоне 5–6°, как показано на круговой диаграмме (рис. 8).

Рис. 7. Ошибки программы при оценке снимков со сколиозом 0 степени. Углы Кобба, измеренные рентгенологом (слева) и программой искусственного интеллекта (справа). Вариабельность измерений незначительна (1,4°), однако врач определяет 0 степень сколиоза, а искусственный интеллект — I степень.

Рис. 8. Распределение углов Кобба, измеренных искусственным интеллектом на нормальных рентгеновских снимках (в группе рентгенограмм без сколиоза).

В большинстве случаев программа точно оценивала рентгенограммы со сколиозом (III и IV степени), хотя иногда отмечались ошибки в определении и нумерации позвонков или ошибки в измерении угла Кобба. Сколиоз IV степени характеризуется максимальной ротацией позвонков, смещением ножки дуги позвонков за среднюю линию и деформацией тела позвонка. При этом обычная форма позвонка изменяется, а границы его тела становятся менее чёткими (рис. 9).

Рис. 9. Особенности разметки позвонков на рентгенограммах при сколиозе III и IV степени. Ошибки в определении и нумерации позвонков, обусловленные их нетипичной формой (жёлтая стрелка).

В некоторых случаях на точность программы в диагностике сколиоза III или IV степени не влияла значительная вариабельность измерений угла Кобба между программой и рентгенологом. Как правило, такие ошибки встречались при оценке вторичного искривления позвоночника (рис. 10).

Рис. 10. Сколиоз III степени, диагностированный рентгенологом (слева) и искусственным интеллектом (справа). Значительная вариабельность при измерении поясничного изгиба (7,8°) не повлияла на общую оценку сколиоза.

Ещё одним ограничением является то, что предложенная программа ИИ может быть использована только для оценки фронтальных рентгенограмм. Эта программа не позволяет определять искривления позвоночника на боковых рентгенограммах и при других исследованиях, таких как компьютерная томография.

Большинство вышеупомянутых ошибок могут быть устранены рентгенологами непосредственно при работе с программой, поскольку она предоставляет возможность изменять разметку позвонков для получения более точных результатов. Даже если рентгенолог будет вносить изменения в автоматическую разметку позвонков, выполняемую программой, он будет затрачивать гораздо меньше времени, необходимого для получения результатов, чем при обычном измерении сколиоза методом Кобба. Кроме того, мы считаем, что в будущем разметка позвонков может быть более точной при условии предоставления системе программе ИИ гораздо большего количества данных.

ЗАКЛЮЧЕНИЕ

Автоматическая система (программа ИИ) может служить надёжным объективным инструментом для определения степени сколиоза и измерения углов Кобба на фронтальных рентгенограммах позвоночника, значительно экономя время врача-рентгенолога. Основными факторами, которые могут повлиять на результаты работы программы, являются качество рентгенограмм и точность разметки позвонков. Эти факторы могут быть учтены на практике при использовании программы ИИ, так как рентгенолог может корректировать разметку позвонков и получать более точные результаты.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источник финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).

Наибольший вклад распределён следующим образом: Д.Х.И. Кассаб — обзор литературы, сбор и анализ литературных данных, написание текста и редактирование статьи, статистический анализ; И.Г. Камышанская — постановка цели и задач исследования, сбор и анализ материала исследования, организация взаимодействий между соавторами статьи, написание текста, редактирование статьи; С.В. Трухан — создание программ, концепция исследований, статистический анализ данных.

¹ Постановление Правительства Российской Федерации от 04.07.2013 г. № 565. «Об утверждении Положения о военно-врачебной экспертизе». Режим доступа: http://government.ru/docs/all/87900/

Об авторах

Дима Халед Ибрагим Кассаб

Автор, ответственный за переписку.
Email: DimaKK87@gmail.com
ORCID iD: 0000-0001-5085-6614
SPIN-код: 4907-7850

MD

Ирина Григорьевна Камышанская

Email: irinaka@mail.ru
ORCID iD: 0000-0002-8351-9216
SPIN-код: 2422-5191

д-р. мед. наук, доцент

Станислав Вячеславович Трухан

Email: stas.truhan@gmail.com
ORCID iD: 0000-0003-0688-0988
Россия, Тверь

Список литературы

Дополнительные файлы

Доп. файлы

Действие

1. JATS XML

Скачать

2. Рис. 1. Результаты измерений по методу Бленда–Альтмана. Согласованность измерений угла Кобба по двум методикам на рентгенограммах со сколиозом I и II степени.

Скачать (236KB)

Метаданные

3. Рис. 2. Результаты измерений по методу Бленда–Альтмана. Согласованность измерений угла Кобба по двум методикам на рентгенограммах со сколиозом III и IV степени.

Скачать (260KB)

Метаданные

4. Рис. 3. Подтверждение на ROC-кривой точности новой программы искусственного интеллекта в определении степени сколиоза.

Скачать (80KB)

Метаданные

5. Рис. 4. Рентгеновский снимок со сколиозом II степени. Анализ снимка выполнен программой искусственного интеллекта (слева) и рентгенологом (справа). Рентгенолог не измерял грудопоясничную кривую, так как нижний конечный позвонок не виден на снимке.

Скачать (267KB)

Метаданные

6. Рис. 5. Ошибки в разметке позвонков на рентгенограммах с степенью 0 (норма). На снимках органов грудной клетки нечёткая визуализация границ позвонков может привести к ложным результатам измерений.

Скачать (181KB)

Метаданные

7. Рис. 6. Ошибки в разметке позвонков на рентгенограммах с оценкой 0 (норма). Ошибки в определении тела позвонка L V могут привести к ложноположительным результатам (слева).

Скачать (166KB)

Метаданные

8. Рис. 7. Ошибки программы при оценке снимков со сколиозом 0 степени. Углы Кобба, измеренные рентгенологом (слева) и программой искусственного интеллекта (справа). Вариабельность измерений незначительна (1,4°), однако врач определяет 0 степень сколиоза, а искусственный интеллект — I степень.

Скачать (270KB)

Метаданные

9. Рис. 8. Распределение углов Кобба, измеренных искусственным интеллектом на нормальных рентгеновских снимках (в группе рентгенограмм без сколиоза).

Скачать (58KB)

Метаданные

10. Рис. 9. Особенности разметки позвонков на рентгенограммах при сколиозе III и IV степени. Ошибки в определении и нумерации позвонков, обусловленные их нетипичной формой (жёлтая стрелка).

Скачать (204KB)

Метаданные

11. Рис. 10. Сколиоз III степени, диагностированный рентгенологом (слева) и искусственным интеллектом (справа). Значительная вариабельность при измерении поясничного изгиба (7,8°) не повлияла на общую оценку сколиоза.

Скачать (244KB)

Метаданные