Assessment of the quality of lung lesions diagnosis in adolescents with osteosarcoma using artificial intelligence (SOPHIA – Smart Osteosarcoma Pediatric Health Imaging Assistant)

Full Text

ОБОСНОВАНИЕ

Остеосаркома (ОС) – первая по частоте встречаемости первичная опухоль костей у подростков и молодых взрослых [1]. На момент постановки диагноза у 20% пациентов выявляется метастатическое поражение легких [2], что является неблагоприятным прогностическим фактором, снижающим 5-летнюю общую выживаемость (ОВ) с 85 до 57% (неопубликованные собственные данные) и являющимся основной причиной болезнь-ассоциированной смерти пациентов. Адекватный анализ компьютерных томограмм органов грудной клетки (КТ ОГК) и точность в поиске патологических очагов в легких критически важны для своевременной постановки диссеминированной стадии заболевания и планирования оперативного лечения метастазов. Человеческий фактор, ограниченные трудовые ресурсы и высокая нагрузка на специалистов отделения лучевой диагностики референсного центра могут приводить к пропуску патологических находок на КТ, что окажет существенное влияние на прогноз заболевания.

Искусственный интеллект (ИИ), основанный на компьютерном зрении, способен анализировать изображения КТ ОГК, выявлять патологические находки (в случае ОС – патологические очаги, в том числе кальцинаты, в легких), оценивать их линейные размеры и объем, маркировать их и создавать текст описания и заключения исследования [3, 4, 5, 6, 7].

На практике при ОС ИИ используется преимущественно при проведении сегментации магнитно-резонансных изображений пораженных костей в онкоортопедии [8, 9].

Что касается научных исследований, посвященных применению ИИ в диагностике метастазов у пациентов детского и подросткового возраста с ОС, следует отметить их практически полное отсутствие [10].

Все вышесказанное легло в основу выдвижения гипотезы о потенциальной пользе применения ИИ в диагностике метастазов в легких при анализе КТ ОГК у пациентов с ОС и о необходимости изучения данного вопроса в текущем исследовании.

Цель исследования: оценить качество диагностики очагов в легких по данным КТ ОКГ с применением сервиса ИИ у подростков с ОС.

Задачи исследования:

1) Провести ретроспективный анализ архивных данных КТ ОГК пациентов с ОС из Научного регистра опухолей костей и мягких тканей ФГБУ «НМИЦ ДГОИ им. Дмитрия Рогачева» Минздрава России (далее «Регистра») с использованием сервиса на основе ИИ от лаборатории компании "АЙРА Лабс".

2) Оценить возможность ИИ проводить триаж пациентов на 2 группы – имеющих рентгенологические признаки очаговых изменений в легких и не имеющих этих признаков.

3) Оценить чувствительность и специфичность алгоритма ИИ.

МЕТОДЫ

Дизайн исследования

Ретроспективное многоцентровое исследование, в котором целевой патологической находкой явился очаг средним размером ≥ 4 мм, выявленный на КТ ОГК пациента с ОС.

Первичной конечной точкой исследования явилась качественная и количественная оценка способности алгоритма ИИ выявлять очаги ≥ 4 мм в легких при анализе нативной серии КТ ОГК.

Вторичными конечными точками явились:

• Выявление очагов ≥ 4 мм в легких при анализе КТ ОГК врачом рентгенологом отделения лучевой диагностики Центра.
• Выявление очагов ≥ 4 мм в легких при анализе КТ ОГК экспертом компании "АЙРА Лабс", специализирующимся на КТ ОГК.
• При несовпадении мнений врача Центра и эксперта компании "АЙРА Лабс" («сложные» случаи): выявление очагов ≥ 4 мм в легких при анализе КТ ОГК экспертом НПКЦ ДиТ.
• Выявление очагов ≥ 4 мм в легких при анализе КТ ОГК с помощью алгоритма ИИ.
• Число ложноположительных и ложноотрицательных результатов алгоритма ИИ.
• Чувствительность и специфичность алгоритма ИИ.

Формирование выборки участников исследования представлено на Рисунке 1:

Рисунок 1. Формирование выборки исследования.

* Примечание: учтен период регистрации пациентов в «Регистре» с 2012 года по 25.03.2025 г. (дата одобрения синопсиса клинического исследования профильной экспертной комиссией Центра).

Дизайн исследования схематично представлен на Рисунке 2:

Рисунок 2. Дизайн исследования.

Условия проведения исследования

Исследование проведено с использованием алгоритма ИИ компании "АЙРА Лабс", на который получено регистрационное удостоверение на медицинское изделие от Росздравнадзора: программное обеспечение для анализа исследований компьютерной томографии с помощью технологий искусственного интеллекта «Intelligent Radiology Assistants» по ТУ 58.29.32-001-44270315-2021, РУ № РЗН 2024/22895, разработчик ООО «АЙРА ЛАБС» [11]. Существующий алгоритм ИИ способен выявлять легочные узлы или кальцинаты объемом от 50 мм³ (средним размером от 4 мм). Результаты ROC AUC этого ИИ-сервиса для поиска злокачественных новообразований легких при независимой от разработчиков оценке экспертами ГБУЗ НПКЦ ДиТ ДЗМ составили 0.98, чувствительность – 0.94, специфичность – 0.98, точность – 0.96 [12].

В единый датасет вошли пациенты из «Регистра» Центра, который ведется с 2012 г. Включение в исследование пациентов предваряла анонимизация их персональных данных на стороне Центра с помощью инструмента анонимизации программы Horos Dicom Viewer. После анонимизации идентификация каждого пациента проводилась по уникальному номеру.

Критерии соответствия

Критерии включения

В исследование включены пациенты с ОС в возрасте 13-20 лет 11 мес. 29 дней с ОС с/без метастатического поражения легких (первичные либо в рецидиве заболевания), получившие какой-либо вид медицинской помощи (консультативную, терапевтическую, хирургическую, комбинированную или комплексную) в Центре. Критерием включения явилось также наличие КТ ОГК, выполненной инициально в момент постановки диагноза или в момент констатации рецидива заболевания.

Критериями исключения были следующие:

1)      Диагноз, отличный от ОС.

2)      Возраст 12 лет 11 мес. 29 дней и младше.

3)      Возраст старше 20 лет 11 мес. 29 дней.

4)      Травмы/операции на органах грудной клетки в анамнезе.

5)      Наличие КТ ОГК со следующими изменениями: плевральный выпот, пневмоторакс, наличие инородных тел (трахеостома, дренажи), артефакты движения, выраженные деформации грудной клетки (кифосколиоз, килевидная деформация), другие поражения легочной ткани и средостения (абсцесс, эмфизема, эмпиема плевры и др., кардиомегалия, тимомегалия).

6)      Отсутствие КТ ОГК.

7)      Неполное сканирование ОГК. Полной считалась зона сканирования от верхушек легких до куполов диафрагмы с включением реберно-диафрагмальных синусов при задержке на глубине вдоха.

Критерии невключения запланированы не были.

Описание критериев соответствия

Возраст больных, включенных в исследование, находился в указанном диапазоне с целью максимального приближения их антропометрических параметров ко взрослым и минимизации ошибки алгоритма ИИ, обученного на взрослых пациентах, при анализе изображений подростков. Имеющийся у компании "АЙРА Лабс" алгоритм ИИ ранее не применялся при анализе данных пациентов детского и подросткового возраста.

Подбор участников в группы – неактуально.

ТЕСТИРУЕМЫЕ ДИАГНОСТИЧЕСКИЕ МЕТОДЫ

Исследуемый диагностический метод

КТ легких выполнялись по стандартным протоколам сканирования ОГК, утвержденным в конкретном ЛПУ. Уточнение, в каком ЛПУ была проведена КТ (если таковая не была проведена в НМИЦ ДГОИ им. Дмитрия Рогачева), в данном клиническом исследовании не проводилось. Схематически алгоритм проведения исследования представлен на Рисунке 3:

Рисунок 3. Алгоритм проведения исследования.

Алгоритм оценки исследования заключался в просмотре врачом рентгенологом Центра и экспертом компании "Айра Лабс", специализирующимся на просмотре КТ, нативных КТ ОГК с помощью программы-просмотрщика DICOM изображений для поиска на изображении очагов в легких, включая кальцинированные очаги, средним размером 4 и более мм (средний размер оценивался как сумма длинного и короткого размеров, разделенная пополам) или – при наличии инструмента, способного оценивать объем находки, – объемом не менее 50 мм³. Изучаемый диагностический параметр был определен до начала исследования.

В случае, когда оба специалиста (Центра и компании "АЙРА Лабс") согласились с тем, что в исследовании присутствует хотя бы один очаг целевых или бо́льших размеров, исследование обозначалось, как исследование «с патологией». В случае, когда оба специалиста согласились с тем, что в исследовании нет ни одного очага целевых или бо́льших размеров, исследование обозначалось, как «норма». При этом допускалось наличие в обеих группах очагов в легких размером менее 4 мм, так как они не являются референтными для текущего исследования. Мнением рентгенолога Центра явилось заключение, сформированное им в ходе практической работы, и оформленное им в электронном виде в медицинской информационной системе. Экспертом компании "АЙРА Лабс", специализирующимся на КТ ОГК, в электронном виде выдавалось заключение по описанию каждой КТ ОГК.

При несовпадении результатов анализа КТ ОГК врачом Центра и экспертом компании "АЙРА Лабс" случай признавался «сложным» и передавался на референс третьему независимому специалисту в области лучевой диагностики для принятия окончательного решения – эксперту ГБУЗ города Москвы «Научно-практического клинического центра диагностики и телемедицинских технологий Департамента здравоохранения города Москвы» (НПКЦ ДиТ)).

Далее проводился анализ всех КТ ОГК датасета с использованием алгоритма ИИ.

Проводилось сравнение результатов анализа КТ ОГК, выполненного с использованием алгоритма ИИ и выполненного двумя (тремя в сложных случаях) специалистами.

На основании проведенного сравнения оценивалось число ложноположительных (FP) и ложноотрицательных (FN) результатов. Оценка эффективности работы алгоритма ИИ осуществлялась в соответствии с методическими рекомендациями, регламентирующими проведение клинических испытаний программного обеспечения, основанного на интеллектуальных технологиях. Результат работы алгоритма признавался удовлетворительным при условии превышения установленного порогового значения диагностической точности, определяемого площадью под ROC-кривой, равного 0.81 [13].

Референсный (контрольный) диагностический метод – неприменимо.

Регистрация результатов применения диагностических тестов (фиксация исследований «с патологией» и «нормы») проводилась в ручном режиме в доступной для соисследователей таблице «Финальные результаты исследования SOPHIA» главным исследователем Усковой Н.Г.

АНАЛИЗ ЧУВСТВИТЕЛЬНОСТИ

Чувствительность рассчитывалась как доля истинно положительных результатов (правильно идентифицированных пациентов с целевыми очагами в легких) среди всех пациентов «с патологией».

СТАТИСТИЧЕСКИЕ ПРОЦЕДУРЫ

Запланированный размер выборки

Для определения необходимого объема выборки был проведен расчет на основе оценки чувствительности, специфичности и AUC ROC тестируемой модели ИИ.

Минимальный объем выборки определен с помощью стандартной формулы для оценки чувствительности и специфичности с доверительным интервалом (1−α). По результатам расчета размер выборки составил n=59. Поскольку исследование включило примерно равное количество случаев (50% пациентов с метастазами и 50% пациентов без метастазов), общий объем выборки составил N=2×59=118. Таким образом, для получения достоверной оценки чувствительности, специфичности и AUC ROC с доверительным интервалом ±0.10 при уровне значимости 0.05 минимально необходимая выборка составила 118 КТ-исследований (условно: 59 с метастазами и 59 без метастазов).

В связи с возможными потерями данных и необходимостью повышения статистической мощности выборка была увеличена до ~200 исследований (~100 с метастазами, ~100 без метастазов).

Обоснования увеличения объема выборки были следующими:

• Компенсация возможных исключений данных: часть изображений может быть удалена из-за низкого качества, артефактов или ошибок в разметке.
• Повышение точности оценки AUC ROC: увеличение выборки улучшает стабильность ROC-анализа.
• Гарантированное достижение порога ≥0.81 для чувствительности и специфичности: с учетом возможных колебаний значений в реальных данных увеличение выборки снижает риск случайных отклонений.
• Универсальный подход к диагностическим исследованиям: согласно рекомендациям, размер выборки в исследованиях диагностической точности увеличивают на 20% для компенсации методологических потерь.

Таким образом, итоговый объем выборки составил ~200 КТ-исследований (~100 с метастазами и ~100 без метастазов), что позволит достоверно оценить диагностическую точность модели ИИ.

Статистические методы

Статистический анализ был проведен с помощью специализированной программы RStudio (Build 467 RStudio, PBC, Boston, MA) с использованием библиотек «irr», «pROC». Для визуализации применяли GraphPad Prism10.2.2 (GraphPad Software Inc., San Diego, CA, USA). Для представления результатов были использованы методы описательной статистики с указанием абсолютного числа (n) и доли (%) наблюдений в каждой категории. Для оценки диагностической эффективности ИИ-сервиса были рассчитаны чувствительность, специфичность, точность, проведен ROC-анализ (Receiver Operating Characteristic) с вычислением значения AUC (Area Under the Curve), определены положительная прогностическая ценность (PPV), отрицательная прогностическая ценность (NPV) и F1-мера. Все статистические данные основывались на принципах доказательной медицины, различия считались статистически значимыми при p < 0.05.

РЕЗУЛЬТАТЫ

Участники исследования

Итоговую выборку составили 248 пациентов (распределение по полу было следующим: М:Ж = 1.67:1; средний возраст 15.29 лет). Результаты анализа КТ ОГК 248 пациентов, вошедших в исследование, двумя, а в сложных случаях тремя специалистами представлены в Таблице 1 (см. Приложение 1).

Результаты диагностических тестов

КТ-исследования, которые ошибочно были расценены алгоритмом ИИ как имеющие рентгенологические признаки очагового поражения легких среди тех КТ-исследований, которые, по мнению двух (трех в сложных случаях) специалистов, не имели рентгенологических признаков очагового поражения легких, были признаны ложноположительными (FP). Ложноположительными были следующие находки: сосудистые бифуркации, фиброзные изменения, внутрилегочные лимфатические узлы, внутрибронхиальное содержимое. КТ-исследования, которые ошибочно были расценены алгоритмом ИИ как не имеющие рентгенологических признаков очагового поражения легких среди тех КТ-исследований, которые, по мнению двух (трех в сложных случаях) врачей/экспертов, имели рентгенологические признаки очагового поражения легких, были признаны ложноотрицательными (FN). При этом оценка выполнялась на уровне КТ-исследования, а не на уровне количества или локализации находок: если в КТ-исследовании имелись 2 патологические находки, а алгоритм ИИ нашел лишь одну, но пропустил другую находку, то считалось, что алгоритм на уровне исследования показал правильный ответ.

При первичной оценке результатов анализа 248 КТ ОГК, проведенного врачом Центра и алгоритмом ИИ (Таблица 1, столбцы 2 и 3), совпадение решений наблюдалось при 211 КТ (85.08%): в 83 случаях врач Центра и ИИ пришли к единому мнению о наличии целевой патологии, в 128 – к мнению об ее отсутствии. Несовпадение мнений наблюдалось в 37 случаях (14.92%).

На этапе вторичной оценки датасета экспертом компании "АЙРА Лабс" и при сравнении результатов с мнением врача Центра (Таблица 1, столбцы 2 и 4) совпадение результата наблюдалось при анализе 212 КТ (85.48%): в 94 случаях врач Центра и эксперт компании "АЙРА Лабс" пришли к единому мнению о наличии целевой патологии, в 118 – к единому мнению об ее отсутствии. Несовпадение мнений наблюдалось в 36 случаях (14.52%). Эти 36 случаев были признаны «сложными» и подверглись третичной оценке рентгенологом-экспертом НПКЦ ДиТ (Таблица 1, столбец 5).

На основании экспертной оценки было финализировано врачебное мнение по всем 248 КТ (Таблица 1, столбец 6): наличие целевой патологии констатировано в 128 случаях (51.61%), отсутствие целевой патологии – в 120 случаях (48.39%).

В завершение проведен этап сравнения консолидированного врачебного мнения, взятого за истину (столбец 6), и мнения ИИ (столбец 3). Получены следующие результаты: в 5 случаях алгоритм ИИ показал ложноположительный результат (FP, 2.02%), в 34 – ложноотрицательный результат (FN, 13.71%), в 209 – верно обозначил целевую патологию (84.27%).

Полученные результаты статистического анализа данных представлены в Таблице 2.

Чувствительность алгоритма ИИ рассчитывали как долю истинно положительных результатов среди всех КТ-исследований, отнесенных по финальному консолидированному мнению специалистов к группе «с патологией» (наличие ≥1 очага средним размером ≥4 мм). Из 128 КТ «с патологией» алгоритм верно классифицировал 94 исследования и ошибочно отнес к «норме» 34 исследования (FN). Чувствительность составила 0,734 (95% ДИ 0.658-0.809).

Нежелательные явления – неприменимо.

ОБСУЖДЕНИЕ

Резюме основного результата исследования

Диагностическая точность примененного алгоритма ИИ, полученная в ходе настоящего исследования и равная 0.84, превысила установленное пороговое значение диагностической точности, определяемое площадью под характеристической кривой, равной 0.81 [13]. Таким образом, результат работы алгоритма ИИ признан удовлетворительным.

Обсуждение основного результата исследования

В единственной публикации Ni et al. из КНР по теме настоящего исследования [10] проводились поиск и оценка кальцинированных, солидных, частично солидных узлов и узлов матового стекла у 109 пациентов в возрасте от 9 до 35 лет с остеосаркомой путем анализа 675 изображений КТ ОГК с помощью модели глубокой сверточной нейронной сети (Deep Convolutional Neural Network, DCNN). Оценивались следующие параметры: чувствительность, специфичность, значение площади под кривой (ROC AUC) и время анализа КТ-исследования. Время чтения КТ значительно сократилось при использовании DCNN (173,25 с) по сравнению с ручным методом (328,32 с). Площадь под ROC-кривой (AUC) для DCNN была 0.795 – лучше, чем у ручного метода (AUC 0.687).

В нашем исследовании ROC AUC алгоритма ИИ была значительно лучше и составила 0.846, превысив установленное пороговое значение диагностической точности, определяемое площадью под характеристической кривой, равной 0.81 [8]. ROC AUC при работе врача Центра также оказалась значительно лучше и составила 0.898.

В публикации Ni et al. DCNN показала более высокую чувствительность (0.923 vs. 0.908) и специфичность (0.552 vs. 0.351) по сравнению с ручным методом. В нашем исследовании чувствительность алгоритма ИИ была существенно ниже и составила 0.734, а специфичность – несравненно выше и составила 0.958.

Вероятные причины такой чувствительности мы видим в следующем: алгоритм ИИ обучен на взрослых пациентах и ранее не применялся на детско-подростковых данных. В текущем исследовании мы специально ограничили минимальный возраст до 13 лет, чтобы уменьшить этот эффект, но он все равно остается. Кроме того, мы проводили оценку на уровне каждого конкретного исследования (КТ ОГК конкретного пациента), китайские же коллеги количественно оценивали выявление и пропуск отдельных узлов в легких. Такие принципиально разные подходы дают разные профили ошибок и делают чувствительность не полностью сопоставимой: при оценке на уровне узла алгоритм может показать очень высокую чувствительность за счет «нахождения хотя бы чего-то, похожего на узел»; при оценке на уровне исследования любое пропущенное целевое поражение сразу превращает случай в ложноотрицательный (FN). Кроме того, выборка для работы алгоритма ИИ отличается характеристиками целевых находок, в частности, метастатические очаги в легких при ОС в большинстве своем представлены кальцинатами, а алгоритм ИИ сфокусирован на выявлении мягкотканых очагов в легких.

Чувствительность и специфичность в работе врача Центра составили 0.805 и 0.992, соответственно. По нашему мнению, чувствительность врача Центра оказалась ниже, чем в публикации Ni et al., по той причине, что китайские коллеги работали по лабораторному сценарию ретроспективного исследования, когда эксперты имели больше времени и конкретную цель по сравнению с врачами Центра, мнение которых было сформировано во время проспективной работы в реальной клинической практике. Кроме того, часть случаев была пограничной: небольшие очаги могли измеряться чуть меньше порога в 4 мм, а некоторые находки интерпретировались как внутрилегочные лимфоузлы или фиброз. Также на пропуск очагов могла повлиять преимущественная локализация в базальных отделах легких, где их выявление значительно сложнее в связи с артефактами от дыхания.

Очень высокая специфичность врача Центра была связана с более осторожной клинической тактикой: врач реже относит сомнительные структуры к патологическим, поэтому в его оценке почти нет ложноположительных (FP) заключений. Дополнительно на показатель мог повлиять способ формирования «золотого стандарта» в условиях отсутствия гистологических данных: референс-стандарт был основан на экспертном консенсусе, в который входило мнение врача Центра.

Модель DCNN выявила 3087 узлов, пропустив 278 (процент пропуска узлов составил 8.26%); при анализе тех же изображений врачом рентгенологом ручным методом обнаружено 2442 узла, пропущено 657 (21.20% узлов). В нашем исследовании проводилась качественная оценка поиска целевой патологии на уровне каждого конкретного КТ-исследования, а не количественная на уровне каждого выявленного очага.

При сравнении результатов оценки КТ врачом Центра с консолидированным врачебным мнением (истиной) без учета мнения алгоритма ИИ выявлено, что целевая патология (очаг ≥ 4 мм) была пропущена врачом Центра в 25 случаях из 128 истинно патологических случаев (число ложноотрицательных результатов составило 19,53%). Из этих 25 случаев алгоритмом ИИ она была обнаружена в 11 (44%). В 4 случаях из 11 очаг не был обнаружен врачом Центра вовсе (пациенты №№60, 101, 107, 248). Примечательно, что во всех этих случаях патологический очаг располагался в базальных отделах легкого (Рисунки 4, 5, 6, 7).

Рисунок 4. Изображение КТ ОГК пациента №60.

Рисунок 5. Изображение КТ ОГК пациента №101.

Рисунок 6. Изображение КТ ОГК пациента №107.

Рисунок 7. Изображение КТ ОГК пациента №248.

В 4 случаях (пациенты №68, 146, 230, 245) находки были обнаружены, но описаны не как патологические, а как зона консолидации/фиброза (№68) или как внутрилегочный лимфоузел (№№146, 230, 245). В 3 случаях (№№159, 183, 246) врач Центра провел неверные замеры очага, ненамеренно уменьшив его средний размер, в связи с чем эти случаи были отнесены к «норме».

Согласно исследованию Patel et al., опубликованному в 2020 году, ошибка в интерпретации КТ врачом рентгенологом составляет около 3-5% в обычных условиях, а при сложных случаях и неблагоприятных условиях (например, при работе в ночные смены) увеличивается в несколько раз [14]. В статье «Commonly missed findings on chest radiographs» говорится, что средняя частота ошибок радиологов оценивается примерно в 4% в типичных случаях при оценке исследований без патологии, а при рассмотрении только патологических находок частота ошибок может достигать 30% и выше [15]. Те же цифры приводят Zhang et al. [16]. Время чтения КТ значительно сократилось при использовании DCNN (173,25 с) по сравнению с ручным методом (328,32 с). Большинство легочных узлов (78,8%) имели диаметр менее 5 мм; доминировали солидные и кальцинированные узлы. В нашем исследовании целевыми считались только очаги ≥ 4 мм, также очаги были преимущественно солидной структуры и кальцинированными.

Ni et al. в публикации сделан вывод о том, что предложенный алгоритм ИИ (DCNN) может быть использован в качестве эффективного инструмента для выявления и мониторинга легочных узлов у пациентов с остеосаркомой.

В нашем исследовании врач Центра, работая в коллаборации с ИИ, пропустил бы целевую находку в 14 из 128 истинно патологических случаев (число ложноотрицательных результатов, проще говоря, пропусков очагов снизилось бы на 8,59% и составило бы 10,94%). То есть, применение ИИ в конкретной клинической задаче позволило бы снизить пропуск патологических находок на 44% (с 25 до 14 случаев).

Если рассмотреть потенциальную стратегию взаимодействия врача с алгоритмом ИИ, то можно смоделировать следующие данные (Таблица 3).

Из Таблицы 3 следует, что в «сотрудничестве» с ИИ отмечается значимое повышение всех метрик статистического анализа данных, в первую очередь, диагностической точности, а также чувствительности. Можно предположить, что сотрудничество рентгенолога и алгоритма ИИ может и должно лечь в основу скрининговых программ для пациентов групп риска, в первую очередь, для излеченных от ОС пациентов подросткового возраста и молодых взрослых. 

Ограничения исследования

Наше исследование имеет ряд ограничений.

• Ограничения, связанные с методами диагностики. В настоящем исследовании пациенты из «Регистра» Центра, вошедшие в исследование, проходили первичное обследование не только в НМИЦ ДГОИ, но и в различных регионах РФ, в связи с чем достоверно судить о стандартизации протокола проведения КТ ОГК при первичном обследовании или в рецидиве заболевания затруднительно. Тем не менее, режим проекции максимальной интенсивности (MIP), применяемый рентгенологом Центра при анализе томограмм легких, вне зависимости от качества входных данных КТ позволяет провести адекватную оценку представленной визуализации.
• Ограничения, связанные с алгоритмом ИИ, который прежде не проходил обучение на детских/подростковых датасетах. Ввиду большой редкости ОС как нозологической единицы, собрать детский/подростковый «золотой» датасет не представляется возможным даже с учетом наличия «Регистра», который сотрудники Центра ведут с 2012 года. В связи с несоразмерностью антропометрических данных детей и взрослых при планировании настоящего исследования из него были исключены пациенты с ОС в возрасте 12 лет 11 мес. 29 дней и младше. Алгоритм ИИ компании "АЙРА Лабс", применявшийся в настоящем исследовании, ранее не использовался при анализе данных пациентов детского и подросткового возраста. Возможно, именно это обстоятельство стало причиной снижения показателей статистических метрик (особенно ROC AUC, которая у алгоритма на эталонном наборе «взрослых» данных составила 0.98, и чувствительности, равной 0.94) [12].

ЗАКЛЮЧЕНИЕ

Полученные в ходе настоящего исследования результаты свидетельствуют о практической ценности применения алгоритма ИИ в конкретной клинической задаче по поиску патологических очагов в легких у пациентов с ОС. Наши выводы подтверждают выводы, сделанные китайскими исследователями о том, что использование ИИ может улучшить раннее выявление метастазов в легких, ускорить процесс диагностики и помочь в принятии клинических решений, способствуя повышению выживаемости [10]. Для улучшения точности оценки и дифференциальной диагностики очагов в легких необходимо продолжение дальнейших исследований в данной области знаний.

ВКЛАД АВТОРОВ

Ускова Н.Г. – определение концепции, работа с данными, анализ данных, проведение исследования, администрирование проекта, руководство исследованием, визуализация, написание черновика рукописи.

Гомболевский В.А. – определение концепции, работа с данными, анализ данных, проведение исследования, разработка методологии, пересмотр и редактирование рукописи.

Чернина В.Ю. – работа с данными, анализ данных, пересмотр и редактирование рукописи.

Буренчев Д.В. – работа с данными, анализ данных, пересмотр и редактирование рукописи.

Ахаладзе Д.Г. – администрирование проекта, пересмотр и редактирование рукописи.

Панина А.В. – администрирование проекта, пересмотр и редактирование рукописи.

Карачунский А.И. – работа с данными, пересмотр и редактирование рукописи.

Терещенко Г.В. – работа с данными, анализ данных, пересмотр и редактирование рукописи.

Гончаров М.Ю. – программное обеспечение, работа с данными, пересмотр и редактирование рукописи

Соболева Е.А. – работа с данными, анализ данных, обеспечение исследования, пересмотр и редактирование рукописи.

Коноплева Е.И. – работа с данными, пересмотр и редактирование рукописи.

Быданов О.И. – программное обеспечение, работа с данными, пересмотр и редактирование рукописи.

Плехов С.Ю. – программное обеспечение, пересмотр и редактирование рукописи.

Грачев Н.С. – администрирование проекта, пересмотр и редактирование рукописи.

Все авторы одобрили рукопись (версию для публикации), а также согласились нести ответственность за все аспекты настоящей работы, гарантируют надлежащее рассмотрение и решение вопросов, связанных с точностью и добросовестностью любой ее части.

БЛАГОДАРНОСТИ: исследователи выражают благодарность команде компании-разработчика алгоритма ИИ ООО "АЙРА ЛАБС", а также коллективу врачей и научных сотрудников ФГБУ "НМИЦ ДГОИ им. Дмитрия Рогачева" за многолетний труд по поддержке и пополнению «Научного регистра опухолей костей и мягких тканей», а также по лечению пациентов с ОС.

ЭТИЧЕСКАЯ ЭКСПЕРТИЗА

Синопсис настоящего клинического исследования одобрен профильной экспертной комиссией ФГБУ НМИЦ ДГОИ им. Дмитрия Рогачева 25.03.2025 г.

Протокол настоящего клинического исследования одобрен независимым этическим комитетом ФГБУ НМИЦ ДГОИ им. Дмитрия Рогачева 13.05.2025 г.

(исследование зарегистрировано в отделе НПККИ под №NCHPOI-2025-5).

В рамках настоящего исследования получено разрешение юридического отдела ФГБУ НМИЦ ДГОИ им. Дмитрия Рогачева на использование персональной медицинской информации пациентов с соблюдением этических норм и правил и законов о защите персональных данных и медицинских сведений.

СОГЛАСИЕ НА ПУБЛИКАЦИЮ: неприменимо.

ИСТОЧНИКИ ФИНАНСИРОВАНИЯ: отсутствуют.

РАСКРЫТИЕ ИНТЕРЕСОВ: нет.

ЗАЯВЛЕНИЕ ОБ ОРИГИНАЛЬНОСТИ: авторы настоящего исследования заявляют об оригинальности научной работы, в работе использованы впервые собранные и созданные сведения.

ДОСТУП К ДАННЫМ: авторы сообщают, что все данные представлены в статье.

ГЕНЕРАТИВНЫЙ ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ с целью создания рукописи, ее частей или иных материалов, представленных на рассмотрение в журнал, не использовался.

РАССМОТРЕНИЕ И РЕЦЕНЗИРОВАНИЕ: рукопись направлена в редакцию журнала в инициативном порядке.

ДИСКЛЕМЕР: нет.

ПРИЛОЖЕНИЯ

Файл .doc. Приложение 1. Таблица 1.

ТАБЛИЦЫ 

Таблица 1. Результаты анализа КТ ОГК (размещена в Приложении 1).

Таблица 2. Результаты статистического анализа данных.

Метрика	Врач НМИЦ ДГОИ им. Дмитрия Рогачева (95% ДИ)	Алгоритм ИИ  (95% ДИ)
ROC AUC	0.898 [0.861-0.931]	0.846 [0.803-0.887]
Чувствительность	0.805 [0.733-0.869]	0.734 [0.658-0.809]
Специфичность	0.992 [0.973-1.000]	0.958 [0.920-0.991]
Точность	0.895 [0.855-0.931]	0.843 [0.794-0.887]
PPV	0.990 [0.969-1.000]	0.949 [0.901-0.990]
NPV	0.826 [0.726-0.886]	0.772 [0.702-0.838]
F1-мера	0.888 [0.842-0.927]	0.828 [0.771-0.878]

Таблица 3. Результаты взаимодействия врача с алгоритмом ИИ.

Метрика Стратегия	ROC AUC	Чувстви- тельность	Специ- фичность	Точ- ность	PPV	NPV	F1
Врач Центра	0.898	0.805	0.992	0.895	0.990	0.826	0.888
ИИ	0.846	0.734	0.958	0.843	0.949	0.772	0.828
Коллаборация врач Центра + ИИ	0.920	0.891	0.950	0.919	0.950	0.891	0.919

 

About the authors

Natalya Uskova

Dmitry Rogachev National medical research center of pediatric hematology, oncology and immunology

Author for correspondence.
Email: dr.uskova@yandex.ru
ORCID iD: 0000-0001-9424-1646
SPIN-code: 1529-5742

Pediatric surgeon

Oncology and pediatric surgery department

Russian Federation, 117198, Россия, г. Москва, ГСП-7, ул. Саморы Машела, д. 1

Victor Gombolevsky

1) АНО "Институт искусственного интеллекта" (AIRI)
2) Первый МГМУ им. И.М. Сеченова (Сеченовский университет)
3) Северный государственный медицинский университет (СГМУ)

Email: v.gombolevskiy@ira-labs.com
ORCID iD: 0000-0003-1816-1315
SPIN-code: 6810-3279
Russian Federation

Valeriya Chernina

1) Северный государственный медицинский университет (СГМУ)
2) ООО «ИНТЕЛЛИДЖЕНТ РАДИОЛОДЖИ АССИСТАНС ЛАБОРАТОРИС» (Айра Лабс)

Email: chernina909@gmail.com
ORCID iD: 0000-0002-0302-293X
SPIN-code: 8896-8051

Dmitry Burenchev

Научно-практический клинический центр диагностики и телемедицины (НПКЦ ДиТ)

Email: dburenchev@mail.ru
ORCID iD: 0000-0003-2894-6255
SPIN-code: 2411-3959

Dmitry Akhaladze

1) Первый МГМУ им. И.М. Сеченова (Сеченовский университет)
2) Национальный медицинский исследовательский центр детской гематологии, онкологии и иммунологии имени Дмитрия Рогачева (НМИЦ ДГОИ им. Дмитрия Рогачева)

Email: d.g.akhaladze@gmail.com
ORCID iD: 0000-0002-1387-209X
SPIN-code: 7714-9343

Elena Panina

ООО «ИНТЕЛЛИДЖЕНТ РАДИОЛОДЖИ АССИСТАНС ЛАБОРАТОРИС» (Айра Лабс)

Email: paninaev20@gmail.com
ORCID iD: 0009-0008-2981-2957
SPIN-code: 7633-4770

Aleksandr Karachunskiy

Национальный медицинский исследовательский центр детской гематологии, онкологии и иммунологии имени Дмитрия Рогачева (НМИЦ ДГОИ им. Дмитрия Рогачева)

Email: aikarat@mail.ru
ORCID iD: 0000-0002-9300-198X
SPIN-code: 4393-7460

Galina Tereschenko

Национальный медицинский исследовательский центр детской гематологии, онкологии и иммунологии имени Дмитрия Рогачева (НМИЦ ДГОИ им. Дмитрия Рогачева)

Email: galina.tereshenko@dgoi.ru
ORCID iD: 0000-0001-7317-7104
SPIN-code: 9413-2500

Mikhail Goncharov

АНО "Институт искусственного интеллекта" (AIRI)

Email: mig0nch@yandex.ru
ORCID iD: 0009-0009-8417-0878
SPIN-code: 7877-3375

Evgeniya Soboleva

ООО «ИНТЕЛЛИДЖЕНТ РАДИОЛОДЖИ АССИСТАНС ЛАБОРАТОРИС» (Айра Лабс)

Email: e.soboleva@ira-labs.com
ORCID iD: 0009-0009-4037-6911
SPIN-code: 9471-7047

Elena Konopleva

Национальный медицинский исследовательский центр детской гематологии, онкологии и иммунологии имени Дмитрия Рогачева (НМИЦ ДГОИ им. Дмитрия Рогачева)

Email: konoplevadoc@gmail.com
ORCID iD: 0000-0002-6848-8714
SPIN-code: 9893-8510

Oleg Bydanov

Национальный медицинский исследовательский центр детской гематологии, онкологии и иммунологии имени Дмитрия Рогачева (НМИЦ ДГОИ им. Дмитрия Рогачева)

Email: budanov.oi@yandex.ru
ORCID iD: 0000-0003-3232-2322
SPIN-code: 6782-9352

Sergey Plekhov

Национальный медицинский исследовательский центр детской гематологии, онкологии и иммунологии имени Дмитрия Рогачева (НМИЦ ДГОИ им. Дмитрия Рогачева)

Email: plekhov@gmail.com
ORCID iD: 0009-0006-7742-0240
SPIN-code: 6839-1811

Nikolay Grachev

1) Первый МГМУ им. И.М. Сеченова (Сеченовский университет)
2) Национальный медицинский исследовательский центр детской гематологии, онкологии и иммунологии имени Дмитрия Рогачева (НМИЦ ДГОИ им. Дмитрия Рогачева)

Email: nikolay.grachev@dgoi.ru
ORCID iD: 0000-0002-4451-3233

References

Supplementary files