Detecting new lung cancer cases using artificial intelligence: clinical and economic evaluation of a retrospective analysis of computed tomography scans 2 years after the COVID-19 pandemic

Cover Page


Cite item

Full Text

Abstract

BACKGROUND: Chest computed tomography (CT) is the main modality used to diagnose lung lesions caused by COVID-19 infection. Since 2020, the use of this modality in the Krasnoyarsk krai has increased. However, the incidence of lung cancer decreased by 5.2%. The current situation has raised concerns about missing radiographic signs typical of lung cancer and has stimulated the search for new diagnostic modalities using artificial intelligence (AI) for data analysis.

AIM: The aim of the study was to evaluate the feasibility of using an AI algorithm to search for lung nodules based on chest CT data obtained during the COVID-19 pandemic to identify lung cancer.

MATERIALS AND METHODS: The retrospective study included chest CT scans of patients from Krasnoyarsk krai diagnosed with COVID-19 reported in the PACS base between 1 November 2020 and 28 February 2021. The interval between chest CT and AI analysis ranged from two years and one month to two years and five months. Chest-IRA algorithm was used. AI detected lung nodules with a volume greater than 100 mm3. The radiologists divided the results into three groups based on the potential for lung cancer. The assessment of the economic benefits of using the AI algorithm considered the cost of wages and savings in the treatment of early-stage lung cancer, which affects gross regional product.

RESULTS: The AI algorithm identified nodules in 484 out of 10,500 CT scans. A total of 192 patients with a high potential for lung cancer, 103 with no signs and 60 with inconclusive signs were identified, and 112 patients with a high and moderate potential for lung cancer did not seek medical care. AI confirmed 100 (28.2%) histologically proven cases of lung cancer, with stages I–II detected in 35%.

Using AI instead of radiologists would save 25 months and 4 days of work, which is equal to 2 million 430 thousand rubles. Expected budget savings due to early detection of lung cancer vary from 10 million 600 thousand to 12 million 500 thousand rubles for each 10,500 CTs. The total economic effect for a five-year period would be from 259 million 400 thousand rubles to 305 million 100 thousand rubles.

CONCLUSIONS: The use of AI to evaluate chest CT scans demonstrates high performance in identifying lung nodules, including those in patients with COVID-19, confirming its potential use for early detection of incidental lung nodules that might otherwise be missed.

Full Text

Обоснование

Злокачественные новообразования (ЗНО) лёгких занимают ведущую позицию в общей структуре онкологической заболеваемости и смертности во всём мире. Ежегодно регистрируют 2,2 млн случаев рака лёгкого (РЛ) и 1,8 млн — смерти от данной патологии [1]. В Российской Федерации (РФ) стандартизованный показатель заболеваемости РЛ составляет 20,8 на 100 тыс. населения, его прирост по сравнению с 2020 годом — 2,7% [2]. Неблагополучная эпидемиологическая ситуация по заболеваемости РЛ сложилась в ряде субъектов РФ, в частности и в Красноярском крае. Данная патология занимает третье место в общей структуре онкологической заболеваемости Красноярского края, уступая раку молочной железы и ЗНО кожи.

Начиная с 2020 года, в связи с пандемией COVID-19 в Красноярском крае значительно увеличилось частота проведения компьютерной томографии (КТ) органов грудной клетки (ОГК) (2019 год — 36 577, 2021 год — 236 234), однако при этом на территории края отмечено снижение заболеваемости РЛ на 5,2% по сравнению с 2019 годом.

Одной из возможных причин сложившейся ситуации являются пропуски узловых образований в лёгких на фоне изменений, характерных для вирусной пневмонии COVID-19. В связи с этим возникла потребность в поиске новых методов диагностики, направленных на повышение эффективности выявления РЛ. Одним из таких инструментов является искусственный интеллект (ИИ), который может выступать в качестве основного элемента гибридного подхода к диагностике РЛ: на первом этапе с помощью системы ИИ выполняют первичный скрининг большого потока результатов КТ, а на втором этапе — изображения, отобранные системой исследования, пересматривают врачи–эксперты с целью принятия окончательного решения. По этой причине в 2022 году Красноярский край принял участие в пилотном проекте «Ретроспективный анализ результатов КТ ОГК с применением алгоритма ИИ Chest-IRA от компании «АЙРА Лабс».

Цель

Оценить эффективность алгоритма ИИ, направленного на поиск лёгочных узлов по данным КТ ОГК, полученным в период пандемии COVID-19, для выявления РЛ.

Материалы и методы

Дизайн исследования

Проведено наблюдательное одноцентровое ретроспективное выборочное неконтролируемое исследование. Схема проведения исследования представлена на рис. 1.

 

Рис. 1. Блок–схема исследования. КТ ОГК — компьютерная томография органов грудной клетки; ИИ — искусственный интеллект; ЗНО — злокачественное новообразование; С34 — злокачественное новообразование бронхов и лёгкого в соответствии с Международной классификацией болезней десятого пересмотра.

 

Критерии соответствия

Для формирования выборки участников исследования были использованы критерии включения и исключения.

Критерии включения:

  • результаты КТ ОГК мужчин и женщин из краевого PACS-архива Красноярского края;
  • пациентам проведены КТ ОГК в связи с инфекцией COVID-19 без внутривенного контрастирования и их результаты интерпретированы врачами–рентгенологами в период с 01.11.2020 по 28.02.2021;
  • возраст пациентов старше 18 лет;
  • наличие изображений КТ ОГК в формате DICOM.

Критерии исключения:

  • отсутствие изображений КТ ОГК в формате DICOM;
  • ложноположительные ошибки ИИ;
  • толщина среза, полученного при проведении КТ, более 1,5 мм;
  • получены данные неполного сканирования при проведении КТ ОГК;
  • значительные двигательные артефакты;
  • невозможность восстановить данные пациента после анонимизации.

Условия проведения

КТ ОГК проведены на базе Краевого государственного бюджетного учреждения здравоохранения «Красноярский краевой клинический онкологический диспансер имени А.И. Крыжановского» (КГБУЗ «КККОД им. А.И. Крыжановского»).

Продолжительность исследования

Исследование проведено с использованием результатов КТ ОГК, полученных в период с 01.11.2020 по 28.02.2021. Интервал времени между проведением КТ ОГК и применением алгоритма ИИ составил от двух лет и одного месяца до двух лет и пяти месяцев. Эксперты проводили оценку результатов в период с 15.12.2022 по 09.01.2023.

Описание медицинского вмешательства

КТ ОГК проведены с помощью компьютерных томографов Toshiba Aquilion 64, GE Revolution EVO и GE Healthcare Revolution Discovery CT по стандартному протоколу: напряжение на трубке 120 кВ, с автоматически настраиваемой силой тока на рентгеновской трубке, скорость ротации трубки (Time rotation) 0,50 с, питч 0,938, толщина среза 1 мм.

Все включённые в исследование результаты КТ обработаны с помощью алгоритма ИИ Chest-IRA (версия LungNodules-IRA, v4.0). Данный алгоритм валидирован на специально подготовленном калибровочном наборе данных, полученном в рамках Московского эксперимента по применению ИИ [3]. Согласно методическим рекомендациям по клиническим испытаниям программного обеспечения на основе интеллектуальных технологий, алгоритм Chest-IRA допущен к использованию, поскольку превзошёл пороговое значение точности не ниже площади под ROC-кривой (ROC AUC) 0,81 [4]. Алгоритм Chest-IRA имеет следующие параметры: ROC AUC 0,96; чувствительность 0,94; специфичность 0,94; точность 0,94 [3].

Он основан на двух нейронных сетях. Первая нейронная сеть (Н1) решает задачу семантической сегментации лёгочных узлов и образований. Н1 обучена с помощью набора данных LIDC-IDRI [5], который находится в публичном доступе и включает результаты КТ ОГК 1 018 пациентов c разметкой лёгочных узлов в виде бинарных масок. В результате работы Н1 для входного изображения создаётся бинарная маска. Её разбивают на связанные компоненты, одни из которых соответствуют лёгочным узлам и образованиям, а оставшиеся являются ложноположительными. Вторая нейронная сеть (Н2) решает задачу классификации связных компонентов на истинно положительные и ложноположительные с целью уменьшения количества ложноположительных находок. Н2 обучена с помощью набора данных, состоящего из 2 351 результата КТ ОГК. Открытые данные имели разметку в виде координат различных находок Н1 с классификационными метками.

Алгоритм от компании «АЙРА Лабс» зарекомендовал себя как первый из тех, который способен проводить дифференциальную диагностику в виде медицинской сортировки результатов КТ ОГК — наличие гистологически подтверждённого РЛ, бактериальной пневмонии, вирусной пневмонии, характерной для COVID-19, или нормы [6].

Алгоритм Chest-IRA (версия LungNodules-IRA, v4.0) анализировал полученные изображения: при обнаружении узловых образований в лёгких объёмом более 100 мм3 он указывал их локализацию, размер и объём. Алгоритм исключал кальцинаты и не определял их как узловые образования. Кроме того, существовали следующие его ограничения:

  • среди результатов КТ ОГК должна быть хотя бы одна аксиальная серия, которая содержит лёгкие;
  • расстояния между срезами серии должны быть одинаковыми (для более чем 95% срезов) и не более 3 мм;
  • серия должна покрывать область размером более 192×192×96 мм.

Основной исход исследования

Нулевая гипотеза исследования сформулирована следующим образом: применение алгоритма ИИ не приводит к статистически значимому увеличению выявляемости РЛ на ранних стадиях по сравнению со стандартной интерпретацией результатов КТ врачами-рентгенологами.

Конечной точкой исследования была эффективность алгоритма ИИ в выявлении РЛ. Об эффективности алгоритма судили по следующим показателям:

  • количество случаев РЛ, выявленных с помощью алгоритма ИИ;
  • доля ранних стадий (I–II) среди выявленных случаев РЛ;
  • чувствительность и специфичность алгоритма ИИ в обнаружении узловых образований в лёгких;
  • частота ложноположительных результатов работы алгоритма ИИ;
  • сравнительный анализ результатов интерпретации КТ-изображений алгоритмом ИИ и врачами-рентгенологами.

Данные показатели можно рассматривать как суррогатные конечные точки, поскольку они косвенно отражают потенциальное влияние применения ИИ на основную цель — снижение смертности от РЛ. Истинной конечной точкой в данном контексте была бы смертность от РЛ, однако её оценка требует длительного периода наблюдения.

Дополнительные исходы исследования

Для расчёта экономического эффекта от использования алгоритма ИИ проведена оценка трудозатрат с учётом средней заработной платы врача–рентгенолога в Красноярском крае, а также экономии средств на лечения пациентов с ранними стадиями РЛ по сравнению с поздними [8]. Кроме того, использовали подход к оценке экономического эффекта с учётом сохранённых лет жизни и их потенциального вклада в формирование валового регионального продукта.

Методы регистрации исходов

Результаты КТ ОГК, в которых алгоритм ИИ выявил находки, посмотрели однократно повторно один из 4-х врачей–рентгенологов КГБУЗ «КККОД им. А.И. Крыжановского» с опытом работы в лучевой диагностике с торакальной субспециализацией более 10 лет.

Анализ в группах

В ходе анализа изображений все пациенты ранжированы на 3 группы:

  • 1-я группа — пациенты с высокой вероятностью РЛ (изображения с признаками ЗНО лёгких);
  • 2-я группа — пациенты без признаков РЛ (ложноположительная активация алгоритма);
  • 3-я группа — пациенты с недостаточно убедительными признаками РЛ.

К 1-й группе относились пациенты, имеющие солидные лёгочные узлы диаметром ≥6 мм, а также более 5 узлов с доброкачественными признаками [7]. Среди признаков доброкачественного новообразования выявляли: зоны снижения воздушности лёгочной ткани по типу «матового стекла» диаметром менее 6 мм, перифиссуральные узлы и доброкачественная кальцификация. Пациенты с результатами исследования, которые не соответствовали указанным критериям, включены в 3-ю группу.

Проведён анализ медицинской документации каждого пациента для оценки точности работы алгоритма ИИ и определения необходимости дальнейшего обследования пациентов с подозрительными находками.

Этическая экспертиза

Локальный Этический комитет КГБУЗ «КККОД им. А.И. Крыжановского» согласовал проведение данного исследования (протокол № 48/1 от 09 февраля 2023 года). Работа проведена с соблюдением всех требований законодательства в части персональных данных и врачебной тайны, поскольку передачу данных проводили после предварительной анонимизации с присвоением каждому исследованию уникального ключа шифрования, позволяющего впоследствии идентифицировать пациентов, нуждающихся в дообследовании (с признаками РЛ) в условиях онкологического диспансера. Данные были деперсонализированы и направлены на платформу компании «АЙРА Лабс».

Статистический анализ

Принципы расчёта размера выборки. Для оценки чувствительности с нижней границей 95% доверительный интервал (ДИ) не менее 85%, при ожидаемой чувствительности 95%, потребуется около 93 положительных случаев. Для оценки специфичности с той же точностью, при ожидаемой специфичности 95%, потребуется около 93 отрицательных случаев. Учитывая распространённость подозрительных случаев 4,6%, для получения 93 положительных случаев потребуется общая выборка размером около 2022 КТ-исследований (93/0,046). Таким образом, минимальный рекомендуемый размер выборки для данного исследования составляет 2022 КТ-исследований. Однако в данном исследовании использовалась значительно большая выборка в 10 500 КТ, что повышает статистическую мощность и точность результатов.

Методы статистического анализа данных. Полученные в ходе исследования первичные данные подвергнуты анализу методами описательной статистики (рассчитаны абсолютные и относительные частоты для категориальных переменных). Для непрерывных переменных рассчитаны диапазоны значений. Для временных интервалов рассчитана медиана и диапазоны. Экономический анализ включал расчёт трудозатрат в часах и рублях, оценку экономии средств на лечении, расчёт потенциального вклада в валовой региональный продукт, сравнительный анализ показателей выявления ранних стадий рака лёгкого в Красноярском крае и РФ. Таким образом, в исследовании преимущественно использовались методы описательной статистики и экономического анализа.

Результаты

Объекты исследования

Из краевого PACS-архива предоставлено 10 500 результатов КТ ОГК (мужчин — 56%, женщин — 44%; возраст от 28 до 91 года) (см. рис. 1).

Основные результаты исследования

Признаки РЛ выявлены алгоритмом ИИ в 484 изображениях (4,6% случаев). Результаты 129 КТ (26,6%) исключены из исследования по причине дефектов, возникших при персонификации.

При анализе 355 изображений, отобранных алгоритмом ИИ, врачи–рентгенологи распределили пациентов на 3 группы (рис. 2):

  • 1-я группа — пациенты с высокой вероятностью РЛ [192 изображения — 39,7% от числа изображений, отобранных ИИ (1,83% от всех исследований)];
  • 2-я группа — пациенты без признаков РЛ [103 изображения — 21,3% от числа изображений, отобранных ИИ (0,98% от всех исследований)];
  • 3-я группа — пациенты с недостаточно убедительными признаками РЛ [(60 изображений — 12,4% от числа изображений, отобранных ИИ (0,57% от всех исследований)].

 

Рис. 2. Принцип анализа результатов компьютерной томографии органов грудной клетки с использованием искусственного интеллекта. КТ ОГК — компьютерная томография органов грудной клетки; ИИ — искусственный интеллект; КККОД — Красноярский краевой клинический онкологический диспансер им. А.И. Крыжановского; ЗНО — злокачественное новообразование. 134 пациента, выделенные красной пунктирной линией, не обращались в медицинские организации по поводу злокачественных новообразований.

 

Результаты работы алгоритма ИИ представлены на рис. 3 и рис. 4.

 

Рис. 3. Лёгочный узел в левом лёгком, выявленный с помощью искусственного интеллекта. Обнаруженный узел отмечен красным квадратом. Изображение с признаком высокой вероятности рака лёгкого.

 

Рис. 4. Лёгочные узлы в правом (a) и левом (b) лёгком, выявленные с помощью искусственного интеллекта. Обнаруженные узлы отмечены красным квадратом. Изображения с недостаточно убедительными признаками рака лёгкого.

 

Среди 252 пациентов, определённых в 1-ю и 3-ю группу, на 01.09.2023:

  • 93 пациента к моменту проведения анализа умерли:

– на момент проведения исследования 52 пациента находились на диспансерном учёте по поводу ЗНО (лёгких и бронхов, других локализаций с метастазами в лёгкое);

– 11 пациентов наблюдались с другим ЗНО без метастазов в лёгкое;

– 30 пациентов не наблюдались по поводу онкологического заболевания;

  • 159 пациентов живы:

– на момент проведения исследования 46 состояли на диспансерном учёте по поводу ЗНО (лёгких и бронхов, других локализаций с метастазами в лёгкое);

– 9 пациентов — других ЗНО без метастазов в лёгкое;

– у 10 пациентов выявлен РЛ I–II стадии, у 7 — III–IV стадии.

  • 104 пациента не обращались по поводу ЗНО и были приглашены для выполнения повторной КТ ОГК:

– 9 пациентов оформили письменный отказ от дальнейшего обследования и лечения;

– 17 пациентов не явились на дообследование;

– 78 пациентов прошли обследование и гистологическую верификацию: у 2 пациентов выявлен РЛ стадии Ia и Ib (рис. 5), у 76 пациентов выявлены другие патологии лёгких (табл. 1).

 

Рис. 5. Результаты компьютерной томографии органов грудной клетки пациентов с верифицированным раком лёгкого (обозначены синими стрелками). a — кистозно-солидное образование левого лёгкого (стадия Ia); b — солидное образование правого лёгкого (стадия Ib).

 

Таблица 1. Распределение выявленных патологических изменений лёгких у пациентов, прошедших дообследование

Патология

Количество пациентов

Гамартома лёгкого

17

Лёгочные узлы

13

Поствоспалительные изменения лёгких

12

Туберкулёма

7

Доброкачественное новообразование бронха и лёгкого

4

Саркоидоз

3

Послеоперационные изменения лёгких

2

Киста лёгкого

2

Фиброзные изменения лёгких

1

Хроническая обструктивная болезнь лёгких

1

Пневмосклероз

1

Другие интерстициальные лёгочные болезни с упоминанием о фиброзе

1

Без патологии

12

Примечание. Пациенты с диагнозом Доброкачественное новообразование бронха и лёгкого — оперативное лечение (2 пациента) и консультация (2 пациента) в Красноярском краевом клиническом онкологическом диспансер имени А.И. Крыжановского; пациент с диагнозом Другая интерстициальная лёгочная болезнь с упоминанием о фиброзе — оперативное лечение в онкологическом диспансере в г. Санкт-Петербурге.

 

Таким образом, РЛ подтверждён у 100 пациентов из 355 (28,2%), отобранных с помощью алгоритма ИИ.

Доля случаев РЛ, выявленного на I–II стадии, составила 35%, на III–IV — 65%. Все они гистологически верифицированы и проанализированы по критерию даты установленных диагнозов. 90 (90%) случаев РЛ установлены за 7 лет наблюдений до применения ИИ, остальные проходили КТ ОГК для контроля эффективности лечения. В 50% случаев (50) диагноз РЛ установлен в период между проведением КТ, результаты которых используют в настоящем исследовании, и применением ИИ при учёте, что этот интервал времени составлял от 762 до 881 дня. Впервые выявленными случаями РЛ в текущем исследовании названы только те, которые установлены после применения ИИ.

Анализ результатов КТ, на основе которых пациенты распределены специалистами во 2-ю группу, показал, что алгоритм ИИ выявил (рис. 6):

  • фиброзные изменения ткани лёгких в большинстве случаев (71 пациент — 68,9%);
  • зоны инфильтрации (14 пациентов — 13,6%);
  • гамартомы (11 пациентов — 10,7%);
  • сосуды лёгочной ткани (3 изображения).

 

Рис. 6. Примеры наиболее частых ложноположительных случаев активации алгоритма искусственного интеллекта: a — в качестве лёгочного узла отмечены фиброзные изменения; b — в качестве лёгочного узла отмечен участок инфильтрации лёгочной ткани.

 

В единичных случаях с помощью алгоритма ИИ отмечены находки, трактованные врачами–рентгенологами как внутрилёгочные лимфоузлы (1,0%) и туберкулёмы (1,0%).

Стоит отметить, что ИИ позволил выявить и другие патологии лёгких.

Дополнительные результаты исследования

Оценка экономической эффективности

Важно оценить не только клиническую эффективность проведённого эксперимента, но и спрогнозировать экономический эффект от применения ИИ.

Для определения потенциальных трудозатрат учтена средняя заработная плата врача–рентгенолога в Красноярском крае, которая составляет 96 900 рублей (табл. 2). В месяц врач–рентгенолог обрабатывает около 400 результатов КТ (по 20 исследований в день). Таким образом, 10 500 изображений первоначальной выборки были бы проанализированы за 26 мес. и 25 дней работы врача, тогда как ИИ самостоятельно проверил 10 016 исследований, сэкономив 25 мес. и 4 дня работы. Этот объём работы потребовал бы от медицинской организации 2 430 тыс. рублей только непосредственно заработной платы без учета налогов и других выплат (27 421 доллар или 196 830 юаней).

 

Таблица 2. Сравнение экономического эффекта в двух моделях анализа результатов компьютерной томографии органов грудной клетки

Параметры

Модель № 1

Модель № 2

Исходное количество результатов компьютерной томографии органов грудной клетки

10 500

Количество результатов компьютерной томографии органов грудной клетки, исключённых из пересмотра врачом–рентгенологом

0

10 016

Количество результатов компьютерной томографии органов грудной клетки, пересмотренных врачом–рентгенологом

10 500

484

Время, необходимое на пересмотр результатов компьютерной томографии органов грудной клетки (просмотр 400 снимков компьютерной томографии в месяц)

26 мес. и 25 дней

1 мес. и 21 день

Стоимость работы врача, направленной на пересмотр результатов (заработная плата в месяц — 96 900 рублей)

2 543 625 рублей (27 980 долларов или 206 033 юаня)

117 249 рублей (1 290 долларов или 9 497 юаней)

Сэкономленное время врачей

0 мес.

25 мес. и 4 дня

Сэкономленные денежные средства (применение искусственного интеллекта в текущем проекте без оплаты)

0 рублей

2 426 376 рублей (26 690 долларов или 196 536 юаней)

Примечание. Модель № 1 — все результаты компьютерной томографии анализировал врач–рентгенолог; модель № 2 — анализ результатов в 2 этапа: оценка всех результатов компьютерной томографии с помощью искусственного интеллекта, затем пересмотр врачом–рентгенологом снимков.

 

Иной подход в отношении оценки эффективности применения ИИ — экономия денежных средств, необходимых для лечения пациентов с онкологической патологией. Оценивая среднюю стоимость лечения одного пациента с РЛ I–II стадии (данные КГБУЗ «КККОД им. А.И. Крыжановского» в ценах 2023 года) в 352 тыс. рублей за пациента (3 872 доллара или 28 512 юаней), общие расходы на оказание помощи на ранних стадиях заболевания (35 пациентов) составят 12 350 тыс. рублей (135 811 долларов или 1 066 тыс. юаней) (табл. 3). Стоимость для пациентов с РЛ, выявленным на поздних стадиях, при средней стоимости лечения одного пациента в 587 тыс. рублей (6 465 долларов или 47 606 юаней) составляет 20 570 тыс. рублей (226 278 долларов или 1 666 229 юаней). Таким образом, прямая ожидаемая экономия краевого бюджета за счёт выявления пациентов на ранних стадиях РЛ составит 8 220 тыс. рублей (90 466 долларов или 666 162 юаня) на каждые 10 500 человек, прошедших КТ ОГК.

 

Таблица 3. Предполагаемый экономический эффект от снижения затрат на лечение пациентов с поздними стадиям рака лёгкого за счёт проведения проекта с применением алгоритма искусственного интеллекта

Параметры

Стоимость лечения одного пациента

Стоимость лечения всех выявленных на ранних стадиях пациентов (n=35)

Стоимость лечения пациентов с III–IV стадией рака лёгкого (комбинированное лечение: оперативное + химиолучевая терапия, без учёта стоимости иммунотерапии)

587 735 рублей (6 465 долларов или 47 606 юаней)

20 570 725 рублей (226 278 долларов или 1 666 229 юаней)

Стоимость лечения пациентов с I–II стадией рака лёгкого

352 757 рублей (3 880 долларов или 28 573 юаня)

12 346 495 рублей (135 811 доллар или 908 659юаней)

Экономическая эффективность от снижения затрат на лечение пациентов с поздними стадиями (без учёта стоимости иммунотерапии)

234 978 рублей (2 585 долларов или 19 033 юаня)

8 224 230 рублей (90 466 долларов или 666 162 юаня)

 

Ещё одним распространённым подходом для оценки экономического эффекта является учёт сохранённых лет жизни и их потенциальный вклад в формирование валового регионального продукта. Пятилетняя выживаемость пациентов со своевременно выявленными ранними формами РЛ составляет 90%. Таким образом, для 35 человек может быть сохранено 157 лет и 5 дней жизни. Используя данные Федеральной службы государственной статистики по Красноярскому краю по оценке валового регионального (краевого) продукта в 1 100 тыс. рублей, можно оценить финансовый эквивалент сохранённых лет жизни в 173 250 тыс. рублей (1 905 750 долларов или 14 033 250 юаней) (табл. 4).

 

Таблица 4. Общая оценка экономии применения искусственного интеллекта при повторном использовании результатов компьютерной томографии с целью выявления признаков злокачественных новообразований лёгких

Параметры

Экономия в проекте

Снижение затрат на оплату труда врачей–рентгенологов

2 426 376 рублей (26 690 долларов или 196 536 юаней)

Снижение затрат на лечение пациентов с поздними стадиями (35 пациентов с ранними стадиями)

8 224 230 рублей (90 466 долларов или 666 162 юаня)

Экономический эффект за 5 лет с учётом расчёта валового регионального продукта на количество сохранённых лет жизни

173 250 тыс. рублей (1 905 750 долларов или 14 33 250 юаней)

Общий экономический эффект с расчётом на 1 год

10 650 606 рублей (11 157 долларов или 862 699 юаней)

Общий экономический эффект за 5 лет с учётом сохранённых лет жизни

183 900 606 рублей (2 022 907 долларов или 14 895 949 юаней)

 

Кроме того, в равной мере корректно суммирование исчисленных эффектов, поскольку описанные последствия раннего выявления, возможного при применении ИИ, наступают одновременно (экономия времени и фонда оплаты труда медицинских работников, снижение стоимости лечения и потенциальный вклад в региональный валовый продукт, обеспечиваемый дополнительной пятилетней выживаемостью). Таким образом, суммарный эффект можно оценить в 183 009 тыс. рублей (2 022 907 долларов или 14 895 949 юаней) для каждых 35 выявленных пациентов на ранней стадии на каждые 10 500 КТ ОГК в течение пяти лет.

Обсуждение

Резюме основного результата исследования

Ретроспективный анализа результатов КТ ОГК с помощью алгоритма ИИ из 10 500 обработанных изображений позволил отобрать 355 для повторного анализа специалистами КГБУЗ «КККОД им. А.И. Крыжановского». В зависимости от изменений, выявленных на снимках КТ ОГК, 252 пациента (2,4%) распределены в 1-ю и 3-ю группы. У 35 пациентов выявлен РЛ I–II стадии, у 65 — III–IV стадии. Прямая ожидаемая экономия краевого бюджета за счёт выявления пациентов на ранних стадиях составит 8 220 тыс. рублей на каждые 10 500 человек, прошедших КТ (90 466 долларов или 666 162 юаня).

Обсуждение основного результата исследования

Использование алгоритма ИИ Chest-IRA позволило в большинстве случаев достоверно выявить узловые образования в лёгких с высокой и средней вероятностью РЛ на фоне воспалительных изменений, вызванных инфекцией COVID-19, что говорит об эффективности гибридного подхода к ретроспективному анализу результатов КТ ОГК. Стоит отметить, что доля случаев РЛ, выявленных на ранних стадиях (I–II стадия), в среднем по РФ не превышает 30% [9]. Одной из причин подобной ситуации является недостаточная эффективность флюорографических исследований, проводимых в ходе диспансеризации взрослого населения, в отношении раннего выявлении РЛ. Обнаружение новообразований размером более 1 см с использованием даже современного рентгенологического оборудования требует высокой квалификации врачей–рентгенологов и индивидуального анализа факторов риска каждого пациента: наследственность; производственные факторы окружающей среды; наличие инфекционных и хронических заболеваний. В связи с вышеперечисленным данный метод позволяет выявить, главным образом, поздние стадии РЛ — радикальное лечение невозможно, а заболевание имеет, как правило, неблагоприятный прогноз [10].

Одним из способов решения данной проблемы является качественный и своевременный скрининг РЛ. Наиболее эффективным методом является низкодозная компьютерная томография (НДКТ), позволяющая диагностировать в 3–4 раза больше очаговых образований в сравнении с рентгенографией, причём размер очагов в 2 раза меньше. Крупнейшее исследование National lung cancer screening trial (NLST), проведённое в Соединённых Штатах Америки, показало, что использование НДКТ в качестве метода скрининга снижает смертность от РЛ на 16% по сравнению с рентгенографией лёгких [10]. Начиная с 2015 года, в качестве пилотного проекта в г. Красноярске НДКТ рекомендована как метод скрининга РЛ при проведении диспансеризации отдельных групп взрослого населения1. НДКТ выполняли пациентам из группы риска, одновременно соответствующим следующим критериям: мужчины в возрасте 50–64 лет, проживающие на территории г. Красноярска, с индексом курящего человека ≥30. В результате внедрения НДКТ в стандарт скрининга РЛ в период с 2015 по 2017 год выявляемость ЗНО лёгких составила 17,1 на 1000 обследуемых пациентов в группе риска, что в 30 раз превысило аналогичный показатель, полученный при использовании флюорографии или рентгенографии (0,57 на 1000 обследуемых) [11]. С 2018 года данный подход применяли на всей территории Красноярского край, а с 2019 — вошёл в стандарт диспансеризации отдельных групп взрослого населения с дальнейшим расширением критериев включения в группу риска (рис. 7).

 

Рис. 7. Эволюция скрининга рака лёгкого на территории Красноярского края.

 

Использование НДКТ в качестве метода скрининга РЛ за период с 2015 по 2021 год привело к увеличению числа выявленных ранних форм РЛ, причём данный показатель в Красноярском крае стал выше в сравнении со средним в РФ. В Красноярском крае в 2015 году показатель увеличился с 22,1 до 34,2 на 100 тыс. населения в 2021 году, прирост при этом составил 54,8%. В РФ прирост показателя раннего выявления РЛ за рассматриваемый период составил 8,4% — с 27,3 до 29,6 на 100 тыс. населения). Кроме того, в период с 2015 по 2021 год в Красноярском крае отмечено снижение показателя смертности от РЛ на 7,0% (с 48,7 до 45,3 на 100 тыс. населения) в отличие от РФ, где за аналогичный период выявлено увеличение показателя на 13,2% (с 34,1 до 38,6 на 100 тыс. населения) [2].

Новые данные показали, что алгоритмы ИИ могут предсказывать риск РЛ с точностью, соответствующей врачам–рентгенологам. Комплексный скрининг РЛ с использованием алгоритмов ИИ достиг хороших показателей (ROC AUC 94,4%) и улучшил точность диагностики врачами–рентгенологами, что подтверждает абсолютное снижение ложноположительных результатов на 11% и ложноотрицательных — на 5% [11]. В соответствии с последним систематическим обзором, проведённым для оценки эффективности использования ИИ в диагностике и прогнозировании ЗНО лёгких, выявлено, что анализ результатов КТ, сделанный рентгенологами с использованием ИИ, имел более высокую точность. Применение ИИ с целью прогнозирования злокачественности позволяет рентгенологам достигать хороших и точных результатов, что подтверждает высокая чувствительность и специфичность метода [12].

В исследовании S. Goncalves и соавт. [13] продемонстрирован SWOT-анализ, иллюстрирующий сильные и слабые стороны, возможности и угрозы для ИИ в выявлении РЛ. Среди преимуществ выделены: высокая точность современных алгоритмов; снижение нагрузки на врачей; снижение количества ошибок при диагностике. Слабой стороной, по мнению авторов, является необходимость проведения валидационных исследований в реальной практике перед клиническим внедрением. Среди угроз отмечены проблемы конфиденциальности и защиты данных, смещение выборок, использованных для обучения алгоритмов. В нашем исследовании эксперты выявили ложноположительную активацию алгоритма ИИ в 21,3% случаев от всех результатов КТ, в которых ИИ выявил лёгочные узлы (103 изображения). В большинстве случаев (71 изображение — 68,9%) алгоритмом ИИ в качестве признаков РЛ отмечены участки рубцовых изменений лёгочной ткани. Несмотря на наличие относительно большого количества ложноположительных активаций ИИ, абсолютное количество оставалось в приемлемых пределах для пересмотра. Кроме того, важно учитывать, что основной целью проекта было выявление максимального количества пациентов с подозрением на РЛ по данным КТ ОГК, полученным в период пандемии COVID-19. Для достижения этой цели выбрано низкое значение порога активации алгоритма ИИ. Однако выбор точки настройки порога активации ИИ между чувствительностью и специфичностью в сторону специфичности может привести к уменьшению целевых результатов: с повышением специфичности снижается не только удельный вес ложноположительных ошибок ИИ (и нагрузка на врачей), но и количество выявленных находок, влияя на увеличение вероятности пропустить пациентов с РЛ.

S. Ziegelmayer и соавт. [14] оценили экономическую эффективность использования алгоритма ИИ на первом этапе скрининга РЛ с помощью модели Маркова. Авторы обнаружили, что применение ИИ при первичном скрининге является экономически эффективной стратегией — экономия 1 240 долларов за одного пациента при готовности платить 100 тыс. долларов за годы жизни с поправкой на качество. Предложенный нами проект повторного анализа результатов КТ ОГК с помощью ИИ для выявления признаков РЛ также можно считать экономически целесообразным как в моменте, так и спустя 5 лет. Экономия складывается из значительного сокращения потребности в пересмотре врачами результатов КТ ОГК, снижения затрат на лечение пациентов с поздними стадиями заболевания, сохранённых лет жизни с учётом будущего вклада в экономику региона. Суммарный эффект (экономия фонда оплаты труда, снижение стоимости лечения и потенциальный вклад в региональный валовый продукт) за пять лет можно оценить в 183 900 тыс. рублей (2 022 907 долларов или 14 895 949 юаней). Однако сумма могла быть больше, поскольку в эти расчёты не включены 2 группы пациентов:

  • во-первых, пациенты с ошибками в деперсонализации;
  • во-вторых, пациенты, имевшие посмертно диагностированное ЗНО в интервале между проведением КТ ОГК и началом осуществления ретроспективного анализа.

Если смоделировать учёт всех 484 пациентов без ошибок деперсонализации с учётом распределения ранних стадий как в группе 355 известных пациентов, то количество пациентов, выявленных при помощи ИИ на ранних стадиях РЛ, составило бы 43. Соответственно, для них суммарный экономический эффект (2 430 тыс. рублей от пересмотра + 10 105 тыс. рублей от экономии на лечении + 236 005 тыс. рублей от сохранённых лет жизни) составил 249 080 тыс. рублей за 5 лет (2 739 880 долларов или 20 175 480 юаней).

Ограничения исследования

Данное исследование имеет ряд ограничений. Оно проведено ретроспективно, однако заявленная цель предполагает выбранный дизайн. Одним врачом– рентгенологом пересмотрены только те исследования, в которых алгоритм ИИ выявил лёгочные узлы более 100 мм3, что сделано в целях экономии ресурсов и времени при пересмотре большого массива данных. При оценке экономической эффективности не учитывали экономию при проведении иммунотерапии пациентам на поздних стадиях, а также непрямые и косвенные расходы. Следующим ограничением является то, что ИИ нацелен на поиск лёгочных узлов, а не РЛ, поэтому среди находок, выявленных с помощью ИИ, встречаются различные состояния, в связи с чем необходимо отдельно планировать исследования для оценки конверсии из находок, предложенных ИИ, в верификацию РЛ.

Заключение

Применение технологий ИИ для анализа большого количества результатов КТ ОГК, выполненных по различным медицинским показаниям, потенциально может способствовать случайному выявлению лёгочных узлов. Это касается КТ, проводимых в рамках скрининговых программ или обследований на другие заболевания лёгких, включая COVID-19. Результаты проекта по применению алгоритма ИИ Chest-IRA выглядят обнадёживающими, однако необходимы дальнейшие исследования с целью оценки эффективности и безопасности их более широкого внедрения в клиническую практику. Необходимо накопление большого объёма данных о влиянии технологий ИИ на выявляемость ЗНО лёгких, а также изучение практических аспектов их интеграции в существующие диагностические процессы. Важно продолжать научные исследования и клинические испытания в этой перспективной, но всё ещё развивающейся области.

Дополнительная информация

Источник финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Вклад авторов. Авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределен следующим образом: Р.А. Зуков — концепция исследования, экспертная оценка информации, утверждение финальной версии рукописи; И.П. Сафонцев — концепция исследования, поиск публикаций по теме статьи, экспертная оценка информации, редактирование текста рукописи; М.П. Клименок — экспертная оценка информации, редактирование текста рукописи; Т.Е. Забродская — поиск публикаций по теме статьи, формирование набора данных, обработка результатов исследования, написание текста рукописи; Н.А. Меркулова — формирование набора данных, обработка результатов исследования, экспертная оценка информации; В.Ю. Чернина — поиск публикаций по теме статьи, написание текста рукописи; М.Г. Беляев — экспертная оценка информации, редактирование текста рукописи; М.Ю. Гончаров — анализ данных; В.В. Омельяновский — экспертная оценка информации; К.А. Ульянова — экспертная оценка информации; Е.А. Соболева, М.Е. Блохина, Е.А. Наливкина — обзор литературы, редактирование текста рукописи; В.А. Гомболевский — концепция исследования, экспертная оценка информации, написание текста рукописи, утверждение финальной версии рукописи.

Благодарности. Коллектив авторов выражает признательность компании «АстраЗенека» за предоставление своей экспертизы и научную поддержку.

Additional information

Funding source. This study was not supported by any external sources of funding.

Competing interests. The authors declare that they have no competing interests.

Authors’ contributions. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. R.A. Zukov — conceptualization of the study, expert evaluation of information, and approval of the final manuscript version; I.P. Safontsev — conceptualization of the study, literature search on the article’s topic, expert evaluation of information, and manuscript text editing; M.P. Klimenok — expert evaluation of information and manuscript text editing; T.E. Zabrodskaya — literature search on the article’s topic, data set formation, analysis of study results, and manuscript writing; N.A. Merkulova — data set formation, analysis of study results, expert evaluation of information, and manuscript writing; V.Yu. Chernina — literature search on the article’s topic and manuscript writing; M.G. Belyaev — expert evaluation of information and manuscript text editing; M.Yu. Goncharov — data analysis; N.A. Omelyanovsky — expert evaluation of information and manuscript text editing; K.A. Ulyanova — expert evaluation of information; Е.А. Soboleva, М.Е. Blokhina, Е.А. Nalivkina — literature review and manuscript text editing; V.A. Gombolevsky — developed the study concept, conducted expert information evaluation, authored the manuscript, and approved its final version.

Acknowledgements. The team of authors would like to thank AstraZeneca for providing their expertise and scientific support.

 

1 Письмо Министерства здравоохранения Красноярского края № 71/08-26/9923 от 15 мая 2015 г. «О порядке организации скрининга рака лёгких в рамках диспансеризации отдельных групп взрослого населения»

×

About the authors

Ruslan A. Zukov

Professor V.F. Voino-Yasenetsky Krasnoyarsk State Medical University; Krasnoyarsk Regional Clinical Oncological Dispensary named after A.I. Kryzhanovskogo

Email: zukov_rus@mail.ru
ORCID iD: 0000-0002-7210-3020
SPIN-code: 3632-8415

MD, Dr. Sci. (Medicine), Professor

Russian Federation, Krasnoyarsk; Krasnoyarsk

Ivan P. Safontsev

Professor V.F. Voino-Yasenetsky Krasnoyarsk State Medical University; Krasnoyarsk Regional Clinical Oncological Dispensary named after A.I. Kryzhanovskogo

Email: sip@onkolog24.ru
ORCID iD: 0000-0002-8177-6788
SPIN-code: 1548-5565

MD, Cand. Sci. (Medicine), Assoc. Prof., Depart. of Oncology and Radiation Therapy with a Postgraduate Course, Deputy Head Physician

Russian Federation, Krasnoyarsk; Krasnoyarsk

Marina P. Klimenok

Krasnoyarsk Regional Clinical Oncological Dispensary named after A.I. Kryzhanovskogo

Email: klimenokmp@onkolog24.ru
ORCID iD: 0009-0001-7849-0770
SPIN-code: 7179-8793

MD

Russian Federation, Krasnoyarsk

Tatyana E. Zabrodskaya

Krasnoyarsk Regional Clinical Oncological Dispensary named after A.I. Kryzhanovskogo

Email: ZabrodskayaTE@onkolog24.ru
ORCID iD: 0000-0003-4987-5222
SPIN-code: 8365-3582

MD

Russian Federation, Krasnoyarsk

Natalya A. Merkulova

Krasnoyarsk Regional Clinical Oncological Dispensary named after A.I. Kryzhanovskogo

Email: MerkulovaNA@onkolog24.ru
ORCID iD: 0009-0006-9254-1331

MD

Russian Federation, Krasnoyarsk

Valeria Yu. Chernina

IRA Labs

Email: v.chernina@ira-labs.com
ORCID iD: 0000-0002-0302-293X
SPIN-code: 8896-8051

MD

Russian Federation, Moscow

Mikhail G. Belyaev

IRA Labs

Email: belyaevmichel@gmail.com
ORCID iD: 0000-0001-9906-6453
SPIN-code: 2406-1772

Cand. Sci. (Physics and Mathematics)

Russian Federation, Moscow

Mikhail Yu. Goncharov

IRA Labs; Artificial Intelligence Research Institute AIRI; Skolkovo Institute of Science and Technology

Email: mig0nch@yandex.ru
ORCID iD: 0009-0009-8417-0878
Russian Federation, Moscow; Moscow; Moscow

Vitaly V. Omelyanovskiy

Center for Expertise and Quality Control of Medical Care; Russian Medical Academy of Continuous Professional Education; Financial Research Institute

Email: vvo@rosmedex.ru
ORCID iD: 0000-0003-1581-0703
SPIN-code: 1776-4270

MD, Dr. Sci. (Medicine), Professor

Russian Federation, Moscow; Moscow; Moscow

Ksenia A. Ulianova

Ministry of Health of the Russian Federation

Email: UlyanovaKA@minzdrav.gov.ru
ORCID iD: 0000-0002-3462-0123
SPIN-code: 6491-6072
Russian Federation, Moscow

Evgenia A. Soboleva

IRA Labs; Skolkovo Institute of Science and Technology

Email: e.soboleva@ira-labs.com
ORCID iD: 0009-0009-4037-6911
Russian Federation, Moscow; Moscow

Maria E. Blokhina

AstraZeneca Pharmaceuticals LLC

Email: mariya.blokhina@astrazeneca.com
ORCID iD: 0009-0002-9008-9485

MD

Russian Federation, Moscow

Elena A. Nalivkina

AstraZeneca Pharmaceuticals LLC

Email: elena.nalivkina@astrazeneca.com
ORCID iD: 0009-0003-5412-9643
Russian Federation, Moscow

Victor A. Gombolevskiy

IRA Labs; Artificial Intelligence Research Institute AIRI; World-Class Research Center «Digital biodesign and personalized healthcare»; Sechenov First Moscow State Medical University

Author for correspondence.
Email: gombolevskii@gmail.com
ORCID iD: 0000-0003-1816-1315
SPIN-code: 6810-3279

MD, Cand. Sci. (Medicine)

Russian Federation, Moscow; Moscow; Moscow; Moscow

References

  1. Siegel RL, Miller KD, Jemal A. Cancer statistics, 2020. CA Cancer J Clin. 2020;70(1):7–30. doi: 10.3322/caac.21590
  2. Kaprin AD, Starinsky VV, Shakhzadova AO, editors. Malignant neoplasms in Russia in 2021 (morbidity and mortality). Moscow: P. Herzen MORI – the branch of the FSBI NMRRC of the Ministry of Health of the Russian Federation, 2022. (In Russ).
  3. Сhest-IRA [Internet]; 2020. [cited 2024 May 16]. Available from: https://mosmed.ai/service_catalog/chestira/
  4. Morozov SP, Vladzimirsky AV, Klyashtorny VG, et al. Clinical trials of software based on intelligent technologies (Radiology). Series «Best Practices of Radiology and Instrumental Diagnostics». N 56. Moscow: SBHI «SPCC for DTT of MHD», 2019. (In Russ).
  5. Armato SG 3rd, McLennan G, Bidaut L, et al. The lung image database consortium (LIDC) and image database resource initiative (IDRI): a completed reference database of lung nodules on CT scans. Med Phys. 2011;38(2):915–931. doi: 10.1118/1.3528204
  6. Goncharov M, Pisov M, Shevtsov A, et al. CT-Based COVID-19 triage: dep multitask learning improves joint identification and severity quantification. Med Image Anal. 2021;71:102054. doi: 10.1016/j.media.2021.102054
  7. MacMahon H, Naidich DP, Goo JM, et al. Guidelines for management of incidental pulmonary nodules detected on CT images: from the Fleischner Society 2017. Radiology. 2017;284(1):228–243. doi: 10.1148/radiol.2017161659
  8. Rate agreement of the compulsory medical system of Krasnoyarsk Territory. In: territorial fund of compulsory medical insurance; 2012– [cited 2024 May 16]. Available from: https://www.krasmed.ru/content/18137/page.html
  9. Kaprin AD, Starinsky VV, Shakhzadova AO. State of oncological care for the Russian population in 2021. Moscow: P. Herzen MORI — the branch of the FSBI NMRRC of the Ministry of Health of the Russian Federation, 2022. (In Russ).
  10. National Lung Screening Trial Research Team. Reduced lung-cancer mortality with low-dose computed tomographic screening. N Engl J Med. 2011;365(5):395–409. doi: 10.1056/NEJMoa1102873
  11. Gusamova NV, Komleva MI, Saphontsev IP, et al. Lung cancer screening by LDCT. Results for 2015–2017 years RSBHCI «Krasnoyarsk Regional Clinical Oncological Dispensary named after A.I. Kryzhanovsky». In: Modern achievements of oncology in clinical practice. Proceedings of the All-Russian scientific and practical conference. Krasnoyarsk, 2018. P. 54–57. (In Russ).
  12. Ardila D, Kiraly AP, Bharadwaj S, et al. End-to-end lung cancer screening with three-dimensional deep learning on low-dose chest computed tomography. Nat Med. 2019;25(6):954–961. doi: 10.1038/s41591-019-0447-x
  13. Goncalves S, Fong PC, Blokhina M. Artificial intelligence for early diagnosis of lung cancer through incidental nodule detection in low- and middle-income countries-acceleration during the COVID-19 pandemic but here to stay. Am J Cancer Res. 2022;12(1):1–16.
  14. Graf M, Makowski M, Gawlitza J, Gassert F. Cost–effectiveness of artificial intelligence support in computed tomography–based lung cancer screening. Cancers (Basel). 2022;14(7):1729. doi: 10.3390/cancers14071729

Supplementary files

Supplementary Files
Action
1. JATS XML
2. Fig. 1. Block diagram of the study. CT OGK — computed tomography of the chest organs; AI — artificial intelligence; ZNO — malignant neoplasm; C34 — malignant neoplasm of the bronchi and lungs in accordance with the International Classification of Diseases of the tenth revision.

Download (268KB)
3. Fig. 2. The principle of analyzing the results of computed tomography of the chest organs using artificial intelligence. CT OGK — computed tomography of the chest organs; AI — artificial intelligence; KKKOD — Krasnoyarsk Regional Clinical Oncological Dispensary named after A.I. Kryzhanovsky; ZNO — malignant neoplasm. 134 patients, highlighted by the red dotted line, did not contact medical organizations about malignant neoplasms.

Download (336KB)
4. Fig. 3. Pulmonary node in the left lung, identified using artificial intelligence. The detected node is marked with a red square. An image showing a high probability of lung cancer.

Download (118KB)
5. 4. Pulmonary nodules in the right (a) and left (b) lungs, identified using artificial intelligence. The detected nodes are marked with a red square. Images with insufficiently convincing signs of lung cancer.

Download (218KB)
6. 5. The results of computed tomography of the chest organs of patients with verified lung cancer (indicated by blue arrows). a — solid cystic formation of the left lung (stage Ia); b — solid formation of the right lung (stage Ib).

Download (133KB)
7. Fig. 6. Examples of the most common false-positive cases of artificial intelligence algorithm activation: a — fibrous changes are noted as a pulmonary node; b — a site of infiltration of lung tissue is marked as a pulmonary node.

Download (192KB)
8. 7. Evolution of lung cancer screening in the Krasnoyarsk Territory.

Download (251KB)

Copyright (c) 2024 Eco-Vector

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.