Diagnostic accuracy of 100 radiologists in detecting pulmonary nodules: a short communication

Cover Image


Cite item

Full Text

Abstract

BACKGROUND: Chest X-ray is a widely used and accessible screening method for lung pathology. However, its diagnostic capabilities, particularly for visualizing pulmonary nodules, are limited. Suboptimal detection of pulmonary nodules by radiologists on chest X-rays affects the timeliness of diagnosis and therapeutic outcomes. One approach to improving lung nodule detection in chest X-rays involves adopting novel techniques, particularly those based on artificial intelligence. Nevertheless, the diagnostic value of these technologies in clinical practice remains largely unresolved due to limited data on radiologists’ performance conventional metrics.

AIM: To evaluate the diagnostic performance of 100 radiologists in identifying pulmonary nodules on chest X-rays.

METHODS: Each of the 100 radiologists was asked to evaluate 100 chest radiographs, of which 50 showed abnormal findings and 50 were normal. The presence of pulmonary nodules was assessed using the following scale: Absent (0 on the probability scale), likely absent (0.25), uncertain (0.50), likely present (0.75), present (1.00). Validation of nodule presence or absence was performed by three expert physicians using a binary scale (0/1) based on chest CT performed within 14 days after chest X-ray. We assessed image interpretation time, the difference in performance between radiologists and expert physicians (expressed in absolute units as D), and the primary diagnostic accuracy metrics of the radiologists.

RESULTS: The study yielded the following: ROC AUC: 0.858 ± 0.059, accuracy: 0.822 ± 0.048, sensitivity: 0.779 ± 0.097, and specificity: 0.864 ± 0.095. A negligible positive correlation was observed between expert accuracy and mean image interpretation time (Spearman correlation coefficient rs = 0.189) and a low positive correlation (rs = 0.344) between image interpretation time and the D value.

CONCLUSION: These results can be used to assess the quality of automated detection systems under development and to evaluate the efficacy of alternative methods and approaches for pulmonary nodule detection.

Full Text

ОБОСНОВАНИЕ

Рентгенография (РГ) органов грудной клетки (ОГК) является распространённым методом скрининга лёгочных патологий, позволяющим идентифицировать злокачественные новообразования, рентгенологическая картина которых представлена одиночными лёгочными узелками. Частота их выявления на рентгенограммах ОГК варьирует от 0,09 до 0,2% всех проведённых исследований [1–3]. Примечательно, что более 95% выявленных лёгочных узелков являются доброкачественными, в первую очередь проявляясь гранулёмами или внутрилёгочными лимфатическими узлами. Вероятность злокачественности составляет менее 1% для узелков размером менее 6 мм и возрастает до 1–2% для узелков размером от 6 до 8 мм [4]. Ранняя диагностика новообразований лёгких затруднена вследствие отсутствия клинических проявлений.

Несвоевременное выявление злокачественных новообразований лёгких приводит к неудовлетворительному ответу на терапию. Раннее начало лечения увеличивает удельную выживаемость с 26,4% (у пациентов с IV стадией) до 82,3% (у пациентов с I стадией) [5]. Совершенствование методов рентгенологической визуализации, широкое внедрение низкодозовой компьютерной томографии (КТ) как более надёжного метода скрининга рака лёгкого, развитие и интеграция нехирургических методов дифференциальной диагностики доброкачественных и злокачественных узлов, совершенствование терапевтических подходов [6–8], а также реализация скрининговых программ позволят повысить показатели выживаемости.

Одним из основных достоверных рентгенологических методов надёжного обнаружения и определения характеристик лёгочных узелков является КТ [9]. Однако её применение, в том числе низкодозовой, для массового скрининга рака лёгких ограничено высокой стоимостью исследования и низкой доступностью КТ в различных регионах, в частности вследствие проблем с технической поддержкой оборудования. РГ ОГК — более простой, доступный и безопасный с точки зрения дозовой нагрузки метод, однако он обеспечивает более низкую эффективность при обнаружении лёгочных узелков [10].

Повысить диагностическую точность РГ ОГК возможно с помощью внедрения искусственного интеллекта (ИИ) [11] на этапе анализа изображений. В раннее представленном исследовании мы оценивали точность 5 сервисов на основе ИИ (ИИ-сервис), которые продемонстрировали высокие показатели чувствительности, специфичности и точности при обнаружении лёгочных узлов по данным РГ ОГК [12]. Закономерным остаётся вопрос об эффективности внедрения данных технологий в практическое здравоохранение, на который невозможно ответить без определения основных показателей диагностической точности классического подхода к анализу изображений, а именно визуальной оценки рентгенологов.

ЦЕЛЬ

Оценить основные показатели диагностической точности рентгенологов при выявлении лёгочных узелков на рентгенограммах ОГК.

МЕТОДЫ

Дизайн исследования

Проведено наблюдательное одномоментное одноцентровое выборочное исследование с анализом ретроспективных данных.

Условия проведения исследования

В исследовании участвовали рентгенологи Научно-практического клинического центра диагностики и телемедицинских технологий (НПКЦ ДиТ) с различным опытом работы.

Критерии соответствия

Критерии включения:

  • опыт работы врачом-рентгенологом более 1 года;
  • добровольное согласие на участие в исследовании.

Критерии невключения: отсутствие подписанного добровольного информированного согласия.

Критерии исключения: отказ от дальнейшего участия в исследовании.

Описание исследования

Исследование проводили в период с декабря 2022 по январь 2023 г.

Участникам предлагали ретроспективно проанализировать 100 изображений ОГК [13] c наличием (n=50) и отсутствием узелков (n=50). Применяли готовый набор данных, который ранее использован в работе по оценке точности ИИ-сервисов и размещён в открытом доступе1. Для исследования разработали платформу, развёрнутую на рабочих станциях рентгенологов НПКЦ ДиТ. Это обеспечило безопасность данных, используемых при проведении исследования, и максимальную приближённость к реальным рабочим условиям. Общий вид данной платформы представлен на рис. 1. На платформу с функцией просмотра изображений (Digital Imaging and Communications in Medicine, DICOM Viewer) загружены анонимизированные исследования, которые демонстрировали врачам в случайном порядке.

 

Рис. 1. Интерфейс платформы тестирования врачей.

 

Верификация наличия или отсутствия лёгочных узелков основывалась на данных КТ ОГК, полученных в течение 14 дней после РГ. Каждое КТ-изображение интерпретировали три рентгенолога. Более того, критерием включения рентгеновского снимка в исследование было достижение единогласного консенсуса среди всех трёх врачей относительно наличия или отсутствия узелка по данным КТ [12]. Набор данных уникальных рентгенограмм включал 50 изображений с лёгочными узелками (группа PP) и 50 без них. Группу рентгенограмм без патологии разделили на две подгруппы: группа LN — изображения без патологических изменений (n=25); группа DN — рентгенограммы с изменениями, сходными с патологическими, но не подтверждёнными по данным КТ (n=25). Таким образом, в выборку включены 25% сложных случаев, в которых изначально врач установил диагноз, не подтвердившийся по данным КТ ОГК.

Рентгенологи оценивали каждый рентгенологический снимок на предмет наличия патологического лёгочного узелка с помощью шкалы, отражающей их степень уверенности:

  • отсутствует (0,00 по шкале уверенности);
  • вероятно отсутствует (0,25);
  • затрудняюсь ответить (0,50);
  • вероятно присутствует (0,75);
  • присутствует (1,00).

Результаты валидации наличия или отсутствия лёгочных узелков представлены в виде бинарной шкалы: 0 — нет; 1 — есть.

Целевые показатели исследования

Основные показатели диагностической точности рентгенологов при выявлении лёгочных узелков на рентгенограммах ОГК.

Методы измерения целевых показателей

Для оценки врачебной точности для каждого рентгенолога и каждого изображения рассчитывали значение D, отражающее абсолютную разницу между оценкой, выставленной участником исследования по шкале уверенности, и «истинным» значением, установленным по данным КТ в бинарной шкале. Данная величина количественно отражает степень расхождения результатов рентгенологов с истинными значениями и выражена в условных единицах.

Дополнительно фиксировали время анализа каждого изображения для установления возможных связей данного показателя с метриками точности.

По результатам завершённого исследования анализировали чувствительность, специфичность, точность и площадь под характеристической кривой (Area Under the ROC Curve, AUC ROC).

Этическая экспертиза

Исследование одобрено независимым этическим комитетом Московского регионального отделения Российского общества рентгенологов и радиологов (протокол № 2/2020 от 20.02.2020). Все участники исследования подписали письменное добровольное согласие на участие в исследовании.

Статистический анализ

Статистический анализ проводили с помощью программного обеспечения с открытой лицензией JASP® 0.19.3.0 (JASP Team, Нидерланды). Данные описательной статистики для количественных переменных представлены в виде M±SD, где M — среднее значение, а SD — стандартное отклонение, а также в виде Me [Q1; Q3], где Me — медиана, а Q1 и Q3 — 1-й и 3-й квартиль соответственно. Для сравнения количественных переменных в трёх группах применяли дисперсионный анализ, оценку нормальности распределений проводили по критерию Шапиро–Уилка. Анализ чувствительности, специфичности и точности проводили с помощью ROС-анализа с расчётом AUC ROC. Различия между группами признавали статистически значимыми при p <0,05.

РЕЗУЛЬТАТЫ

Участники исследования

В исследовании участвовали 100 рентгенологов НПКЦ ДиТ с различным опытом работы. Результаты проведённого исследования показали отсутствие статистически значимых различий показателей диагностической точности в группах рентгенологов с различным опытом работы: 1–5 лет (n=29); 6–10 лет (n=32); более 10 лет (n=39) (p=0,172). Именно поэтому далее все показатели представлены для совокупности всех участников исследования.

Основные результаты исследования

Рассчитанные показатели точности рентгенологов при выявлении лёгочных узелков по данным РГ ОГК представлены на рис. 2, a. Гистограмма на рис. 2, b отражает среднее время, затрачиваемое рентгенологом для анализа предложенных рентгенограмм. Так, среднее время анализа одного изображения по выборке врачей составило 21,2 с, в свою очередь, минимальное и максимальное время — 3,0 и 256,8 с соответственно.

 

Рис. 2. Показатели точности рентгенологов (a) и среднее время, потраченное рентгенологом на анализ отдельного случая (b): на горизонтальной оси указаны идентификационные номера рентгенологов, участвовавших в исследовании.

 

Количество случаев, для которых принятые решения соответствовали «истинными», представлены в табл. 1.

 

Таблица 1. Рассчитанные значения D по совокупности интерпретаций рентгенограмм

D, усл. ед.

0,00

0,25

0,50

0,75

1,00

Итого

Количество интерпретаций рентгенограмм, n

6957

1166

44

754

1079

10 000

Примечание. D — значение, отражающее абсолютную разницу между оценкой выставленной рентгенологом по шкале уверенности, и «истинным» значением, установленным по данным компьютерной томографии в бинарной шкале.

 

Таким образом, несмотря на то что в среднем рентгенологи тратили на анализ изображений относительно мало времени, отмечены высокие показатели диагностической точности.

По данным табл. 1, из 10 тыс. интерпретаций рентгенограмм (всеми рентгенологами в совокупности) верную классификацию с полной уверенностью рентгенолога наблюдали только в 6957 случаях (69,57%), тогда как в 8123 случаях (81,23%) — верная классификация с полной и неполной степенью уверенности.

Кроме того, обнаружена слабая положительная корреляция показателя точности рентгенолога со средним значением времени, затраченным на анализ одного случая. Коэффициент корреляции Спирмена rs=0,188.

На рис. 3, a представлена величина D, усреднённая по всей группе рентгенологов для каждого изображения (случая). Данная величина отражает сложность каждого случая для интерпретации. Дополнительно цветом отмечены диапазоны, в которых находятся медианы значения D, демонстрирующие случаи, в которых более половины рентгенологов ошиблись, проявили неуверенность или верно определили наличие или отсутствие патологии. На рис. 3, b отражено среднее значение времени, потраченное на анализ каждого случая рентгенологами. Можно отметить умеренную положительную корреляцию между сложностью случая и временем, потраченным на его анализ: коэффициент корреляции Спирмена rs=0,340. Таким образом, участники исследования склонны тратить больше времени на анализ случаев, в которых они допускали больше ошибок. При этом, если рассмотреть случаи, в которых больше половины рентгенологов сделали ошибку или выразили неуверенность [медианные значения D которых более 0,5 (см. рис. 3, a)], из них только 2 принадлежит группе DN, 3 — группе LN. В 6 случаях из группы PP большинство участников исследования не смогли обнаружить лёгочные узелки.

 

Рис. 3. Средние значения D, рассчитанные для каждого изображения (случая) (a): цветом обозначены диапазоны, в которых находятся медианы данной дискретной величины; среднее время, потраченное рентгенологами на обработку отдельного случая (b). D — значение, отражающее абсолютную разницу между оценкой, выставленной рентгенологом по шкале уверенности, и «истинным» значением, установленным по данным компьютерной томографии в бинарной шкале.

 

На рис. 4, a представлена рентгенограмма в прямой проекции, на которой большинство рентгенологов, участвовавших в исследовании, не обнаружили узел. На рис. 4, b — визуализация данного узла на КТ-изображении.

 

Рис. 4. Рентгенограмма в прямой проекции с указанием лёгочного узла (a); компьютерная томограмма с указанием данного узла (b).

 

В группе DN изначально предполагали трудности при интерпретации рентгенограмм. Однако анализ результатов не показал статистически значимых различий между группами DN, PP, LN по величине D, количественно отражающей степень расхождения результатов рентгенологов с истинными значениями. Тем не менее для анализа случаев данной группы рентгенологам потребовалось статистически значимо больше времени (табл. 2).

 

Таблица 2. Показатели D и времени анализа одного случая в зависимости от группы изображений

Показатели

Группы изображений

DN, n=25

PP, n=50

LN, n=25

Количество интерпретаций рентгенограмм, n

2500

5000

2500

D, усл. ед.

0 [0; 0, 25]

0,21±0,35

0 [0; 0, 25]

0,20±0,35

0 [0; 0, 25]

0,17±0,33

Среднее время анализа одного случая, с

19,4 [12, 1; 31, 8]

26,2±22,7

14,9 [10, 1; 24, 1]

20,0±18,0

13,6 [8, 9; 22, 4]

18,4±16,7

Примечание. D — значение, отражающее абсолютную разницу между оценкой, выставленной рентгенологом по шкале уверенности, и «истинным» значением, установленным по данным компьютерной томографии в бинарной шкале. PP — изображения с лёгочными узелками; LN — изображения без патологических изменений; DN — рентгенограммы с изменениями, сходными с патологическими, но не подтверждёнными по данным компьютерной томографии. Данные представлены в виде M±SD, где M — среднее значение, а SD — стандартное отклонение, а также в виде Me [Q1; Q3], где Me — медиана, а Q1 и Q3 — 1-й и 3-й квартиль соответственно.

 

Метрики диагностической точности 100 рентгенологов представлены в табл. 3.

 

Таблица 3. Результаты оценки диагностической точности рентгенологов при выявлении лёгочных узелков по данным рентгенографии органов грудной клетки

Метрики

Значения

Точность

0,822±0,048

AUC ROC

0,858±0,059

Чувствительность

0,779±0,097

Специфичность

0,864±0,095

Примечание. Данные представлены в виде M±SD, где M — среднее значение, а SD — стандартное отклонение. AUC ROC (Area Under the ROC Curve) — площадь под характеристической кривой.

 

ОБСУЖДЕНИЕ

Резюме основного результата исследования

Полученные при проведении исследования показатели точности, чувствительности, специфичности и AUC ROC рентгенологов при выявлении лёгочных узлов по результатам РГ ОГК возможно использовать для дальнейшего сравнительного анализа метрик диагностической точности новых автоматизированных методов детектирования лёгочных узлов, в частности ИИ-сервисов, а также для оценки качества новых инструментов или подходов к диагностике образований лёгких.

Отметим, что среди пяти ранее протестированных ИИ-сервисов можно выделить лишь один, который превосходил рентгенолога по всем вышеуказанным метрикам в решении данной задачи [12]. Вопрос качества данного сервиса в задачах сегментации и классификации лёгочных узелков на данный момент остаётся открытым и требует проведения соответствующих исследований.

Интерпретация результатов исследования

Полученные показатели диагностической точности сопоставимы с имеющимися в литературе данными, которые, однако, нельзя считать надёжными вследствие малого числа участников исследования, использования синтетических наборов данных или отсутствия в результатах всех необходимых показателей. Так, M. Schultheiss и соавт. [14] предоставили показатели диагностической точности девяти рентгенологов, которые выявляли узелки в лёгких с помощью РГ ОГК и синтетических данных. Скорректированные показатели достоверности по взвешенным альтернативным рабочим характеристикам свободного ответа (wAFROC FOM) рассчитывали для каждого рентгенолога, они находились в диапазоне от 0,54 до 0,87.

N. Woznitza и соавт. [15] провели сравнительный анализ эффективности специалистов с различной квалификацией. Набор рентгенограмм ОГК (n=106) интерпретировали рентгенолаборанты (n=11) и врачи-рентгенологи (n=10). Авторы получили показатели чувствительности 69,7 и 78,1%, а также специфичности 80,9 и 85,2% для рентгенолаборантов и врачей-рентгенологов соответственно.

Кроме того, доступны данные метаанализа [16], согласно которому чувствительность при обнаружении лёгочных узлов по данным КТ ОКГ составляет 0,93 [95% доверительный интервал (ДИ) 0,88–0,97], специфичность — 0,76 (95% ДИ 0,68–0,97), ROC AUC — 0,93 (95% ДИ 0,81–0,97), что ожидаемо выше показателей, полученных в данном исследовании, вследствие использования более надёжного метода — КТ.

Отметим также, что выводы о пригодности ИИ-сервиса в практическом здравоохранении не стоит основывать лишь на анализе четырёх показателей. Для каждой клинической задачи необходим индивидуальный подход и оценка применимости каждого ИИ-решения в отдельности [17]. Возможно, имея более низкие значения AUC ROC, метод позволяет выявлять патологию там, где у врачей возникают сложности. В таком случае технология может стать фундаментом системы поддержки принятия решений и, работая совместно с врачом, поможет достичь максимальных показателей диагностической точности [18].

Ограничения исследования

В данной работе исследовали диагностическую точность рентгенологов при анализе только РГ ОГК. Полученные результаты не распространяются на другие, технически более совершенные методы (КТ, низкодозовую КТ и др.) и не отражают общие возможности ранней диагностики рака.

ЗАКЛЮЧЕНИЕ

Оценка метрик диагностической точности 100 рентгенологов при выявлении лёгочных узелков по данным РГ ОГК продемонстрировала средние значения точности 0,822±0,048, чувствительности — 0,779±0,097 и специфичности — 0,864±0,095. Полученные показатели могут быть использованы для сравнительного анализа соответствующих метрик, определённых при тестировании систем компьютерного зрения или других альтернативных методов диагностики образований лёгких.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Вклад авторов. Ю.А. Васильев — определение концепции; А.В. Владзимирский — руководство исследованием, пересмотр и редактирование текста рукописи; О.В. Омелянская — привлечение финансирования, обеспечение исследования; И.А. Разницына — анализ данных, визуализация, написание черновика рукописи; Ю.С. Бусыгина — проведение исследования; Л.Д. Пестренин — администрирование проекта; Н.Ю. Никитин — анализ данных; К.М. Арзамасов — определение концепции, валидация. Все авторы одобрили рукопись (версию для публикации), а также согласились нести ответственность за все аспекты настоящей работы, гарантируют надлежащее рассмотрение и решение вопросов, связанных с точностью и добросовестностью любой её части.

Этическая экспертиза. Исследование одобрено независимым этическим комитетом Московского регионального отделения Российского общества рентгенологов и радиологов (протокол № 2/2020 от 20.02.2020). Все участники исследования подписали письменное информированное добровольное согласие на участие в исследовании.

Источники финансирования. Данная статья подготовлена авторским коллективом в рамках научно-исследовательской работы «Предпосылки для создания универсального (сильного) искусственного интеллекта в практическом здравоохранении».

Раскрытие интересов. Авторы заявляют об отсутствии отношений, деятельности и интересов (личных, профессиональных или финансовых), связанных с третьими лицами (коммерческими, некоммерческими, частными), интересы которых могут быть затронуты содержанием статьи, а также иных отношений, деятельности и интересов за последние три года, о которых необходимо сообщить.

Оригинальность. При подготовке настоящей рукописи авторы не использовали ранее опубликованные сведения (текст, иллюстрации, данные).

Доступ к данным. Авторы предоставляют полный неограниченный доступ к данным, размещённым на сайте https://mosmed.ai/datasets/datasets/mosmeddata-rezultati-vrachebnogo-analiza-rg-ogk-s-nalichiem-i-otsutstviem-legochnih-uzlov

Генеративный искусственный интеллект. При создании настоящей статьи технологии генеративного искусственного интеллекта не использовали.

Рассмотрение и рецензирование. Настоящая работа подана в журнал в инициативном порядке и рассмотрена по обычной процедуре. В рецензировании участвовали один внешний рецензент и член редакционной коллегии журнала.

ADDITIONAL INFORMATION

Author contributions: Yu.A. Vasiliev: conceptualization; A.V. Vladzimirsky: supervision, writing—review & editing; O.V. Omelyanskaya: funding acquisition, resources; I.A. Raznitsyna: formal analysis, visualization, writing—original draft; Yu.S. Busygina: investigation; L.D. Pestrenin: project administration; N.Yu. Nikitin: formal analysis; K.M. Arzamasov: conceptualization, validation. All the authors approved the version of the manuscript to be published and agreed to be accountable for all aspects of the work, ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved.

Ethics approval: The study was approved by the Independent Ethics Committee of the Moscow Regional Branch of the Russian Society of Roentgenologists and Radiologists (Minutes No. 2/2020 dated February 20, 2020). All participants provided written informed consent to participate in the study.

Funding sources: This article is part of the research and development work “Prerequisites for the development of artificial general intelligence (strong AI) in practical healthcare” (Unified State System for Accounting.

Disclosure of interests: The authors have no relationships, activities, or interests (personal, professional, or financial) for the last three years related to for-profit or not-for-profit third parties whose interests may be affected by the content of the article, nor other relationships, activities, or interests for the last three years to disclose.

Statement of originality: No previously obtained or published material (text, images, or data) was used in this study or article.

Data availability statement: The authors provide full unrestricted access to data hosted at https://mosmed.ai/datasets/datasets/mosmeddata-rezultati-vrachebnogo-analiza-rg-ogk-s-nalichiem-i-otsutstviem-legochnih-uzlov.

Generative AI: No generative artificial intelligence technologies were used to prepare this article.

Provenance and peer-review: This article was submitted unsolicited and reviewed following the standard procedure. The peer-review process involved one external reviewer and a member of the Editorial Board.

 

1 Свидетельство о государственной регистрации базы данных № 2023622441/ 17.07.2023. Бюл. № 7. Васильев Ю.А., Владзимирский А.В., Арзамасов К.М., и др. MosMedData: РГ ОГК с наличием и отсутствием лёгочных узлов. Режим доступа: https://www.elibrary.ru/download/elibrary_54197689_77160470.PDF Дата обращения: 26.02.2026.

×

About the authors

Yuriy A. Vasilev

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN-code: 4458-5608

MD, Dr. Sci. (Medicine)

Russian Federation, Moscow

Anton V. Vladzymyrskyy

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; Sechenov First Moscow State Medical University (Sechenov University)

Email: vladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-code: 3602-7120

MD, Dr. Sci. (Medicine)

Russian Federation, Moscow; Moscow

Olga V. Omelyanskaya

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; MIREA-Russian Technological University

Email: OmelyanskayaOV@zdrav.mos.ru
ORCID iD: 0000-0002-0245-4431
SPIN-code: 8948-6152
Russian Federation, Moscow; Moscow

Irina A. Raznitsyna

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Author for correspondence.
Email: RaznitsynaIA@zdrav.mos.ru
ORCID iD: 0000-0003-4145-6947
SPIN-code: 9092-4490

Cand. Sci. (Physics and Mathematics)

Russian Federation, Moscow

Yulia S. Busygina

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: busyus@mail.ru
ORCID iD: 0000-0002-4775-258X
SPIN-code: 4438-7273
Russian Federation, Moscow

Lev D. Pestrenin

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: PestreninLD@zdrav.mos.ru
ORCID iD: 0000-0002-1786-4329
SPIN-code: 7193-7706

MD

Russian Federation, Moscow

Nikita Yu. Nikitin

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies

Email: Nikitin5@yandex.ru
ORCID iD: 0000-0002-3193-8320
SPIN-code: 3448-0799

Cand. Sci. (Physics and Mathematics)

Russian Federation, Moscow

Kirill M. Arzamasov

Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; Samara State Medical University

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-code: 3160-8062

MD, Dr. Sci. (Medicine)

Russian Federation, Moscow; Samara

References

  1. Holin SN, Dwork RE, Glaser S, et al. Solitary pulmonary nodules found in a community-wide chest roentgenographic survey. American Review of Tuberculosis. 1959;79(4):427–439. doi: 10.1164/artpd.1959.79.4.427
  2. Swensen SJ, Silverstein MD, Edell ES, et al. Solitary pulmonary nodules: clinical prediction model versus physicians. Mayo Clinic Proceedings. 1999;74(4):319–329. doi: 10.4065/74.4.319
  3. Ost D, Fein AM, Feinsilver SH. The solitary pulmonary nodule. New England Journal of Medicine. 2003;348(25):2535–2542. EDN: GNGCJX
  4. Mazzone PJ, Lam L. Evaluating the patient with a pulmonary nodule. JAMA. 2022;327(3):264–273. doi: 10.1001/jama.2021.24287 EDN: ECOSRN
  5. He S, Li H, Cao M, et al. Survival of 7,311 lung cancer patients by pathological stage and histological classification: a multicenter hospital-based study in China. Translational Lung Cancer Research. 2022;11(8):1591–1605. doi: 10.21037/tlcr-22-240 EDN: DSWRSC
  6. Zhang Q, Wu X, Yang H, et al. Advances in the treatment of pulmonary nodules. Respiration. 2024;103(3):134–145. doi: 10.1159/000535824 EDN: NNLGWQ
  7. Wang X, Chen Y, Ma C, et al. Current advances and future prospects of blood-based techniques for identifying benign and malignant pulmonary nodules. Critical Reviews in Oncology/Hematology. 2025;207:104608. doi: 10.1016/j.critrevonc.2024.104608 EDN: LOTUWW
  8. Nead MA, Dony C, Rivera MP. Diagnosis of the solitary pulmonary nodule. Clin Chest Med. 2025;46(2):271–288. doi: 10.1016/j.ccm.2025.02.006
  9. Siegelman SS, Khouri NF, Leo FP, et al. Solitary pulmonary nodules: CT assessment. Radiology. 1986;160(2):307–312.
  10. Pyrros A, Chen A, Rodríguez-Fernández JM, et al. Deep learning–based digitally reconstructed tomography of the chest in the evaluation of solitary pulmonary nodules: a feasibility study. Academic Radiology. 2023;30(4):739–748. doi: 10.1016/j.acra.2022.05.005 EDN: AMFPRD
  11. Vasilev Yu, Vladzymyrskyy A, Arzamasov K, et al. Clinical application of radiological AI for pulmonary nodule evaluation: Replicability and susceptibility to the population shift caused by the COVID-19 pandemic. International Journal of Medical Informatics. 2023;178:105190. doi: 10.1016/j.ijmedinf.2023.105190 EDN: BPKKLQ
  12. Arzamasov K, Vasilev Yu, Zelenova M, et al. Independent evaluation of the accuracy of 5 artificial intelligence software for detecting lung nodules on chest X-rays. Quantitative Imaging in Medicine and Surgery. 2024;14(8):5288–5303. doi: 10.21037/qims-24-160 EDN: PSTFDT
  13. Bobrovskaya TM, Vasilev YuA, Nikitin NYu, et al. Sample size for assessing a diagnostic accuracy of AI-based software in radiology. The Siberian Journal of Clinical and Experimental Medicine. 2024;39(3):188–198. doi: 10.29001/2073-8552-2024-39-3-188-198 EDN: BPCPLL
  14. Schultheiss M, Schmette P, Bodden J, et al. Lung nodule detection in chest X-rays using synthetic ground-truth data comparing CNN-based diagnosis to human performance. Scientific Reports. 2021;11(1):1–10. doi: 10.1038/s41598-021-94750-z EDN: HHDPUT
  15. Woznitza N, Piper K, Burke S, Bothamley G. Chest X-ray interpretation by radiographers is not inferior to radiologists: a multireader, multicase comparison using JAFROC (Jack-knife Alternative Free-response Receiver Operating Characteristics) analysis. Academic Radiology. 2018;25(12):1556–1563. doi: 10.1016/j.acra.2018.03.026
  16. Cronin P, Dwamena BA, Kelly AM, Carlos RC. Solitary pulmonary nodules: meta-analytic comparison of cross-sectional imaging modalities for diagnosis of malignancy. Radiology. 2008;246(3):772–782. doi: 10.1148/radiol.2463062148
  17. Morozov SP, Chernina VYu, Andreychenko AE, et al. How does artificial intelligence effect on the assessment of lung damage in COVID-19 on chest CT scan? Digital Diagnostics. 2021;2(1):27–38. doi: 10.17816/DD60040 EDN: WNDABD
  18. Vasilev YuA, Alymova YuA, Arzamasov KM, et al. Artificial intelligence in radiology: per aspera ad astra. Moscow: Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; 2025. ISBN: 978-5-0067-5622-9 (In Russ.) EDN: OOWUTV

Supplementary files

Supplementary Files
Action
1. JATS XML
2. Fig. 1. Interface of the physician testing platform.

Download (238KB)
3. Fig. 2. Accuracy scores of radiologists (a) and average time spent by a radiologist to analyze an individual case (b): the horizontal axis shows the identification numbers of the radiologists participating in the study.

Download (493KB)
4. Fig. 3. Average D values ​​calculated for each image (case) (a): the ranges containing the medians of a given discrete value are indicated by color; the average time spent by radiologists processing an individual case (b). D is a value reflecting the absolute difference between the assessment given by the radiologist on the confidence scale and the "true" value established based on the CT data on a binary scale.

Download (350KB)
5. Fig. 4. Radiograph in direct projection indicating the pulmonary nodule (a); computed tomography scan indicating this nodule (b).

Download (187KB)

Copyright (c) 2026 Eco-Vector

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.