BACKGROUND: Chest X-ray is the primary modality for screening malignant lung neoplasms, especially solitary pulmonary nodules, which are the most common. Enhancing the accuracy of lung nodule detection facilitates timely medical intervention and enhances the likelihood of achieving a favorable therapeutic outcome. One approach to enhancing the efficiency of lung nodule detection in chest X-rays involves adopting novel techniques, such as those based on artificial intelligence. However, concerns regarding the effectiveness of integrating these technologies into clinical practice remain largely unaddressed due to insufficient data on radiologists' performance metrics.
AIM: This study aims to assess the diagnostic performance of 100 radiologists in identifying lung nodules on chest X-ray images.
METHODS: Each of 100 radiologist was asked to evaluate 100 chest radiographs, of which 50 contained abnormal findings while the other 50 were normal. The presence of lung nodules was assessed using the following scale: Absent (0 on the probability scale), likely absent (0.25), undecided (0.50), likely present (0.75), present (1.00). The validation of the presence or absence of pulmonary nodules was performed using a binary scale (0/1) by three expert physicians based on chest CT data acquired no more than 14 days after the chest X-ray. The study assessed the image interpretation time, the difference in performance between radiologists and expert physicians (expressed in absolute units as Delta), and the primary diagnostic accuracy metrics of the radiologists.
RESULTS: The test yielded a ROC AUC of 0.858±0.059, accuracy of 0.822±0.048, sensitivity of 0.779±0.097, and specificity of 0.864±0.095. The results demonstrated a negligible positive correlation between expert accuracy and average study processing time (Spearman correlation coefficient rs =0.189) and a low positive correlation (rs =0.344) between study processing time and the Delta value.
CONCLUSION: The obtained results can be used to assess the quality of automated detection systems under development, as well as to evaluate the efficacy of alternative methods and approaches for pulmonary nodule detection.
Обоснование. Рентгенография (РГ) органов грудной клетки (ОГК) — основной метод скрининга злокачественных новообразований легких. Эффективность обнаружения легочных узелков, в частности одиночных, напрямую влияет на своевременность лечения и терапевтический результат. Одним из путей повышения данного показателя является внедрение систем автоматизированного анализа рентгенограмм ОГК, в частности, с применением искусственного интеллекта. Однако вопросы диагностической ценности этих технологий в практическом здравоохранении остаются в значительной степени нерешенными из-за недостаточности данных о показателях диагностической точности классического анализа рентгенологами.
Цель исследования. Оценка основных показателей диагностической точности 100 рентгенологов в выявлении легочных узелков на рентгенограммах органов грудной клетки
Методы. Каждому из 100 рентгенологов было предложено оценить 100 РГ ОГК, из которых 50 содержали отклонения от нормы, 50 - норма. Наличие узелков в лёгких оценивалось по следующей шкале: отсутствуют (0,00), вероятно отсутствуют (0,25), затрудняюсь ответить (0,50), вероятно присутствуют (0,75), присутствуют (1,00). Валидация наличия или отсутствия легочных узлов проводилась по бинарной шкале (0/1) тремя врачами-экспертами на основании данных компьютерной томографии ОГК, выполненной пациентами спустя не более 14 дней после РГ. В работе оценивалось время обработки исследования, различие в показателях рентгенологов и врачей-экспертов, выраженные в абсолютных единицах (Delta), а также основные показатели диагностической точности рентгенологов.
Результаты. Результаты теста показали ROC AUC 0,858 ± 0,059, точность 0,822 ± 0,048, чувствительность 0,779 ± 0,097 и специфичность 0,864 ± 0,095. Результаты продемонстрировали незначительную положительную корреляцию между точностью и средним временем обработки исследования (коэффициент корреляции Спирмена rs = 0,189) и низкую положительную корреляцию (rs = 0,344) между временем обработки исследования и величиной Delta.
Заключение. Полученные результаты могут быть использованы для оценки качества разрабатываемых автоматизированных систем обнаружения, а также в оценке эффективности альтернативных методов и подходов в диагностике легочных узелков