Сравнение измерения линейного размера и объёма лёгочных очагов по данным скрининга рака лёгких с помощью низкодозной компьютерной томографии
- Авторы: Сучилова М.М.1, Блохин И.А.1, Алёшина О.О.2, Гомболевский В.А.3, Решетников Р.В.1, Босин В.Ю.1, Омелянская О.В.1, Владзимирский А.В.1,4
-
Учреждения:
- Научно-практический клинический центр диагностики и телемедицинских технологий
- Государственная клиническая больница № 13
- Институт искусственного интеллекта
- Первый Московский государственный медицинский университет имени И.М. Сеченова (Сеченовский Университет)
- Выпуск: Том 4, № 1 (2023)
- Страницы: 5-13
- Раздел: Оригинальные исследования
- Статья получена: 13.12.2022
- Статья одобрена: 17.01.2023
- Статья опубликована: 19.04.2023
- URL: https://jdigitaldiagnostics.com/DD/article/view/117481
- DOI: https://doi.org/10.17816/DD117481
- ID: 117481
Цитировать
Аннотация
Обоснование. Согласно результатам голландско-бельгийского исследования скрининга рака лёгких NELSON, измерение объёма (волюметрия) очагов позволяет снизить распространённость ложноположительных результатов до 2,1%.
Цель ― сравнение диагностической точности и согласованности результатов ручного измерения линейного размера с полуавтоматическим измерением объёма очагов по данным пилотного проекта «Московский скрининг рака лёгкого» с использованием низкодозной компьютерной томографии.
Материалы и методы. В программу скрининга были включены 293 пациента без верифицированного до 2020 года диагноза рака лёгкого, у которых на первичной низкодозной компьютерной томографии, выполненной в период с февраля 2017 по февраль 2018 года, был выявлен очаг в лёгком размером не менее 4 мм. Лучевая нагрузка подбиралась индивидуально и не превышала 1 мЗв. Все изображения низкодозной компьютерной томографии независимо оценивались тремя экспертами для измерения длинной оси очага, а также экстраполированного объёма. В качестве референсного значения размера и объёма брали среднее, полученное по итогам измерений экспертов. Очаг <6 мм/<100 мм3 признавали ложноположительным результатом, очаг ≥6 мм/≥100 мм3 ― ложноотрицательным.
Результаты. В исследование были включены 293 пациента (166 мужчин; 56%; средний возраст 64,6±5,3 года). Лёгочных очагов <6 мм/<100 мм3 было 199. Экспертами 1, 2 и 3 при измерении объёма зафиксированы отличия от референсного стандарта по 32 [10,9%; 4 ложноположительных, 28 ложноотрицательных], 29 [9,9%; 17 ложноположительных, 12 ложноотрицательных] и 30 [10,2%; 6 ложноположительных, 24 ложноотрицательных] очагам, а также расхождения при измерении линейного размера по 92 [65,5%; 107 ложноположительных, 85 ложноотрицательных], 146 [49,8%; 58 ложноположительных, 88 ложноотрицательных] и 102 [34,8%; 23 ложноположительных, 79 ложноотрицательных] очагам соответственно.
Заключение. Использование волюметрии лёгочных очагов значительно снижает количество ложноположительных и ложноотрицательных результатов в сравнении с измерением линейного размера очагов в программе скрининга рака лёгких методом низкодозной компьютерной томографии.
Ключевые слова
Полный текст
ОБОСНОВАНИЕ
Рак лёгких остаётся одной из десяти ведущих причин смерти во всём мире, в основном из-за поздней диагностики1. Однако исследования показали, что скрининг с помощью низкодозной компьютерной томографии (НДКТ) может значительно снизить смертность от рака лёгких в популяции высокого риска [1]. Скрининг с помощью НДКТ направлен на выявление рака лёгких на ранней стадии и включает в себя главным образом выявление, классификацию и последующее ведение узлов в лёгких. Для облегчения выполнения вышеупомянутых задач были разработаны многочисленные руководства по лёгочным очагам, в том числе Международная программа действия для раннего рака лёгких (International Early Lung Cancer Action Program, I-ELCAP) [2], Система интерпретации и стандартизации данных при компьютерной томографии органов грудной полости (Lung CT Screening Reporting And Data System, Lung-RADS)2, а также рекомендации Британского торакального общества (British Thoracic Society, BTS) [3], Европейского консорциума по скринингу рака лёгких (European Position Statement on Lung Cancer Screening, EUPS) [4] и Национальной комплексной онкологической сети (National Comprehensive Cancer Network, NCCN) [5].
Согласно результатам голландско-бельгийского скрининга рака лёгких NELSON, измерение объёма (волюметрия) очагов позволяет снизить распространённость ложноположительных результатов до 2,1% [6], поэтому волюметрия с использованием полуавтоматической оценки объёма была одобрена и рекомендована в протоколах EUPS [4], а позднее NELSON-plus [7]. В клинических рекомендациях BTS по ведению лёгочных очагов, выявленных по данным НДКТ, говорится о предпочтительном использовании волюметрии вместо измерения линейного размера.
Результаты исследования NELSON продемонстрировали эффективность скрининга рака лёгких с помощью НДКТ [8], хотя для скрининга использовали эффективную дозу облучения от 0,4 до 1,6 мЗв в зависимости от массы тела пациента [6]. В то же время, согласно санитарным правилам и нормативам СанПин 2.6.1.2523-093, годовая эффективная доза при проведении рентгенологических профилактических исследований не должна превышать 1 мЗв. По этой причине в пилотном проекте «Московский скрининг рака лёгкого» доза лучевой нагрузки была ограничена значением 0,7 мЗв [9]. Насколько нам известно, до настоящего времени не было проведено ни одного валидационного исследования, в котором бы сравнивались данные волюметрии с оценкой максимального линейного размера по данным компьютерной томографии с дозой облучения менее 1 мЗв (ультра-НДКТ), выполненных в рамках скрининга рака лёгких. Результаты проекта «Московский скрининг рака лёгкого» предоставляют бесценную возможность провести подобное исследование [10].
Цель исследования ― сравнение диагностической точности и согласованности результатов ручного измерения линейного размера с полуавтоматическим измерением объёма очагов по данным пилотного проекта «Московский скрининг рака лёгкого» с использованием низкодозной компьютерной томографии.
МАТЕРИАЛЫ И МЕТОДЫ
Дизайн исследования
Поперечное ретроспективное исследование.
Критерии соответствия
Критерии включения: возраст от 50 до 80 лет; индекс курения ≥30 пачка/лет; курение в настоящее время или отказ от курения менее чем 15 лет назад; наличие ультра-НДКТ исследования в указанный период; отсутствие диагноза рака лёгких в анамнезе.
Критерии исключения: отсутствие очагов в лёгких по данным НДКТ-исследования; рак лёгких в анамнезе; ранее перенесённые операции на лёгких (за исключением биопсии лёгких); тяжёлые сердечно-сосудистые, иммунологические, респираторные или эндокринные заболевания с ожидаемой продолжительностью жизни менее 5 лет; острые заболевания дыхательной системы; приём антибиотиков в срок не менее 12 недель до проведения НДКТ; кровохарканье или потеря веса >10 кг в течение года, предшествующего скринингу.
Условия проведения
Исследование включает 293 участника пилотного проекта «Московский скрининг рака лёгкого». Схема процесса отбора представлена на рис. 1. Данное исследование проводилось в рамках Приказа № 49 от 01.02.2017 Департамента здравоохранения г. Москвы.
Рис. 1. Процесс отбора пациентов в исследование.
Продолжительность исследования
Набор данных включает в себя результаты НДКТ, выполненных в период с февраля 2017 по февраль 2018 года.
Описание медицинского вмешательства
Сканирование проводилось в 10 поликлиниках с использованием одного томографа в каждой поликлинике. Все томографы были модели Toshiba Aquilion 64 (Canon Medical Systems, Япония): 64-срезовые компьютерные томографы с напряжением трубки 135 кВ, током от 15 до 25 мА (в зависимости от веса пациента: <69 кг ― 15 мА; 70–90 кг ― 20 мА; >90 кг ― 25 мА), временем вращения 0,50 сек, шагом 1,484, толщиной среза 1 мм, шагом среза 1 мм. Размер матрицы составлял 512, а фильтр реконструкции ― FC07. На двух томографах использовался вендорспецифический алгоритм итеративной реконструкции (AIDR 3D), остальные восемь томографов использовали фильтрованную обратную проекцию с программным обеспечением квантового шумоподавления (FBP/QDS+) [10]. Сохранялись только аксиальные срезы. После сканирования для анализа данных использовали проекции максимальной интенсивности (MIP) и мультипланарные реконструкции.
Время сканирования на задержке дыхания при максимальной глубине вдоха составляло ≤10 сек. Область сканирования определялась по томограмме от верхушек лёгких до рёберно-диафрагмальных синусов. Расстояние от рёбер до края области реконструкции изображения составляло менее 1 см. Объёмный взвешенный индекс CTDIvol (Computed Tomography Dose Index) зависел от веса пациентов: <69 кг ― 0,8 мГр, 70–90 кг ― 1,0 мГр, >90 кг ― 1,2 мГр. Дозу облучения подбирали индивидуально в зависимости от веса пациента.
Основной исход исследования
Всего было измерено 1450 лёгочных очагов, 878 (61%) солидных и 572 (39%) субсолидных, из которых для каждого пациента был выбран самый крупный очаг. После выбора самого крупного очага в окончательный анализ было включено 293 очага. Распределение очагов для каждого эксперта в зависимости от линейного размера и объёма представлено в табл. 1. После консенсусного решения 199 лёгочных очагов были классифицированы как доброкачественные (<6 мм/<100 мм3), 94 ― как требующие дальнейшего наблюдения (≥6 мм/≥100 мм3).
Таблица 1. Распределение очагов на одного эксперта для линейного размера и NELSON-plus/EUPS категории
Показатель | Эксперт 1 | Эксперт 2 | Эксперт 3 |
Линейный размер | |||
Очаг ≥6 мм | 101 | 147 | 191 |
Очаг <6 мм | 192 | 146 | 102 |
Объём | |||
≥100 мм3 | 223 | 194 | 217 |
<100 мм3 | 70 | 99 | 76 |
Этическая экспертиза
На проведение исследования получено одобрение независимого локального этического комитета при ФГБУ «Центральная клиническая больница с поликлиникой» (Москва) Управления делами Президента Российской Федерации от 20.05.2017. Все участники исследования подписали информированное добровольное согласие.
Статистический анализ
Линейный размер лёгочного очага округлялся до ближайшего целого числа. Критерий хи-квадрат Пирсона использовали для анализа различий в расхождениях ложноположительных и ложноотрицательных результатов между значениями объёма и линейного размера лёгочных очагов. Для определения согласия между тремя независимыми экспертами использовалась каппа Флейсса. Мы использовали категории, установленные Landis и Koch (1977), для интерпретации величины этой метрики: плохое (poor) согласие ― <0, незначительное (slight) согласие ― 0,00–0,20, посредственное (fair) согласие ― 0,21–0,40, умеренное (moderate) согласие ― 0,41–0,60, значительное (substantial) согласие ― 0,61–0,80, почти идеальное (almost perfect) согласие ― >0,81 [11]. Все статистические расчёты проводили с использованием программы SPSS версии 26, статистически значимым считалось значение p <0,05.
РЕЗУЛЬТАТЫ
Объекты (участники) исследования
Всего в исследование было включено 293 участника, 166 (57%) из которых были мужчинами, в возрасте 50–80 (средний возраст 64,6±5,3) лет, средний стаж курения 34,5±10,7 лет.
Основные результаты исследования
Для объёмных измерений количество расхождений с референсным стандартом составило 32 [10,9%; 4 ложноположительных, 28 ложноотрицательных], 29 [9,9%; 17 ложноположительных, 12 ложноотрицательных] и 30 [10,2%; 6 ложноположительных, 24 ложноотрицательных] очагов для экспертов 1, 2 и 3 соответственно. При измерении линейного размера количество некорректных измерений очагов было 192 [65,5%; 107 ложноположительных, 85 ложноотрицательных], 146 [49,8%; 58 ложноположительных, 88 ложноотрицательных] и 102 [34,8%; 23 ложноположительных, 79 ложноотрицательных] для экспертов 1, 2 и 3 соответственно (табл. 2). При использовании порогового значения 80 мм3, в соответствии с рекомендациями BTS, установлено, что количество некорректных измерений увеличилось: 35 ошибок было зарегистрировано для эксперта 1, 50 ― для эксперта 2, 41 ― для эксперта 3.
Таблица 2. Результаты и расхождения на одного эксперта при измерении объёма и линейного размера
Показатель | Эксперт 1 | Эксперт 2 | Эксперт 3 |
Объём | |||
Ложноположительные результаты | 4 (1,4) | 17 (5,8) | 6 (2,0) |
Ложноотрицательные результаты | 28 (9,6) | 12 (4,1) | 24 (8,2) |
Расхождения по каждому эксперту | 32 (10,9) | 29 (9,9) | 30 (10,2) |
Линейный размер | |||
Ложноположительные результаты | 107 (36,5) | 58 (19,8) | 23 (7,8) |
Ложноотрицательные результаты | 85 (29,0) | 88 (30,0) | 79 (27,0) |
Расхождения по каждому эксперту | 192 (65,5) | 146 (49,8) | 102 (34,8) |
Примечание. В скобках указан процент от общего количества очагов (n=293).
Если рассматривать средние показатели трёх экспертов, то всего было выявлено 30 (10,2%) ошибок при измерении объёма по сравнению со 147 (50,2%) при измерении линейного размера (p <0,001). При волюметрии было значительно меньше ложноположительных результатов (9; 3,1%), чем при измерении линейного размера (63; 21,5%; p <0,001), а также значительно меньше ложноотрицательных результатов (21; 7,2%, против 84; 28,7%, соответственно; p <0,001).
Анализ согласия между экспертами показал большее согласие при измерении объёма, чем при измерении линейного размера. При измерении объёма каппа Флейсса составила 0,672 (значительное согласие, 95% доверительный интервал 0,670–0,674), тогда как при использовании измерения линейного размера каппа Флейсса составила 0,027 (незначительное согласие, 95% доверительный интервал 0,025–0,029).
ОБСУЖДЕНИЕ
Резюме основного результата исследования
По нашим данным, использование волюметрии вместо линейного размера значительно уменьшило количество ошибочных интерпретаций очагов, при этом уменьшилось количество как ложноположительных, так и ложноотрицательных результатов. Согласие между экспертами было значительно выше при использовании волюметрической классификации по сравнению с измерением линейного размера.
Обсуждение основного результата исследования
Наши результаты согласуются с данными исследования NELSON и подтверждают обоснованность применения волюметрии лёгочных очагов для результатов, полученных при помощи ультра-НДКТ. В исследовании M. Oudkerk и соавт. [7] было показано, что при использовании НДКТ размер очага не может быть точно интерпретирован только путём измерения его линейного размера, особенно в спорных случаях. При экстраполяции объёма из линейного размера очаги размером 8–10 мм попадали в группы объёмом от 50 до 500 мм3, и использование линейного размера приводило к значительному завышению объёма очагов по сравнению с полуавтоматическим измерением объёма. До этого в исследовании M.P. Revel и соавт. [12] сообщалось также о проблеме при анализе очагов малого и среднего размера: оценка внутри- и межэкс-пертного согласия показала, что погрешность измерения при оценке двумя разными врачами-рентгенологами достигает 1,73 мм. Далее, согласно исследованию X. Xie и соавт. [13], использование полуавтоматических методов для измерения объёма показало более высокую точность по сравнению с ручными измерениями. Кроме того, Европейское общество радиологии (European Society of Radiology, ESR) и Европейское респираторное общество (European Respiratory Society, ERS) рекомендуют применять волюметрию очагов, в том числе с использованием алгоритмов искусственного интеллекта [11]. В другом исследовании, посвящённом методологии разметки лёгочных очагов, несколькими врачами-рентгенологами установлено, что при измерении диаметра очага количество экспертов влияет на правильность и согласованность оценок. При увеличении числа специалистов, осуществляющих независимую интерпретацию КТ-исследований, наблюдается рост правильности их оценок при снижении согласованности [14].
Ограничения исследования
Исследование имеет ряд ограничений. Данное исследование является ретроспективным, что может привести к систематической ошибке выборки. Кроме того, данное исследование проводилось на относительно небольшой выборке. Большее число случаев может быть более показательным по отношению к популяции, в которой проводится скрининг рака лёгких. Согласно рекомендациям Lung-RADS, необходимо проводить измерения линейного размера очага по длинной и короткой оси с вычислением среднего значения; однако целью настоящей работы была проверка результатов исследования NELSON.
ЗАКЛЮЧЕНИЕ
Таким образом, мы продемонстрировали, что использование при интерпретации НДКТ полуавтоматической оценки объёма лёгочных очагов может значительно снизить количество ложноположительных и ложноотрицательных результатов по сравнению с измерением линейного размера. Этот результат сопровождается увеличением согласия между экспертами и может привести к снижению неизбежного вреда, связанного со скринингом рака лёгких.
ДОПОЛНИТЕЛЬНО
Источник финансирования. Данная статья подготовлена авторским коллективом в рамках научно-исследовательской работы (№ ЕГИСУ: 123031400009-1) в соответствии с Приказом Департамента здравоохранения города Москвы от 21.12.2022 г. № 1196.
Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией). Наибольший вклад распределён следующим образом: М.М. Сучилова, И.А. Блохин, В.Ю. Босин ― написание текста статьи; О.О. Алешина ― сбор и обработка материалов; В.А. Гомболевский, О.В. Омелянская ― концепция и дизайн исследования; Р.В. Решетников, А.В. Владзимирский ― анализ полученных данных.
Благодарности. Коллектив авторов выражает благодарность В.Ю. Черниной, H. Lancaster, S. Zheng, M. Silva, M. Dorrius, J. Gratama, M. Oudkerk за помощь в написание статьи.
ADDITIONAL INFORMATION
Funding source. This paper was prepared by a group of authors as part of the research work (USIS No. 123031400009-1) in accordance with the Order issued by the Moscow Health Care Department No. 1196 dated December 21, 2022.
Competing interests. The authors declare that they have no competing interests.
Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. M.M. Suchilova, I.A. Blokhin, V.Yu. Bosin ― writing the original draft; O.O. Aleshina ― data curation, investigation; V.A. Gombolevskiy, O.V. Omelyanskaya ― conceptualization, study design; R.V. Reshetnikov, A.V. Vladzymyrskyy ― data curation.
Acknowledgments. The authors are grateful to V. Chernina, H. Lancaster, S. Zheng, M. Silva, M. Dorrius, J. Gratama, and M. Oudkerk for their help with the article.
1 WHO [Internet]. The top 10 causes of death [cited 2020 Dec 9]. Режим доступа: https://www.who.int/news-room/fact-sheets/detail/the-top-10-causes-of-death.
2 American College of Radiology. Lung CT Screening Reporting & Data System (Lung-RADS®), Version 1.1 [cited 2021 March 30]. Режим доступа: https://www.acr.org/Clinical-Resources/Reporting-and-Data-Systems/Lung-Rads.
3 Постановление Главного государственного санитарного врача Российской Федерации от 7 июля 2009 года N 47 об утверждении СанПиН 2.6.1.2523-09 «Нормы радиационной безопасности (НРБ-99/2009)». Режим доступа: https://docs.cntd.ru/document/902170553.
Об авторах
Мария Максимовна Сучилова
Научно-практический клинический центр диагностики и телемедицинских технологий
Автор, ответственный за переписку.
Email: m.suchilova@npcmr.ru
ORCID iD: 0000-0003-1117-0294
SPIN-код: 4922-1894
MD
Россия, МоскваИван Андреевич Блохин
Научно-практический клинический центр диагностики и телемедицинских технологий
Email: i.blokhin@npcmr.ru
ORCID iD: 0000-0002-2681-9378
SPIN-код: 3306-1387
MD
Россия, МоскваОльга Олеговна Алёшина
Государственная клиническая больница № 13
Email: olya.aleshina.tula@gmail.com
ORCID iD: 0000-0001-9924-0204
SPIN-код: 6004-2422
MD
Россия, МоскваВиктор Александрович Гомболевский
Институт искусственного интеллекта
Email: gombolevskiy@npcmr.ru
ORCID iD: 0000-0003-1816-1315
SPIN-код: 6810-3279
к.м.н.
Россия, МоскваРоман Владимирович Решетников
Научно-практический клинический центр диагностики и телемедицинских технологий
Email: reshetnikov@fbb.msu.ru
ORCID iD: 0000-0002-9661-0254
SPIN-код: 8592-0558
к.ф.-м.н.
Россия, МоскваВиктор Юрьевич Босин
Научно-практический клинический центр диагностики и телемедицинских технологий
Email: bosin@npcmr.ru
ORCID iD: 0000-0002-4619-2744
SPIN-код: 3380-7889
д.м.н.
Россия, МоскваОльга Васильевна Омелянская
Научно-практический клинический центр диагностики и телемедицинских технологий
Email: o.omelyanskaya@npcmr.ru
ORCID iD: 0000-0002-0245-4431
SPIN-код: 8948-6152
Россия, Москва
Антон Вячеславович Владзимирский
Научно-практический клинический центр диагностики и телемедицинских технологий; Первый Московский государственный медицинский университет имени И.М. Сеченова (Сеченовский Университет)
Email: a.vladzimirskiy@npcmr.ru
ORCID iD: 0000-0002-2990-7736
SPIN-код: 3602-7120
д.м.н.
Россия, Москва; МоскваСписок литературы
- De Koning H.J., van der Aalst C.M., de Jong P.A., et al. Reduced lung-cancer mortality with volume CT screening in a randomized trial // New Eng J Med. 2020. Vol. 382, N 6. Р. 503–513. doi: 10.1056/NEJMoa1911793
- Henschke C.I., Boffetta P., Yankelevitz D.F., Altorki N. Computed tomography screening: The International Early Lung Cancer Action Program Experience // Thoracic Sur Clin. 2015. Vol. 25, N 2. Р. 129–143. doi: 10.1016/j.thorsurg.2014.12.001
- Callister M.E., Baldwin D.R., Akram A.R., et al. Correction: British Thoracic Society guidelines for the investigation and management of pulmonary nodules: Accredited by NICE // Thorax. 2015. Vol. 70, Suppl 2. Р. ii1–ii54. doi: 10.1136/thoraxjnl-2015-207168
- Oudkerk M., Devaraj A., Vliegenthart R., et al. European Position Statement on Lung Cancer Screening // Lancet Oncology. 2017. Vol. 18, N 12. Р. e754–e766. doi: 10.1016/S1470-2045(17)30861-6
- Wood D.E., Kazerooni E.A., Baum S.L., et al. Lung cancer screening, version 3.2018, NCCN clinical practice guidelines in oncology // J Nation Compr Can Netw. 2018. Vol. 16, N 4. Р. 412–441. doi: 10.6004/jnccn.2018.0020
- Horeweg N., Scholten E.T., de Jong P.A., et al. Detection of lung cancer through low-dose CT screening (NELSON): A prespecified analysis of screening test performance and interval cancers // Lancet Oncology. 2014. Vol. 15, N 12. Р. 1342–1350. doi: 10.1016/S1470-2045(14)70387-0
- Oudkerk M., Liu S., Heuvelmans M.A., et al. Lung cancer LDCT screening and mortality reduction: Evidence, pitfalls and future perspectives // Nat Rev Clin Oncol. 2021. Vol. 18, N 3. Р. 135–151. doi: 10.1038/s41571-020-00432-6
- Duffy S.W., Field J.K. Mortality reduction with low-dose CT screening for lung cancer // New Eng J Med. 2020. Vol. 382, N 6. Р. 572–573. doi: 10.1056/NEJMe1916361
- Морозов С.П., Кузьмина Е.С., Ветшева Н.Н., и др. Московский скрининг: скрининг рака лёгкого с помощью низкодозовой компьютерной томографии // Проблемы социальной гигиены, здравоохранения и истории медицины. 2019. Т. 27, № S. С. 630–636. doi: 10.32687/0869-866X-2019-27-si1-630-636
- Гомболевский В.А., Барчук А.А., Лайпан А.Ш., и др. Организация и эффективность скрининга злокачественных новообразований легких методом низкодозной компьютерной томографии // Радиология-практика. 2018. № 1. С. 28–36.
- Landis J.R., Koch G.G. The measurement of observer agreement for categorical data // Biometrics. 1977. Vol. 33, N 1. Р. 159–174.
- Revel M.P., Bissery A., Bienvenu M., et al. Are two-dimensional CT measurements of small noncalcified pulmonary nodules reliable? // Radiology. 2004. Vol. 231, N 2. Р. 453–458. doi: 10.1148/radiol.2312030167
- Xie X., Willemink M.J., Zhao Y., et al. Inter-and intrascanner variability of pulmonary nodule volumetry on low-dose 64-row CT: An anthropomorphic phantom study // Brit J Radiol. 2013. Vol. 86, N 1029. Р. 20130160. doi: 10.1259/bjr.20130160
- Кульберг Н.С., Решетников Р.В., Новик В.П., и др. Вариабельность заключений при интерпретации КТ-снимков: один за всех и все за одного // Digital Diagnostics. 2021. Т. 2, № 2. С. 105–118. doi: 10.17816/DD60622
Дополнительные файлы
