6062210.17816/DD60622Original Study ArticlesОригинальные исследования原创性科研成果Research ArticleInter-observer variability between readers of CT images: all for one and one for allВариабельность заключений при интерпретации КТ-снимков: один за всех и все за одногоCT 图像读取器之间的观察者间变异性：全部为一个，一个为全部https://orcid.org/0000-0001-7046-71572135-9543KulbergNikolas S.КульбергНиколай СергеевичKulbergNikolas S.Russian FederationCand. Sci. (Phys.-Math.)
кандидат физико-математических наук
Cand. Sci. (Phys.-Math.)
kulberg@npcmr.ruhttps://orcid.org/0000-0002-9661-02548592-0558ReshetnikovRoman V.РешетниковРоман ВладимировичReshetnikovRoman V.Russian FederationCand. Sci. (Phys.-Math.)
кандидат физико-математических наук
Cand. Sci. (Phys.-Math.)
reshetnikov@fbb.msu.ruhttps://orcid.org/0000-0002-6752-13752251-1016NovikVladimir P.НовикВладимир ПетровичNovikVladimir P.Russian Federationv.novik@npcmr.ruhttps://orcid.org/0000-0003-3786-41717025-1257ElizarovAlexey B.ЕлизаровАлексей БорисовичElizarovAlexey B.Russian FederationCand. Sci. (Phys.-Math.)
кандидат физико-математических наук
Cand. Sci. (Phys.-Math.)
a.elizarov@npcmr.ruhttps://orcid.org/0000-0001-8864-87221526-1140GusevMaxim A.ГусевМаксим АлександровичGusevMaxim A.Russian Federationm.gusev@npcmr.ruhttps://orcid.org/0000-0003-1816-13156810-3279GombolevskiyVictor A.ГомболевскийВиктор АлександровичGombolevskiyVictor A.Russian FederationMD, Cand. Sci. (Med.)
кандидат медицинских наук
MD, Cand. Sci. (Med.)
g_victor@mail.ruhttps://orcid.org/0000-0002-2990-77363602-7120VladzymyrskyyAnton V.ВладзимирскийАнтон ВячеславовичVladzymyrskyyAnton V.Russian FederationDr. Sci. (Med.), Professor
доктор медицинских наук, профессор
Dr. Sci. (Med.), Professor
a.vladzimirsky@npcmr.ruhttps://orcid.org/0000-0001-6545-61708542-1720MorozovSergey P.МорозовСергей ПавловичMorozovSergey P.Russian FederationDr. Sci. (Med.), Professor
доктор медицинских наук, профессор
Dr. Sci. (Med.), Professor
morozov@npcmr.ruMoscow Center for Diagnostics and TelemedicineНаучно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения г. МосквыMoscow Center for Diagnostics and TelemedicineFederal Research Center “Computer Science and Control” of Russian Academy of SciencesФедеральный исследовательский центр «Информатика и управление» Российской академии наукFederal Research Center “Computer Science and Control” of Russian Academy of SciencesInstitute of Molecular Medicine, The First Sechenov Moscow State Medical UniversityПервый Московский государственный медицинский университет имени И.М. Сеченова (Сеченовский Университет)Institute of Molecular Medicine, The First Sechenov Moscow State Medical UniversityMoscow Polytechnic UniversityМосковский политехнический университетMoscow Polytechnic University1307202110082021221051181102202107072021Copyright ©; 2021, Kulberg N.S., Reshetnikov R.V., Novik V.P., Elizarov A.B., Gusev M.A., Gombolevskiy V.A., Vladzymyrskyy A.V., Morozov S.P.Copyright ©; 2021, Кульберг Н.С., Решетников Р.В., Новик В.П., Елизаров А.Б., Гусев М.А., Гомболевский В.А., Владзимирский А.В., Морозов С.П.Copyright ©; 2021, Kulberg N.S., Reshetnikov R.V., Novik V.P., Elizarov A.B., Gusev M.A., Gombolevskiy V.A., Vladzymyrskyy A.V., Morozov S.P.2021Kulberg N.S., Reshetnikov R.V., Novik V.P., Elizarov A.B., Gusev M.A., Gombolevskiy V.A., Vladzymyrskyy A.V., Morozov S.P.Кульберг Н.С., Решетников Р.В., Новик В.П., Елизаров А.Б., Гусев М.А., Гомболевский В.А., Владзимирский А.В., Морозов С.П.Kulberg N.S., Reshetnikov R.V., Novik V.P., Elizarov A.B., Gusev M.A., Gombolevskiy V.A., Vladzymyrskyy A.V., Morozov S.P.https://creativecommons.org/licenses/by-nc-nd/4.0https://jdigitaldiagnostics.com/DD/article/view/60622BACKGROUND: The markup of medical image datasets is based on the subjective interpretation of the observed entities by radiologists. There is currently no widely accepted protocol for determining ground truth based on radiologists’ reports.
AIM: To assess the accuracy of radiologist interpretations and their agreement for the publicly available dataset “CTLungCa-500”, as well as the relationship between these parameters and the number of independent readers of CT scans.
MATERIALS AND METHODS: Thirty-four radiologists took part in the dataset markup. The dataset included 536 patients who were at high risk of developing lung cancer. For each scan, six radiologists worked independently to create a report. After that, an arbitrator reviewed the lesions discovered by them. The number of true-positive, false-positive, true-negative, and false-negative findings was calculated for each reader to assess diagnostic accuracy. Further, the inter-observer variability was analyzed using the percentage agreement metric.
RESULTS: An increase in the number of independent readers providing CT scan interpretations leads to accuracy increase associated with a decrease in agreement. The majority of disagreements were associated with the presence of a lung nodule in a specific site of the CT scan.
CONCLUSION: If arbitration is provided, an increase in the number of independent initial readers can improve their combined accuracy. The experience and diagnostic accuracy of individual readers have no bearing on the quality of a crowd-tagging annotation. At four independent readings per CT scan, the optimal balance of markup accuracy and cost was achieved.
Обоснование. Разметка наборов медицинских изображений во многом полагается на субъективную интерпретацию наблюдаемых подозрительных структур. На настоящий момент не существует рекомендованного протокола по определению эталонных данных (ground truth), основанных на врачебных описаниях.
Цель ― анализ правильности и согласованности оценок рентгенологов, принимавших участие в подготовке общедоступного набора данных CTLungCa-500; определение взаимосвязи этих показателей с количеством специалистов, проводящих независимую интерпретацию изображений, полученных при компьютерно-томографическом (КТ) исследовании.
Материал и методы. Набор данных, в разметке которого принимали участие 34 рентгенолога, включает 536 КТ-исследований пациентов из группы риска развития рака лёгкого. Каждое КТ-исследование было независимо интерпретировано шестью специалистами, после чего обнаруженные ими подозрительные структуры проходили арбитраж другим экспертом. Для каждого эксперта подсчитывали количество истинно положительных, ложноположительных, истинно отрицательных и ложноотрицательных находок, на основании которых проводили оценку диагностической точности рентгенологов. Для анализа согласованности между заключениями рентгенологов использовали метрику процентного показателя.
Результаты. Увеличение количества специалистов, проводящих независимую интерпретацию КТ-исследований, ведёт к росту правильности их оценок при снижении согласованности. Среди факторов, влияющих на согласованность заключений между парами исследователей, выделяется расхождение мнений по поводу наличия лёгочного очага в конкретном участке КТ-снимка.
Заключение. Увеличение числа независимых первичных интерпретаций способно повысить их комбинированную правильность при условии проведения арбитража, причём квалификация рентгенологов не имеет определяющего значения для качества анализа. Проведение первичной разметки силами четырёх рентгенологов является оптимальным с точки зрения сочетания правильности интерпретации и её стоимости.
理由: 医学图像集的标记在很大程度上依赖于观察到的可疑结构的主观解释。目前，没有推荐的协议用于根据医学描述确定参考数据（ground truth）。
目标: 评估参与编制公开数据集»CTLungCa-500»的放射科医生评估的正确性和一致性，以及确定这些指标与对CT研究进行独立解释的专家数量的关系。
方法: 该数据集包括有患肺癌风险的患者的536项CT研究，其中34名放射科医生参加了该研究。每项CT研究都由六位专家独立解释，之后他们发现的可疑结构由另一位专家进行仲裁。对于每位专家计算真阳性，假阳性，真阴性和假阴性结果的数量，在此基础上评估放射科医生的诊断准确性。为了分析放射科医生的结论之间的一致性，使用了百分比度量。
结果:对CT研究进行独立解释的专家数量的增加在一致性降低的情况下导致其评估的正确性增加。在影响成对研究人员之间结论一致性的因素中，关于CT图像的特定部分中存在肺焦点的观点不一致。
结论:独立的初级解释数量的增加使它们的组合正确性会升高，但需要仲裁，放射科医生的资格对分析的质量没有决定性的价值。从结合解释的正确性及其成本的角度来看，由四名放射科医生进行主要标记是最佳的。
X-ray computed tomographydatasets as topicground truthobserver variationкомпьютерная томографиянабор данныхэталонные данныесогласованность между заключениями计算机断层扫描，数据集，参考数据，结论之间的一致性