Digital DiagnosticsDigital DiagnosticsDigital DiagnosticsDigital Diagnostics2712-84902712-8962Eco-Vector6004010.17816/DD60040Original Study ArticlesОригинальные исследования原创性科研成果Research ArticleHow does artificial intelligence effect on the assessment of lung damage in COVID-19 on chest CT scan?Как искусственный интеллект влияет на оценку поражения лёгких при COVID-19 по данным КТ грудной клетки?人工智能如何影响胸部CT扫描对COVID-19中肺损伤的评估？https://orcid.org/0000-0001-6545-617057200964938T-9163-20178542-1720MorozovSergey P.МорозовСергей Павлович
Russian Federation

Dr. Sci. (Med.), Professor

д.м.н., профессор

morozov@npcmr.ruhttps://orcid.org/0000-0002-0302-293X57210638679AAF-1215-20208896-8051CherninaValeria Y.ЧернинаВалерия Юрьевна
Russian Federation

MD

v.chernina@npcmr.ruhttps://orcid.org/0000-0001-6359-076342960997200E-4930-20176625-4186AndreychenkoAnna E.АндрейченкоАнна Евгеньевна
Russian Federation

Cand. Sci. (Phys.-Math.)

к.ф.-м.н.

a.andreychenko@npcmr.ruhttps://orcid.org/0000-0002-2990-77368944262100D-1447-20173602-7120VladzymyrskyyAnton V.ВладзимирскийАнтон Вячеславович
Russian Federation

Dr. Sci. (Med.)

д.м.н.

a.vladzimirsky@npcmr.ruhttps://orcid.org/0000-0002-7826-513555155448000J-3210-20168088-9921MokienkoOlesya А.МокиенкоОлеся Александровна
Russian Federation

Cand. Sci. (Med.)

к.м.н.

Lesya.md@yandex.ruhttps://orcid.org/0000-0003-1816-131557196441765J-3389-20176810-3279GombolevskiyVictor A.ГомболевскийВиктор Александрович
Russian Federation

Cand. Sci. (Med.), Head of Medical Research Department

к.м.н., руководитель отдела научных медицинских исследований

v.gombolevskiy@npcmr.ruhttps://www.scopus.com/authid/detail.uri?authorId=57204359134Moscow Center for Diagnostics and TelemedicineНаучно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы10042021300420212127380402202106042021Copyright ©; 2021, Morozov S.P., Chernina V.Y., Andreychenko A.E., Vladzymyrskyy A.V., Mokienko O.А., Gombolevskiy V.A.Copyright ©; 2021, Морозов С.П., Чернина В.Ю., Андрейченко А.Е., Владзимирский А.В., Мокиенко О.А., Гомболевский В.А.Copyright ©; 2021, Morozov S., Chernina V., Andreychenko A., Vladzymyrskyy A., Mokienko O., Gombolevskiy V.2021Morozov S.P., Chernina V.Y., Andreychenko A.E., Vladzymyrskyy A.V., Mokienko O.А., Gombolevskiy V.A.Морозов С.П., Чернина В.Ю., Андрейченко А.Е., Владзимирский А.В., Мокиенко О.А., Гомболевский В.А.Morozov S., Chernina V., Andreychenko A., Vladzymyrskyy A., Mokienko O., Gombolevskiy V.https://creativecommons.org/licenses/by-nc-nd/4.0https://jdigitaldiagnostics.com/DD/article/view/60040

BACKGROUND: During the pandemic, computed tomography (CT) was one of the most important tools for assessing COVID-19-related lung changes. In COVID-19 patients, radiologists in Moscow used the adapted CT0-4 scale to visually assess the dependence of the severity of the general condition on the nature and severity of radiological signs of changes in the lungs based on computed tomography. In a large stream of scans, the doctor may miss findings and make errors in assessing the volume of lung damage, so the use of AI services in outpatient healthcare during a pandemic can be beneficial.

AIM: The goal of this study is to compare the distribution of CT0-4 categories designed by radiologists with the results of AI services processing and categories formed without AI services.

METHODS: We used retrospective study design, full study protocol is registered on ClinicalTrials.gov (NCT04489992). The results of primary CT scans with the CT0-4 categories were analyzed in outpatient medical institutions of the Health Department from April 08, 2020, to December 01, 2020, and separately for November (from November 01, 2020, to December 01, 2020). CT was performed on 48 computed tomographs in accordance with standard protocols, and the data was processed by the single radiology information systems. CTs in the test group received AI services, while CTs in the control group did not. The analysis includes five AI services: RADLogics COVID-19 (RADLogics, USA), COVID-IRA (IRA labs, Russia), Care Mentor AI, COVID (Care Mentor AI, Russia), Third Opinion. CT-COVID-19 (Third Opinion, Russia), and COVID-MULTIVOX (Gammamed, Russia). Moreover, AI services are encoded at random.

RESULTS: The CT scan results of 260,594 patients were examined (m/f % = 44/56, mean age = 49.5). The test group consisted of 115,618 CT scans, while the control group consisted of 144,976 CT scans. Depending on the specific AI service, CT0 was established by 2.3–18.5% less than the control group for different subgroups of categories. The categories CT3-4 were established by 4.7–27.6% less than without AI, and the categories CT4 by 40–60% less than without AI (p < 0.0001). For November (from November 01, 2020, to December 01, 2020), the CT scan results of 41,386 patients were analyzed (m/f % = 44/56, average age = 53.2 years). The test group consisted of 28,881 CT scans, while the control group included 12,505 CT scans. Depending on the specific AI service, CT0 was established by 1–2.6% less than the control group for different subgroups of categories. Further, the categories CT3–CT4 were established by 0.2–15.7% less than without AI, and the categories CT4 were established by 25% less than without AI (p = 0.001).

CONCLUSION: The use of AI services for primary CT scans on an outpatient basis reduces the number of CT0 and CT3–CT4 results, which can influence the therapeutic approach for COVID-19 patients.

Обоснование. В период пандемии компьютерная томография (КТ) является одним из ключевых инструментов оценки изменений в лёгких, связанных с COVID-19. Рентгенологи Москвы используют адаптированную шкалу КТ 0–4 для визуальной оценки зависимости тяжести общего состояния от характера и выраженности рентгенологических признаков изменений в лёгких при COVID-19 по данным КТ. В большом потоке исследований врач может пропустить находку и ошибиться в оценке объёма поражения лёгких, поэтому применение сервисов искусственного интеллекта (ИИ) обосновано в амбулаторном здравоохранении в период пандемии.

Цель ― сравнить распределение категорий КТ 0–4 в заключениях, сформированных рентгенологами с использованием ИИ-сервисов и без них.

Материал и методы. Ретроспективное исследование, протокол исследования зарегистрирован в ClinicalTrials.gov (NCT04489992). Проанализированы результаты первичных КТ с категориями КТ 0–4 в период с 08.04.2020 по 01.12.2020 и отдельно за ноябрь 2020 года (с 01.11.2020 по 01.12.2020) в амбулаторных медицинских организациях Департамента здравоохранения. КТ проводились на 48 компьютерных томографах по стандартным протоколам, результаты обрабатывались через Единый радиологический информационный сервис. В тестовую группу включены КТ, обработанные ИИ-сервисами, в контрольную ― без обработки ИИ. В анализ включены 5 ИИ-сервисов: RADlogics COVID-19 (RADLogics, США); COVID-IRA (IRA labs, Россия); Care Mentor AI, COVID (CareMentor AI, Россия); Третье Мнение. КТ-COVID-19 (Третье мнение, Россия); COVID-MULTIVOX (Гаммамед, Россия). ИИ-сервисы кодированы случайным образом.

Результаты. Проанализированы результаты КТ 260 594 пациентов (соотношение мужчины/женщины ― 44/56%, средний возраст 49,5 года). В тестовую группу включены 115 618 КТ, в контрольную ― 144 976. В зависимости от конкретного ИИ-сервиса для разных подгрупп категорий КТ-0 выставлено от 2,3 до 18,5% меньше, категорий КТ 3–4 ― от 4,7 до 27,6% меньше, КТ-4 ― от 40 до 60% меньше, чем в контрольной группе (p <0,0001). За ноябрь (с 01.11.2020 по 01.12.2020) проанализированы результаты КТ 41 386 пациентов (соотношение мужчины/ женщины ― 44/56%, средний возраст 53,2 года). В тестовую группу включено 28 881 КТ, в контрольную ― 12 505. В зависимости от конкретного ИИ-сервиса для разных подгрупп категорий КТ-0, КТ 3–4 и КТ-4 выставлено соответственно от 1 до 2,6, от 0,2 до 15,7 и на 25% меньше, чем в контрольной группе (p=0,001).

Заключение. Применение ИИ-сервисов для первичных КТ в амбулаторных условиях приводит к уменьшению количества выставляемых категорий КТ-0 и КТ 3–4, способных влиять на тактику ведения пациентов с COVID-19.

理由：在大流行期间，计算机断层扫描（CT）是评估与COVID-19相关的肺部变化的主要工具之一。莫斯科的放射学家使用了经过调整的KT0-4量表，根据计算机断层扫描技术，通过视觉评估了一般病情严重程度对COVID-19中肺部改变的放射学征象的性质和严重程度的依赖性。大量的研究中，医生可能会遗漏发现结果并在评估肺损伤量方面犯错误，因此在大流行期间，在门诊医疗中使用AI服务可能很有用。

目的：比较放射科医生形成的CT0-4类别的分布与AI服务处理的结果以及没有AI服务形成的类别的比较。方法：回顾性研究，ClinicalTrials.gov（NCT04489992）。DZM的门诊医疗组织中，分析了从CT0-4类别进行的一次CT扫描的结果，分析时间为：2020年4月8日至2020年1月12日，以及11月（2020年11月1日至2020年1月12日）。根据标准协议在48台计算机断层扫描仪上执行CT，并通过ERIS处理。测试组包括由AI服务处理的CT，对照组为不包含AI的CT。分析包括5种AI服务：RADlogics COVID-19（美国RADLogics），COVID-IRA（俄罗斯的IRA实验室），Care Mentor AI，COVID（俄罗斯的CareMentor AI），第三意见。CT-COVID-19英寸（第三意见，俄罗斯），COVID-MULTIVOX（俄罗斯伽马迈德）。AI服务是随机编码的。

结果：分析了260594例患者的CT扫描结果（m / f％= 44/56，平均年龄-49.5）。测试组包括115,618次CT扫描，对照组-144976。根据特定的AI服务，对于 CT-0类别的不同子组，其设置比对照组少2.3％至18.5％。与未使用AI相比，将CT3-4类别设置为比不使用AI少4.7％至27.6％，并且将CT-4类别与不使用AI设置成从40％至60％（p <0.0001）。

对于11月（从01.11.2020到01.12.2020），分析了41386名患者的CT扫描结果（m / f％= 44/56，平均年龄-53.2岁）。测试组包括28881 CT扫描，对照组-12505。根据特定的AI服务，对于CT-0类别的不同子组，其设置比对照组小1％至2.6％。显示的CT3-4类别比没有使用AI的类别多出0.2％至15.7％； 类别CT-4设置为比不使用AI时少25％（p = 0.001）。

结论：在门诊基础上将AI服务用于主要CT扫描会导致CT-0和CT3-4数量减少，从而影响管理COVID-19患者的策略。

COVID-19community-acquired pneumoniacomputed tomographyartificial intelligenceCOVID-19внебольничная пневмониякомпьютерная томографияискусственный интеллектCOVID-19社区获得性肺炎CT扫描人工智能Experiment on the use of innovative computer vision technologies for medical image analysis and subsequent applicability in the healthcare system of Moscow [cited 2021 Feb 04]. (In Russ). Available from: https://mosmed.aiЭксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы [дата обращения: 04.02.2021]. Режим доступа: https://mosmed.ai. Дата обращения: 15.01.2021.Morozov SP, Ledikhova NV, Panina EV, et al. Re: Controversy in coronaViral Imaging and Diagnostics (COVID). Clin Radiol. 2020;75(11):871–872. doi: 10.1016/j.crad.2020.07.023Morozov S.P., Ledikhova N.V., Panina E.V., et al. Re: Controversy in coronaViral Imaging and Diagnostics (COVID) // Clin Radiol. 2020. Vol. 75, N 11. P. 871–872. doi: 10.1016/j.crad.2020.07.023Chang YC, Yu CJ, Chang SC, et al. Pulmonary sequelae in convalescent patients after severe acute respiratory syndrome: evaluation with thin-section CT. Radiology. 2005;236(3):1067–1075. doi: 10.1148/radiol.2363040958Chang Y.C., Yu C.J., Chang S.C., et al. Pulmonary sequelae in convalescent patients after severe acute respiratory syndrome: evaluation with thin-section CT // Radiology. 2005. Vol. 236, N 3. P. 1067–1075. doi: 10.1148/radiol.2363040958Haseli S, Khalili N, Bakhshayeshkaram M, et al. Lobar distribution of COVID-19 pneumonia based on chest computed tomography findings. A retrospective study. Arch Acad Emerg Med. 2020;8(1):e55.Haseli S., Khalili N., Bakhshayeshkaram M., et al. Lobar distribution of COVID-19 pneumonia based on chest computed tomography findings. A retrospective study // Arch Acad Emerg Med. 2020. Vol. 8, N 1. P. 55.Inui S, Fujikawa A, Jitsu M, et al. Chest CT findings in cases from the cruise ship “Diamond Princess” with Coronavirus Disease 2019 (COVID-19). Radiol Cardiothorac Imaging. 2020;2(2):e200110. doi: 10.1148/ryct.2020200110Inui S., Fujikawa A., Jitsu M., et al. Chest CT findings in cases from the cruise ship «Diamond Princess» with Coronavirus Disease 2019 (COVID-19) // Radiol Cardiothorac Imaging. 2020. Vol. 2, N 2. P. 200110. doi: 10.1148/ryct.2020200110Prokop M, van Everdingen W, van Rees Vellinga T, et al. CO-RADS: A Categorical CT assessment scheme for patients suspected of having COVID-19-definition and evaluation. Radiology. 2020;296(2):97–104. doi: 10.1148/radiol.2020201473Prokop M., van Everdingen W., van Rees Vellinga T., et al. CO-RADS: A Categorical CT assessment scheme for patients suspected of having COVID-19-definition and evaluation // Radiology. 2020. Vol. 296, N 2. P. 97–104. doi: 10.1148/radiol.2020201473Shen C, Yu N, Cai S, et al. Quantitative computed tomography analysis for stratifying the severity of Coronavirus Disease 2019. J Pharm Anal. 2020;10(2):123–129. doi: 10.1016/j.jpha.2020.03.004Shen C., Yu N., Cai S., et al. Quantitative computed tomography analysis for stratifying the severity of Coronavirus Disease 2019 // J Pharm Anal. 2020. Vol. 10, N 2. P. 123–129. doi: 10.1016/j.jpha.2020.03.004Pan F, Ye T, Sun P, et al. Time course of lung changes at chest CT during recovery from Coronavirus Disease 2019 (COVID-19). Radiology. 2020;295(3):715–721. doi: 10.1148/radiol.2020200370Pan F., Ye T., Sun P., et al. Time course of lung changes at chest CT during Recovery from Coronavirus Disease 2019 (COVID-19) // Radiology. 2020. Vol. 295, N 3. P. 715–721. doi: 10.1148/radiol.2020200370Revel MP, Parkar AP, Prosch H, et al. COVID-19 patients and the radiology department – advice from the European Society of Radiology (ESR) and the European Society of Thoracic Imaging (ESTI). Eur Radiol. 2020;30(9):4903–4909. doi: 10.1007/s00330-020-06865-yRevel M.P., Parkar A.P., Prosch H., et al. COVID-19 patients and the radiology department – advice from the European Society of Radiology (ESR) and the European Society of Thoracic Imaging (ESTI) // Eur Radiol. 2020. Vol. 30, N 9. P. 4903–4909. doi: 10.1007/s00330-020-06865-yMorozov SP, Protsenko DN, Smetanina SV, et al. Radiation diagnosis of coronavirus disease (COVID-19): organization, methodology, interpretation of results: preprint II. Version 2 of 17.04.2020. The series “Best practices of radiation and instrumental diagnostics”. Issue 65. Moscow: Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department; 2020. 78 p. (In Russ).Морозов С.П., Проценко Д.Н., Сметанина С.В., и др. Лучевая диагностика коронавирусной болезни (COVID-19): организация, методология, интерпретация результатов: препринт № ЦДТ-2020-II. Версия 2 от 17.04.2020. Серия «Лучшие практики лучевой и инструментальной диагностики». Вып. 65. Москва: ГБУЗ «НПКЦ ДиТ ДЗМ», 2020. 78 с.Sinitsyn VE, Tyurin IE, Mitkov VV. Consensus Guidelines of Russian Society of Radiology (RSR) and Russian Association of Specialists in Ultrasound Diagnostics in Medicine (RASUDM) “Role of Imaging (X-ray, CT and US) in Diagnosis of COVID-19 Pneumonia” (version 2). Journal of Radiology and Nuclear Medicine. 2020;101(2):72–89. (In Russ). doi: 10.20862/0042-4676-2020-101-2-72-89Синицын В.Е., Тюрин И.Е., Митьков В.В. Временные методические рекомендации Российского общества рентгенологов и радиологов (РОРР) и Российской ассоциации специалистов ультразвуковой диагностики в медицине (РАСУДМ) «Методы лучевой диагностики пневмонии при новой коронавирусной инфекции при COVID-19» (версия 2) // Вестник рентгенологии и радиологии. 2020. Т. 101, № 2. С. 72–89. doi: 10.20862/0042-4676-2020-101-2-72-89Morozov SP, Gombolevskiy VA, Cherninа VY, et al. Prediction of lethal outcomes in COVID-19 cases based on the results chest computed tomography. Tuberculosis and Lung Diseases. 2020;98(6):7–14. (In Russ). doi: 10.21292/2075-1230-2020-98-6-7-14Морозов С.П., Гомболевский В.А., Чернина В.Ю., и др. Прогнозирование летальных исходов при COVID-19 по данным компьютерной томографии органов грудной клетки // Туберкулез и болезни лёгких. 2020. Т. 98, № 6. С. 7–14. doi: 10.21292/2075-1230-2020-98-6-7-14Howard J. Cognitive errors and diagnostic mistakes. A case-based guide to critical thinking in medicine. New York: Springer; 2019.Morozov SP, Vladzimirsky AV, Klyashtorny VG, et al. Clinical trials of software based on intelligent technologies (radiation diagnostics). The series “Best practices of radiation and instrumental diagnostics”. Issue 57. Moscow: Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department; 2019. 51 p. (In Russ).Морозов С.П., Владзимирский А.В., Кляшторный В.Г., и др. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика). Серия «Лучшие практики лучевой и инструментальной диагностики». Вып. 57. Москва: ГБУЗ «НПКЦ ДиТ ДЗМ», 2019. 51 с.Sahiner B, Pezeshk A, Hadjiiski LM, et al. Deep learning in medical imaging and radiation therapy. Med Phys. 2019;46(1):1–36. doi: 10.1002/mp.13264Sahiner B., Pezeshk A., Hadjiiski L.M., et al. Deep learning in medical imaging and radiation therapy // Med Phys. 2019. Vol. 46, N 1. P. 1–36. doi: 10.1002/mp.13264Allen BJ, Seltzer SE, Langlotz CP, et al. A road map for translational research on artificial intelligence in medical imaging: from the 2018 national institutes of health/RSNA/ACR/The academy workshop. J Am Coll Radiol. 2019;16(9):1179–1189. doi: 10.1016/j.jacr.2019.04.014Allen B.J., Seltzer S.E., Langlotz C.P., et al. A road map for translational research on artificial intelligence in medical imaging: from the 2018 national institutes of health/RSNA/ACR/The academy workshop // J Am Coll Radiol. 2019. Vol. 16, N 9. P. 1179–1189. doi: 10.1016/j.jacr.2019.04.014Angus DC. Randomized clinical trials of artificial intelligence. Jama. 2020;323(11):1043–1045. doi: 10.1001/jama.2020.1039Angus D.C. Randomized clinical trials of artificial intelligence // Jama. 2020. Vol. 323, N 11. P. 1043–1045. doi: 10.1001/jama.2020.1039Wijnberge M, Geerts BF, Hol L, et al. Effect of a machine learning-derived early warning system for intraoperative hypotension vs standard care on depth and duration of intraoperative hypotension during elective noncardiac surgery: the HYPE randomized clinical trial. Jama. 2020;323(11):1052–1060. doi: 10.1001/jama.2020.0592Wijnberge M., Geerts B.F., Hol L., et al. Effect of a machine learning-derived early warning system for intraoperative hypotension vs standard care on depth and duration of intraoperative hypotension during elective noncardiac surgery: the HYPE randomized clinical trial // Jama. 2020. Vol. 323, N 11. P. 1052–1060. doi: 10.1001/jama.2020.0592Carlile M, Hurt B, Hsiao A, et al. Deployment of artificial intelligence for radiographic diagnosis of COVID-19 pneumonia in the emergency department. J Am Coll Emerg Physicians Open. 2020;1(6):1459–1464. doi: 10.1002/emp2.12297Carlile M., Hurt B., Hsiao A., et al. Deployment of artificial intelligence for radiographic diagnosis of COVID-19 pneumonia in the emergency department // J Am Coll Emerg Physicians Open. 2020. Vol. 1, N 6. P. 1459–1464. doi: 10.1002/emp2.12297Morozov SP, Chernina VYu, Blokhin IA, et al. Chest computed tomography for outcome prediction in laboratory-confirmed COVID-19: A retrospective analysis of 38,051 cases. Digital Diagnostics. 2020;1(1):27−36. (In Russ). doi: 10.17816/DD46791Морозов С.П., Чернина В.Ю., Блохин И.А., Гомболевский В.А. Прогнозирование исходов при лабораторно верифицированном COVID-19 по данным компьютерной томографии органов грудной клетки: ретроспективный анализ 38051 пациента // Digital Diagnostics. 2020. Т. 1, № 1. C. 27–36. doi: 10.17816/DD46791