人工智能如何影响胸部CT扫描对COVID-19中肺损伤的评估？

论证

2020年，COVID-19大流行对世界各地的卫生系统构成挑战，促使世界各国政府在资源有限的环境下寻求新的解决方案。2020年8月27日，俄罗斯联邦政府数字发展委员会在国家“数字经济”计划框架下，批准了联邦项目“人工智能”的护照。尽管如此，早在2019年，莫斯科政府就准备好了一项法令，随后在2020年初，莫斯科卫生部下令对计算机视觉领域创新技术的使用进行实验，以分析医学图像，并在莫斯科城市卫生系统（实验）中进一步应用[1]。

在大流行期间，计算机断层扫描（CT）被用作评估与感染相关的肺部变化的关键工具[2]。在COVID-19大流行的头几个月，常规临床工作大多采用半定量量表来评估频率不显著变化的严重程度[3–7]。使用基于SARS病毒肺炎研究结果的量表，需要单独计算肺叶和肺段病变的体积和类型，然后汇总结果[8]。在不单独计算肺段和肺叶的基础上，提出了一种视觉评估方法，以确定两肺内压缩肺组织的大致体积为基础[9]。

莫斯科的放射学家使用了经过调整的СT 0-4量表，根据计算机断层扫描技术，通过视觉评估了一般病情严重程度对COVID-19中肺部改变的放射学征象的性质和严重程度的依赖性。分别评估每个肺的病变百分比，病变最大的肺的改变程度（不管术后是否有改变）。肺病变体积每增加25%，分级就增加一个类别[10, 11]。通过预测COVID-19患者的致命结局，验证了提出的视觉评估方法CT 0-4[12]。当从一个类别的CT 0-4转移到下一个类别时，死亡风险平均增加38%[12]（95%置信区间17.1–62.6）。

在大量的研究中，医生可能会忽略研究结果，并在评估肺损伤血脑屏障的体积时犯错误[13]。

实验增加了使用基于人工智能的软件（人工智能服务）处理COVID-19诊断胸部CT数据的任务。人工智能服务增加了一个CT系列，包含肺病变的分割、每个肺病变体积的信息，以及CT 0-4级别的分类。

目的是比较使用人工智能服务和不使用人工智能服务的放射科医生形成的结论中CT 0-4类别的分布。

研究方法

研究设计

该实验是基于一项注册在临床试验（NCT04489992）中的研究的回顾性研究。在工作过程中分析的数据是由莫斯科市信息技术部（The Department of Information Technology of Moscow）的专家提供的。

遵从准则

采用纳入标准和排除标准组成CT研究组。

选标准：

• 对因疑似COVID-19就诊的男性和女性进行胸部器官的CT检查；

• 年龄大于18岁；

• 2020年8月4日至2020年12月1日在门诊医疗机构行胸部器官CT检查并由放射科医师解释；

• 关于CT 0-4评估类别的信息在放射科医生的医疗报告协议；

• 在统一放射信息系统（RIS）中制定CT描述协议。

排除标准：

• CT研究，在结论中其他变化表明与病毒性肺炎无关。

执行条件

CT研究在莫斯科市卫生部下属的所有医疗机构进行，对成人进行门诊护理。在大流行期间，门诊医疗机构被转变为门诊CT中心，提供特殊的24小时操作。考虑到流行病学情况，可以假设接受CT研究的患者的性别和年龄分布与莫斯科的分布相同。

研究持续时间

研究时间为2020年8月4日至2020年1月12日。另一项评估于2020年11月（2020年11月1日至2020年12月1日）进行（图1）。

图 1根据胸部器官计算机断层扫描（胸部CT），使用人工智能服务诊断COVID-19的年表。

医疗干预说明

在审查的整个期间以及2020年11月分别组成了一个测试组和对照组（图2）。测试组包括由人工智能服务处理的CT，对照组为不包含人工智能服务的CT。

图 2来自各种人工智能服务的原始（对照组）和附加CT系列（测试组和亚组）示例，演示了COVID-19肺部病变分割的 自动图像处理，以及总结肺损伤信息和DICOM SR信息

在将人工智能服务纳入实验之前，每个算法都在专门准备的校准数据集上进行测试。校准数据集包括经实验室验证的COVID-19患者的CT研究和医学专家的评估。根据《基于智能技术的软件临床试验指南》[14]，该算法的精度不低于ROC曲线下面积（ROC AUC）0.81是纳入人工智能服务RIS的标准。

每个人工智能服务都在研究中添加了一系列由人工智能算法处理的CT扫描和DICOM SR格式的信息。附加CT序列是基于当前研究的原始CT序列，加上人工智能服务提示由COVID-19引起的肺部病灶分割的原始图像。参与实验的人工智能开发者被建议补充人工智能服务发送的一系列CT扫描，包括肺损伤的汇总信息和CT 0-4评分。DICOM SR数据在得出结论的过程中提供给测试组的每个放射科医生，包含了关于特定人工智能服务的信息，使用治疗结果的说明和自动生成的结论，包括根据CT 0-4等级评估严重程度（见图2）。

采用制造商推荐的标准胸部扫描方案，对48台CT扫描仪（Toshiba Aquilion 64, Canon Medical Systems, Japan; HiSpeed GE, USA; Optima CT 660, GE, USA; Somatom Emotion 16, Siemens, Germany; Somatom Sensation 40, Siemens, Germany）进行CT扫描。

根据放射科医生的结论，在CT 0-4内对类别进行了比较，这些放射科医生可以访问人工智能服务的结果，但没有这样的访问权。

本研究的主要结果

通过对国家预算卫生保健机构Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department专家编写的数据库进行定性和定量测试后，将人工智能服务纳入实验。考虑到开发人员的计算能力，由于纳入了这五种人工智能服务，研究结果是随机分布的。一项研究可以由多个人工智能服务来处理。人工智能服务结果仅用于研究目的，CT 0-4的最终分类由放射科医生决定。

亚组分析

实验组分为亚组，因为该实验涉及了根据CT数据诊断COVID-19肺部变化的不同人工智能服务。

实验涉及7种不同的人工智能服务，用于COVID-19诊断：RADlogics COVID-19（RADlogics，美国）；COVID-IRA（IRA labs，俄罗斯）；Care Mentor AI，COVID（CareMertor AI，俄罗斯）；Third Opinion。CT-COVID-19（Third Opinion，俄罗斯）；Multivox COVID19 （Gammamed，俄罗斯）；IRYM（俄罗斯）；CVL（CVisionLab，俄罗斯），但后两者不包括在测试亚组，因为在整个研究期间经过处理的研究数量较少。其余的5个人工智能服务是随机编码的：人工智能服务-A，人工智能服务-B，人工智能服务-C，人工智能服务-D，人工智能服务-E（见图2）。

这些数据是根据RIS放射科医师的结论进行评估的。

伦理审查

经俄罗斯放射学家和放射学家学会莫斯科地区分会独立伦理委员会批准（2020年2月20日第2号议定书（1-II-2020）。

统计分析

样本量计算原则：将所有有效数据纳入统计分析。没有使用任何方法来恢复丢失的数据。

统计资料分析方法：采用描述性统计方法，以绝对值（n）和各类别观察的百分比（%）表示结果。采用皮尔逊一致性标准（χ2）比较对照组和检验子组在2个周期内不同类别的频数分布。差异有统计学意义的水平为0.05。使用Stata 14程序进行统计分析。

结果

研究对象（参与者）

对2020年4月8日至2020年12月1日期间在莫斯科门诊医疗机构进行并解释的260 594人（男女比例—44/56%，年龄为18-100岁，平均年龄为49.5岁）的初步CT研究结果进行分析，这些研究在流感大流行期间转变为门诊CT中心。

主要研究成果

试验组为115 618例CT研究，占总样本的44.4%，对照组为144,976例，占55.6%。对照组和试验组的研究比例是一致的。实验组亚组分布：人工智能服务-A—98953篇研究（占总样本的37.9%），人工智能服务-B—44194 （17%），人工智能服务-C—24067 （9.2%）， 人工智能服务-D—22679 （8.7%）， 人工智能服务-E—10645（4.1%）。

对于具有人工智能服务的不同亚组，CT-0类别（未检出COVID-19病灶）比对照组少2.3—18.5%。在具有人工智能服务的不同亚组中，CT 3-4类比对照组少4.7—27.6%。对于有人工智能服务的不同子组，CT-4类别比没有人工智能的子组少40—60%（图3；p<0.0001）。

图 32020年4月8日至2020年12月1日整个期间门诊CT中心根据对照组和试验亚组CT 0-4类别的严重程度，对门诊CT中 心胸部CT的初次CT扫描进行比较。 n=260 594；p<0.0001

2020年11月，分析了莫斯科门诊医疗机构在2020年11月1日至2020年12月1日期间进行和解释的41386人（男女比例为44/56%，年龄在18岁至100岁之间，平均年龄为53.2岁）的初步CT研究结果，这些机构在大流行期间转变为门诊CT中心。

实验组共28881张CT扫描，占11月份样本总数的69.8%；对照组共12505张，占30.2%。实验组亚组分布：人工智能服务-A—12266个研究（占11月份样本总数的29.6%），人工智能服务-B—11922个研究（28.8%），人工智能服务-C— 9785个研究（23.6%），人工智能服务-D—9942个研究（24%），人工智能服务-E—8602个研究（20.8%）。

对于具有人工智能服务的不同亚组，CT-0类别（未检出COVID-19病灶）比对照组少1—2.6%。对于有人工智能服务的不同子组，CT 3-4的类别比没有人工智能的多0.2—15.7%。对于有人工智能服务的不同子组，CT-4类别比没有人工智能的子组少25%（图4；p=0.0010）。

图 42020年11月门诊CT中心根据对照组和试验亚组CT 0-4类别的严重程度，对门诊CT中心胸部CT的初次CT扫描进 行比较。 n=41386；p=0.0010

2020年11月期间，只有CT-0有统计学差异，其他类别均无差异。但即使是CT-0，他们也是最小的—18.6%对17.0%。相比之下，在整个观察期内，《无人工智能服务》和《全部人工智能服务》数据之间的所有类别均有显著的统计差异。Χ2的临界值为4。就总周期而言，所有CT 0-4类别均对差异有显著贡献。CT-3的χ2最小值为26.2（p<0.0001）。

讨论

主要研究成果总结

研究结果显示，在CT 0-4以上，由放射科医师在存在人工智能服务处理结果时形成的类别，与未使用人工智能服务时形成的类别之间发生了变化。

主要研究成果的讨论

总的来说，在COVID-19大流行之前，人工智能服务用于检测放射症状，以检测疾病、分类、优化图像、减少辐射剂量和改进工作流程[15]。

医学研究使人工智能应用程序更容易理解、更安全、更高效，并更多地集成到医生的工作流程中[16]。重要的是要了解，人工智能算法的验证不仅应包括与黄金标准相比的准确性的回顾性分析，还应包括评估人工智能对医疗专业人员决策的影响的随机临床试验[17]。例如，一项随机的HYPE临床试验显示了机器学习系统对术中低血压早期诊断的效果：干预组中位低血压时间为8.0分钟，对照组为32.7分钟（p<0.001），干预组死亡为0例，对照组死亡为2例。在另一项使用人工智能分析COVID-19胸片的大型研究中，20%的受访医生报告称，该算法影响了临床决策[19]。

在现有文献中，没有发现类似的研究根据胸部CT数据评估人工智能服务结果对放射科医生在诊断疑似COVID-19肺部改变时的最终决定的影响。

人工智能服务对COVID-19面临两个挑战：检测和分类。识别任务由CT-0和所有其他类别之间的差异决定。分类任务是鉴别不同CT类别（CT-1—CT-4）之间的差异，即肺实质病变的不同体积。

第一个发现是所有子组之间CT-0类别比重的差异。在人工智能服务-A的情况下，放射科医生只看到了具有COVID-19特征变化的部分断面，而所有其他人工智能服务的断面数量与原始CT扫描系列中相同。无人工智能服务-A的医生的意见与对照组比较接近。

第二个发现是所有亚组CT 3-4分类的比重差异。当肺部出现大量病变时，放射科医师的经验眼可能会夸大病变的体积。当放射科医生检查使用人工智能进行的肺损伤分割时，这种过度诊断得到补偿。这增加了在CT 0-4刻度上自动计算体积和类别的置信度。由于使用肺病变阈值50%（CT 3-4）作为住院的理由，结合临床和实验室数据，这可能会减少住院次数。

基于S.P. Morozov等人的出版物，关于根据胸部CT数据预测COVID-19致命结局的文章，从一种CT类型过渡到下一种CT类型时，风险平均增加38%（95%置信区间17.1–62.6），在另一项实验室验证的COVID-19患者研究中，CT-4类患者的死亡风险比CT-0类患者高3倍[12, 20]。在我们的研究中，我们发现在测试亚组中CT-4的种类比对照组少。以往的研究表明，与所有其他类别（CT 0-3）相比，CT-4对应的肺损伤程度的评估与COVID-19死亡的关联更大[12, 20]。这就是为什么CT-4类别患者数量的变化对COVID-19患者致命结局风险计算器的形成非常重要。

由于大流行，所有人工智能服务同时启动被发现限制了使用人工智能的潜在好处，因为我们希望所有的开发者都能参与实验，因此，在2020年，不同的人工智能服务参与实验的比例是不均衡的。为了获得更多的结果，对11月进行了分析，其中对照组和每个测试亚组的CT研究数量是相互比较的。

据作者称，第一次和第二次试验结果的差异与几个因素有关：

1. 不同数量的人工智能服务；

2. 技术因素：直到2020年，参与实验的人工智能服务都无法训练算法来评估和诊断COVID-19肺部损伤，因此，在实验过程中，改变基于人工智能的软件的版本控制以提高算法的质量和潜在的更多好处的可能性被认为是合理的；

3. 人为因素：直到2020年，医生才使用CT 0-4的胸部CT评估，这在评估肺部多个病变体积方面具有一定的复杂性。值得注意的是，COVID-19期间，医生对大量CT研究进行了评估，提高了对肺部病变体积的评估能力。此外，医生可以通过检查人工智能服务执行的标记获得经验，这可能导致更正确评估病变体积的技能的提高。

在RIS中，放射科医生有机会留下关于人工智能服务在一个特殊领域的工作反馈。该研究的目的是比较在大流行期间没有使用人工智能服务的放射科医生在CT 0-4范围内的类别分布，并根据他们的反馈使用人工智能服务的结果。

研究的局限性

这项研究有一些局限性。不包括聚合酶链反应检测阳性的COVID-19患者，因为这些研究结果是在CT后得出的。这项研究不是随机的。放射科医生对人工智能服务结果的认可程度未进行评估。在测试组中，一些CT扫描被几个人工智能服务分析。人工智能服务没有注册为医疗设备。在大流行期间，人工智能服务随着CT处理质量的提高而改变，这一事实在本研究中没有进一步评估。没有考虑到放射科医师对CT 0-4的适应。

在RIS中，医生组成医疗报告，建立了一个特殊领域，以反馈人工智能服务的工作。然而，在发表的时候，来自医生的反馈结果正在处理中，我们不允许在目前的研究中呈现。

结论

结果表明，门诊使用人工智能服务对胸部CT进行初步CT扫描，导致CT-0和CT 3-4类别数量减少，这可能会影响COVID-19患者的管理策略。

需要更多的研究来评估减少上述类别的选择是否适合患者管理，以及路线的改变如何进一步影响康复和死亡率。

附加信息

资金来源。这篇文章的研究和发表是由作者团队的个人费用进行的。

利益冲突。作者声明，没有明显的和潜在的利益冲突相关的发表这篇文章。

作者的参与：作者确认他们的作者身份符合国际ICMJE标准（他们在出版前阅读并批准了最终版本）。最大的贡献分配如下：S.P. Morozov—负责研究概念；V.Yu. Chernina—负责搜索出版物上的主题文章，撰写文本手稿；A.E. Andreichenko—形成一个数据集，编辑文本的手稿；A.V. Vladzimirsky—负责编辑手稿文本；O.A. Mokienko—负责专家评估信息，编辑文本手稿；V.A. Gombolevsky—负责研究的概念，专家对信息的评估，撰写手稿的文本，批准手稿的最终版本。 谢意的表示：作者对Moscow Healthcare Department放射科的工作人员表示深切的感谢。作者对The Department of Information Technology of Moscow和Laval有限责任公司团队的紧密合作表示感谢，他们确保了在一个大城市的实际医疗保健中引入人工智能。此外，作者还感谢了Binomics ray、RADLogics、IRA labs、CareMentor AI、Third Opinion、Gammamed的开发人员。参与这一进程的每一个人都在这一流行病的困难时期为研究作出了重要努力。作者特别感谢O.V. Omelyanskaya，E.G. Bakhteeva，I.A. Vinogradova，S.O. Ermolaev，L.G. Rodionova，K.V. Khripunova，K.M. Arzamasov，P.A. Nikolaev，S.F. Chetverikov和I.A. Blokhin 在实验准备和实施过程中所做的行政、组织、教学和测试工作；特别感谢V.G. Klyashtorny的统计分析。