临床生理学中的人工智能系统：如何使其训练有效？

封面


如何引用文章

全文:

详细

临床生理学是关于在病理前和病理情况下身体内发生的生理过程变化的作用和性质的一个医学科学分支，它要求对患病和健康器官的功能进行完整、全面、多边的研究，从而允许评估身体的补偿能力。

使用人工智能技术创造的软件和各种硬件系统更积极地被用于医学的各个领域，包括临床生理学。医疗数据集的出现、不断提高的计算能力、云服务的发展以及证明这种智能解决方案的有效性和前景的众多出版物都有助于这个过程。

虽然医学数据集的形成方法大体相似，但临床生理学有一系列关键特征和显著差异。遵守我们提出的数据集形成规则将有可能使临床生理学中的人工智能系统接受有效的训练并得到实际应用。

生效的俄罗斯联邦GOST R 59921.9-2022标准被纳入“临床医学中的人工智能系统”这套标准，这种标准对临床生理学中使用的人工智能系统的数据分析算法和测试方法提出额外要求。新标准的一个重要特点是其拟度量类型（附有一套强制性的示范数据）。

俄罗斯是世界上最早开始制定拟度量标准的国家之一，人工智能方面的15项行业标准（其中两项是与医学方面有关的）将于今年生效。

全文:

绪论

临床生理学是关于在病理前和病理情况下身体内发生的生理过程变化的作用和性质的一个医学科学分支。临床生理学要求对患病和健康器官的功能进行完整、全面、多边的研究，从而允许评估身体的补偿能力[1]。

人工智能系统（Artificial intelligence systems，AIS）的使用范围越来越广，AIS被用于几乎所有的医学分支[2]：在心电 图（electrocardiogram，ECG）评估方面的大量作品，包括通过智能手表进行评估[3-7]，以及世界各地越来越多的关于计算机视觉的研究[8，9]，以及各种智能解决方案的制定1。例如，PhysioNet资源2包括大量的各种病理的公共数据集。最大的公共心电图数据集分别包括21 837个[10]和10 646个[11]心电图，但虽然这个问题是很有意义的，这种数据集的生成仍然是一个重大挑战，需要一个详细的方法。

因此，在对心电图的公共数据集进行分析的过程中，我们提出了以下主要问题：

1) 心电图记录技术条件之间存在差异：采样率、最低有效位、模拟数字转换器数位、记录时间、通道数；

2) 描述语言（索引典）是不相容的：不同的“学校”、不同的病人群体、不同的最终用途；

3) 心电图异常类别在数据集和总体数据集内都存在不平衡性；

4) 对标注/分类的质量有疑问；

5) 缺乏或没有临床信息（元数据）。

当应用于临床生理学的其他诊断和监测方法时，这些问题量会成倍增加。这是因为为了在临床生理学中生成数据集并随后训练AIS，可以使用以下数据3：

1) 人体生理指标数值（血压、心率、饱和值）；

2) 数字化的生物信号（心电图、容器压力数值）；

3) 感应和反射的信号（神经电图、流变图、多普勒曲线、M型扫描超声）；

4) 动态图像（电影回放）；

5) 复杂数据。

生成数据集的方法。是否有任何差异？

生成临床生理学数据集的方法与放射诊断的方法大致相同[12]：规划；形成索引典或词汇表，纳入和排除的标准；专家和审阅人的选择；根据纳入标准进行的数据分析；标注统一关系；多级审核，但也有关键的区别。

1.因此，处理一个数据集的顺序有很大的不同。准备一个数据集（数值级数、图表、单独测量）时的工作顺序如下：

  • 数据分割；
  • 数据测量；
  • 数据标注，是指给对象或数据集合添加文 本（语义）标签的程序；
  • 数据分类。

2.对于简单（二值）对象属性的分类，使用词典（词汇表）就足够了，对于多类对象，使用索引典是必要的。

3.在生成数据集时，有一些不太明显和难以分类的因素，但还是会导致重大错误4,5：

  • 进行临床生理学研究需要操作人员的高技能，操作人员的依赖性因素是形成基线数据的核心因素之一；
  • 在生成最终数据集时，应该分析提交的研究集的以下因素：足够的记录时间、通道数量、关闭信号过滤，以及符合公认的技术参数、动态范围、信噪比、结果存储格式；
  • 参与标注的专家和审阅人应该有足够的技能来进行这项工作：AIS测试报告应该包括他们技能和贡献的信息，但允许对数据进行非人格化管理；
  • 为了对用于临床生理学的人工智能系统进行测试需要一套硬件和软件的仪器；同时，硬件和软件的性能应该超过仪器制造商规定的最低要求，并考虑到特定或潜在用户的典型计算机性能。

在形成临床生理学的数据集时，选择记录的纳入和排除标准

排除标准（绝对的，其中一个就够了）

  • 记录是以专有格式提交的，制造商拒绝制备匹配层；
  • 存储数据的技术条件是不遵守的（例如，对于数字心电图，每次的记录时间短于10秒，采样率短于500赫兹，最低有效位大于5微伏，模拟数字转换器数位短于10比特）；
  • 元数据访问是不可能的或者被严格限制；
  • 最终数据集中包括的70%以下的心电图是正确标注和分类的。

纳入标准（必须全部满足）

  • 记录是以其中一种格式提交的：WDBF、EDF、aECG（HL-7）、SCP-ECG、DICOM-ECG、XML；
  • 存储数据的技术条件是遵守的（例如，对于数字心电图，每次的记录时间至少为10秒，采样率至少为500赫兹，最低有效位为5微伏，模拟数字转换器数位至少为10比特）；
  • 元数据访问不受限制；
  • 最终数据集中包括的至少90%的心电图是正确标注和分类的。

需要注意的是，用于训练AIS的数据集应该反映全部可能的现象（综合征、诊断、结果），从最罕见的（偶然的）到最常见的。需要保持患者性别和种族差异的多样性是以数据集类型而定 的（例如，在外呼吸功能参数的评估中，这些元数据是必须的）。在形成数据集时，人口中的现象（综合征）的频率表示法有更低的优先级。在使用按罕见（偶然）现象类别不平衡的数据集的情况下，建议使用额外的度量。

关于数据分析算法和人工智能测试方法在临床生理学中的发展和应用的规定

2023年1月1日生效的俄罗斯联邦GOST R 59921.9-2022标准6被纳入“临床医学中的人工智能系统”这套标准，这种标准对临床生理学中使用的人工智能系统的数据分析算法和测试方法提出额外要求。

用于临床生理学的AIS开发者和所有的利益相关者都将能研究以下要求：

  • 与形成、准备(分割、测量、检测、标注和分类)数据集以对人工智能系统进行测试的过程有关的；
  • 与数据集的结构、应用和访问条件有关的；
  • 与术语资源的组织和数据分析结果的表示有关的；
  • 与用于医疗保健的医疗设备、智能系统和其他自动化系统之间的信息互动有关的；
  • 与在人工智能技术的基础上对软件和硬件软件体系进行技术试验、台架试验、实验室试验、临床试验、注册后控制和运行控制的过程和结果有关的；
  • 与按照医学和保健方面要解决的任务基于人工智能技术的软件和硬件软件体系的结果的形式和内容有关的。

新国家标准与其他GOST R“家族”和英语类似物不同的特点是对数据集的规定要求。特别是提出了三种情况：只在试验现场（台架）使用数据集的临床试验；在医疗机构的临床试验；组合临床试验。所述的情况都时以流程图而说明的（图1）。

 

图1。使用数据集的临床试验流程图（一种可能的实现方法）。

 

该标准还提供了用于测试AIS对输入数据错误稳健性的测试选项，这些试验是对综合和组合数据进行的。该GOST R允许测试与不同数据类型和不同表示格式运行的人工智能系统。为了对临床生理学的AIS进行测试，可以使用：

  • 人体生理指标数值（如血压、心率、饱和值等）；
  • 数字化的生物信号（如心电图、容器压力数值等）。
  • 感应和反射的信号（神经电图、流变图、多普勒曲线、M型扫描超声等）。
  • 动态图像（电影回放，例如在超声检查下，运动视频录制）；含有上述几类数据的复杂数据（同步的和同相的）。数据可以代表单次测量的结果（病人研究），也可以是以系统地代表病理过程的发展（同质性测量的时间序列），或反映呈现分级刺激（刺激剂）时的变化动态，或反映取决于外部条件（睡眠、休息、体力或精神负担、苦恼等）的指标变化而选择的。

该标准的一个重要特点是，它属于拟度量的GOST R类型，也就是说，它带有一套强制性的演示数据集（图2）。

 

图2。GOST R 59921.9-2022《临床医学中的人工智能系统。临床生理学中的数据分析算法。测试方法》演示数据集中的一个文件例子。

 

俄罗斯是世界上最早开始制定拟度量标准的国家之一。人工智能方面的15项行业标准（其中两项是与医学方面有关的）将于2023年生效7,8。

结论

遵守上述规则允许采集用于AIS训练的数据集，同时使临床试验的三个阶段都有可能通过，即：（1）测验输入数据的正确性（识别违反研究技术获得的信号以及含有伪差和干扰的信号） ；（2）测验识别综合征、现象、临床的等价物和/或按商定的索引典或词汇表形成意 见（注释）的准确性；（3）按综合和组合数据进行测试（识别启动或增强自然信号的综合信号刺激，评估刺激的有效性或无效性）。

ADDITIONAL INFORMATION

Funding source. This article was not supported by any external sources of funding.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work. D.V. Shutov, D.V. Drozdov ― work concept and design, editing and approval of the final version of the manuscript, advisory support; D.E. Sharova ― work concept and design, data analysis, writing the text of the article, editing and approval the final version of the manuscript; L.R. Abuladze ― writing the text of the article, editing.

1 诊断和远程医疗中心[互联网]。放射诊断中的AI服务。访问方式：https://mosmed.ai/。

2 PhysioNet [Internet]。复杂生理信号研究资源。访问方式：https://physionet.org/。

3 GOST R 55036-2012/ISO/TS 25237:2008。俄罗斯联邦国家标准。卫生信息化。假名化。访问方式：https://docs.cntd.ru/document/1200100339。

4 GOST R 55036-2012/ISO/TS 25237:2008。俄罗斯联邦国家标准。卫生信息化。假名化。访问方式：https://docs.cntd.ru/document/1200100339。

5 GOST R 59921.5。 俄罗斯联邦国家标准。临床医学中的人工智能系统。第5部分。对训练和测试算法的数据集的结构和应用的要求。访问方式：https://docs.cntd.ru/document/1200183858。

7 GOST P 59921.7-2022。俄罗斯联邦国家标准。临床医学中的人工智能系统。用于分析医学图像的算法。测试方法。一般要求。访问方式：https://docs.cntd.ru/document/1200193728。

8 GOST P 59921.9-2022。俄罗斯联邦国家标准。临床医学中的人工智能系统。临床生理学中的数据分析算法。测试方法。一般要求。访问方式：https://docs.cntd.ru/document/1200193730。

×

作者简介

Dmitry V. Shutov

Moscow Center for Diagnostics and Telemedicine

编辑信件的主要联系方式.
Email: ShutovDV@zdrav.mos.ru
ORCID iD: 0000-0003-1836-3689
SPIN 代码: 9381-2456

MD, Dr. Sci. (Med.)

俄罗斯联邦, Moscow

Dariya E. Sharova

Moscow Center for Diagnostics and Telemedicine

Email: ShutovDV@zdrav.mos.ru
ORCID iD: 0000-0001-5792-3912
SPIN 代码: 1811-7595
俄罗斯联邦, Moscow

Liya R. Abuladze

Moscow Center for Diagnostics and Telemedicine

Email: AbuladzeLR@zdrav.mos.ru
ORCID iD: 0000-0001-6745-1672
SPIN 代码: 8640-9989

Junior Research Associate

俄罗斯联邦, Moscow

Dmitrii V. Drozdov

National Medical Research Center of Cardiology

Email: cardioexp@gmail.com
ORCID iD: 0000-0001-7374-3604
SPIN 代码: 2279-9657

MD, Cand. Sci. (Med.)

俄罗斯联邦, Moscow

参考

  1. Kurzanov AN. Clinical physiology: formation, goals, tasks, limits of competence, place in the system of higher professional medical education. International journal of experimental education. 2012;(4):128–130. (In Russ).
  2. Gusev AV, Vladzimirsky AV, Sharova DE, et al. Development of research and development in the field of artificial intelligence technologies for healthcare in the Russian Federation: results of 2021. Digital Diagnostics. 2022;3(3):178–194. (In Russ). doi: 10.17816/DD107367
  3. Al-Mousily MF, Baker GH, Jackson L, et al. The use of a traditional nonlooping event monitor versus a loan-based program with a smartphone ECG device in the pediatric cardiology clinic. Cardiovasc Digit Heal J. 2021;2(1):71–75. doi: 10.1016/j.cvdhj.2020.11.008
  4. Ding EY, Pathiravasan CH, Schramm E, et al. Design, deployment, and usability of a mobile system for cardiovascular health monitoring within the electronic Framingham Heart Study. Cardiovasc Digit Heal J. 2021;2(3):171–178. doi: 10.1016/j.cvdhj.2021.04.001
  5. Bashar SK, Hossain MB, Lázaro J, et al. Feasibility of atrial fibrillation detection from a novel wearable armband device. Cardiovasc Digit Heal J. 2021;2(3):179–191. doi: 10.1016/j.cvdhj.2021.05.004
  6. Goodwin AJ, Eytan D, Greer RW, et al. A practical approach to storage and retrieval of high-frequency physiological signals. Physiol Meas. 2020;41(3):035008. doi: 10.1088/1361-6579/ab7cb5
  7. Bartlett VL, Ross JS, Shah ND, et al. Physical activity, patient-reported symptoms, and clinical events: Insights into postprocedural recovery from personal digital devices. Cardiovasc Digit Heal J. 2021;2(4):212–221. doi: 10.1016/j.cvdhj.2021.06.002
  8. Mishra S, Khatwani G, Patil R, et al. ECG paper record digitization and diagnosis using deep learning. J Med Biol Eng. 2021;41(4):422–432. doi: 10.1007/s40846-021-00632-0
  9. Kashou AH, Mulpuru SK, Deshmukh AJ, et al. An artificial intelligence-enabled ECG algorithm for comprehensive ECG interpretation: Can it pass the ‘Turing test’? Cardiovasc Digit Heal J. 2021;2(3):164–170. doi: 10.1016/j.cvdhj.2021.04.002
  10. Wagner P, Strodthoff N, Bousseljot RD, et al. PTB-XL, a large publicly available electrocardiography dataset. Sci Data. 2020;7(1):154. doi: 10.1038/s41597-020-0495-6
  11. Zheng J, Zhang J, Danioko S, et al. A 12-lead electrocardiogram database for arrhythmia research covering more than 10,000 patients. Sci Data. 2020;7(1):48. doi: 10.1038/s41597-020-0386-x
  12. M 80 Regulations for the preparation of data sets with a description of approaches to the formation of a representative sample of data. Part 1. Methodological recommendations. Ed by S.P. Morozov, A.V. Vladzimirsky, A.E. Andreichenko, et al. Moscow; 2022. 40 р. (The series “Best practices of radiation and instrumental diagnostics”). (In Russ).

补充文件

附件文件
动作
1. JATS XML
下载
2. 图2。GOST R 59921.9-2022《临床医学中的人工智能系统。临床生理学中的数据分析算法。测试方法》演示数据集中的一个文件例子。

下载 (409KB)
索引源数据
3. 图1。使用数据集的临床试验流程图（一种可能的实现方法）。

下载 (120KB)
索引源数据

版权所有 © Eco-Vector, 2023

Creative Commons License
此作品已接受知识共享署名-非商业性使用-禁止演绎 4.0国际许可协议的许可。
СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 79539 от 09 ноября 2020 г.