利用深度机器学习技术对光学相干断层扫描图片进行分类

全文:

论证

光学相干断层扫描是一种检测视网膜和玻璃体视网膜前层病变的现代高科技信息方法[1]。然而，对研究结果的描述和解释需要医生的高素质和特殊培训，还需要眼科医生和患者花费大量时间。因此，迫切需要解决与光学相干断层扫描图片分类过程自动化相关的问题。

与此同时，目前计算机工具和技术发展迅速，可以在各种架构的神经网络基础上创建人工智能系统，既有医疗系统[2，3]，也有通用系 统[4-6]。过去几十年来，现代眼科中心建立了病人数据存储库，其中包括数以万计或数十万计的光学相干断层扫描图片，这为寻找各个参数之间的广义依赖和关系开辟了道路，也为构建基于科学方法（其核心几乎总是数学模型）的全新识别、分类、计算和预测方法开辟了道路。

在我们的一项研究中，我们已经介绍了使用人工神经网络进行玻璃体分析、视网膜边缘提取和近似、边缘曲率确定、视网膜平均厚度计算等的计算机方法[7]。本文是这项工作的逻辑延续，介绍了使用卷积神经网络对光学相干断层扫描图片进行分类时，使用单模型和多模型方法所取得的结果。

值得注意的是，已出版的一些研究都致力于解决类似问题。因此，Yu.A.Vasiliev等人[8]开发了一种通用方法，用于测试和监控基于人工智能技术的医疗诊断软件。该方法旨在提高该软件的质量及其在实际医疗中的应用。它包括七个阶段：自我测试、功能测试、校准测试、技术监测、临床监测、反馈和改进。该方法的一个显著特点是对软件进行循环测试、监测和改进，从而不断提高其质量，同时对其工作成果提出详细要求，并让医生参与评估。该方法使软件开发人员能够在各个领域取得优异成绩并展示成就，也使用户能够在经过独立和全面质量保证的程序中做出明智和自信的选择。

E.A.Katalevskaya等人的文章[9]旨在开发用于在眼底数码眼底照相机照片上分割糖尿病视网膜病变和糖尿病黄斑水肿视觉征象的算法。他们选择了国际分类中包含的征象进行分割：微动脉瘤、硬性渗出物、软性渗出物、视网膜内出血、视网膜和视盘新生血管、视网膜前出血、视网膜上纤维化、激光凝固剂。使用TensorFlow深度学习框架（Google Brain，美国）实现并训练了神经网络。训练数据库的大小为1200张照片，而验证数据库则使用了310张眼底照片。训练模型的准确率为86%至96%。

在T.Kepp等人的研究[10]描述了一套用于家庭监测老年黄斑变性的系统。这里使用卷积神经网络对整个视网膜以及色素上皮脱落进行分割。整个数据集包括711幅图像，按60%:20%:20%的比例分为训练/验证/测试三部分。结果表明了，基于卷积神经网络的方法能相当准确地分割视网膜。

S.N.Sakhnov等人[11]的目的是基于一个开放数据集开发一个白内障筛查模型，并在临床数据上进行验证。开放数据集包括使用智能手机摄像头获取的9668张图像，其中4514张属于白内障类别，5154张属于健康眼睛。外部验证集包含51幅白内障和正常图像。卷积神经网络被用来创建机器学习模型。内部验证集的数据分类准确率为97%，外部验证集为75%。作者认为预测值较低，并认为需要对模型进行微调，以提供必要的性能指标水平。

S.V.Shukhaev等人[12]使用预先训练好的网络ResNet-18、ResNet-50、VGG16、VGG19和GoogleNet来解决卷积神经网络在自动检测Fuchs内皮营养不良症中的适用性问题。使用Tomey EM-3000内皮显微 镜（Tomey Corporation，日本）获得的角膜生物显微镜图像被随机抽样（n=700）。在第一阶段，图像被分为两组。第一组包括存在Fuchs内皮营养不良症的图像，第二组包括正常或其他病变的图像。内皮细胞密度图像分为三类：训练数据集、验证数据集和测试数据集。在测试样本上验证神经网络后，不同卷积神经网络架构的F指标值如下：ResNet-18——0.985； ResNet-50——1.000；VGG16——0.940；VGG19——0.990；GoogleNet——0.987。在使用冻结层、Adam优化器和交叉熵作为损失函数的ImageNet数据上，ResNet-50显示出最佳结果。

因此，通过对上述作品的简要分析，我们可以得出结论，基于卷积神经网络的人工神经网络模型有望用于解决光学相干断层扫描视网膜图片分类问题。

目的

使用Google Colaboratory中的Python Keras和Tensorflow库，开发基于深度学习卷积神经网络的光学相干断层扫描图片分类数学（计算机）模型架构。比较使用单模型和多模型方法对光学相干断层扫描图片进行分类的计算实验结果，并估算此类分类的准确率。从分类准确率和所使用的超参数值的角度，对人工神经网络模型的最佳架构得出结论。

材料和方法

原始数据集代表了真实患者的匿名光学相干断层扫描图片，包括直接从DRI OCT Triton光学相干断层扫描仪（Topcon Corporation，日本）获取的1004幅图像，分辨率为1920×969×24BPP，为JPG文件。整个数据集由经验丰富的眼科专家根据分类目标分为12类：

1、正常；

2、黄斑囊样水肿；

3、神经上皮层脱落；

4、色素上皮脱落；

5、硬性渗出物；

6、视网膜上纤维化；

7、玻璃体黄斑粘连；

8、玻璃体后脱离；

9、穿透性黄斑劈裂+视网膜上纤维化；

10、硬性渗出物+黄斑囊样水肿；

11、色素上皮疣；

12、未穿透性黄斑劈裂+视网膜上纤维化。

每类图片的数量与患者相应病变的发生频率相对应。在随后的计算实验中，该数据集又增加了新的光学相干断层扫描图片，因此图片总数超过了2000张。为了创建训练、验证和测试数据集，从整幅图像中“切割”出1100×550×24BPP的靶向区域。计算实验中的整个数据集一般分为三部分：训练/验证/测试，比例为70%:20%:10%。

还使用了以下技术：

• 使用NEAREST、BILINEAR、BICUBIC、LANCZOS滤波器调整图片大小（rescale）；
• 数据增强（data augmentation），即使用各种选项进行增强：按指定角度旋转图片、在X和Y方向移动图像、水平和垂直旋转、改变图片通道的亮度。

值得注意的是，最简单的NEAREST滤波器考虑最近像素的参数，在我们研究中其效果最好。而使用不同方法对区域进行近似处理的更复杂滤波器则显示出最差的结果。显然，这是由于在平滑过程中丢失了对分类很重要的图像小细节。

编制模型时使用了以下参数：

• Adam优化器：最有效的优化算法之一；
• categorical_crossentropy损失函数：分类交叉熵；
• accuracy指标：算法的正确答案比例。

需要注意的是，如果各组在图片数量上是平衡的，通常会使用accuracy指标来解决分类问题。在我们的案例中，由于训练样本和测试样本中的图片数量较少，因此决定采用总体平均分。

所有模型工作流程均使用Google Colaboratory中的Python语言工具进行。

结果

初步计算实验

在初步的计算实验中，我们评估了不同方 法（如使用预训练网络和迁移学习的能力）、图像大小调整和增强技术以及人工神经网络模型超参数组合（卷积层和全连接层的数量、数据包大小等）对光学相干断层扫描图片分类的有效性。

对于基于MobileNetV2和MobileNetV3的预训练神经网络，训练样本的准确率为95-98%，验证样本的准确率为61-80%，测试样本的准确率为41-59%。使用工具将图片缩放至224×224像素大小，以实现与MobileNet的匹配。

我们还比较了不同预训练神经网络在指定数据集上的迁移学习可学性。验证结果如下：MobileNetV2为80%，ResNet101V2为81%，InceptionResNetV2为 79%，NASNetLarge为80%。

对于采用传统架构的多层卷积神经网络（几个卷积Conv2D层，每个层都有MaxPooling2D子样功能，数组转换为一维Flatten张量，以及多个全连接Dense层），在合理选择Epoch数的情况下，训练样本的准确率可达70%-100%。然而，在验证样本上，这一数字要低得多，而且变化较大（35%-94%）。在两种情况下，验证准确率高于训练时显示的准确率，这可能是由于训练和验证样本存在显著的异质性。在测试中，准确率更低，只有27-59%，这当然不能被认为是令人满意的结果。

初步实验得出以下结论：

• 训练样本不平衡、不均匀，需要修正和用新图片进行补充；
• 虽然迁移学习模型的分类结果稍稍好一点，但这些结果仍不足以在眼科实践中使用，而且由于第一隐藏层的“冻结”，改进的余地不大；
• 要达到可接受的分类准确率，需要优化超参数，可能还需要优化分类方法本身。

计算实验：单模型方法

考虑到初步实验所获得的结果，我们在数据集中添加了新的光学相干断层扫描图片，因此图片总数超过了2000张。在实验过程中，我们测试了多层序列卷积神经网络的不同架构：几个卷积Conv2D层，每个层的输出都有一个MaxPooling2D子样本层，以及一个转换为一维Flatten张量的层和两个全连接Dense层。后者有一个softmax神经元传递函数，便于完成分类任务。

对于512×512像素的归一化图片分辨率（所有数据集图片均使用rescale工具缩放至该分辨率），卷积层的极限数量为7。我们测试了层数从2到7的卷积神经网络结构（表1），同时选择了层中滤波器的大小和数量。，我们对所有计算实验进行了训练（通常使用epochs=15、数据包大小BATCH_SIZE=50、编译参数optimiser=‘adam’、loss=‘categorical_crossentropy’、metrics=[‘accuracy’]），并对之前未包含在数据集中的图片进行了验证和额外测试。

除两层模型外，几乎所有人工神经网络模型都达到了可接受的训练和验证准确率（见表1）。不过，如果我们比较一下它们通过附加测试的准确率，则会发现随着卷积层数的增加，准确率首先会上升，六层模型的最高值为85%，而七层模型的准确率则会下降。需要指出的是，本文介绍的模型目前仅定位为眼科医生的决策支持系统。考虑到数据集仅包含数量有限的各种病理图像，我们认为85%的准确率对于经验不足的眼科医生进行图像分类来说是足够和合适的。结论是，就准确率而言，有一个最佳的层数，在本例中为6层。不过，随着数据集中新数据的积累和模型的重新训练，这一数值还可以进一步改变。

卷积层数从4到7的人工神经网络模型的训练和验证过程见图1。当使用4和5个卷积层时，训练过程在9个Epoch后完成，训练和验证的准确率达到100%。与此同时，附加测试的准确率仅为65-70%（见表1）。对于有6个卷积层的模型，训练过程需要更长的时间，即15个Epoch，训练和验证的准确率也达到了100%。不过，通过附加测试的准确率提高到了85%，我们认为这是一个令人满意的结果。当卷积层数进一步增加到7 层时，人工神经网络模型的训练和验证过程需要超过15个Epoch，训练准确率为100%，验证和测试准确率分别下降到89%和74%（见图1和表1）。

 

图1。卷积神经网络模型的训练和验证：a——四个卷积层；b——五个卷积层；c——六个卷积层；d——七个卷积层。

 

表1。人工神经网络不同序列模型的比较

卷积层数	需要优化的参数数量	训练准确率，%	验证准确率，%	附加测试的准确率，%	备注
2	31 844 921	13	0	0	人工神经网络模型训练不足
3	13 401 045	97	100	55	人工神经网络模型的训练Epoch数：超过15。 卷积神经网络层中的滤波器数量：3/8/16
3	15 215 889	100	100	62	人工神经网络模型的训练Epoch数：9。 卷积神经网络层中的滤波器数量：4/8/16
3	13 401 933	100	100	64	人工神经网络模型的训练Epoch数：12。 卷积神经网络层中的滤波器数量：5/8/16
4	6 929 729	100	100	65	人工神经网络模型的训练Epoch数：12
5	1 430 977	100	100	70	人工神经网络模型的训练Epoch数：9
6	556 673	100	100	85	人工神经网络模型的训练Epoch数：15
7	132 801	100	89	74	人工神经网络模型的训练Epoch数：超过15
8	–	–	–	–	对于可接受的图像尺寸，无法使用8层卷积神经网络

 

视网膜光学相干断层扫描图片分类准确率方面的最佳人工神经网络模型结构见图2。它包括6个带有MaxPooling2D子样的卷积Conv2D层、一个Flatten层和两个作为分类器的全连接Dense层，其中最后一个层具有softmax神经元传递函数。

 

图2。具有六个卷积层的人工神经网络模型的结构和参数。Conv2D中的第一位数字是卷积层中使用的滤波器数量，接下来的两位数字是以像素为单位的滤波器大小。网络中神经元的激活函数为relu，输出分类层的激活函数为softmax。全连接Dense层的第一位数字是神经元数量。

 

测试分类准确率较低（与训练和验证相比）的原因如下。在进行模型训练时，使用的数据集相对较小，约有2000张图像，这些图像很可能不包含特定病理特征的全套图形细节。如果测试样本中出现此类细节，即使在人工神经网络模型验证过程中获得了100%的准确率，分类结果也可能是不正确的。

初步计算实验：多模型方法

根据这项研究的一般逻辑，并考虑到必须提高通过附加测试的准确率，O.L.Fabrikantov和E.V.Kulagina提出了一个顺序方案，大致模拟了眼科医生识别视网膜光学相干断层扫描图片的过程。在此基础上建立了计算机算法（见图3）。

该算法采用多模型顺序实施原则（图3）。

 

图3。用于识别光学相干断层扫描图片的多模型算法流程图。

 

在第一阶段，对图像进行初步处理（第1-3块）。第4块使用人工神经网络模型1进行初步分类：区分正常与病态。分类结果被存储（S1）。该模型必须经过训练，并在仅包含两类相关图像的特殊数据集1上进行验证。如果没有检测到病 变（第5块），我们绕过所有中间阶段，进入第四阶段：玻璃体分析。同样，在第6块：我们使用在特殊数据集2上训练的人工神经网络模型2来检测是否存在黄斑劈裂。结果被存储（S2）。如果存在黄斑劈裂（第7块），第8块使用同样在特殊数据集3上训练的人工神经网络模型3来确定黄斑劈裂是穿透性劈裂还是未穿透性劈裂，然后将结果存储起来（S3），并进入第二阶段。

如果没有黄斑劈裂（第7块），则进入第9块，在此块中，在特殊数据集4上训练的人工神经网络模型4检测出三种变体的一种，即黄斑囊样水肿、弥漫性黄斑水肿或没有黄斑水肿。结果被存储（S4），然后进入第二阶段。

在第二阶段，借助在特殊数据集5上训练的人工神经网络模型5（第10块），检测出三种变体的一种，即神经上皮层脱落、色素上皮脱落或不存在上述变体，然后结果被存储（S5），进入第三阶段的光学相干断层扫描图片分析和分类。

第三阶段是依次使用人工神经网络模型6、7和8。

• 对人工神经网络模型6（第11块）在特殊数据集6上进行训练，以区分是否存在视网膜上纤维化。
• 对人工神经网络模型7（第12块）在特殊数据集7上进行训练，以区分是否存在色素上皮疣。
• 对人工神经网络模型8（第13块）在特殊数据集8上进行训练，以区分是否存在渗出物。

在第11-13块中，还将相应的结果存储起 来（S6、S7、S8），然后进入第四阶段。

第四阶段是人工神经网络模型9（第14块）在特殊数据集9上进行训练，以区分正常、玻璃体后脱离、玻璃体黄斑粘连和玻璃体黄斑牵引。结果被储存（S9）。第15块和第16块根据先前储存的S1-S9形成病理总清单，并将带有光学相干断层扫描图片描述的报告输出到文件中。

讨论

在所述方法中，使用了9个不同的人工神经网络模型（每个模型都在各自独特的数据集（1-9）上经过训练）来对光学相干断层扫描图片进行病理分类。需要注意的是，在玻璃体分析的最后阶段，可以使用我们之前介绍的算法[7]来代替人工神经网络模型9。它包括以下内容：

• 垂直扫描图像，确定玻璃体边界的X坐标和Y坐标；
• 使用移动平均法平滑Y坐标，其基点与最小图像细节（在我们的案例中为10像素）可公约数，用适当阶数的样条线或抛物线逼近玻璃体边界；
• 计算边界的最大曲率和相应距离，以确定玻璃体后脱离、玻璃体黄斑粘连和玻璃体黄斑牵引。

目前我们正在测试多模型算法（见图3），同时增加数据集中光学相干断层扫描图片的数量，并优化人工神经网络模型的超参数。对该算法的几个阶段进行的初步计算实验表明了，训练和验证的准确率有可能达到98-100%，同时由于每个阶段分类的因子数量减少，通过额外测试的准确率比单模型方法有所提高。所有人工神经网络模型1-9都使用相同的7个卷积层结构。唯一不同的是，它们是在独特的数据集上训练的，因此神经元间突触连接的系数集也不同。

结论

提出的是视网膜光学相干断层扫描图片分类的单模型和多模型原则。使用不同的人工神经网络模型架构对从DRI OCT Triton光学相干断层扫描仪获得的此类图片进行自动分类的计算实验表明了，在训练和验证期间的准确率为100%，在附加测试中的准确率为85%，这是一个令人满意的结果。

我们选择了最佳的人工神经网络模型结构（6层卷积神经网络），并确定了其超参数值。在这种情况下，眼科领域的决策支持系统的发展得以应用。

ADDITIONAL INFORMATION

Funding source. This study was not supported by any external sources of funding.

Competing interests. The authors declare that they have no competing interests.

Authors’ contribution. All authors made a substantial contribution to the conception of the work, acquisition, analysis, interpretation of data for the work, drafting and revising the work, final approval of the version to be published and agree to be accountable for all aspects of the work.

A.A. Arzamastsev — development of the concept, preliminary processing of OCT images, conducting research, writing programs, conducting computational experiments, multi-model approach to image classification, preparation of the manuscript; O.L. Fabrikantov — development of the concept, collection and preparation of OCT images, multi-stage classification scheme for OCT images, discussion and approval of the final version of the manuscript; E.V. Kulagina — development of a methodology for collecting and preparing OCT images, conducting research, a multi-stage classification scheme for OCT images, approval of the final version of the manuscript; N.A. Zenkova — concept development, research, editing and approval of the final version of the manuscript, analysis of literature data, editing the text of the article.

Acknowledgments. The work was carried out in accordance with the agreement on scientific and technical cooperation between Voronezh State University and the Federal State Autonomous Institution “National Medical Research Center” Interindustry Scientific and Technical Complex “Eye Microsurgery” named after Academician S.N. Fedorov””, Tambov branch dated November 28, 2022.

Master's degree students from the Faculty of Applied Mathematics, Informatics and Mechanics of Voronezh State University took part in the preliminary computational experiments: E.P. Galizina, V.A. Gushchina, I.O. Zavyalova, V.Yu. Kolupaev, N.M. Kushnarev, I.Yu. Novoskoltsev, E.A. Strukova, N.M. Chernyshov, I.D. Chikunov, A.A. Shcheglevatykh, as well as a diploma student M.A. Kuprin. These works were carried out under the guidance of one of the authors of the article.

作者简介

Alexander A. Arzamastsev

Voronezh State University; The S. Fyodorov Eye Microsurgery Federal State Institution

Email: arz_sci@mail.ru
ORCID iD: 0000-0001-6795-2370
SPIN 代码: 4410-6340

Dr. Sci. (Engineering), Professor

俄罗斯联邦, Voronezh; Tambov

Oleg L. Fabrikantov

The S. Fyodorov Eye Microsurgery Federal State Institution

Email: fabr-mntk@yandex.ru
ORCID iD: 0000-0003-0097-991X
SPIN 代码: 9675-9696

MD, Dr. Sci. (Medicine), Professor

俄罗斯联邦, Tambov

Elena V. Kulagina

The S. Fyodorov Eye Microsurgery Federal State Institution

Email: irina-kulagin2015@yandex.ru
ORCID iD: 0009-0006-0026-0832
SPIN 代码: 8785-4949

MD

俄罗斯联邦, Tambov

Natalia A. Zenkova

Derzhavin Tambov State University

编辑信件的主要联系方式.
Email: natulin@mail.ru
ORCID iD: 0000-0002-2325-1924
SPIN 代码: 2266-4168

Cand. Sci. (Psychology), Assistant Professor

俄罗斯联邦, Tambov

参考

补充文件