基于训练网络的婴幼儿视网膜疾病信息识别方法及系统与流程

本发明涉及眼科疾病识别和图像识别，更具体地说，涉及一种基于训练网络的婴幼儿视网膜疾病信息识别方法及系统。

背景技术：

1、深度学习(dl)是一种成熟但仍在快速发展的技术，尤其是在人类疾病的计算机辅助诊断方面。在计算机专业算法方面，he等人提出了一种具有残差结构的模型resnet，使得不断增加网络深度而不会出现过拟合，从而提取浅层-深层特征，以提高网络识别精度。dosovitskiy等人提出一种不同尺度的transformer框架，即设计不同尺度的输入块大小训练大尺度数据，以获取较高的分类准确率。chen等人采用金字塔结构并选择新的区域-局部注意力机制而不是全局自注意力机制，以获取更多的空间信息，从而提高分类准确率。tu等人介绍了一种高效且可扩展的注意力模型，称为多轴注意力(maxvit)，它由两个方面组成：阻塞局部注意力和扩张全局注意力。这些设计选择允许在仅具有线性复杂性的任意输入分辨率上进行全局局部空间交互。valanarasu等人提出了一个门控轴向注意力模型，通过在自注意力模块中引入额外的控制机制来扩展现有的体系结构，为了在医学图像上有效地训练模型，我们提出了一种局部-全局训练策略，该策略进一步提高了性能。zhang等人提出一个新的并行分支transfuse网络，其将transformer和cnns以并行的方式结合在一起，可以以更浅的方式有效地捕捉全局依赖性和低水平的空间细节特征，并利用双向融合模块融合两个分支不同层级提取的特征。

2、深度学习技术被广泛应用于医学图像分析领域。作为深度学习的代表性框架，卷积神经网络(convolutional neural network,cnn)凭借其强大的特征提取能力，常被用于骨干网络框架，提取医学影像中的深度特征。2015年提出的残差网络又因其独特的残差跳跃连接，使得网络在提取深层次特征的同时，可以关注浅层特征的信息。因此，残差网络能够关注深层和浅层的特征信息，使得提取的特征更加完整，网络性能更好。残差网络也被选为其中一个分支进行特征提取。然而，单纯的cnn网络提取的特征缺乏全局特征信息的表达，以至于网络性能提升具有一定局限性。为此，transformer网络应运而生，其可利用多头自注意力机制不断学习具有长距离依赖关系的全局特征信息。

3、在众多的眼部疾病中，先天性异常和早发性疾病尤为重要。婴儿的常规眼底病通常包括早产儿视网膜病变(rop)、coats病、视网膜母细胞瘤(rb)、视网膜色素变性(rp)、脉络膜缺损、先天性视网膜褶皱和家族性渗出性玻璃体视网膜病。大多数疾病会对眼睛的结构和功能产生长期影响，包括屈光不正、夜盲症，并可能增加眼睛的异常排列(斜视)和新生血管性青光眼。其中，rop是儿童视力受损和失明的主要原因，全球每年甚至有8000名rb新生婴儿可能需要进行眼球摘除手术来挽救生命。

4、从临床角度来看，这些婴儿的状况往往会导致儿童终生严重视力受损甚至失明，对社会产生长期的影响，尤其是未来在就业方面的压力。因为婴幼儿的眼底病在一些普通医院并不常见，常常被忽略，即使在遇到它们之后，也可能无法做出准确的诊断。与此同时，世界上的专业眼科医生资源不足。

5、在眼底疾病领域中，相继出现了一些针对早产儿视网膜病变的自动检查方法的研究，这些研究大多都是检测单一的rop病变。到目前为止，我们发现很少有研究专注于检测一种以上的婴儿眼底疾病，甚至是多种眼底疾病。在现实生活中，特别是在缺乏专业眼科医生的偏远地区，有效地检测各种类型的眼底疾病是有必要的。

6、因此，我们需要更有效的辅助检测系统来解决这个问题。

技术实现思路

1、本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于训练网络的婴幼儿视网膜疾病信息识别方法，还提供了一种基于训练网络的婴幼儿视网膜疾病信息识别系统。

2、本发明解决其技术问题所采用的技术方案是：

3、构造一种基于训练网络的婴幼儿视网膜疾病信息识别方法，其中，包括以下步骤：

4、采用cnn和transformer混合网络提取待测视网膜图像的局部-全局特征；

5、采用深度注意力融合模块对局部-全局特征进行融合，得到具备局部-全局特征表达能力的融合后的特征；

6、采用训练网络训练融合后的特征中rop数据，提取具有深度特征表达的信息，实现rop严重程度分级。

7、本发明所述的基于训练网络的婴幼儿视网膜疾病信息识别方法，其中，采用cnn和transformer混合网络提取待测视网膜图像的局部-全局特征包括方法：

8、利用cnn网络的不同尺度的残差网络模块提取待测视网膜图像中深度语义特征信息，得到局部特征；

9、利用4阶段transformer网络模块提取具有长距离依赖关系的全局特征。

10、本发明所述的基于训练网络的婴幼儿视网膜疾病信息识别方法，其中，所述采用深度注意力融合模块对局部-全局特征进行融合包括方法：

11、经残差块网络和transformer网络模块提取的特征作为深度注意力融合模块的输入，经过点卷积操作后进行元素级相加处理；

12、经过处理的特征再输入到relu激活函数中进行激活，接着再利用点卷积进行特征提取，之后经过sigmoid函数进行激活，得到注意力特征；

13、将得到的注意力特征与经transformer网络模块得到的特征进行元素级相乘操作，得到深度注意力融合特征。

14、本发明所述的基于训练网络的婴幼儿视网膜疾病信息识别方法，其中，所述transformer网络模块算法流程包括：

15、先对输入图像进行分块操作，然后利用块嵌入操作对分块图像进行处理，再将处理好的块特征进行层正则化处理，输入到多头注意力模块中，输出特征，再将该特征与块嵌入特征进行相加，得到注意力特征；

16、将上述得到的注意力特征输入到层正则化模块中，得到正则化的特征，再输入到多层感知机中，得到处理后的特征，再将该特征与前面的注意力特征进行元素级相加，得到transformer网络模块的模块处理特征。

17、本发明所述的基于训练网络的婴幼儿视网膜疾病信息识别方法，其中，所述残差网络模块算法流程包括：

18、首先将输入图像输入到3×3卷积中，得到卷积特征，再经正则化、激活函数得到标准化特征，再将该特征输入到3×3卷积中得到卷积特征，然后将该卷积输入到正则化函数中，得到正则化后的特征；

19、将上述操作得到的特征与输入特征进行元素级相加得到处理后的特征，再经过激活函数，得到残差模块特征。

20、一种基于训练网络的婴幼儿视网膜疾病信息识别系统，其中，包括：

21、混合网络模块，由cnn和transformer构成的，用于提取待测视网膜图像的局部-全局特征；

22、深度注意力融合模块，用于对局部-全局特征进行融合，得到具备局部-全局特征表达能力的融合后的特征；

23、训练网络模块，用于训练融合后的特征中rop数据，提取具有深度特征表达的信息，实现rop严重程度分级。

24、本发明所述的基于训练网络的婴幼儿视网膜疾病信息识别系统，其中，所述混合网络模块提取待测视网膜图像的局部-全局特征采用方法：

25、利用cnn网络的不同尺度的残差网络模块提取待测视网膜图像中深度语义特征信息，得到局部特征；

26、利用4阶段transformer网络模块提取具有长距离依赖关系的全局特征。

27、本发明所述的基于训练网络的婴幼儿视网膜疾病信息识别系统，其中，所述深度注意力融合模块对局部-全局特征进行融合采用方法：

28、经残差块网络和transformer网络模块提取的特征作为深度注意力融合模块的输入，经过点卷积操作后进行元素级相加处理；

29、经过处理的特征再输入到relu激活函数中进行激活，接着再利用点卷积进行特征提取，之后经过sigmoid函数进行激活，得到注意力特征；

30、将得到的注意力特征与经transformer网络模块得到的特征进行元素级相乘操作，得到深度注意力融合特征。

31、本发明所述的基于训练网络的婴幼儿视网膜疾病信息识别系统，其中，所述transformer网络模块算法流程包括：

32、先对输入图像进行分块操作，然后利用块嵌入操作对分块图像进行处理，再将处理好的块特征进行层正则化处理，输入到多头注意力模块中，输出特征，再将该特征与块嵌入特征进行相加，得到注意力特征；

33、将上述得到的注意力特征输入到层正则化模块中，得到正则化的特征，再输入到多层感知机中，得到处理后的特征，再将该特征与前面的注意力特征进行元素级相加，得到transformer网络模块的模块处理特征。

34、本发明所述的基于训练网络的婴幼儿视网膜疾病信息识别系统，其中，所述残差网络模块算法流程包括：

35、首先将输入图像输入到3×3卷积中，得到卷积特征，再经正则化、激活函数得到标准化特征，再将该特征输入到3×3卷积中得到卷积特征，然后将该卷积输入到正则化函数中，得到正则化后的特征；

36、将上述操作得到的特征与输入特征进行元素级相加得到处理后的特征，再经过激活函数，得到残差模块特征。

37、本发明的有益效果在于：结合cnn和transformer网络的优缺点，提出一个联合cnn和transformer网络的双阶段深度学习网络，实现自动检测多种婴幼儿视网膜病变和rop严重程度分级的双任务；能够检测多种常见的婴幼儿眼底病变，屏蔽其他病变特征的影响，大大提高常见婴幼儿眼底病变自动检查系统的准确率；在一定程度上减少了患儿因难以诊断反复检查的不适感，降低了一定的误诊及漏诊率，提高了医生的诊疗效率，因此也一定程度上减少了患儿的并发症。