一种基于对比学习的旋转引导上下文回环聚合糖尿病视网膜病变的特征分类方法、系统、设备及介质

本发明涉及病变图像分类，尤其是涉及一种糖尿病视网膜病变的特征分类方法、系统、设备及介质。

背景技术：

1、糖尿病(diabetes mellitus，dm)是一种由体内高血糖水平引起的代谢紊乱的疾病。它逐渐成为全球公共卫生领域的一个重大难题，影响着全球4.63亿人，预计到2045年这一数字将上升到7亿。至少三分之一的糖尿病患者还患有与糖尿病有关的眼病，其中糖尿病视网膜病变(diabetic retinopathy，dr)是最常见的一种。糖尿病视网膜病变随着慢性糖尿病的发展，会对视网膜产生不同程度的破坏，是导致视力损害和失明的最常见原因之一。传统上，糖尿病视网膜病变分级是基于对彩色眼底图像中呈现的不同结构特征的综合评估而确定，例如微动脉瘤、渗出物、出血和新生血管的存在。因此，在早期治疗糖尿病视网膜病变研究的基础上，提出了无明显视网膜病变、轻度非增殖性、中度、重度和增殖性视网膜病变5种严重程度分级标准。

2、现阶段，常使用深度学习对视网膜病变的严重程度进行自动分类，然而一般的深度学习方法是基于监督学习的。监督学习是指使用带有标签的数据对机器学习模型进行训练(以下简称模型)，放在本发明的领域，即研究人员在使用彩色眼底图像作为模型的输入时，需要先对其进行人工标注。面对数量庞大的彩色眼底图像数据，一方面，对医学图像的标注需要专业知识丰富的专业人员；另一方面，数据的标记又需要花费大量的劳动力，这无疑增加了研究人员的负担。

3、与监督学习对应的，还有无监督学习和半监督学习。无监督学习是使用不带数据标注的数据对模型进行训练；而半监督学习是指使用大量的无标签数据和少量的标签数据对模型进行训练。在无监督学习中，还有一种特殊情况叫做自监督学习。自监督学习是指通过对数据本身进行操作，如旋转、裁剪等生成数据标签，然后使用这些标签对模型进行训练。而对比学习，是自监督学习中的一种。仅管目前已经有一些使用对比学习对视网膜病变严重程度进行自动分级的方法，但这些方法与监督学习方法相比又存在着分类精度不高的问题。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于对比学习的旋转引导上下文回环聚合糖尿病视网膜病变的特征分类方法、系统、设备及介质，能够在使用少量标签数据的情况下，基于提出的方向引导模块和上下文回环聚合模块，增强对比学习在糖尿病视网膜病变的特征分类中的表现，提高糖尿病视网膜病变的特征分类的精确性和鲁棒性。

2、第一方面，本发明的实施例提供了一种基于对比学习的旋转引导上下文回环聚合糖尿病视网膜病变的特征分类方法，包括：

3、获取糖尿病视网膜的病变图像；

4、使用数据增强方法基于所述病变图像生成不同视图的标签图像；

5、将所述病变图像和标签图像分别输入到预设的权重共享的编码器网络中，分别得到从所述病变图像中提取出的第一特征图和从所述标签图像中提取出的第二特征图；

6、将所述第二特征图与旋转引导矩阵相乘，得到第三特征图；

7、将所述第一特征图与第三特征图输入到上下文回环聚合模块中，分别得到所述上下文回环聚合模块的输出第四特征图与第五特征图；

8、融合所述第四特征图与第五特征图，得到第六特征图；

9、将所述第六特征图输入到预设的视网膜病变等级分类器和图像旋转方向分类器中，分别得到所述视网膜病变等级分类器输出的所述病变图像的分类结果和所述图像旋转方向分类器输出的所述标签图像的分类结果；

10、使用supcon损失函数计算所述病变图像的分类结果与所述病变图像的真实类别之间的损失，得到视网膜病变等级分类损失；

11、使用交叉熵损失函数计算所述标签图像的分类结果与所述标签图像的真实类别之间的损失，得到旋转方向分类损失；

12、计算所述旋转引导矩阵与所述第六特征图之间的损失，得到旋转引导损失；

13、将所述视网膜病变等级分类损失、所述旋转方向分类损失与所述旋转引导损失相加，得到最终损失；

14、使用所述最终损失对模型的参数进行梯度更新。

15、根据本发明实施例的控制方法，至少具有如下有益效果：

16、本方法一方面使用自监督学习中的对比学习对病变图像进行分类，能够充分利用大量的无标签数据进行训练，避免了数据标注的问题；另一方面，本方法提出了一种上下文回环聚合模块，不仅能够增强模型提取不同视图间相似特征的能力，还能够充分利用模型的上下文信息，实现模型中特征的上下文信息补全。同时，借助提出的旋转引导矩阵，对模型提取出的特征附加方向引导权重，进一步提高模型的分类准确率。

17、根据本发明的一些实施例，在所述获取糖尿病视网膜的病变图像之后，所述方法还包括：

18、对所述病变图像进行等比例缩放和中心裁剪。

19、根据本发明的一些实施例，所述标签图像由以下方式得到：

20、将所述病变图像经过高斯滤波进行降噪处理，得到降噪后的图像；

21、将所述降噪后的图像经过显著图计算后，得到显著图；

22、将所述显著图旋转随机角度(0°，90°，180°，270°)，得到所述标签图像。

23、根据本发明的一些实施例，所述的编码器通过以下方式输出第一特征图和第二特征图：

24、fup＝encoder(io；θen)

25、fdown＝encoder(ie；θen)

26、其中，fup、fdown分别代表第一特征图和第二特征图，io、ie分别代表所述病变图像与所述标签图像，encoder()代表编码器，θen代表编码器的相关参数。

27、根据本发明的一些实施例，所述上下文回环聚合模块由以下方式输出特征：

28、接收输入的第一特征图与第三特征图，将二者串联起来，得到串联后的第一初始特征图；

29、将所述串联后的第一初始特征图输入到卷积层中，得到融合后的特征图；其中卷积层包括：

30、f'cat＝conv(fcat；θcat)

31、其中，conv()代表卷积操作，θcat代表卷积层的相关参数，fcat代表串联后的第一初始特征，f'cat代表融合后的特征图；

32、将所述融合后的特征图分别与第一特征图和第三特征图相乘，分别得到包含双重特征增强的增强第一特征图和增强第三特征图；其中，特征图相乘方式如下：

33、

34、其中，代表矩阵间的乘法运算，f1、f2代表相乘的特征图，f3代表相乘的结果；

35、将所述增强第一特征图和增强第三特征图输入到上下文补全模块中，分别得到所述第四特征图与第五特征图；其中上下文补全包括：

36、

37、

38、其中，fcu、fcd分别代表所述增强第一特征图和增强第三特征图，gap()代表全局平均池化操作，fc()代表全连接层，θup、θdown分别代表全连接层的相关参数，sigmoid()代表激活函数，f’up、f’down分别代表所述第四特征图与第五特征图；

39、将所述第四特征图与第五特征图串联起来，再经过卷积和全局平局池化后得到第六特征图。

40、根据本发明的一些实施例，所述旋转方向分类损失由以下方式计算：

41、

42、其中，lguide代表所述旋转方向分类损失值，avg代表求平均值操作，h代表特征的高度，w代表特征的宽度，bm(i,j)代表所述旋转引导矩阵中的元素，f’out(i,j)代表所述第六特征图中的元素。

43、根据本发明的一些实施例，所述最终损失由以下方式计算：

44、l＝λcsupcon+λdce+λglguide

45、其中，λc、λd、λg代表超参数，l代表所述最终损失，supcon代表所述视网膜病变等级分类损失，ce代表所述旋转引导损失。

46、第二方面，本发明的实施例提供了一种基于对比学习的旋转引导上下文回环聚合糖尿病视网膜病变的特征分类系统，包括：

47、图像获取模块，用于获取糖尿病视网膜的病变图像；

48、数据增强模块，用于生成不同视图的标签图像；

49、旋转引导模块，用于处理所述标签图像，生成所述第三特征图；

50、上下文回环聚合模块，用于增强不同模式的图像提取出的特征，同时对模型中的特征进行上下文补全，生成所述第四特征图与第五特征图；

51、分类模块，用于将所述第六特征图输入到视网膜病变等级分类器和图像旋转方向分类器中，分别得到所述视网膜病变等级输出的所述病变图像的分类结果和所述图像旋转方向分类器输出的所述标签图像的分类结果；

52、损失计算模块，用于将所述视网膜病变等级分类损失、所述旋转方向分类损失与所述旋转引导损失相加，得到所述最终损失。

53、第三方面，本发明的实施例提供了一种电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如第一方面所述的基于对比学习的旋转引导上下文回环聚合糖尿病视网膜病变的特征分类方法。

54、第四方面，本发明的实施例提供了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的基于对比学习的旋转引导上下文回环聚合糖尿病视网膜病变的特征分类方法。

55、需要注意的是，本发明的第二方面至第四方面与现有技术之间的有益效果与第一方面的基于对比学习的旋转引导上下文回环聚合糖尿病视网膜病变的特征分类方法的有益效果相同，此处不再细述。

56、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。