一种眼底图像分类方法、装置及电子设备与流程

本申请实施例涉及图像处理，尤其涉及一种眼底图像分类方法、装置及电子设备。

背景技术：

1、人工智能技术能够高效率的对眼底图像进行病变分析，适用于大规模筛查，传统的眼底彩照视野范围较小，而广角、超广角的眼底图像视野范围更广，因此，广角、超广角的眼底图像更易发现传统的眼底彩照视野范围之外的病变。但是，广角、超广角的眼底图像数据量少，并不足以训练深度学习模型，因此，通常利用大量的传统的眼底彩照以及少量的广角、超广角的眼底图像进行模型训练。

2、现有技术通常采用域适应的方法，通过大量已标注的眼底彩照数据辅助，提高广角、超广角的眼底图像的分类效果。然而现有技术是基于消除域间差异实现的，而传统的眼底彩照与广角、超广角的眼底图像的差异主要反应在视野大小和色彩上，属于固有差异，导致现有的域自适应的方法得到的图像分类效果不好。

技术实现思路

1、本申请实施例提供了一种眼底图像分类方法、装置及电子设备，能够解决眼底彩照和广角、超广角图像固有差异大的问题。

2、第一方面，本申请实施例提供了一种眼底图像分类方法，所述方法包括：

3、获取眼底彩照、待分类图像，所述待分类图像的视野大小大于所述眼底彩照的视野大小；

4、提取所述眼底彩照和所述待分类图像的特征；

5、按照所述眼底彩照的视野大小切分所述待分类图像，得到多个特征向量；

6、通过多示例学习将所述多个特征向量融合成一个特征向量；

7、使用全连接层对所述融合后的特征向量分类，得到疾病分类结果。

8、在一种可选的设计中，还包括：

9、输入第一训练图像和第二训练图像，使用待训练的特征提取模块提取特征，所述第一训练图像为带有标注的眼底彩照，所述第二训练图像为视野大小大于眼底彩照视野大小的图像；

10、对所述第一训练图像和所述第二训练图像的特征进行对比，计算域间差异损失；

11、根据所述第一训练图像带有的标注进行监督训练，得到特征提取模型。

12、在一种可选的设计中，所述提取所述眼底彩照和所述待分类图像的特征，包括：

13、将所述眼底彩照和所述待分类图像输入至所述特征提取模型，进行特征提取，得到特征图。

14、在一种可选的设计中，获取眼底彩照、待分类图像之后，还包括：

15、按照预设尺寸切割所述待分类图像，所述预设尺寸小于所述待分类图像的尺寸，所述预设尺寸大于所述眼底彩照的尺寸；

16、将切割后的待分类图像输入至所述特征提取模型，进行特征提取，得到部分特征图；

17、将所述待分类图像对应的所述部分特征图进行合并，得到所述待分类图像的特征图。

18、在一种可选的设计中，所述按照所述眼底彩照的视野大小切分所述待分类图像，包括：

19、对所述待分类图像提取特征图，所述特征图尺寸为(h，w)；

20、计算所述待分类图像的视野大小和所述眼底彩照的视野大小的比例关系k；

21、根据所述比例关系k，按照核尺寸为(h/k，w/k)，将所述待分类图像的所述特征图进行池化，得到k*k个特征向量。

22、在一种可选的设计中，所述输入第一训练图像和第二训练图像，使用特征提取模块提取特征，包括：

23、按预设的数量比依次输入所述第一训练图像和所述第二训练图像。

24、第二方面，本申请实施例提供了一种装置，所述装置包括：

25、接收模块，用于获取眼底彩照、待分类图像，所述待分类图像的视野大小大于所述眼底彩照的视野大小；

26、特征提取模块，用于提取所述眼底彩照和所述待分类图像的特征；

27、切分模块，用于按照所述眼底彩照的视野大小切分所述待分类图像，得到多个特征向量；

28、处理模块，用于通过多示例学习将所述多个特征向量融合成一个特征向量；

29、分类模块，用于使用全连接层对所述融合后的特征向量分类，得到疾病分类结果。

30、第三方面，本申请实施例提供了一种电子设备，所述电子设备包括存储器和一个或多个处理器；其中，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令被所述处理器执行时，使得所述电子设备执行第一方面或第一方面各种可能的实现方式中的方法的部分或全部步骤。

31、第四方面，本申请实施例提供了一种计算机存储介质，该计算机存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行第一方面或第一方面各种可能的实现方式中的方法的部分或全部步骤。

32、本申请提供了一种眼底图像分类方法，所述方法包括：获取眼底彩照、待分类图像，所述待分类图像的视野大小大于所述彩照的视野大小；按照所述眼底彩照的视野大小切分所述待分类图像，得到切分图像；将所述眼底彩照和所述切分图像输入卷积网络提取特征；将所述切分图像进行特征融合；将所述切分图像和所述眼底彩照的特征进行对比，使得特征分布一致；分别对所述切分图像和所述眼底彩照进行分类，得到疾病分类结果。通过按照眼底彩照的视野大小切分待分类图像，统一视野标准，进而缩小眼底彩照和广角、超广角图像之间的域间差异，从而实现利用大量已标注的眼底彩照获得更好的广角图像和超广角图像的分类效果。

技术特征：

1.一种眼底图像分类方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，还包括：

3.如权利要求2所述的方法，其特征在于，所述提取所述眼底彩照和所述待分类图像的特征，包括：

4.如权利要求3所述的方法，其特征在于，获取眼底彩照、待分类图像之后，还包括：

5.如权利要求4所述的方法，其特征在于，按照所述眼底彩照的视野大小切分所述待分类图像，包括：

6.如权利要求2所述的方法，其特征在于，所述输入第一训练图像和第二训练图像，使用特征提取模块提取特征，包括：

7.一种眼底图像分类装置，其特征在于，所述装置包括：

8.一种电子设备，其特征在于，所述电子设备包括存储器和一个或多个处理器；其中，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令被所述处理器执行时，使得所述电子设备执行如权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至6中任一项所述的方法。

技术总结
本申请实施例涉及图像处理技术领域，具体公开了一种眼底图像分类方法、装置及电子设备，方法包括：获取眼底彩照、待分类图像；提取所述眼底彩照和所述待分类图像的特征；按照眼底彩照的视野大小切分待分类图像，得到多个特征向量；通过多示例学习将所述多个特征向量融合成一个特征向量；使用全连接层对所述融合后的特征向量分类，得到疾病分类结果。通过从待分类图像的特征图中切分出与眼底彩照视野大小类似的范围，使得每个特征向量对应的视野大小与眼底彩照的视野大小类似，进而缩小了域间差异，从而可以利用大量已标注的眼底彩照图像提高广角图像、超广角图像的分类效果。

技术研发人员：魏奇杰,赵建春,丁大勇
受保护的技术使用者：北京致远慧图科技有限公司
技术研发日：
技术公布日：2024/1/13