一种超广角眼底影像识别方法、装置、设备及存储介质与流程

本发明涉及图像处理以及深度学习，特别涉及一种超广角眼底影像识别方法、装置、设备及存储介质。

背景技术：

1、随着人口老年化的不断加快，若不及时进行干预，各类眼底疾病将会更加迅速的蔓延，当前眼科专家的数量及医疗设备还不足以满足如此庞大的眼病患者群体的需求。

2、目前已有的眼底疾病图像识别系统大都基于普通眼底彩超影像进行识别，此类影像的视网膜眼底可视范围较窄，通常只有30°-75°。较为狭窄的可视区域不能提供完整的眼底信息，会增加误识别的概率。而超广角眼底影像的获取难度较小，且眼底可视范围能达到200°，对于眼底病的判断可依据的信息更多，判断精度更高。但是当前基于超广角的眼底影像识别都是采用人工阅片的方式，受临床医师的数量和临床经验限制较大，人工阅片时图像识别错误的概率较高且影像识别的精度较低。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种超广角眼底影像识别方法、装置、设备和存储介质，能够降低人工阅片而导致误识别的概率，提高超广角眼底影像识别的精度。其具体方案如下：

2、第一方面，本技术公开了一种超广角眼底影像识别方法，包括：

3、对原始超广角眼底影像进行图像预处理操作，以得到预处理图像；

4、利用预训练的特征提取模型对所述预处理图像进行特征提取，以得到目标编码信息；

5、通过双线性解码器模型解码所述目标编码信息，以得到所述双线性解码器模型输出的概率值信息集合；

6、将所述概率值信息集合中概率值最大的类别确定为所述原始超广角眼底影像对应的最终预测类别。

7、可选的，所述对原始超广角眼底影像进行图像预处理操作，以得到预处理图像，包括：

8、基于自适应roi区域粗提取组件从所述原始超广角眼底影像中提取目标区域；其中，所述目标区域为由满足预设像素条件的像素点构成的区域；

9、判断所述目标区域是否达到预设区域质量要求；

10、若所述目标区域达到所述预设区域质量要求，则基于预设亮度调整规则调整所述目标区域的亮度，以得到所述预处理图像；

11、若所述目标区域未达到所述预设区域质量要求或未提取到所述目标区域，则进行最大椭圆近似拟合，以得到拟合区域；

12、将所述拟合区域确定为所述目标区域，并重新进入所述基于预设亮度调整规则调整所述目标区域的亮度，以得到所述预处理图像的步骤。

13、可选的，所述基于预设亮度调整规则调整所述目标区域的亮度，以得到所述预处理图像，包括：

14、获取所述目标区域的当前亮度，并确定所述当前亮度对应的当前亮度区间；

15、基于预设亮度调整策略确定规则确定所述当前亮度区间对应的当前亮度调整策略；

16、利用所述当前亮度调整策略调整所述目标区域的亮度，以得到所述预处理图像。

17、可选的，所述进行最大椭圆近似拟合，以得到拟合区域，包括：

18、根据所述原始超广角眼底影像的长与宽计算对应的长轴长信息以及短轴长信息；

19、基于基准点信息确定中心点位置信息；

20、基于所述中心点位置信息、所述长轴长信息以及所述短轴长信息生成椭圆区域，并将所述椭圆区域确定为所述拟合区域。

21、可选的，所述利用预训练的特征提取模型对所述预处理图像进行特征提取，以得到目标编码信息之前，还包括：

22、利用开源数据集训练原始特征提取模型，以得到具备初始权重的初始特征提取模型；

23、利用超广角眼底影像数据集训练所述初始特征提取模型，以得到具备目标权重的所述预训练的特征提取模型；

24、相应的，所述利用预训练的特征提取模型对所述预处理图像进行特征提取，以得到目标编码信息，包括：

25、利用具备所述目标权重的所述预训练的特征提取模型提取所述预处理图像中达到预设特征要求的特征信息；

26、以向量的形式对所述特征信息进行编码，以得到所述目标编码信息。

27、可选的，所述通过双线性解码器模型解码所述目标编码信息，以得到所述双线性解码器模型输出的概率值信息集合，包括：

28、将所述目标编码信息输入至所述双线性解码器模型的第一通道与第二通道；

29、获取所述第一通道输出的第一输出信息以及所述第二通道输出的第二输出信息；

30、将所述第一输出信息与所述第二输出信息进行空间维度特征堆叠，以得到堆叠后特征层；

31、通过所述堆叠后特征层执行预设预测操作，以输出所述概率值信息集合。

32、可选的，所述将所述目标编码信息输入至所述双线性解码器模型的第一通道与第二通道，包括：

33、将所述目标编码信息输入至所述双线性解码器模型的所述第一通道，根据所述第一通道中的卷积核进行同尺度卷积，以得到卷积后信息；

34、基于所述卷积后信息以及所述目标编码信息计算当前特征层的第一注意力权重；

35、若所述当前特征层为最后一层，则基于所述目标编码信息与上一层的所述第一注意力权重计算所述第一通道输出的所述第一输出信息；其中，所述第一输出信息为加权注意力特征；

36、将所述目标编码信息输入至所述双线性解码器模型的所述第二通道，计算所述目标编码信息的平均值，以得到第二注意力权重；

37、基于所述第二注意力权重以及所述目标编码信息计算所述第二通道输出的所述第二输出信息。

38、第二方面，本技术公开了一种超广角眼底影像识别装置，包括：

39、图像预处理模块，用于对原始超广角眼底影像进行图像预处理操作，以得到预处理图像；

40、特征提取模块，用于利用预训练的特征提取模型对所述预处理图像进行特征提取，以得到目标编码信息；

41、解码模块，用于通过双线性解码器模型解码所述目标编码信息，以得到所述双线性解码器模型输出的概率值信息集合；

42、预测类别确定模块，用于将所述概率值信息集合中概率值最大的类别确定为所述原始超广角眼底影像对应的最终预测类别。

43、第三方面，本技术公开了一种电子设备，包括：

44、存储器，用于保存计算机程序；

45、处理器，用于执行所述计算机程序，以实现如前述公开的超广角眼底影像识别方法的步骤。

46、第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如前述公开的超广角眼底影像识别方法。

47、可见，本技术提供了一种超广角眼底影像识别方法，包括：对原始超广角眼底影像进行图像预处理操作，以得到预处理图像；利用预训练的特征提取模型对所述预处理图像进行特征提取，以得到目标编码信息；通过双线性解码器模型解码所述目标编码信息，以得到所述双线性解码器模型输出的概率值信息集合；将所述概率值信息集合中概率值最大的类别确定为所述原始超广角眼底影像对应的最终预测类别。由此可见，本技术通过预训练的特征提取模型对所述预处理图像进行特征提取，得到特征向量，然后利用双线性解码器模型将特征向量进行多重复杂代数运算，输出多个概率值，通过比较概率值的大小确定最终的识别结果，降低人工阅片而导致误识别的概率，提高了超广角眼底影像识别的精度。