一种眼底图像病灶分割方法、系统、设备及存储介质

本发明涉及眼底图像病灶分割相关，尤其是涉及一种眼底图像病灶分割方法、系统、设备及存储介质。

背景技术：

1、近年来，人工智能技术开始广泛应用于日常生活中各个领域，如智慧城市、智能零售和智能家居等方面，为日常生活提供各种服务和便利。除此之外，人工智能也逐渐在医疗领域进行发展。目前的人工智能技术高度依赖数据的数量和质量，训练数据越多，其训练得到的算法模型的效果就越好。由于医疗数据相较于自然数据涉及病人的隐私信息，医学数据的获取受到严格的把控，医学数据获取难度大。且人工智能技术进行模型训练时需要已标注的图像或者文本信息，但医学数据的标注专业性太强，数据标注难度大。而医学数据标注难度最大的是分割数据的标注。目前，开源可获取的眼底图像病灶分割数据量非常有限，眼底图像病灶分割准确度较低。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种眼底图像病灶分割方法、系统、设备及存储介质，能够提升眼底图像病灶分割准确度。

2、本发明的第一方面，提供了一种眼底图像病灶分割方法，包括如下步骤：

3、获取历史眼底图像数据集和待预测眼底图像，其中，所述历史眼底图像数据集包括历史眼底图像、所述历史眼底图像对应的真实分类标签和所述历史眼底图像对应的分割掩码图；

4、构建第一分类网络模型，将所述历史眼底图像和所述真实分类标签输入所述第一分类网络模型进行训练，得到第二分类网络模型；

5、构建第一病灶分割网络模型，根据所述第二分类网络模型、所述历史眼底图像和所述历史眼底图像对应的分割掩码图对所述第一病灶分割网络模型进行训练，得到第二病灶分割网络模型；

6、将所述待预测眼底图像输入所述第二病灶分割网络模型进行预测，得到所述待预测眼底图像的病灶分割信息。

7、根据本发明实施例的控制方法，至少具有如下有益效果：

8、本方法通过获取历史眼底图像数据集和待预测眼底图像，其中，历史眼底图像数据集包括历史眼底图像、历史眼底图像对应的真实分类标签和历史眼底图像对应的分割掩码图，构建第一分类网络模型，将历史眼底图像和真实分类标签输入第一分类网络模型进行训练，得到第二分类网络模型；构建第一病灶分割网络模型，根据第二分类网络模型、历史眼底图像和历史眼底图像对应的分割掩码图对第一病灶分割网络模型进行训练，得到第二病灶分割网络模型；将待预测眼底图像输入第二病灶分割网络模型进行预测，得到待预测眼底图像的病灶分割信息，通过关联分类任务上的分割信息特征，并通过分类网络模型为分割模型的训练提供监督信号和先验知识，从而提升眼底图像病灶分割准确度。

9、根据本发明的一些实施例，所述第一病灶分割网络模型包括vgg-19编码器，所述构建第一病灶分割网络模型，根据所述第二分类网络模型、所述历史眼底图像和所述历史眼底图像对应的分割掩码图对所述第一病灶分割网络模型进行训练，得到第二病灶分割网络模型，包括：

10、将所述历史眼底图像和所述分割掩码图输入所述第一病灶分割网络模型进行训练，得到第一分割模型及其输出的第一分割预测值；

11、根据所述第一分割预测值与所述分割掩码图通过所述vgg-19编码器进行高维特征提取，得到高维特征信息；

12、根据所述高维特征信息与所述分割掩码图通过分割特征感知损失函数进行损失值计算，得到第一分割特征损失值；

13、根据所述第一分割预测值与所述分割掩码图进行损失值计算，得到第二分割特征损失值；

14、根据所述第一分割特征损失值与所述第二分割特征损失值进行总损失计算，得到第一总损失值；

15、当所述第一总损失值小于预设总损失值，则所述第一分割模型为所述第二病灶分割网络模型；

16、当所述第一总损失值大于所述预设总损失值，则根据所述第一总损失值、所述第二分类网络模型、所述历史眼底图像和所述分割掩码图更新所述第一分割模型，得到第二分割模型及其输出的第二分割预测值，根据所述第二分割预测值与所述分割掩码图进行损失值计算，得到第二总损失值；当所述第二总损失值小于所述预设总损失值，则所述第二分割模型为所述第二病灶分割网络模型；当所述第二总损失值大于所述预设总损失值，则根据所述第二总损失值、所述第二分类网络模型、所述历史眼底图像和所述分割掩码图更新所述第二分割模型，得到第三分割模型及其输出的第三分割预测值，依此类推，直至第q总损失值小于所述预设总损失值，得到所述第二病灶分割网络模型，其中，q为迭代次数。

17、根据本发明的一些实施例，所述根据所述高维特征信息与所述分割掩码图通过分割特征感知损失函数进行损失值计算，得到第一分割特征损失值的计算公式为：

18、

19、其中，lsp为第一分割特征损失值，w为vgg-19的特征提取层输出的特征图的维度，h为为vgg-19的特征提取层输出的特征图的维度，φi为vgg-19的第i层特征提取层，n为高维特征图中的第n个点，xn为分割掩码图的真实标签，pn为第n个像素点的分割预测值。

20、根据本发明的一些实施例，所述根据所述第一分割预测值与所述分割掩码图进行损失值计算，得到第二分割特征损失值的计算公式为：

21、

22、

23、l2＝λ2lmae+λ3ldice

24、其中，lmae为maeloss损失值，ldice为diceloss损失值，l2为分割特征损失值，n为眼底图像视杯视盘分割图的像素点总个数，rn为视杯视盘分割图中第n个像素的真实标签，pn为第n个像素点的分割预测值，ε为预设的常数，∈为预设的常数，λ2为预设第二超参数，λ3为预设第三超参数。

25、根据本发明的一些实施例，所述根据所述第一分割特征损失值与所述第二分割特征损失值进行总损失计算，得到第一总损失值，包括：

26、将所述第一分割特征损失值与预设第一超参数相乘，得到第一损失值；

27、将所述第一损失值与所述第二分割特征损失值相加，得到所述第一总损失值。

28、根据本发明的一些实施例，所述将所述历史眼底图像和所述真实分类标签输入所述第一分类网络模型进行训练，得到第二分类网络模型，包括：

29、将所述历史眼底图像和所述真实分类标签输入所述第一分类网络模型进行训练，得到第一训练模型及其输出的第一分类预测值；

30、根据所述第一分类预测值与所述真实分类标签通过交叉熵损失函数进行损失值计算，得到第一交叉熵损失值；

31、当所述第一交叉熵损失值小于预设交叉熵损失值，则所述第一训练模型为所述第二分类网络模型；

32、当所述第一交叉熵损失值大于所述预设交叉熵损失值，则根据所述第一交叉熵损失值、所述历史眼底图像和所述真实分类标签更新所述第一训练模型，得到第二训练模型及其输出的第二分类预测值，根据所述第二分类预测值与所述真实分类标签通过交叉熵损失函数进行损失值计算，得到第二交叉熵损失值；当所述第二交叉熵损失值小于预设交叉熵损失值，则所述第二训练模型为所述第二分类网络模型；当所述第二交叉熵损失值大于所述预设交叉熵损失值，则根据所述第二交叉熵损失值、所述历史眼底图像和所述真实分类标签更新所述第二训练模型，得到第三训练模型及其输出的第三分类预测值，依此类推，直至第k交叉熵损失值小于预设交叉熵损失值，得到所述第二分类网络模型，其中，k为迭代次数。

33、根据本发明的一些实施例，所述根据所述第一分类预测值与所述真实分类标签通过交叉熵损失函数进行损失值计算，得到第一交叉熵损失值的计算公式为：

34、

35、其中，lce为交叉熵损失值，n为眼底图像总数，m为眼底图像分类种类总数，yic为为第i个眼底图像的真实值，否则取0，pic为第i个眼底图像属于类别c的预测概率。

36、本发明的第二方面，提供一种眼底图像病灶分割系统，所述眼底图像病灶分割系统包括：

37、数据获取模块，用于获取历史项目缺陷数据和待预测项目数据；

38、内部特征计算模块，用于构建第一图注意力网络模型，将所述历史项目缺陷数据输入所述第一图注意力网络模型进行训练，得到第二图注意力网络模型及其输出的第一内部特征；将所述待预测项目数据输入所述第二图注意力网络模型进行预测，得到第二内部特征；

39、外部特征计算模块，用于构建第一可扩展的图网络模型，将所述历史项目缺陷数据输入所述第一可扩展的图网络模型进行训练，得到第二可扩展的图网络模型及其输出的第一外部特征；将所述待预测项目数据输入所述第二可扩展的图网络模型进行预测，得到第二外部特征；

40、样本获取模块，用于将所述第一内部特征和所述第一外部特征融合，得到第一融合特征，并将所述第一融合特征与所述历史项目缺陷数据的缺陷信息匹配，得到训练样本；将所述第二内部特征和第二外部特征融合，得到待预测样本；

41、多预测模型训练模块，用于构建第一多预测模型，将所述训练样本输入所述第一多预测模型进行训练，得到第二多预测模型；

42、缺陷信息预测模块，用于将所述待预测样本输入所述第二多预测模型进行预测，得到所述待预测项目数据的缺陷信息。

43、本系统通过获取历史眼底图像数据集和待预测眼底图像，其中，历史眼底图像数据集包括历史眼底图像、历史眼底图像对应的真实分类标签和历史眼底图像对应的分割掩码图，构建第一分类网络模型，将历史眼底图像和真实分类标签输入第一分类网络模型进行训练，得到第二分类网络模型；构建第一病灶分割网络模型，根据第二分类网络模型、历史眼底图像和历史眼底图像对应的分割掩码图对第一病灶分割网络模型进行训练，得到第二病灶分割网络模型；将待预测眼底图像输入第二病灶分割网络模型进行预测，得到待预测眼底图像的病灶分割信息，通过关联分类任务上的分割信息特征，并通过分类网络模型为分割模型的训练提供监督信号和先验知识，从而提升眼底图像病灶分割准确度。

44、本发明的第三方面，提供了一种眼底图像病灶分割电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行上述的眼底图像病灶分割方法。

45、本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的眼底图像病灶分割方法。

46、需要注意的是，本发明的第二方面至第四方面与现有技术之间的有益效果与上述的一种眼底图像病灶分割系统与现有技术之间的有益效果相同，此处不再细述。

47、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。