一种基于对比学习的显微高光谱图像半监督分割方法

本发明属于显微高光谱图像处理，具体涉及一种基于对比学习的显微高光谱图像半监督分割方法。

背景技术：

1、病理图像被视为临床诊断和癌症分级的黄金标准，病理图像自动分割是构建强大的计算机辅助诊断系统的基础和关键步骤。根据分割结果可以定量分析器官和组织的形态属性，为临床医生诊断疾病提供有用的依据。现有的病理图像分割方法通常使用rgb数据集。然而，常见的rgb图像只能为癌症诊断提供空间信息。生物组织形态的相似性影响了诊断结果的准确性。随着成像系统的发展，医学显微镜高光谱图像已被用于多种肿瘤识别。与传统的rgb图像相比，医学显微高光谱病理学图像可以提供额外的光谱信息，进一步区分生物组织的不同化学成分。但显微高光谱病理学图像分辨率更高，面积更大，其标签工作需要更多的时间成本和临床经验，因此，精确标签的缺乏限制了病理学图像分割研究的进展。

2、半监督学习是一种应对标签数据短缺问题的方法。该方法通常使用少量的标签数据和大量的无标签数据联合训练，该方法的核心是从有标签数据和未标签数据中有效地发现有用的信息，从而获得相对稳定的分割结果。为了实现这一目标，许多半监督算法被应用于该领域。现有的常见的半监督分割方法可以分为伪标签法和一致性正则化方法。首先，伪标签法是一种直观的方式，该方法使用有标签数据训练的模型对无标签数据进行预测得到伪标签，并将新的伪标签数据与原始标签集混合以进一步优化模型。但该方法的预测结果收到伪标签质量的参差不齐的制约。一致性正则化方法是在平滑性假设(即，如果在输入空间中，x和x′是接近的，那么它们的标签，y和y′应该是相同的)的基础上产生的，探索了一种无监督的方式来利用未标签的数据。该方法通常对输入数据或者模型进行轻微扰动，通过保持在不同的扰动下模型输出结果的一致性对无标签数据进行学习。许多方法采用单个图像来强制其干扰的一致性，这可能会导致分割结果不准确，因为其在捕获体积间方面的不足上下文信息，也是限制一致性正则化的一个因素。

3、尽管现有的半监督方法可以一定程度上减少标签数据短缺对显微高光谱图像分割造成的制约。然而，与传统rgb图像不同的是，显微高光谱图像蕴含丰富的光谱信息，这些信息可以提供有利于肿瘤细胞分割的生化知识，但现有方法没有充分利用光谱信息促进显微高光谱图像分割的进展。因此，如何充分利用显微高光谱图像中的光谱信息是亟待解决的一个难题。

技术实现思路

1、发明目的：为了克服现有技术中对显微高光谱图像中的光谱信息利用率不高的问题，本发明提供一种基于对比学习的显微高光谱图像半监督分割方法，其设计了一个基于对比学习的分类模块，通过结合对抗样本的思想对利用无标签数据的类别信息。另外，本文提出了一种新颖的光谱损失函数，有利于模型从无标签数据中提取更多的光谱信息。本发明通过上述模块，对光谱信息进行了更加全面深入的利用。

2、技术方案：为实现上述目的，本发明提供一种基于对比学习的显微高光谱图像半监督分割方法，包括如下步骤：

3、s1：构建整体网络，包括高光谱图像降维模块，基于师生网络的特征提取模块和基于对比学习的分类模块；

4、s2：高光谱图像降维模块对有标签数据dl和无标签数据dl分别进行降维，得到降维后的有标签数据dl和无标签数据du，其中，dl，du∈rh×w×c，h和w为高光谱图像的行数和列数，c为降维后的通道数；

5、s3：基于师生网络的特征提取模块通过教师网络和学生网络分别对降维后的数据进行特征提取；

6、s4：使用步骤s3中提取的特征，计算监督损失ls，一致性损失lcsy和光谱损失lr；

7、s5：使用基于对比学习的分类网络模块，计算对比损失lcst；

8、s6：使用步骤s4和s5中得到的监督损失，一致性损失，光谱损失和对比损失计算网络的整体损失，并由此更新网络模型。

9、进一步地，所述一种基于形状先验的显微高光谱图像半监督分割方法，其特征在于，所述步骤s3中特征提取的过程为：

10、s31：构建教师网络和学生网络，所述的教师网络和学生网络采用相同的网络架构；

11、s32：dl分别输入到学生网络和教师网络进行特征提取；

12、s33：du输入到学生网络进行特征提取，得到预测

13、s34：对du添加高斯噪声进行特征扰动得到d′u；

14、s35：d′u输入到教师网络进行特征提取，得到预测

15、进一步地，所述一种基于对比学习的显微高光谱图像半监督分割方法，其特征在于，所述步骤s4中光谱损失的计算过程为：

16、s41：使用reshape操作将du的大小变换为n×b，记作wp，的大小变换为n×k，记作类别概率矩阵mc，其中n＝h×w，k为或的通道数，mci，j代表du中像素i对应于类别j的概率；

17、s42：计算加权光谱特征矩阵w，w的计算公式如下：

18、w＝mct·wp

19、s43：计算质心矩阵c，计算过程如下：

20、

21、其中代表mc的每列之和，wi，j代表w中的每个点，ci，j构成质心矩阵c；

22、s44：使用mc与c生成重建图像mp，计算过程如下：

23、mp＝mc·c

24、s45：计算wp和mp之间的光谱损失函数lr，计算过程如下：

25、

26、其中，wpi和mpi分别表示wp和mp的任一像素点。

27、进一步地，所述一种基于对比学习的显微高光谱图像半监督分割方法，其特征在于，所述步骤s5中对比损失的计算过程为：

28、s51：使用fgsm算法对输入教师模型的无标签数据du进行对抗性扰动，生成其在教师模型上的对抗性样本

29、s52：du，先后经过分割网络和分类网络之后，得到各自的特征向量其中ca表示肿瘤区域，bg表示背景区域。基于特征向量和构建对比损失lcst。lcst计算过程如下：

30、

31、其中l(·)表示相似度函数，表示为其中·表示向量内积。

32、进一步地，所述一种基于形状先验的显微高光谱图像半监督分割方法，其特征在于，所述步骤s6中整体损失l的计算方式如下：

33、l＝ls+λlcsy+(1-λ)(lr+lcst)

34、其中，λ为高斯升温函数，其表达式为：

35、

36、其中t表示当前迭代次数，tmax表示最大迭代次数。

37、有益效果：本发明公开了一种基于对比学习的显微高光谱图像半监督分割方法，包括：高光谱图像降维模块，基于师生网络的特征提取模块和基于对比学习的分类模块。在基于师生网络的特征提取模块中，本发明提出了一种新颖的光谱损失函数，通过优化该损失函数，促进模型学习更多的光谱信息。基于对比学习的分类模块通过结合对抗样本的思想对无标签数据的类别信息加以利用。本发明缓解了标签数据短缺问题对显微高光谱图像分割的限制，能够充分利用显微高光谱图像中的光谱信息，极大地提高了分割性能