一种基于弱监督的医学图像分割方法

本发明属于图像处理，尤其涉及一种基于弱监督的医学图像分割方法。

背景技术：

1、如今的医疗器材能够通过非侵入的方式反映出人体的内部结构或内部功能，其采集的医学图像已经成为医生分析患者病情和治疗疾病的重要基础。有经验的医生在医学图像上通过手动勾画组织或器官(感兴趣区域，roi)来分析患者的当前状况，提高临床诊断的准确性。然而，手动勾画roi是一种耗时且低效的方式。因此，临床上亟需一种自动化的分割算法，能够实现医学图像中roi的精准勾画，为医生提高工作效率、减轻工作负担提供有力的支持。

2、传统的图像分割方法主要是基于像素之间的相似性或差异性来进行区域划分的，其中阈值法、边缘检测法和基于图论的方法是比较常见的几种方法。这些方法使用了不同的特征值来描述像素之间的相似性，例如像素的亮度、颜色、纹理、梯度等等。然而，传统方法需要手工提取特征并手动设置阈值，这使得它们在应对复杂场景和噪声时非常困难，因为这些问题很难通过手动调整来解决。此外，传统方法还容易受到图像中不同物体边缘的影响，导致分割结果不准确。

3、相较于传统图像分割方法，深度学习方法可以自动地学习特征表示和分割规则，具有更好的表现力和泛化性能。然而，过去这些深度学习方法主要是面向全监督学习的，高度依赖于大规模的高质量像素级标注数据，这意味着专业医生仍然需要花费大量时间和精力进行手动标注，不仅成本昂贵，而且效率低下。相比之下，使用稀疏标注的弱监督学习方法则更为经济高效，它通过降低对标注数据的需求，采用更轻量级的标注方式，为医学图像分割任务开辟了一条新的研究路径。

4、为了减少耗时的像素级分割标注工作，不少研究探索了利用各种形式的稀疏标注进行语义分割，如涂鸦级，边界框级，图像级等标注。尽管这些方法降低了标注的成本，但是性能与使用密集注释进行训练的方法仍然有较大的差距，从而限制了在临床实践中的适用性和可行性。其次，这些方法都是建立在单分支网络或者有着相同结构的多分支网络的架构上，并未充分利用弱监督医学图像分割模型结构的多样性，不可避免地丢失了来自不同视角的数据互补信息。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种基于弱监督的医学图像分割方法，旨在缩小甚至消除基于稀疏标注的方法与基于密集标注的方法之间的差距，有效弥补现有方法的不足。

2、为了达到以上目的，本发明采用的技术方案为：一种基于弱监督的医学图像分割方法，包括以下步骤：

3、s1、获取若干待分割的医学图像，并对医学图像中感兴趣区域roi的不同类别进行涂鸦级别的稀疏标注；

4、s2、对待分割的医学图像和对应的标注图像进行预处理，并按比例将预处理得到的数据集划分为训练集、验证集和测试集；

5、s3、利用划分后的训练集与验证集对弱监督医学图像分割模型进行训练，并利用划分后的测试集进行测试，其中，在训练过程中，通过使用动态混合增广机制、不确定性引导的像素级对比学习以及基于双重一致性约束的正则化策略对弱监督医学图像分割模型进行训练；

6、s4、利用已测试的弱监督医学图像分割模型，对医学图像进行分。

7、再进一步地，所述弱监督医学图像分割模型包括：

8、共享编码器，用于提取训练集中医学图像样本的多尺度特征；

9、异构双分支解码器，用于根据多尺度特征，对医学图像进行分割，得到分割结果。

10、进一步地，所述对弱监督医学图像分割模型进行训练，其具体为：

11、根据训练集中选取的一个批次内的不同医学图像训练样本，利用共享编码器提取多尺度特征；

12、根据提取的多尺度特征，利用异构双分支解码器对医学图像进行预测分割，并将双分支的输出结果进行融合，得到预测生成的伪标签和对应的不确定性图；

13、根据预测生成的伪标签和不确定性图，构建像素级对比样本，进行像素级对比学习，完成第一次前向传播；

14、在训练过程中第一次前向传播完成时，将同一训练批次内的不同医学图像样本、预测生成的伪标签以及对应的真实标签组合成一个三元组，并将该三元组随机打乱，得到两份顺序不同的批次数据，其中，两份顺序不同的批次数据为两份打乱的医学图像样本；

15、将两份顺序不同的批次数据以动态的比例进行融合，得到两份新的批次训练样本，以增广训练集中的医学图像数据，其中，新的批次训练样本为混合后的医学图像样本；

16、将两份新的批次训练样本依次经第二次前向传播；

17、利用第一次前向传播和第二次前向传播的医学图像预测结果，对弱监督医学图像分割模型进行基于双重一致性约束的监督正则化策略处理，以对弱监督医学图像分割模型进行训练；

18、利用验证集对已训练的弱监督医学图像分割模型进行验证，完成对弱监督医学图像分割模型的训练。

19、再进一步地，所述打乱的医学图像样本的表达式如下：

20、

21、所述混合后的医学图像样本的表达式如下：

22、

23、其中，表示打乱后的医学图像样本，{x,y,pdec}表示打乱前的医学图像样本，s(·)和m(·)分别表示打乱操作和混合操作，表示混合后得到的新医学图像样本。

24、再进一步地，所述进行像素级对比学习，其具体为：

25、利用异构分支解码，将相同的像素视为像素级对比学习的正样本，将不同类别的像素视为像素级对比学习的负样本；

26、通过在嵌入空间中最小化正样本之间的距离以及扩大负样本之间的距离的方式，建立了医学图像像素之间的关系；

27、根据建立的关系以及涂鸦级别的稀疏标注，通过预测熵度量不确定性，并选择具有最高确定性的医学图像像素作为对比学习的锚点，其中，从有标签医学图像素和无标签医学图像素的确定性伪标签进行锚点采样，实现在涂鸦标注的医学图像上的像素级对比学习，且在每次迭代中，随机选择m个锚点，并计算每个锚点的对比损失。

28、再进一步地，所述预测生成的伪标签的表达式如下：

29、

30、其中，表示对第k类中像素预测生成的伪标签，α表示平衡卷积神经网络cnn和transformer分支的系数，和分别表示异构双分支解码器对第k类中像素的预测结果；

31、所述不确定性图的表达式如下：

32、

33、其中，u表示不确定性图，ε表示常数。

34、再进一步地，所述确定性伪标签的表达式如下：

35、

36、其中，yp表示确定性伪标签，即，像素的最终类别标签，表示预测生成的伪标签，h表示区分高信息熵和低信息熵的阈值，u表示涂鸦中像素的不确定性。

37、再进一步地，所述每个锚点的对比损失的表达式如下：

38、

39、

40、其中，lcon表示每个锚点的对比损失，表示单个像素级对比学习样本的对比损失，pi和ni分别表示与像素i相关联的正样本和负样本的原型向量集合，vi表示像素i的原型向量，和分别表示正样本的原型向量和负样本的原型向量，τ表示温度超参数。

41、再进一步地，所述基于双重一致性约束的监督正则化项的表达式如下：

42、lcon＝lhet+λmixlmix

43、

44、

45、

46、其中，lcon表示监督正则化项，lhet表示异构一致性损失函数，λmix表示平均异构一致性损失函数和混合一致性损失函数的比重项，lmix表示混合一致性损失函数，pc和pt表示异构双分支解码器的分割预测结果，lncs(·,·)表示负余弦相似性，α表示平衡卷积神经网络cnn和transformer分支的系数，和均表示混合后的输入医学图像数据得到的预测结果，和均表示原始输入数据得到的预测混合结果，在和中下标表示属于对应的解码器批次的数据，上标表示属于对应的解码器的输出，c表示卷积神经网络cnn，t表示transformer，表示混合后的输入医学图像数据得到的预测结果，表示原始输入数据得到的预测结果的混合。

47、再进一步地，所述在训练过程中的总体目标函数的表达式如下：

48、min ltotal＝lsup+λctrlctr+λconlcon

49、其中，ltotal表示训练过程中的总体目标函数，lsup表示涂鸦监督损失函数，λctr和λcon均表示平衡参数，lctr表示对比学习损失函数，lcon表示基于双重一致性的正则化损失函数；

50、所述涂鸦监督损失函数的表达式如下：

51、

52、

53、其中，pc,yc、和分别表示混合前卷积神经网络cnn解码器的分割预测、混合前卷积神经网络cnn解码器的分割标签、混合后卷积神经网络cnn解码器的分割预测以及混合后卷积神经网络cnn解码器的分割标签，α表示平衡卷积神经网络cnn和transformer分支的系数，lpce表示交叉熵损失函数，pt,yt、和分别表示混合前transformer解码器的分割预测、混合前transformer解码器的分割标签、混合后transformer解码器的分割预测以及混合后transformer解码器的分割标签，m,n分别表示预测注释和涂鸦注释，ωl表示具有涂鸦注释的像素集，k表示分类类别的数量，m[j,k]表示m中第j个像素的第k个通道的预测值，n[j,k]表示n中第j个像素注释的第k个通道的对应标签。

54、本发明的有益效果是：本发明旨在缩小甚至消除基于稀疏标注的方法与基于密集标注的方法之间的差距，有效弥补现有方法的不足。本发明使用涂鸦级的稀疏标注数据，能够达到甚至超越基于密集标注数据的方法，解决了传统方法成本高昂、效率低下的问题；本发明通过共享编码器-异构双分支解码器的创新网络架构，解决现有方法不可避免地丢失来自不同视角的数据互补信息的问题；通过不确定性引导的像素级对比学习增强类间差异和类内一致性，解决监督信号过度扩散导致的局部预测不连续问题；通过数据动态混合增广提高训练数据多样性，解决标注的稀疏性和不完整性导致的弱监督医学图像分割模型泛化能力不足的问题；通过双重一致性约束的监督正则化惩罚不一致的分割结果，提高弱监督医学图像分割模型预测的稳定性，解决现有方法鲁棒性较差的问题。