一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法

本发明涉及医学图像处理，特别涉及一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法。

背景技术：

1、脑肿瘤是全世界最常见的癌症之一，胶质瘤是最普遍的恶性脑肿瘤，具有不同程度的侵袭性。在临床实践中，为了在诊断阶段对肿瘤的恶性程度进行分级，在放疗阶段勾画出脑瘤的靶区，根据瘤周水肿的范围确定正常脑组织的侵犯程度或评估术后恢复情况，需要在像素层面勾画出脑瘤的各个区域，如肿瘤核心和瘤周水肿等，以帮助诊断和治疗。

2、磁共振成像(mri)在临床实践中被广泛使用，因为它有多种成像序列，为分析肿瘤结构和组织提供了丰富的互补性信息。具体来说，对于胶质瘤，常用的磁共振成像序列是t1加权(t1)、对比后t1加权(t1gd)、t2加权(t2)和t2流体衰减反转恢复(t2-flair)图像。然而，在临床中，病人无法完整采集各种模态的mri序列，而部分病灶仅在特定序列较为明显。

技术实现思路

1、本发明提供了一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法，将特定病灶影像表现较为明显的模态作为优势模态，相应的，在影像中难以辨别的模态作为非优势模态。因此，在优势模态缺失的情况下，以瘤周水肿的分割任务为例，利用两种或多种非优势模态(t1、t1ce、t2)，形成分割效果优于单个优势模态(flair)的半监督分割。

2、本发明提供了一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法，包括：

3、s1、利用两种或多种非优势模态图像以及人工标注构建瘤周水肿半监督分割数据集，并将两种模态的输入表示为i1和i2，当它们有标签时表示为ii,l，没有标签时表示为ii,u；

4、s2、采用两个编码器接收两个模态的图像i1和i2，通过卷积层进行初始特征挖掘后，通过多输出的模态融合模块进行多模态的可解释性特征融合；

5、s3、重复步骤s2两次，编码器完成第三次上采样后，将双分支输出特征送入单输出模态融合模块，得到第一阶段处理后的输出特征；

6、s4、将第一阶段处理后的输出特征采用两个相同的解码器解码之后，输出的特征图输入到一致性计算模块，计算出一致性损失lcon，完成第二阶段的半监督学习。

7、进一步地，对于数量有限的带有标签ii,l的输入，在计算完一致性损失后，还用金标准计算监督损失。

8、进一步地，在所述第一阶段和第二阶段均采用新颖的cma-skip连接以弥补多模态和半监督之间的差距，首先将两个分支的特征串联在一起，然后使用卷积层增强表征，两个卷积核的大小为1×1×1以及3×3×3，最后，使用从0到1的注意力概率图处理原始特征fi,ori。

9、进一步地，cma-skip连接的数学表达公式为：

10、fi,new＝cma(fi,1,fi,2)+fi,ori

11、其中，fi,1,fi,2分别表示不同非优势模态的特征图，cma表示一系列的卷积、归一化和激活函数，fi,ori表示节点解码器输出的未经处理的原始特征图，fi,new表示结合了另一个模态特征的综合模态特征，并将再次输入到原始节点中。

12、进一步地，在所述第一阶段，所述模态融合模块获得两个输入，即来自第一个编码器输出的第i个特征图fm,i和来自第二个编码器输出的fau,i；首先将fm,i和fau,i按体素相加，得到共性特征图fc，为后续特征融合提供丰富的互补模态信息；然后将fm,i和fc以及fau,i和fc拼接后进行卷积等操作，在分别获得权重图后，再与输入的特征图相乘，得到多输出模态融合模块的两个输出fm,i+1和fau,i+1；当需要聚合特征时，只需输出fc,i+1即可。

13、进一步地，步骤s4中，为实现两个解码分支的统一，对两个预测的差异进行惩罚，相互一致性损失被用作所提出的网络的损失函数；

14、对于第一个解码器的输出pm_1，采用另一个解码器得到的伪标签pl_2计算mse，然后得到一致性损失lsup；采用一致性损失作为反向传播和更新网络参数的指导以使两个输出相似，经过一致性和熵正则化，两个解码器达到相对平衡，达到输出一致性的目的。

15、进一步地，所述一致性损失lsup的公式为：

16、

17、其中，pmi表示第i个概率图，plj表示第j个伪标签，l表示有限的标签，在使用有限标签计算监督损失后，总损失为：ltotal＝λlcon+lsup。

18、本发明的有益效果为：

19、本发明利用两种或多种非优势模态图像以及少量的人工标注来构建瘤周水肿半监督分割数据集，利用两个相互联系的编码器进行三次多模态特征融合增强，利用两个完全独立的解码器(四层连续的卷积下采样对)进行一致性监督，将医学图像分割任务中的多模态分割引入半监督分割，为其提供丰富的互补信息；利用两种或多种非优势模态(t1、t1ce、t2)，形成分割效果优于单个优势模态(flair)的半监督分割。

技术特征：

1.一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法，其特征在于，包括：

2.根据权利要求1所述的多模态辅助的非优势模态中瘤周水肿的半监督分割方法，其特征在于，对于数量有限的带有标签ii,l的输入，在计算完一致性损失后，还用金标准计算监督损失。

3.根据权利要求1所述的多模态辅助的非优势模态中瘤周水肿的半监督分割方法，其特征在于，在所述第一阶段和第二阶段均采用新颖的cma-skip连接以弥补多模态和半监督之间的差距，首先将两个分支的特征串联在一起，然后使用卷积层增强表征，两个卷积核的大小为1×1×1以及3×3×3，最后，使用从0到1的注意力概率图处理原始特征fi,ori。

4.根据权利要求3所述的多模态辅助的非优势模态中瘤周水肿的半监督分割方法，其特征在于，cma-skip连接的数学表达公式为：

5.根据权利要求1所述的多模态辅助的非优势模态中瘤周水肿的半监督分割方法，其特征在于，在所述第一阶段，所述模态融合模块获得两个输入，即来自第一个编码器输出的第i个特征图fm,i和来自第二个编码器输出的fau,i；首先将fm,i和fau,i按体素相加，得到共性特征图fc，为后续特征融合提供丰富的互补模态信息；然后将fm,i和fc以及fau,i和fc拼接后进行卷积等操作，在分别获得权重图后，再与输入的特征图相乘，得到多输出模态融合模块的两个输出fm,i+1和fau,i+1；当需要聚合特征时，只需输出fc,i+1即可。

6.根据权利要求1所述的多模态辅助的非优势模态中瘤周水肿的半监督分割方法，其特征在于，步骤s4中，为实现两个解码分支的统一，对两个预测的差异进行惩罚，相互一致性损失被用作所提出的网络的损失函数；

7.根据权利要求6所述的多模态辅助的非优势模态中瘤周水肿的半监督分割方法，其特征在于，所述一致性损失lsup的公式为：

技术总结
本发明涉及医学图像处理技术领域，公开了一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法，包括：构建瘤周水肿半监督分割数据集，并将两种模态的输入表示为I<subgt;1</subgt;和I<subgt;2</subgt;，当有标签时为I<subgt;i,L</subgt;，没有标签时为I<subgt;i,U</subgt;；采用两个编码器接收两个模态的图像I<subgt;1</subgt;和I<subgt;2</subgt;，通过卷积层进行初始特征挖掘后进行多模态的可解释性特征融合；重复融合两次，编码器完成第三次上采样后，将双分支输出特征送入单输出模态融合模块，得到输出特征；采用两个相同的解码器解码之后输入到一致性计算模块，计算出一致性损失L<subgt;con</subgt;。本发明提供的半监督分割方法，在优势模态缺失的情况下，利用两种或多种非优势模态，形成分割效果优于单个优势模态的半监督分割。

技术研发人员：谢世朋,李峥
受保护的技术使用者：南京邮电大学
技术研发日：
技术公布日：2024/1/15