一种基于相邻切片推理的脑肿瘤弱监督分割方法及系统与流程

本发明涉及计算机视觉和医学图像分割领域，特别是涉及一种基于相邻切片推理的脑肿瘤弱监督分割方法及系统。

背景技术：

1、脑肿瘤具有侵袭性生长特性，由于生长部位在大脑，其解剖关系及功能都具有特殊性，大部分胶质瘤难以大范围的彻底切除，残留的肿瘤细胞成为日后复发的根源，因此脑肿瘤具有高致残率、高复发率的特征，严重影响患者的生存周期及生活质量。mri核磁共振图像可以很好的帮助医生观察患者脑肿瘤的生长状况，帮助医生实现对脑肿瘤的观测和诊断。然而，如果医生使用单纯的人工读图的方式对mri脑肿瘤进行识别，需要其本身经过专业的训练，具有较高的资历，否则很容易出现误诊的情况。同时，人工读图效率低下，很难适应当下的医疗环境。图像分割技术是利用计算机实现对目标物的分割，利用图像分割技术可以快速的将脑肿瘤从正常组织中分割出来，实现肿瘤组织的可视化。利用图像分割技术可以极大的提高脑肿瘤的诊断准确率，提高诊断效率，分割结果还可以为后期手术提供量化的数据支持。

2、然而，使用传统的全监督训练方法，利用卷积神经网络进行图像分割时，需要在网络训练前对训练集数据进行像素级标注，这些需要专业的医师通过手工标注的方式完成。这一方式会消耗大量的人力物力，提高训练的成本和时间。

3、弱监督语义分割是图像分割技术之一，目前弱监督技术主要包括不完整的监督、不精确的监督以及不准确的监督。对于不精确的监督，其主要是指在只给定粗粒度标签的情况下，训练更精细的任务。对于弱监督图像分割来说，就是在训练过程中不再使用像素级标签，而是使用涂鸦标签、包围盒标签或图像级标签等进行训练。相比于全监督分割，弱监督分割技术训练代价更低，能够很好的弥补医学图像训练中无法满足大量像素级标签的劣势。图像级标签是指相较于像素级标签需要指定图像中每个像素点的分类，其只需要指定该图像中包含哪些类。目前，针对图像级标签的训练方法主要是以类激活映射图作为基石，通过全局平均池化层填补分割网络与分类网络之间的鸿沟，通过分类标签对网络进行训练，促使卷积网络学习分类标签所指目标的位置和形状。

4、然而类激活映射图相比于所需分割的真实标签来说，性能并不理想，对类激活映射图进行改进，成为目前主流的图像级标签弱监督分割领域的主流研究方向。针对mri脑肿瘤图像来说，类激活映射图存在覆盖范围过大、肿瘤形状不清晰等问题，只能简单的对肿瘤进行定位而不能准确的将肿瘤分割出来。因此，针对mri脑肿瘤图像进行弱监督分割的研究，具有很大的研究空间和价值。

技术实现思路

1、针对现有技术存在的问题，本发明提出了一种基于相邻切片推理的脑肿瘤弱监督分割方法，利用切片间的关联信息进行网络训练，提高弱监督技术中类激活映射的性能，在仅使用图像级标注的情况下，进一步提高图像的分割质量。

2、为实现上述目的，本公开采用如下技术方案：

3、一种基于相邻切片推理的脑肿瘤弱监督分割方法，包括以下步骤：

4、步骤1，对mri多模态脑肿瘤图像进行预处理，得到mri多模态脑肿瘤切片图像及对应的图像级标签y；

5、步骤2，将mri多模态脑肿瘤切片图像i及其相邻的多模态脑肿瘤切片图像i-1和i+1送入到切片特征提取模块，使用特征提取器e进行特征的提取，分别获得特征图、和；

6、步骤3，将、和送入到相邻切片推理模块进行切片间信息的推理，获得切片关系矩阵；

7、步骤4，将与送入全局加权平均池化模块，得到具有代表性的特征值y；

8、步骤5，将y送入损失计算模块，通过全连接层a获得分类结果p，将p与y进行损失计算，并对e和a进行训练；

9、步骤6，将需要分割的mri多模态脑肿瘤切片图像送入到通过所述步骤1至5训练好的e中进行特征提取，得到特征图；

10、步骤7，将步骤6得到的特征图送入到通过所述步骤1至5训练好的a中进行直接计算，得到类激活映射图；

11、步骤8，将得到的类激活映射图进行二值化处理，得到最终的弱监督分割结果。

12、进一步，所述步骤1中多模态是指原生(t1)、对比后t1加权(t1ce)、t2加权(t2)以及t2流体衰减倒置恢复(t2-flair)四种模态，所述预处理包括对图像进行灰度归一化、切片操作、按照是否包含肿瘤确定标签，其中未包含肿瘤标签为{1,0}、包含肿瘤标签为{0,1}。

13、进一步，所述步骤2中，若切片处于边缘，对于无i-1的切片使用i+2代替其i-1的切片，对于无i+1的切片使用i-2代替其i+1的切片。

14、进一步，所述步骤2中的e采用现有的公开的resnet-38结构并基于pytorch框架搭建，该网络结构具有38个宽通道的卷积层。使用基于开源数据集imgenet预训练得到的网络权值作为初始训练权值，对于不同的切片特征提取器e共享权值。

15、进一步，所述步骤2中，多模态切片在送入e前先送入1×1的卷积中进行通道对齐，使得四种模态组成的四通道数据对齐到e的三通道入口。

16、进一步，所述步骤3中相邻切片推理模块基于注意力机制构建，通过7个1×1的分组卷积分别获取的查询向量、键值向量、数据项向量，和的键值向量和、数据项向量和，的计算公式为。

17、进一步，所述步骤4中y的计算公式为，其中c表示通道，h和l表示中的行和列，n表示中全部特征值的个数。

18、进一步，所述步骤5中，损失函数使用pytorch框架中多标签分类损失f.multilabel_soft_margin_loss，使用adam算法进行优化，得到e和a的最优模型参数。

19、进一步，所述步骤7中，需要对从a中所得类激活映射图进行双线性插值上采样操作与输入数据长宽对齐，再进行归一化操作，以获得最终的类激活映射图。

20、进一步，所述步骤8中使用0.6作为二值化阈值。

21、本发明还相应提取一种基于相邻切片推理的脑肿瘤弱监督分割系统，用于执行如上所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法。

22、本发明所提方法，充分利用了脑肿瘤切片及其相邻切片之间的信息，将利用相邻切片之间进行推理得到的信息用于弱监督分割网络训练中的全局加权平均池化层，通过对主切片特征图进行加权，使其在全局平均池化过程中能够充分利用切片间的相连关系，对重要位置的特征进行重点关注，从而提高类激活映射图的性能，增加对于脑肿瘤图像分割的精确度。和现有技术相比，本发明的重要贡献如下：

23、1)本发明在网络训练过程中引入相邻切片信息，针对某一切片生成融合其相邻切片的特征矩阵，使得针对脑肿瘤切片图像的推理不仅仅只局限于自身的语义信息，还能够关注到脑肿瘤在3d层面的变化和发展，增加网络训练过程中信息的丰富度。

24、2)本发明将针对某一切片所生成的融合相邻切片的特征矩阵与该切片进行点乘，通过点乘的方式进行加权，改变了原有全局加权平均池化层对于不同位置特征值给予相同关注的情况，对于有利于推断类激活映射图的重要特征值给予更多关注，进而能够提升类激活映射图的性能，增加图像分割精度。