三维脑肿瘤分割方法、装置、计算机设备和存储介质

本技术涉及图像识别，特别是涉及一种三维脑肿瘤分割方法、装置、计算机设备和存储介质。

背景技术：

1、胶质瘤是最常见的恶性脑肿瘤，具有不同程度的侵袭性。对于此类脑肿瘤，影像科医生可采用磁共振成像(mri)技术完成临床诊断。通过医学影像检测疾病是一个极具挑战性的任务，需要医务人员具备一定的专业知识和洞察能力。随着医学影像技术的普及，医学图像数据海量增多，影像科医生的工作量也日益增长。这不仅占用了医务人员的大量时间，而且容易因视觉疲劳、经验缺乏等主观因素导致其误诊、漏诊。因此，更应该寻求快速可靠、成本较低的自动诊断方法。

2、深度学习是一种复杂的人工智能技术，应用该技术可在大量样本数据中提取其中的规律、结构等更深层、更抽象的特征信息。医学影像识别是计算机视觉任务中较为典型的任务，利用深度学习对复杂特征的提取能力，可实现医学影像智能化识别。卷积神经网络在分类、分割和目标检测等视觉任务中取得了巨大的成功。在计算机辅助诊断领域中，胶质脑肿瘤识别是一种典型的图像分割任务。

3、卷积神经网络(convolutional neural network,cnn)是深度学习众多技术手段中的重要分支，长期以来，cnn是计算机视觉建模的主要范式。在图像分割领域，全卷积网络(fcn)、u-net等系列网络均取得了令人印象深刻的结果。其中，u-net系列的性能较为优异，学者们对u-net进行了各方面的改进，得到了许多变体，如u-net++、3d-unet以及unetr等，进一步提高了图像分割的性能。

4、医学影像通常为二维图像(平面图)或三维图像(立体扫描图像)，以二维图像为例，在设计面向二维医学影像的识别模型时，不仅需要考虑影像中包含的轮廓、纹理等空间信息的提取，还要考虑影像各通道包含的颜色、明暗信息的提取，以及各通道信息的融合。而对于超过2d的立体数据(例如mri立体扫描)，除了需要考虑上述二维影像的特征提取要点以外，还需要考虑不同成像模式下的空间、通道特征提取以及融合。

5、现有的3d-unet和unetr在对三维医学影像进行不同模态(或序列)下的特征信息融合，以及连续切片之间的局部特征提取的效果不佳，严重影响三维医学影像的识别准确度。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种三维脑肿瘤分割方法、装置、计算机设备和存储介质。

2、一种基于3d-unet的三维脑肿瘤分割方法，所述方法包括：

3、获取脑肿瘤mri三维影像。

4、将所述脑肿瘤mri三维影像输入到改进的3d-unet网络中，得到脑肿瘤分割结果。

5、其中，所述改进的3d-unet网络是在经典3d-unet网络的编码路径每层的双卷积模块后顺序加入双路径序列注意力机制和结构重塑注意力机制，在解码路径的除第一层和最后一层以外的所有层中的反卷积层之前加入结构重塑注意力机制得到的；所述双路径序列注意力机制用于提取不同脑部mri序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。

6、在其中一个实施例中，将所述脑肿瘤mri三维影像输入到改进的3d-unet网络中，得到脑肿瘤分割结果，包括：

7、将所述脑肿瘤mri三维影像经过五个依次连接的卷积池化模块，得到五个卷积特征图；所述卷积池化模块包括双卷积模块和最大池化层。

8、将五个所述卷积特征图分别经过由双路径序列注意力机制和结构重塑注意力机制构成的注意力机制模块，得到五个结构重塑注意力特征图。

9、将第五个所述结构重塑注意力特征图采用反卷积进行上采样处理，并将采样结果与第四个所述结构重塑注意力特征图进行序列拼接，将得到的拼接结果经过第六个双卷积模块，得到解码路径的第四层输出特征图。

10、将所述第四层输出特征图经过第二个所述结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第三个所述结构重塑注意力特征图进行序列拼接，将得到拼接结果经过第七个双卷积模块，得到解码路径的第三层输出特征图。

11、将所述第三层输出特征图经过第三个所述结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第二个所述结构重塑注意力特征图进行序列拼接，将得到拼接结果经过第八个双卷积模块，得到解码路径的第二层输出特征图。

12、将所述第二层输出特征图经过第四个所述结构重塑注意力机制后采用反卷积进行上采样处理，并将采样结果与第一个所述结构重塑注意力特征图进行序列拼接，得到解码路径的第一层输出特征图。

13、将所述第一层输出特征图经过标准三维卷积层，得到脑肿瘤分割结果。

14、在其中一个实施例中，所述双路径序列注意力机制包括：一个三维全局平均池化层、一个三维全局最大池化层、第一全连接层、第二全连接层。

15、将五个所述卷积特征图分别经过由双路径序列注意力机制和结构重塑注意力机制构成的注意力机制模块，得到五个结构重塑注意力特征图，包括：

16、将第一个所述卷积特征图输入到所述双路径序列注意力机制中，同时分别经过所述三维全局平均池化层和所述三维全局最大池化层后，得到全局平均池化特征图和全局最大池化特征图。

17、将所述全局平均池化特征图和所述全局最大池化特征图分别进行维度重塑后再进行序列拼接，得到第一序列拼接特征图。

18、将所述第一序列拼接特征图经过所述第一全连接层和relu6激活函数后再经过所述第二全连接层和sigmoid激活函数，并将得到的激活结果进行维度重塑，得到序列注意力权重。

19、将所述序列注意力权重与第一个所述卷积特征图进行元素相乘，得到第一个序列注意力特征图。

20、将第一个所述序列注意力特征图经过结构重塑注意力机制，得到第一个所述结构重塑注意力特征图。

21、依此类推，将第二个、第三个、第四个以及第五个所述卷积特征图分别经过所述注意力机制模块，得到第二个、第三个、第四个以及第五个所述结构重塑注意力特征图。

22、在其中一个实施例中，所述结构重塑注意力机制包括：由三种不同累加处理方法组成累加处理模块、矩阵相乘模块；三种不同累加处理方法包括：沿h×w平面、d×h平面、d×w平面累加各个元素。

23、将第一个所述序列注意力特征图经过所述结构重塑注意力机制，得到第一个所述结构重塑注意力特征图，包括：

24、将第一个所述序列注意力特征图输入到第一个所述结构重塑注意力机制的累计处理模块中，同时分别三种不同累加处理方法进行处理，得到三个形状不同的张量。

25、将三个所述张量经过所述矩阵相乘模块和sigmoid激活函数后，得到三维结构注意力图。

26、将所述三维注意力图与第一个所述序列注意力特征图进行元素相乘，得到第一个所述结构重塑注意力特征图。

27、在其中一个实施例中，所述双卷积模块包括两个由标准三维卷积层、三维批归一化、relu激活函数组成的卷积模块。

28、一种基于unetr的三维脑肿瘤分割方法，所述方法包括：

29、获取脑肿瘤mri三维影像。

30、将所述脑肿瘤mri三维影像输入到改进的unetr网络中，得到脑肿瘤分割结果。

31、其中，所述改进的unetr网络是在经典unetr网络的部分解码器之后添加了双路径序列注意力机制和结构重塑注意力机制得到的；所述双路径序列注意力机制用于提取不同脑部mri序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。

32、在其中一个实施例中，将所述脑肿瘤mri三维影像输入到改进的unetr网络中，得到脑肿瘤分割结果，包括：

33、将所述脑肿瘤mri三维影像经过连续12个vit模块后，将第三个、第六个、第九个和第十二个vit模块的输出特征图分别经过第一组合模块、第二组合模块、第三组合模块以及用于上采样的反卷积层后，得到第三个、第六个、第九个和第十二个中间特征；第一组合模块、第二组合模块和第三组合模块分别包括3、2、1个由一层用于上采样的反卷积层、一个标准三维卷积模块组成的网络模块；所述标准三维卷积模块由三维标准卷积层、批归一化层以及relu激活函数组成。

34、将所述脑肿瘤mri三维影像经过两个标准三维卷积模块后，得到第零个中间特征。

35、将第零个、第三个、第六个、第九个和第十二个所述中间特征分别经过结构重塑注意力机制后，得到五个不同维度的结构重塑特征图。

36、将第五个所述结构重塑特征图与第四个所述结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后，得到第四个解码器输出特征。

37、将所述第四个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制，将得到的特征图与第三个所述结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后，得到第三个解码器输出特征。

38、将所述第三个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制，将得到的特征图与第二个所述结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后，得到第二个解码器输出特征。

39、将所述第三个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制后，并将得到的特征图与第二个所述结构重塑特征图进行序列拼接，并将得到的拼接结果经过两个标准三维卷积模块，得到融合特征图。

40、将所述融合特征图经过一个双路径序列注意力机制和一层用于调整序列数的标准三维卷积层，得到脑肿瘤分割结果。

41、一种基于3d-unet的三维脑肿瘤分割装置，所述装置包括：

42、三维影像获取模块，用于获取脑肿瘤mri三维影像。

43、脑肿瘤分割模块，用于将所述脑肿瘤mri三维影像输入到改进的3d-unet网络中，得到脑肿瘤分割结果；其中，所述改进的3d-unet网络是在经典3d-unet网络的编码路径每层的双卷积模块后顺序加入双路径序列注意力机制和结构重塑注意力机制，在解码路径的除第一层和最后一层以外的所有层中的反卷积层之前加入结构重塑注意力机制得到的；所述双路径序列注意力机制用于提取不同脑部mri序列中包含的关键特征；所述结构重塑注意力机制用于引导模型找出需要重点关注的区域。

44、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法的步骤。

45、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述方法的步骤。

46、上述三维脑肿瘤分割方法、装置、计算机设备和存储介质，所述方法包括获取脑肿瘤mri三维影像；将双路径序列注意力机制以及结构重塑注意力机制融入至通用卷积神经网络3d-unet或面向三维mri影像脑瘤分割的unetr中，从而改进网络的分割性能，得到改进的3d-unet网络或改进的unetr，将脑肿瘤mri三维影像输入到改进的3d-unet网络或改进的unetr中，得到脑肿瘤分割结果；双路径序列注意力机制用于提取不同脑部mri序列中包含的关键特征；结构重塑注意力机制用于引导模型更高效的找出需要重点关注的区域。采用该方法可以实现不同序列下的特征信息融合，实现连续切片之间局部特征的提取，提高三维医学影像的识别准确度。