一种多模态医学图像分割方法

本发明涉及医学图像分割，具体涉及一种多模态医学图像分割方法。

背景技术：

1、伴随着医学、计算机技术和生物医学工程的发展，医学影像学作为视觉处理中的一个重要的研究对象，为临床提供了大量的多模态医学图像，如何利用这些多模态医学图像进行医学图像分割对患者的治疗具有重要意义。

2、目前大多数的医学图像分割模型目的在于获取到医学图像中所包含的脑、肺、肝脏、心血等生物组织信息。传统的医学图像自动分割方法主要是基于图论、形态学和形变模型等分割方法。形变模型包括参数活动轮廓模型和几何形变模型等，几何模型的代表方法是水平集方法。常用的图像分割算法几乎都是基于确定性方法的，但是在图像信息处理过程中存在着不确定性，所以一定程度上也对分割精度以及模型的泛化性有一定的影响。

3、近年来，深度学习方法得到了迅速发展，基于深度学习的图像分割算法在脑部、肝脏、肾脏等医学图像分割领域取得了显著的效果。卷积神经网络作为目前常用的深度学习方法已被广泛应用于各种器官或组织的图像分割中，这类方法主要分为图像块、语义和级联的架构。一些学者提出了全卷积网络结构，该网络可以对图像进行像素级的分类，从而可以进行语义级的图像分割。2015年,一些学者提出了u-net网络结构，该网络是基于全卷积网络结构的一种语义分割网络。2019年，一些学者出了一种基于u-net的多序列mri自动心脏分割框架来解决心脏分割问题。2020年，一些学者提出了一种基于多感受野卷积神经网络的医学图像分割方法。此外，循环神经网络在构建的结构中包含至少一个反馈连接，长短期记忆网络lstm，作为rnn的一种特殊类型，解决了其梯度消失的问题，还有一些学者使用3d lst m-rnn对mri图像进行分割，大大提高了网络训练效率。

4、上述分割方法存在分割轮廓模糊，设备要求极高，不易从多方面对分割结果进行可视化等问题。因此，一个高分割精度且可对分割目标进行多维可视化的方法是亟待解决的问题。为此，提出一种多模态医学图像分割方法。

技术实现思路

1、本发明所要解决的技术问题在于：如何解决现有分割方法存在的分割轮廓模糊，设备要求极高，不易从多方面对分割结果进行可视化等问题，提供了一种多模态医学图像分割方法，使用多模态医学图像作为输入，在考虑到所分割目标边界和精度的前提下，通过二维和三维的分割方法提取多模态医学图像特征信息，之后使用特征融合方法，将不同维度的特征进行特征融合，使得最终的分割结果既有获得上下文信息的同时，又可以对分割目标进行多维展示，为医疗诊断提供更为精准且多维的图像依据。

2、本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

3、s1：图像预处理

4、读取原始图像，对原始图像进行预处理；

5、s2：构建2d、3d分割网络

6、构建2d、3d分割网络，利用构建的2d、3d分割网络对预处理后的图像进行分割，得到2d、3d分割结果；

7、s3：图像融合

8、对3d分割结果进行切片处理，进行图像融合；

9、s4：切片拼接

10、对融合结果进行切片拼接，得到最终分割结果。

11、更进一步地，在所述步骤s1中，包括以下过程：

12、s11：读取到原始图像后，将图像通过z-score的方法进行正则化得到图像m1：

13、m1＝z_score(m)

14、其中，m为输入图像，z_score为标准分数法；

15、s12：通过以下操作得到进行中心化的图像m2：

16、

17、其中，m1_depth、m1_width、m1_height分别为图像m1的深度、宽度、高度；

18、s13：对于2d分割网络根据标签位置对图像m2进行切片处理，对于3d分割网络根据深度对图像m2进行切块处理，得到m2d和m3d：

19、m2d＝sectiondepth(m2)

20、m3d＝choppingsize(m2)

21、其中，sectiondepth表示使用深度数进行切片处理，choppingsize表示根据size的尺寸进行切块处理；

22、s14：对于多模态数据，通过将各个模态的切片或者切片合并组合为多通道，最后保存为数组的形式传入对应的分割网络，数组形式具体如下：

23、numpy2d＝(width,height,modality)

24、numpy3d＝(width,height,size,modality)

25、其中，width、height、size、modality分别对应输入网络的长、高、尺寸大小、模态数量。

26、更进一步地，在所述步骤s2中，2d分割网络包括第一编码器、第一解码器；所述第一编码器包括第一卷积块和第一下采样层，张量通过第一卷积块后进行下采样获得不同尺寸的特征图；所述第一解码器包括第二卷积块和第一反卷积层，通过第一反卷积层进行尺寸还原再进入第二卷积块；在第一编码器和第一解码器中间通过ce通道注意力机制获取不同通道间信息，并在对应层之间通过跳跃连接获取不同层次的特征。

27、更进一步地，第一卷积块与第二卷积块相同，每个卷积块包括两个2d卷积层，每一个2d卷积层后通过批次归一化和relu函数进行激活处理，如下所示：

28、

29、其中，x2dinput，为通过2d卷积层的输入和输出，relu为relu激活函数，batchnormalization2d为批次归一化操作，conv2d表示2d卷积操作，kernel为卷积核大小，padding为卷积填充长度。

30、更进一步地，在所述步骤s2中，3d分割网络包括第二编码器、第二解码器；所述第二编码器包括第三卷积块和第二下采样层，张量通过第三卷积块后进行下采样获得不同尺寸的特征图；所述第二解码器包括第四卷积块和第二反卷积层，通过第二反卷积层进行尺寸还原再进入第四卷积块，在第二编码器和第二解码器中间通过cbam空间注意力机制获取不同特征图更多的空间信息，并在对应层之间通过跳跃连接获取不同层次的特征。

31、更进一步地，第三卷积块和第四卷积块相同，每个卷积块包括两个3d卷积层，每一个3d卷积层后通过批次归一化和relu函数进行激活处理，如下所示：

32、

33、其中，x3dinput，为通过3d卷积层的输入和输出，relu为relu激活函数，batchnormalization3d为批次归一化操作，conv3d为3d卷积操作，kernel为卷积核大小，padding为卷积填充长度。

34、更进一步地，在所述步骤s3中，包括以下过程：

35、s31：将3d分割结果根据深度进行切片处理，获得2d切片；

36、s32：与2d切片对应的2d分割结果进行特征融合，获得新的2d融合结果。

37、更进一步地，在所述步骤s32中，将2d分割结果通过剪切波进行信号分解，获得图像的频率子带，对于低频系数，采用基于区域系数绝对值和权重融合规则进行处理，对于高频系数，计算其支持向量值，确定高频融合系数，最后根据逆平移不变剪切波变换重建图像。

38、9.根据权利要求8所述的一种多模态医学图像分割方法，其特征在于：剪切波公式如下：

39、

40、其中，det为矩阵的行列式，a尺度变换矩阵，b为剪切矩阵。

41、更进一步地，在所述步骤s4中，拼接的具体过程如下：创建原图像空白矩阵z1,根据融合图像切片序列号进行中心填充，其余空白区域用空值进行填充，获得拼接图像z2。

42、本发明相比现有技术具有以下优点：该多模态医学图像分割方法，通过使用多模态信息，使得医学图像可以得到更充分的利用；通过2d、3d分割网络结合通道注意力机制，使得各个模态的信息实现互通互补；基于2d、3d分割结果进行融合，使得分割结果精度更高，分割结果边缘更清晰；提供了不同维度、不同模型的分割结果，为医疗诊断提供更为精准多维的图像依据。