基于U-Net和Transformer融合改进的心脏MRI分割方法及系统

本发明属于计算机视觉和医学图像分割的，在心脏磁共振图像分割中，针对现有图像语义分割在医学图像分割领域应用的一系列问题，提出了一种基于u-net和transformer融合改进的心脏mri分割方法，用来实现心脏mri的精准分割。

背景技术：

1、医学影像：医学领域的图像与生活中的自然图像具有较大差异，它们的区别如下：(1)医学图像具有丰富的格式，每个格式都有各自的关注点，比如mri能更高效的对软组织进行检测，x-ray观测骨骼更清楚等。不同型号的成像设备输出的成像结果也在一定程度上存在大大小小的差异。(2)医学影像的像素值范围很大，比如ct一般会在一千以上。(3)受个体自身差异、成像原理和成像设备的影响，医学图像通常包含更多的噪声。同时噪声在空间约束和位置上是分开的，所以可以通过噪声的分布进行降噪，需要注意的是，图像细节的保留问题也是需要考究的。(4)医学图像通常会存在伪影。伪影是在三维重建以及图像配准中产出的，原则上，伪影只能减少，不能去除。

2、语义分割：语义分割属于像素级别的分类，在有狗和猫的图片中，狗的像素会被归为一个类别，猫的像素会被归为另一类别，同时背景像素也被归为一种类别。由此可见语义分割是从像素级别去理解图像。语义分割任务对分类精度和定位精度要求极高：不仅要精确的定位物体的轮廓边界，还要精准的分类轮廓内的区域，这样才能从背景中精准的分割出对象。

3、卷积神经网络：卷积神经网络大部分被用来进行物体对象的精准定位，该功能是预测要定位的对象的目标框，之后进行预处理，比如通过裁剪图片等手段来降低计算消耗。卷积神经网络各层中的神经元通过三个维度的方式组成。三个维度中有两个维度往往包含图像的高度和宽度，而第三个维度通常表示特征图的通道数，具体大小通常由卷积核的数量决定。卷积神经网络的基本构造分为输入层、卷积层、激活函数、池化层和全连接层。

4、u-net：u-net虽然也属于全卷积神经网络，具备编-解码器结构，但与普通的全卷积神经网络还是有区别的，最大的区别在于修复下采样中丢失的细节信息的手段是借助跳跃连接，通过该结构产生更精细的分段。u-net是基于fcn网络的思想设计的，整个网络只有卷积层，没有全连接层。在全卷积神经网络的浓缩路径中，图像分辨率逐渐降低，上下文信息会逐渐增强。在扩展路径中，通过上采样的方式，让特征图的分辨率逐渐增大。同时，为了结合浅层feature map的强位置信息，将浓缩路径中的相应部分结合到扩展路径中。u-net通过多个跳层连接把高分辨率的信息(比如精确的分割定位信息)和低分辨率信息(比如对象的分类识别)有效的的聚合到了一起，能够实现精确的分割，所以在医学领域的影像分割中被广泛使用。

5、transformer:transformer模型是一种神经网络，它通过跟踪序列数据中的关系(比如这句话中的单词)来学习上下文并学习含义。transformer模型应用了一组不断发展的数学技术，称为注意力或自我注意力，以检测系列中遥远的数据元素相互影响和相互依赖的微妙方式。一个标准的transformer的组成结构包括一个编码器(encoder)和一个解码器(decoder)，这里的编码器解码器结构和全卷积神经网络略有不同，这里的解码器包括一个编解码器注意力层，一个前馈神经网络以及一个自注意力层，而编码器包括一个前馈神经网络和一个自注意力层。自注意力机制(self-attention)结构是transformer网络中最关键的要素，其中用到的q，k，v矩阵是通过将输出进行线性变换得到的。transformer能够捕捉单词之间多个维度中的注意力分数，之所以能达到这样的效果的原因在于transformer里的注意力机制是多头注意力机制(multi-head attention)。

6、现有心脏mri分割技术主要通过深度学习算法对心脏磁共振图像中的不同组织进行分割，该技术通常用于医学影像诊断以及治疗方案设计等领域，对于心血管疾病的治疗有着重大意义。目前基于深度神经网络的心脏mri分割方法众多，但是仍然存在以下问题：第一，由于心脏构造复杂，子结构边界模糊，并且在图像采集中会因为心脏搏动产生运动伪影和噪声，从而导致对心脏结构的精确定位和分割十分困难；第二，在图像分割中表现突出的u-net网络受限于卷积网络的局部视野特性，制约了全局上下文信息的提取能力，不利于精准分割。

技术实现思路

1、针对以上提出的问题进行研究，构建了一种基于u-net和transformer融合改进的医学图像分割模型cmt-unet，提高了心脏mri分割精度。

2、另一方面，本发明提供一种基于u-net和transformer融合改进的心脏mri分割方法，包括以下步骤：

3、步骤1，数据预处理，包括首先对图像进行零均值标准化，并进行数据增强处理以扩充训练数据；

4、步骤2，利用transformer优化u-net跳跃连接，包括将transformer嵌入到网络中多个跳跃连接上，构成transformer跳跃连接结构，通过该结构对编码器输出的语义特征进行特征再提取，过滤与任务不相关的语义特征和噪声特征；

5、步骤3，基于多粒度特征优化u-net跳跃连接，包括对u-net的bottleneck层以及bottleneck层上方skip1,skip2层上嵌入的transformer进行改进，通过空间转换unfold构建多粒度特征，让改进的transformer提取到多粒度的上下文信息；

6、步骤4，基于交叉注意力机制优化u-net跳跃连接，包括基于交叉注意力机制对transformer进行改进，将基于交叉注意力机制改进的transformer记作ca-mgtransformer，在skip3,skip4层中嵌入改进后的transformer进行编码器解码器的特征融合，在加入的ca-mg transformer的多头注意力层中计算需要的查询输入序列来自skip3,skip4层本身，而计算需要的键值序列来自bottleneck层，通过交叉注意力计算交互捕捉到的远程交互信息，同时引入尺度较低的bottleneck层特征图作为键值对序列；

7、步骤5，根据构建好的模型对心脏mri数据进行训练，将得到的心脏左心室、右心室、心肌以及背景相应像素概率值再按照不同的像素值进行分类，从而达到不同区域的分割效果，最终得到分割好的标注结果。

8、而且，对数据的数据增强操作包括弹性形变、平移、缩放和随机旋转。

9、而且，所述利用transformer优化u-net跳跃连接的实现方式如下，

10、步骤2.1，构建编码器，包含五个卷积-批归一化-relu激活函数模块，每层卷积-批归一化-relu激活函数模块后面都跟着一个maxpooling操作来进行下采样，采用这种逐步下采样的方式将原始图像编码为低分辨率的特征图来提取抽象的语义信息，同时得到丰富的局部上下文信息；

11、步骤2.2，构建用于高层语义特征增强的transformer模块；

12、步骤2.3，构建跳跃连接结构，包括在编码器与解码器对应的特征图进行拼接之前，首先将编码器的特征图输入到transformer中提取全局上下文信息，然后再与解码器对应的特征图进行融合，在bottleneck层以及之上的两个跳跃连接中加入transformer，将这两个跳跃连接对应的编码器中的特征图输入transformer后再与解码器中对应位置的特征图以相加的方式进行融合，而最后两个跳跃连接依然以原来的直接拼接的方式来完成；

13、步骤2.4，构建解码器，包含四个上采样模块，以逐步上采样的形式逐步恢复特征图大小，从而在最后一层得到与原始图像大小一样的分割结果。

14、而且，所述基于多粒度特征优化u-net跳跃连接的实现方式如下，

15、步骤3.1，利用unfold构建多粒度特征；

16、步骤3.2，基于多粒度特征改进transformer，包括将特征图x通过flattern操作展开为二维向量，之后加上位置编码得到向量v，这里的位置编码采用可学习的位置编码，然后将该向量经过reshape操作，恢复到三维向量v′，此时维度为(h,w,c)，方便提取局部信息；再通过不同窗口大小的unfold操作提取局部信息，构建多粒度特征；

17、经上述处理之后，周围的局部结构被嵌入到生成的token中，并被输入到transformer中的多头注意力层进行计算；fold操作相当于unfold操作的逆向操作，把多头注意力层输出的token重新转换为三维张量f，其次通过flattern操作展开成二维向量f′，之后对二维向量f′进行sum求和得到新的二维向量z；接着对二维向量z进行layer norm归一化处理，输入到mlp多层感知机，然后加上残差连接；经过以上操作之后将输出的特征向量z″与对应上采样中同一层的特征向量相融合。

18、而且，所述基于交叉注意力机制优化u-net跳跃连接的实现方式如下，

19、步骤4.1，计算attention机制，包括借助键值对中的键key和query查询输入序列计算权重分数，利用权重分数映射到键值对的值value上去；

20、步骤4.2，交叉注意力机制是利用一个序列用作查询q的输入，另一层序列作为键和值输入(k,v)，定义交叉注意力机制的两个嵌入序列为s1，s2，则计算这两个序列的交叉注意力的公式如下：

21、attention(s1,s2)＝softmax((wqs1)(wks2)t)wvs2

22、首先计算s2序列的(k,v)，同时计算s1序列的q，然后根据计算得出的k和q计算注意力矩阵，这里的wq,wk,wv表示权重矩阵，attention表示最终计算得到的注意力结果；再通过softmax函数计算得到注意力的权重，然后将得到的权重映射到对应的v上，最终输出s1序列和s2序列的交叉注意力结果；

23、步骤4.3，从编码器enc1,enc2经过改进后的transformer跳跃连接到解码器进行特征融合的计算过程如下，

24、

25、i＝reshape(flatten(e)+pe)

26、a＝mca(qunfold(i),kbn,vbn)

27、u＝add(flatten(fold(a)))

28、z＝u+mlp(layernorm(u))

29、其中，下标代表q来自skip4层的编码器enc1或者skip3层的编码器enc2，x表示特征图输入，通过encoder模块从编码器输出特征信息，再通过flatten展平操作展开为二维序列，加上位置编码注意力向量pe，再通过reshape操作恢复成三维向量i；将得到的i通过unfold输出转换成为查询输入序列，再和bottleneck层得到的键值对序列一起输入到多头注意力层mca中进行注意力计算，下标bn用于标识bottleneck层，a就是基于交叉注意力机制改进transformer后注意力计算交互的结果，接着对得到的注意力结果通过fold操作还原，然后再经过flatten展平操作展开成向量，然后通过add操作相加得到结果u，然后经过层归一化layernorm操作，输入到多层感知机层mlp，然后和u相加，得到输出z，然后输出，mca表示多头交叉注意力机制。

30、另一方面，本发明还提供一种基于u-net和transformer融合改进的心脏mri分割系统，用于实现如上所述的一种基于u-net和transformer融合改进的心脏mri分割方法。

31、而且，包括以下模块，

32、第一模块，用于数据预处理，包括首先对图像进行零均值标准化，并进行数据增强处理以扩充训练数据；

33、第二模块，用于利用transformer优化u-net跳跃连接，包括将transformer嵌入到网络中多个跳跃连接上，构成transformer跳跃连接结构，通过该结构对编码器输出的语义特征进行特征再提取，过滤与任务不相关的语义特征和噪声特征；

34、第三模块，用于基于多粒度特征优化u-net跳跃连接，包括对u-net的bottleneck层以及bottleneck层上方skip1,skip2层上嵌入的transformer进行改进，通过空间转换unfold构建多粒度特征，让改进的transformer提取到多粒度的上下文信息；

35、第四模块，用于基于交叉注意力机制优化u-net跳跃连接，包括基于交叉注意力机制对transformer进行改进，将基于交叉注意力机制改进的transformer记作ca-mgtransformer，在skip3,skip4层中嵌入改进后的transformer进行编码器解码器的特征融合，在加入的ca-mg transformer的多头注意力层中计算需要的查询输入序列来自skip3,skip4层本身，而计算需要的键值序列来自bottleneck层，通过交叉注意力计算交互捕捉到的远程交互信息，同时引入尺度较低的bottleneck层特征图作为键值对序列；

36、第五模块，用于根据构建好的模型对心脏mri数据进行训练，将得到的心脏左心室、右心室、心肌以及背景相应像素概率值再按照不同的像素值进行分类，从而达到不同区域的分割效果，最终得到分割好的标注结果。

37、或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于u-net和transformer融合改进的心脏mri分割方法。

38、或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于u-net和transformer融合改进的心脏mri分割方法。

39、本发明的优点：(1)将transformer嵌入到网络中多个跳跃连接上，构成了一种transformer跳跃连接结构。该结构能够对编码器输出的语义特征进行特征再提取，过滤掉与任务不相关的语义特征和噪声特征，从而促进了编-解码器上的多级特征的融合。(2)对嵌入的transformer进行改进，发挥该模块建立全局依赖的优势，提高模型对局部信息的关注度。通过多个不同窗口大小的unfold构建不同粒度的特征，同时保留信息的完整性，改进后的transformer提取到了多粒度的上下文特征，弥补了对卷积网络造成的干扰，从而获得性能上的提升。(3)利用嵌入的transformer构建u-net深层语义信息和浅层细节信息的交叉注意力，降低无关语义信息的干扰。在捕获更丰富的全局特征的同时也能够降低计算复杂度，以此提高浅层编解码器之间的特征融合的全局性，实现更丰富的特征融合效果。最终实现更高精度的心脏mri分割效果。