基于UNet3+的混合注意力机制卒中分割网络PCMA-UNet

本发明属于图像及疾病诊断，具体涉及基于unet3+的混合注意力机制卒中分割网络pcma-unet

背景技术：

1、卒中是脑血管疾病的最常见的表现形式具有高发病率、高致残率、高死亡率、高复发率、高经济负担的特点，是导致成年人死亡和残疾的三大主要原因之一。2020年美国心脏协会关于卒中的统计报告估计，美国卒中患病率为2.5%，相当于与700万20岁以上的美国人遭受过中风，将近15万人死亡。卒中可分为出血性卒中和缺血性卒中两大类，缺血性卒中的发病率约占总数的87%。美国每年大约有70万人患有缺血性卒中，患者中一半以上有中度至重度神经功能缺损，30天内病死率在10%-17%之间。

2、目前的卒中早期治疗策略均具有高度的时间依赖性，溶栓治疗是挽救缺血性脑组织患者性命的主要治疗方法，缺血性卒中发病3-4.5小时内予静脉溶栓可有效改善长期预后结果。因此，对于缺血性卒中患者，缩短发病至血管再通时间对卒中的转归至关重要，快速准确的卒中病情诊断可以有效地降低致死和致残率。临床上，医生通常使用头颅核磁共振成像（magnetic resonance imaging, mri）来观测卒中病灶。量化卒中病变有助于医生评估患者病情，制定治疗方案。然而，卒中病变的位置和形状存在显著差异，根据疾病严重程度，病变体积可从数百立方毫米到数万立方毫米不等，病变区域可发生在大脑、小脑和大脑其他区域，病变边缘也不清晰。在mri中，描述病变的金标准是手工分割，这一过程非常耗时和主观。因此，精确的自动分割是一个具有挑战性的问题。

3、基于计算机的自动医疗影像处理正越来越多地进入临床常规，利用计算机辅助诊断技术可以准确分割影像中的缺血病灶，节约医生手动勾画的时间和精力，减少不同医生的主观影响，在超急性期缺血性卒中快速筛查和早期临床辅助决策中具有巨大的潜在价值。在深度学习领域，卷积神经网络凭借其独特的自主学习能力，在医学影像分割领域中展现了强大的潜力。2015年，ronneberger等提出unet模型用于医学影像分割任务，利用跳跃连接融合不同阶段特征图，以提高图像分割准确率。gu等人针对unet存在的空间信息丢失的问题提出了一种上下文编码器网络ce-net，利用密集的空洞卷积块来编码高级语义特征映射，以捕获更高级的抽象特征和保留更多的空间信息。zhou等提出的unet++使用嵌套密集的跳跃连接间接融合了多个不同层次的特征，进一步缩小编码器和解码器之间的语义鸿沟。huang等提出unet3+在不同的尺度之间进行跳跃连接，每一个解码器层都融合了来自编码器中的小尺度和同尺度的特征图，以及来自解码器的大尺度的特征图，这些特征图捕获了全尺度下的细粒度语义和粗粒度语义，这使医学影像中不同部位不同病灶的分割效果均良好。

4、但由于unet3+只利用了浅层特征预测，导致深层语义特征没有得到充分利用，影响了网络对目标的精准定位。另外，unet3+通过上采样可获取不同尺度的特征图，但是缺乏对特定图像分割最合适尺度的意识，从而使分割效果并不理想，依然存在一些漏分割和误分割等现象。

技术实现思路

1、本发明的目的是为解决上述问题，提供一种基于unet3+的混合注意力机制的分割网络pcma-unet及其在卒中影像处理方面的应用

2、基于unet3+的混合注意力机制的分割网络pcma-unet，采用unet3+为框架，编码器进行下采样得到不同尺度特征图，通过金字塔挤压注意力psa得到不同尺度空间信息，再连接坐标注意力ca以保留特征图位置信息；使用全尺度跳跃连接，将每层不同尺度解码器输出的不同尺度特征图进行拼接，输入多尺度注意力msa，获得网络分割结果；

3、所述的金字塔挤压注意力psa，包括：首先，通过拆分和拼接spc模块，得到了在通道方向上的多尺度特征图；其次，利用seweight模块提取不同尺度的特征图的注意力，得到各通道特征权重；第三，利用softmax重新校准通道级特征权重，得到多尺度通道的权重。第四，通过像素乘积重新校准的权重和相应的特征图，得到一个具有更丰富的多尺度特征信息的精细化特征图作为输出；

4、所述的拆分和拼接spc模块包括：

5、将输入拆分为4个部分，提取4个部分不同尺度特征进行拼接，可表示为：

6、（1）

7、分别表示不同尺度的特征图，cat为拼接操作是得到的多尺度特征图；

8、通过从多尺度预处理特征图中提取信道注意力权值信息，得到了不同尺度的注意权值向量；注意权重的向量可以表示为：

9、（2）；

10、所述的seweight模块：它是从不同尺度的输入特征图中获得注意权重，使psa模块可以融合不同尺度的上下文信息，增强有用特征，抑制无用特征；使用softmax来获得多尺度通道的重新校准的权重，其中包含了空间上的所有位置信息和通道中的注意权重；将特征重校准的通道注意进行串联融合，从而得到整个通道注意向量为：

11、（3）

12、（4）

13、表示注意交互作用后的多尺度通道权重；将重新校准的多尺度通道注意的权重与相应尺度的特征图相乘为：

14、（5）

15、表示具有所多尺度通道方向的注意权值的特征图；最后串联所有尺度特征可得最后输出：

16、（6）。

17、所述的坐标注意力ca包括：坐标信息嵌入和坐标注意力生成两部分：

18、1）坐标信息嵌入

19、ca机制将全局池化分解，转化为两个并行的一维的特征编码；给定输入特征图，将全局池化操作分别沿着输入特征图的水平方向和垂直方向进行池化操作，可获得输入特征图的相关位置信息，分别为当前注意力模块对应的特征图的高度和宽度，数值会随着下采样而改变，高度为的第个通道输出为：

20、（7）

21、宽度为的第个通道输出为：

22、（8）；

23、2）坐标注意力生成

24、 在空间维度上将上述两个变换拼接，并使用1×1卷积来压缩通道；然后使用批归一化和非线性来编码垂直和水平方向的空间信息；接着使用1×1卷积对编码的信息进行分割，得到沿水平方向和垂直方向两个特征张量，并调整注意图的通道，使等于输入特征图的通道数；使用sigmoid函数进行归一化和加权融合；最终的输出可以表示如下：

25、（9）

26、为输入特征图，和分别表示高度和宽度空间方向上的注意力权重。

27、根据权利要求4所述的基于unet3+的混合注意力机制的分割网络pcma-unet，其特征在于：

28、所述的多尺度注意力msa，

29、将解码器获得的不同尺度特征图使用双线插值法上采样到与原始图像相同尺寸，使用卷积将这些特征图压缩为4个通道并进行拼接得到一个混合特征图，将其作为多尺度注意力模块的输入；输入经过平均池化、最大池化和多层感知机结合的模块，以获得每个通道的协同系数，可利用其自适应的调整分割对象的尺度信息；为了在每个像素上分布多尺度软注意力权重，另外引用空间注意力模块来获得像素级尺度注意力系数；它以作为输入，包括一个和一个的卷积层，第一层经过激活函数连接第二层，最后经过输出通道为4；其最终输出为：

30、    （10）

31、使用残差连接来促进训练中的信息传递，尺度注意力模块可获得网络获取分割目标最合适的比例大小。

32、所述的基于unet3+的混合注意力机制的分割网络pcma-unet在卒中影像处理方面的应用。

33、本发明提供了基于unet3+的注意力机制网络pcma-unet用于医学影像分割：

34、1）在编码阶段，unet3+下采样获得特征图后引入金字塔挤压注意力（pyramidsqueeze attention，psa），提取特征图不同尺度空间信息获得丰富的图像上下文信息。

35、2）引入坐标注意力（coordinate attention, ca），强调有用特征，抑制不相关特征，提高网络对位置信息和通道信息的获取能力，降低下采样带来的影响。

36、3）在解码阶段，网络输出端引入多尺度注意力（multi scale attention, msa），融合不同尺度的特征，自适应获取不同尺度特征的重要性，进一步增强了特征的表达能力。

37、在编码阶段引入psa，可以有效地提取多尺度空间信息，并建立长期的信道依赖性。接着，将提取到的特征图通过ca突出更相关的特征信息，在网络引入msa将不同级别的语义信息进行聚合。实验结果表明，cama-net优于当前主流网络模型分割性能，一定程度提升了分割准确率。