基于高效自注意力机制混合神经网络的医学影像分割方法

本公开实施例涉及图像处理，尤其涉及一种基于高效自注意力机制混合神经网络的医学影像分割方法。

背景技术：

1、卷积神经网络被广泛用于计算机辅助的医学影像分割任务，其能提供空间中目标器官或组织的位置、形状及相互关系，对辅助医生进行临床决策、降低影像分析的人工成本非常重要。然而，由于卷积核固有的局部特性，卷积神经网络在学习特征点间的远程依赖关系上存在局限性。本技术提出了一个可用于腹部ct影像自动分割的网络模型，通过将基于自注意力(self-attention)机制所构建的transformer网络与卷积网络所结合，该混合神经网络可以同时提取局部和全局上下文特征。同时，提出了一个高效的自注意力模块以降低transformer网络的计算复杂度和训练内存占用。

2、相关技术中，利用空洞卷积代替池化层来进行特征提取，在扩大感受野的同时维持了特征图的空间分辨率，降低了空间位置信息的损失；并且，提出了膨胀率不同的空洞卷积以提取多尺度特征。该方法利用膨胀率不同的空洞卷积来构建分割网络，空洞卷积可以在不降低输出特征图尺寸的情况下在更大的感受野上提取特征，但与常规卷积层类似，其仍受限于卷积核的局部特性而无法获取全局上下文特征。

技术实现思路

1、为了避免现有技术的不足之处，本技术提供一种基于高效自注意力机制混合神经网络的医学影像分割方法，用以解决现有技术中存在基于卷积网络的医学影像分割模型不能提取全局特征而无法对小尺寸的目标或细节部位进行精确分割，以及常规的自注意力模块计算复杂度和内存占用高的问题。

2、根据本公开实施例，提供一种基于高效自注意力机制混合神经网络的医学影像分割方法，该方法包括：

3、构建编码网络，所述编码网络包括依次连接的第一编码网络卷积层、第二编码网络卷积层、第三编码网络卷积层和第四编码网络卷积层；

4、利用所述编码网络对医学影像数据进行特征提取，分别得到第一局部特征图、第二局部特征图、第三局部特征图和第四局部特征图；

5、构建解码网络，所述解码网络包括依次连接的第一特征融合模块、第一解码网络卷积层、第二特征融合模块、第二解码网络卷积层、第三特征融合模块和第三解码网络卷积层，所述第一特征融合模块与所述第三编码网络卷积层、所述第二特征融合模块与第二编码网络卷积层、所述第三特征融合模块与所述第一编码网络卷积层均利用长跳跃连接；

6、利用所述解码网络对所述第一局部特征图、所述第二局部特征图、所述第三局部特征图和第四局部特征图进行特征融合和空间分辨率的恢复，分别得到第一融合特征图、第二融合特征图和第三融合特征图；

7、基于标准多头自注意力模块，通过矩阵交换律改变点积的顺序将模块计算量降低为像素数的线性倍数，多个自注意力头共享同一个注意力图以进一步降低内存占用，使用同一个线性映射得到key和value值以进一步降低所述模块计算量，以构建高效自注意力模块；

8、将若干个所述高效自注意力模块串联，以构建transformer网络；

9、所述transformer网络对所述第一融合特征图进行处理，以得到全局特征；

10、利用分割模块对所述全局特征进行处理，以得到分割图。

11、进一步的，所述第一编码网络卷积层由4个第一残差块构成，所述第二编码网络卷积层由4个第二残差块构成，所述第三编码网络卷积层由6个所述第二残差块构成，所述第四编码网络卷积层由3个所述第二残差块构成。

12、进一步的，所述第一残差块包括3个堆叠的3×3卷积层，所述第二残差块包括2个1×1卷积层和1个3×3卷积层。

13、进一步的，利用所述编码网络对医学影像数据进行特征提取，分别得到第一局部特征图、第二局部特征图、第三局部特征图和第四局部特征图的步骤中，包括：

14、所述第一编码网络卷积层对所述医学影像数据进行特征提取，得到所述第一局部特征图e1；

15、所述第二编码网络卷积层对所述第一局部特征图进行特征提取，得到第二局部特征图e2；

16、所述第三编码网络卷积层对所述第二局部特征图进行特征提取，得到第三局部特征图e3；

17、所述第四编码网络卷积层对所述第三局部特征图进行特征提取，得到第四局部特征图e4。

18、进一步的，所述利用所述解码网络对所述第一局部特征图、所述第二局部特征图、所述第三局部特征图和第四局部特征图进行特征融合和空间分辨率的恢复，分别得到第一融合特征图、第二融合特征图和第三融合特征图的步骤中，包括：

19、利用第一特征融合模块对所述第三局部特征图e3和所述第四局部特征图e4进行上采样和相加融合操作，所述第一解码网络卷积层对操作后的结果进行特征融合，得到所述第三融合特征图d3；

20、利用第二特征融合模块对所述第三融合特征图d3和所述第二局部特征图e2进行上采样和相加融合操作，所述第二解码网络卷积层对操作后的结果进行特征融合，得到所述第二融合特征图d2；

21、利用第三特征融合模块对所述第二融合特征图d2和所述第一局部特征图e1进行上采样和相加融合操作，所述第三解码网络卷积层对操作后的结果进行特征融合，得到所述第三融合特征图d1。

22、进一步的，将所述编码网络中的所述第四局部特征图e4流向所述解码网络的所述第一融合特征图d1；在该过程中，利用所述长跳跃连接分别与所述第一特征融合模块、所述第二特征融合模块和所述第三特征融合模块对对所述第一局部特征图、所述第二局部特征图、所述第三局部特征图和第四局部特征图进行特征融合和空间分辨率的恢复，该过程可表示为：

23、d4＝e4,

24、dn＝conv3×3(up2×(conv1×1(dn+1))+en),n＝3,2,1,

25、其中，conv1×1表示用1×1的卷积层来对局部特征图进行维度调整；conv3×3表示用3×3的卷积层来对特征进行融合；up2×表示利用双线性插值法进行上采样。

26、进一步的，所述基于标准多头自注意力模块，通过矩阵交换律改变点积的顺序将模块计算量降低为像素数的线性倍数，多个自注意力头共享同一个注意力图以进一步降低内存占用，使用同一个线性映射得到key和value值以进一步降低所述模块计算量，以构建高效自注意力模块的步骤中，包括：

27、使用线性投影从输入的一维序列中计算第一特征向量query、第二特征向量key和第三特征向量value的值，其中，所述第二特征向量key和所述第三特征向量value共享同一个线性投影：

28、

29、

30、其中，分别表示第i个自注意力头的第一特征向量query、第二特征向量key和第三特征向量value序列，di表示特征维数，n特征点个数，表示线性映射中的可训练参数，σ表示归一化操作；

31、计算第i个注意力图ai，通过所述矩阵交换律将所述标准多头自注意力模块中的计算顺序由(q·k)·v变为q·(k·v)，然后用注意力图对qi进行转化：

32、ai＝softmax(ki)tvi,sai＝softmax(qi)ai,,

33、其中，t表示转置，sah为第h个自注意头的输出，softmax表示归一化函数；

34、利用自注意力头共享机制进一步降低内存占用，即总计s个所述自注意力头使用同一个所述注意力图ashare：

35、ashare＝softmax(kt)v,sai＝softmax(qi)asharre.

36、将所有s个所述自注意头的输出并联，并用投影将特征维度映射回

37、esa＝wp[sa1；…；sas]t,

38、其中，esa表示高效自注意力模块的输出。

39、进一步的，所述transformer网络对所述第一融合特征图进行处理，以得到全局特征的步骤中，包括：

40、将所述transformer网络用于所述解码网络所输出的最高分辨率的所述第一融合特征图d1上学习全局上下文特征，以得到所述全局特征：

41、g＝transformer(d1)

42、其中，transformer表示学习全局上下文特征特征操作。

43、进一步的，利用分割模块对所述全局特征进行处理，以得到分割图的步骤中，包括：

44、在所述全局特征图g上，利用1×1卷积层所构建的分割模块得到分割图p：

45、p＝conv1×1(g)；

46、其中，conv1×1表示用1×1的卷积层来对全局特征图进行维度调整。

47、本公开的实施例提供的技术方案可以包括以下有益效果：

48、本公开的实施例中，通过上述基于高效自注意力机制混合神经网络的医学影像分割方法，一方面，首先，利用卷积层构建编码网络，通过多个卷积模块来逐步降低特征图的空间分辨率以扩大感受野，从而提取到不同尺度的局部特征和高层次的语义信息；然后，再构建解码网络，使用跳跃连接和特征融合模块将低分辨率的特征图借助编码网络中间层级的特征图进行逐步的融合和空间分辨率的恢复；最后，将矩阵交换律、映射共享和注意力图共享操作相结合提出高效自注意力模块，并在解码网络输出的最高分辨率特征图上，利用该高效自注意力模块搭建transformer网络来提取全局上下文特征。另一方面，利用编码网络提取具有不同感受野的多尺度局部特征图，然后利用长跳跃连接和解码网络中的特征融合模块将多层级的卷积特征融合到最高分辨率特征图中，为transformer网络的推理提供了多层次的局部特征；另外，将矩阵交换律、映射共享和注意力图共享等操作相结合有效降低了常规自注意力模块的计算复杂度和模型训练内存占用；在最高分辨率的特征图上构建transformer网络获取全局上下文特征，避免了细节特征的丢失，有效提高了对小尺寸物体的分割精度。