一种基于双注意力机制的脑部磁共振图像配准方法

1.本发明属于医学图像处理技术领域，具体涉及到一种用于脑部磁共振图像配准的方法。


背景技术：

2.大脑是人体最重要的器官之一，脑部疾病给人体健康带来的影响也是最致命的。磁共振成像是一种对软组织成像良好的非入侵式辅助诊断工具，在脑部疾病筛查、诊断、治疗引导和评估中发挥着重要作用。配准后的脑部磁共振图像融合了两幅图像之间的信息，能够为医生判断病情提供更多的可靠信息，在病灶定位、手术导航和预后评估等方面发挥重要作用。目前，医院多使用传统迭代配准算法来完成配准任务，虽然这种配准方式能实现较好的配准精度，但是每次迭代需要耗费大量的配准时间，不能满足临床治疗的需求。随着计算机硬件的发展和卷积神经网络(convolutional neural network,cnn)的出现，基于深度学习的医学影像配准算法逐渐出现并且成为当下的研究热点。2015年，ronneberger等人基于全卷积网络(full convolutional network,fcn)提出了u
‑
net模型。2018年，balakrishnan等人基于u
‑
net和空间转换网络(spatial transformer network,stn)提出快速配准模型voxelmorph，通过学习图像中的特征和同一数据集间的内在联系，使得配准速度相比传统配准方式提升了近1000倍，在配准精度与传统方法可比的情况下，使得配准速度极大的提高。然而，由于脑部图像内容较为复杂和数据之间存在较大变形的问题导致当前基于深度学习的脑部图像配准算法还难以达到临床应用级别的要求。因此，为了提升配准方法的配准精度，本发明使用u
‑
net作为backbone，通过在网络中增加多尺度注意力和通道注意力来提升配准方法的性能。


技术实现要素：

3.本发明提供了一种自动化精确配准脑部磁共振图像的方法，以解决脑部磁共振图像配准过程中由于数据内容复杂和数据间较大变形而导致的配准精度低的问题。
4.本发明通过以下技术方案实现：一种基于双注意力机制的脑部磁共振图像配准方法。首先对数据进行归一化、仿射对齐和尺寸裁剪的预处理；之后使用发明的dua
‑
unet方法对预处理后的训练数据进行300周期的迭代训练，并保存网络的训练参数；之后使用加载训练模型的网络对测试数据进行配准，最终得出配准结果。
5.(1)数据预处理：图像预处理首先对lpba40数据集中的40幅脑部磁共振图像进行归一化，将每个分布在0～255的像素点灰度值压缩到0～1的范围内。并且将数据仿射变换到mni152空间，从而使得数据分布在相同的坐标下，利于网络的训练。最后将数据的大小裁剪为112
×
128
×
112的大小，节约计算机的内存，加速网络的训练。
6.(2)训练阶段：训练阶段使用本发明方法dua
‑
unet网络进行迭代训练。本发明在基于python的pytorch框架下在训练数据中进行网络参数的反向传播调整，网络使用adam优化器，网络的学习率大小设置为2e
‑
4，批处理的大小设置为1。将预处理后的lpba40公开数
据集按照3:1:1的方式随机划分训练、验证和测试集，使用五折交叉验证的方式来测试本发明方法的性能。使用dua
‑
unet进行300个周期，每周期迭代100次，总共30000次的迭代训练，最终得到最优权重模型。
7.本发明提出的dua
‑
unet网络的主要创新在：
8.a.引入多尺度注意力模块(msa)：通过将基于空洞卷积的多尺度注意力机制级联在u
‑
net网络的底层，如图1所示，使用多尺度聚合的方式来提取数据中的全局特征。其中，网络的空洞率分别设置为1、6、12、18。
9.b.引入通道注意力模块(cfa)：通过使用cfa模块促进高层特征和低层特征之间的融合，防止高层特征图上的语义信息覆盖低分辨率特征图中的细节信息，从而使得网络能够在提取细节信息的同时，能够融合全局背景信息。
10.(3)测试阶段：将大小为112
×
128
×
112的脑部磁共振测试图像直接输入网络，使用训练阶段得到的最终权重参数对图像进行配准，最终得到配准结果。
11.本发明针对脑部磁共振图像数据内容复杂和数据间存在较大变形，使得u
‑
net网络难以提取有效特征的问题，在网络中增加msa来增强网络的全局特征提取能力，在网络中引入cfa增强u
‑
net网络不同跳跃连接层之间的信息融合，同时能够增强网络的非线性能力，从而促进特征能够较好的从网络的浅层向更深层传播。通过对网络结构的优化，最终形成本发明dua
‑
unet与先进配准方法voxelmorph相比具有更高的配准精度和更高的配准质量，因此，能够实现较好的配准性能。
附图说明
12.图1为多尺度注意力模块的结构图。
13.图2为通道注意力模块的结构图。
具体实施方式
14.为了验证本发明的脑部磁共振图像配准性能，我们使用lpba40脑部公开数据集进行训练和测试。
15.步骤一：在pycharm平台上使用预先编程的代码对脑部mri图像进行归一化、仿射对齐和尺寸裁剪的预处理。
16.步骤二：在pycharm中进行发明方法的训练，使用adam优化器进行优化并设置学习率参数为2e
‑
4；批大小设置为1；设置训练次数为300周期，每个周期迭代100次；将预处理后的lpba40公开数据集按照3:1:1的方式随机划分训练、验证和测试集，使用五折交叉验证的方式进行测试，网络达到训练的预设值，终止迭代训练完成。
17.步骤三：使用预处理后的测试集在预先加载训练模型的dua
‑
unet中进行测试，最终得出配准结果。为了分析和评价本发明的性能，使用重合度系数(dice)、gpu/cpu运行时间、非正雅可比行列式det.jac的点数和具有非正雅可比行列式点的比率det.jac％来评价网络的性能。如表1所示：
18.表1.在lpba40数据中的实验结果对比
[0019][0020]
表1的结果表明，与当前领先的配准方法voxelmorph相比，本发明的方法在配准的重合度指标和具有雅可比行列式的折叠点等指标具有明显提高，本发明的方法能够实现较好的配准性能。


技术特征：
1.本发明公布了一种基于双注意力机制的脑部磁共振图像配准方法，包括以下步骤：（1）数据预处理：对脑部磁共振公开数据集lpba40进行归一化、仿射对齐和尺寸裁剪的预处理；通过归一化处理，将数据的像素值归一化到0~1的范围内有利于网络从数据中提取特征；仿射对齐能够使得不同的数据仿射对齐到相同的坐标空间下，本发明选用mni152空间；之后将数据裁剪到112
×
128
×
112在不影响训练的前提下降低网络对计算机内存的要求，并且图像的维度必须设置为16的倍数以能够进行四次下采样处理；（2）网络训练：使用本发明提出的dua
‑
unet网络进行训练，总共输入预处理后的训练集数据24幅，使用端到端的训练方式对训练数据进行两两配准，总共存在552对训练数据，使用adam优化器，学习率设置为2e
‑
4；进行300个周期的迭代训练，进行五折交叉验证；（3）网络测试：测试阶段使用8幅测试数据在预先训练好的模型下得出测试结果，其中共存在56对配准结果，对其取平均最终得出测试结果。

技术总结
针对经典的U


技术研发人员：白鑫昊 崔晓娟 杨铁军 李磊 樊超 巩跃洪 苗建雨
受保护的技术使用者：河南工业大学
技术研发日：2021.08.21
技术公布日：2021/12/3