一种图像配准方法

本公开涉及计算机视觉领域，尤其涉及一种三维医学图像配准方法，具体涉及的是一种基于多卷积融合的图像配准方法，可用于图像配准当中浮动图像相较于固定图像发生较大程度非刚体形变时配准精度低的问题。

背景技术：

1、医学成像技术的出现助力了精准医学的发展，对于医学图像的处理和分析逐渐成为了医学治疗当中面临的主要问题之一。人脑组织中有大量的神经和血管分布，且体积较小，人脑对于人体来说就是机器的控制中心，诊断和治疗的精准性都十分重要，核磁共振图像以其图像分辨率高、多图像类型、可任意分层以及无损伤成像等特性，在人类脑部疾病的临床治疗中应用逐渐广泛，人脑核磁共振图像的配准也成为了医学图像处理领域的研究热点之一，人脑核磁共振图像的配准旨在通过空间转换，将两幅图像空间上在同一位置的点一一对应起来，以达到信息融合的目的，通过将不同时刻的人脑核磁共振图像进行配准可以追踪病灶的发展过程，多方向切层更有利于病变定位。只有获取了病灶的精确定位并追踪其发展过程，才能更好地进行病情诊断，制定更加详细的治疗计划，引导手术和放射性治疗，提高手术的精准度和治疗的准确性。

2、alexnet在imagenet2012挑战赛的成功，此后深度学习迅速在各个计算机视觉领域取得进展，在图像配准中，深度学习首先用于驱动迭代传统配准算法，此后不久，基于强化学习的图像配准相继出现，随着对于快速配准的需求，有了基于深度学习算法的一步转换，有监督学习的方法应用在了图像配准上，直接预测出转换参数，而不再是深度驱动迭代，但是这种方法需要大量高质量的金标准，因为训练得到的模型很大程度上取决于金标准的质量，且从理论上讲模型的效果很难超过金标准，而高质量金标准的获取恰恰也是一个难点，基于此，无监督学习的方式被用在了图像配准领域，避免了有监督学习的瓶颈问题。

3、人脑核磁共振图像的配准通常会有大位移下配准精度低的问题，即在浮动图像相较于固定图像发生了较大程度的非刚体形变时，由于单阶段模型对于大位移的处理能力有限，得到的空间变换不够准确，这会导致无法精确定位病灶位置甚至产生误匹配，给病情的诊断和治疗计划的制定带来了一定的困难。

技术实现思路

1、针对上述图像配准中浮动图像相较于固定图像发生较大程度非刚体形变时配准精度差的问题，而现有方法需要对多级网络进行级联，分层训练或者多次进行插值，使得网络结构更加复杂，多次连续插值引入了更大的误差，出现插值伪影的问题，本发明的目的在于提出一种可以在不进行网络级联和多次插值的情况下有效提升大位移下的图像配准精度的方法。

2、为了实现上述目的，本发明提出的一种图像配准方法，包括下述步骤：

3、将固定图像和浮动图像拼接后，输入训练好的图像配准网络，利用图像配准网络学习浮动图像和固定图像之间的差异，输出配准图像；

4、所述图像配准网络包括骨干网络，多卷积融合模块和空间变换层；其中：

5、骨干网络，基于拼接的固定图像和浮动图像得到第一位移场，并基于第一位移场对浮动图像进行插值得到第一特征图；

6、多卷积融合模块，基于第一特征图提取多尺度的位置信息并融合，得到第二位移场，再将第一位移场和第二位移场相加得到第三位移场；

7、空间变换层，基于第三位移场对浮动图像做空间变换生成配准图像。

8、在上述技术方案中，骨干网络为编码器-解码器，所述编码器-解码器包含若干个三维卷积层，每个卷积层之后都接一个批量归一化层和一个非线性激活函数leaky relu。

9、在上述技术方案中，在浮动图像和固定图像输入骨干网络之前，先使用最大最小值法进行归一化，将图像的像素值转换到[0,1]之间。

10、在上述技术方案中，基于第一特征图提取多尺度的位置信息并融合，得到第二位移场，包括：

11、使用具有不同空洞率的多个并行空洞卷积层，不同的空洞构建不同感受野的卷积核；

12、将各个卷积核提取的特征融合后，进行全局平均池化，并通过全连接层减小维度，全连接层包括若干分支，每个卷积核对应一个分支；

13、在全连接层后，进行加权融合得到第二位移场。

14、在上述技术方案中，在全连接层后，接归一化指数函数得到每个卷积核所提取通道信息的加权分数，并融合以生成第二位移场。

15、在上述技术方案中，空间变换层基于空间变换网络的格点生成器和采样器实现；

16、将第三位移场φ作为变换参数，格点生成器根据第三位移场φ得到变换前后像素点坐标的对应关系，再使用采样器以三线性插值的方式，生成配准图像。

17、在上述技术方案中，在进行空间变换之前对第三位移场做平滑处理；

18、所述平滑处理为对第三位移场φ利用积分计算出微分同胚的位移场，不同时刻t的位移场位之间的关系为：

19、φ(t+δt)＝φ(t)+v(t+δt)

20、其中，v为不同时刻位移场之间的变化量，δt为时刻变换量；

21、在计算时，通过将t∈[0,1]划分为2n段将空间变换设置为n个。

22、在上述技术方案中，图像配准网络训练包括下述步骤：

23、将固定图像作为真实值，将图像配准网络输出的图像作为预测值；

24、使用互相关系数的负值作为相似性损失函数，将预测值和真实值作为相似性损失函数的输入，计算相似性损失lsim；

25、计算网络预测得到的位移场的平滑性损失lsmooth；

26、计算总体损失l＝lsim+λlsmooth，使用adam优化算法更新网络参数，λ是平滑性损失的正则化系数。

27、第二方面，本发明提出一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种方法的计算机程序。

28、第三方面，本发明提出一种图像配准系统，所述系统包括骨干网络、多卷积融合模块和空间变换层；其中：

29、骨干网络，基于拼接的固定图像和浮动图像得到第一位移场，并基于第一位移场对浮动图像进行插值得到第一特征图；

30、多卷积融合模块，基于第一特征图提取多尺度的位置信息并融合，得到第二位移场，再将第一位移场和第二位移场相加得到第三位移场；

31、空间变换层，基于第三位移场对浮动图像做空间变换生成配准图像。

技术特征：

1.一种图像配准方法，其特征在于，所述方法包括下述步骤：

2.根据权利要求1所述的方法，其特征在于，骨干网络为编码器-解码器，所述编码器-解码器包含若干个三维卷积层，每个卷积层之后都接一个批量归一化层和一个非线性激活函数leaky relu。

3.根据权利要求1所述的方法，其特征在于，在浮动图像和固定图像输入骨干网络之前，先使用最大最小值法进行归一化，将图像的像素值转换到[0，1]之间。

4.根据权利要求1所述的方法，其特征在于，基于第一特征图提取多尺度的位置信息并融合，得到第二位移场，包括：

5.根据权利要求4所述的方法，其特征在于，在全连接层后，接归一化指数函数得到每个卷积核所提取通道信息的加权分数，并融合以生成第二位移场。

6.根据权利要求1所述的方法，其特征在于，空间变换层基于空间变换网络的格点生成器和采样器实现；

7.根据权利要求1所述的方法，其特征在于，在进行空间变换之前对第三位移场做平滑处理；

8.根据权利要求1所述的方法，其特征在于，图像配准网络训练包括下述步骤：

9.一种计算机可读存储介质，其特征在于：存储有能够被处理器加载并执行如权利要求1至8中任一种方法的计算机程序。

10.一种图像配准系统，其特征在于，所述系统包括骨干网络、多卷积融合模块和空间变换层；其中：

技术总结
本发明涉及一种图像配准方法，涉及计算机视觉领域，该方法可在不进行网络级联和多次插值的情况下，有效提升大位移下的图像配准精度。方法步骤包括：将固定图像和浮动图像拼接后，输入训练好的图像配准网络，利用图像配准网络学习浮动图像和固定图像的差异，输出配准图像；所述图像配准网络包括骨干网络，多卷积融合模块和空间变换层；其中：骨干网络，基于拼接的固定图像和浮动图像得到第一位移场，并基于第一位移场对浮动图像进行插值得到第一特征图；多卷积融合模块，基于第一特征图提取多尺度的位置信息并融合，得到第二位移场，再将第一位移场和第二位移场相加得到第三位移场；空间变换层，基于第三位移场对浮动图像做空间变换生成配准图像。

技术研发人员：田玉敏,宋亚思,王笛,潘蓉,吴自力,王义峰,万波,李渊博
受保护的技术使用者：西安电子科技大学
技术研发日：
技术公布日：2024/1/13