本发明涉及计算机视觉和图像处理技术，具体涉及一种基于形变场融合的可变形医学图像配准方法。
背景技术：
1、医学图像配准旨在寻找将待配准的图像(moving image)映射到参考图像(fixedimage)的非线性空间变换（即形变场），来使待配准的图像与参考图像的对应点一一对齐。传统的医学图像配准方法，如demons、large diffeomorphic distance metricmapping (lddmm)、symmetricnormalization (syn)。这些传统方法主要存在以下问题：（a）这些方法将医学图像配准问题视为点对点匹配问题，本质上是一个高维优化问题，即采用迭代优化，进行繁琐的参数调优，计算复杂且耗时较长。（b）这些优化问题往往陷入局部最优解，这在很大程度上影响了最终的配准效果，同时也不利于临床的应用。
2、近年来，随着深度学习技术的快速发展，计算机视觉领域已广泛采用这一技术。在此背景下，研究者开始探索将深度学习应用于医学图像配准问题，并相继发展出一系列基于深度学习的医学图像配准方法。与传统的配准方法相比，这类方法的核心思想在于充分利用深度神经网络的良好泛化能力，通过比较配准后的图像与参考图像之间的相似性来学习图像的变换。同时，这些方法还能确保形变场的平滑性，从而保证图像配准的精度。不仅如此，这类基于深度学习的方法还能避免传统迭代方法所带来的耗时问题。因此，目前这类方法受到了广大研究人员的广泛关注。
3、基于深度学习的经典配准论文是《voxelmorph: a learning framework fordeformable medical image registration》，该论文于2019年发表在ieeetransactionson medical imaging期刊上。它采用的是端到端的u-net架构。在训练阶段，他们使用均方误差损失（mean square error）或归一化互相关损失（normalization cross-correlation）作为相似性损失，并将空间位移梯度的l-2正则化作为平滑项。现在，voxelmorph常被用作许多深度学习方法解决医学图像配准问题的基准方法。
4、在医学图像配准模型训练的过程中，有两种常用的损失函数来衡量配准后的图像与参考图像之间的相似度。第一种是mse，如式(1)所示，适用于参考图像与配准后的图像强度分布相似的情况。另一种是ncc，如式(2)所示，适用于参考图像与配准后的图像具有相似的局部图像结构。
5、
6、
7、其中，表示图像中的体素集合，表示局部参考图像，表示局部配准后的图像，表示局部图像体素的标准差，表示参考图像与配准后图像的协方差。
8、上述现有基于深度学习的医学配准模型在配准时，仍存在以下问题：（a）这些模型的配准结果并不理想。这些方法通常只能学习一个形变场，未能考虑到不同形变场之间的差异。实际上，采用不同的模型架构或不同的损失函数可以得到能够捕捉不同类型形变的形变场，并相互补充彼此，这样能够进一步提升医学图像配准的质量和效果。（b）这些模型在训练时所使用的损失函数不能很好的比较图像间的相似度，mse主要是图像对之间点对点的相似性度量，而ncc只涉及图像对之间局部结构的比较；它们几乎都没有考虑到固定和运动图像之间的上下文变化的相互依赖性。
技术实现思路
1、发明目的：为解决当前基于深度学习的医学图像配准方法的不足，本发明并提供一种基于形变场融合的可变形医学图像配准方法，在给定待配准图像和参考图像的情况下，将这些图像对输入到一个双流网络，双流网络从两个不同的配准角度生成两个形变场，然后将这两个形变场进行融合，得到最终的形变场，能够提高最终配准效果和精度。
2、技术方案：本发明的一种基于形变场融合的可变形医学图像配准方法，包括以下步骤
3、步骤1、获取采集的待配准图像和参考图像，并对待配准图像和参考图像进行预处理，所述预处理包括裁剪、归一化；
4、步骤2、将步骤1预处理所得待配准图像和参考图像输入到双流配准网络，该双流配准网络设有两个架构相同但损失函数不同的分支网络，这两个配准网络分别根据各自损失函数对待配准图像和参考图像进行配准，待配准图像和参考图像经配准网络第一分支网络处理得到形变场，待配准图像和参考图像经配准网络第二分支网络处理得到形变场；
5、其中，第一分支网络和第二分支网络均包括一对编码器和解码器，编码器对图像进行四个阶段的下采样，进而生成四种不同尺度和分辨率的特征图；解码器包含四个阶段的上采样，每一阶段将该层对应的特征图与编码器对应尺度的特征图进行拼接，并对拼接后的特征图进行上采样；最后经由两个连续的卷积层输出对应形变场；
6、其中，第一分支网络的损失函数采用mse相似性损失函数，第二分支网络的损失函数采用c-s相似性损失函数；对比度-结构相似性损失函数两幅图像的局部区域的对比度相似度和结构相似度，当两幅图像相似程度越高时，对比度-结构相似性损失函数越趋近于1；否则越趋近于0；
7、步骤3、通过形变场融合模块将配准网络输出的形变场和进行融合，形变场融合模块分别对两个形变场进行最大池化和平均池化，并将得到的特征经过卷积层进行特征提取后，最后输入到卷积核大小1 × 1 × 1的卷积层进行降维，得到最终的形变场；
8、步骤4、根据形变场对其他待配准的图像进行配准，得到配准后的图像。
9、进一步地，所述步骤1对待配准图像和参考图像进行预处理的操作包括裁剪、归一化，具体方法为：
10、使用freesurfer进行仿射空间归一化，并将图像裁剪为相同尺寸，使用fmrib'ssoftware library软件库进行仿射配准；通过这些操作能够保证待配准图像和参考图像具有一致的空间和尺寸特性，为后续的医学图像配准操作提供基础。
11、进一步地，所述编码器和解码器的具体网络结构如下：
12、编码器中包括四个下采样阶段（例如按顺序依次记为第一阶段下采样、第二阶段下采样、第三阶段下采样、第四阶段下采样），每个下采用阶段包括一个卷积核大小为3 ×3 × 3的卷积计算过程、一个参数为0.2的leakyrelu激活计算过程和一个步长为2的最大池化计算过程；所述的四个下采样阶段，依下采样阶段的执行顺序一次记为第一阶段下采样、第二阶段下采样、第三阶段下采样、第四阶段下采样，每个下采样阶段都会产生不同尺度和分辨率的特征图，如果原始输入图像为，则四个下采样阶段产生四个不同尺度和分辨率的特征图大小分别为：、、、；
13、解码器中包括四个上采样阶段（按顺序依次记为第一阶段上采样、第二阶段上采样、第三阶段上采样、第四阶段上采样），每个上采样阶段包括一个卷积核大小为3 × 3 ×3的卷积计算过程、一个参数为0.2的leakyrelu激活计算过程和一个步长为2的上采样计算过程；第一阶段上采样会将上一阶段输出的特征图和第四阶段下采样输出的特征进行拼接，作为该阶段中卷积层的输入，第二阶段上采样会将上一阶段输出的特征图和第三阶段下采样输出的特征进行拼接，作为该阶段中卷积层的输入，第三阶段上采样会将上一阶段输出的特征图和第二阶段下采样输出的特征进行拼接，作为该阶段中卷积层的输入，第四阶段上采样会将上一阶段输出的特征图和第一阶段下采样输出的特征进行拼接，作为该阶段中卷积层的输入；如果原始输入图像为，则四个上采样阶段产生四个不同尺度和分辨率的特征图大小分别为：、、、；
14、四次上采样阶段后，在将特征图输出到两个连续的卷积层进行精细化的对齐及降维后，得到对应形变场和。
15、医学图像配准过程中，度量配准后的图像和参考图像的相似性损失函数影响着配准效果；为描述相互依赖的上下文变化并更有效地比较和的相似性，本发明提出对比度-结构（contrast-structural）相似性损失函数，即c-s相似性损失函数，表达式为：
16、
17、上式中，表示图像中的体素集合，表示图像中的某个局部区域，表示局部参考图像，表示局部配准后的图像，表示局部图像体素的标准差，表示参考图像与配准后图像的协方差。
18、进一步地，整个配准网络的损失函数的表达式为：
19、
20、
21、表示两个分支网络生成的形变场，表示最终融合后的形变场；为相似性损失函数，且与不同，为正则化项，为权值，，；采用mse损失函数，采用c-s损失函数，采用c-s损失函数。损失函数包含和。
22、进一步地，所述形变场融合模块对形变场和形变场进行融合的过程为：
23、首先，分别对形变场进行最大池化计算和平均池化计算，得到两个最大池化特征和两个平均池化特征；然后，对两个最大池化特征进行拼接以及对两个平均池化特征进行拼接，生成两个新拼接特征，将两个新拼接特征各自输入到两个卷积层，得到两个处理后特征；最后，将这两个处理后特征进行拼接，输入到卷积核大小1 × 1 × 1的卷积层进行降维，得到最终的形变场。
24、有益效果：与现有直接获得最终形变场的方法，本发明能够预测更精准的形变场，并更充分地利用不同形变场的特征信息，具体优点如下：
25、（1）本发明提出一种全新的配准思路，首次将融合的概念引入到形变场中，即采用双流网络架构生成不同的形变场，并将它们融合以获得最终的形变场；
26、（2）本发明设计一个特定的形变场融合模块，有效地结合不同的形变场，充分利用不同形变场的优势来描述不同类型的形变。
27、（3）本发明提出一个全新的相似性损失函数(对比度-结构损失函数)，可描述参考图像和待配准图像之间的相互依赖的上下文变化。它使模型在训练的过程中能够关注图像对之间的局部对比度和结构相似性。