图像配准模型的训练方法、图像配准方法、设备及介质与流程

1.本发明涉及医学图像处理技术领域，特别涉及一种图像配准模型的训练方法、图像配准方法、设备及介质。


背景技术：

2.医学影像配准是指对于一幅医学影像寻求一种或者一系列的空间变换，使它与另外一幅医学影像的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配影像上有相同的空间位置。医学图像配准技术是医学影像处理的基础，在图像信息融合、辅助诊断、手术规划、手术导航以及医学基础理论研究等领域发挥着十分重要的作用。
3.传统的方法中最具有代表性的针对图像的弹性变换的非刚性配准方法为demons方法，该算法是基于影像灰度的配准方法，根据光流场理论将待配准影像作为连续运动的影像序列的两帧，然后计算变形场的大小，从而实现影像的配准。但是对于大部分的医学影像图，尤其是软组织器官，形变较大，并且在大部分的医学影像配准应用中，对软组织器官的配准要求较高，这种情况下demons算法以及其他大部分的传统配准算法配准结果较差。


技术实现要素：

4.本发明要解决的技术问题是为了克服现有技术中的上述缺陷，提供一种图像配准模型的训练方法、图像配准方法、设备及介质。
5.本发明是通过下述技术方案来解决上述技术问题：
6.一种图像配准模型的训练方法，所述训练方法包括：
7.获取待配准训练图像和与所述待配准训练图像对应的参考训练图像；
8.将所述待配准训练图像和所述对应的参考训练图像输入待训练的图像配准模型，输出与所述待配准训练图像对应的第一训练变形场和与所述对应的参考训练图像对应的第二训练变形场；
9.计算所述待配准训练图像经所述第一训练变形场配准后得到的图像与所述对应的参考训练图像经所述第二训练变形场配准后得到的图像之间的第一损失；
10.根据所述第一损失训练所述图像配准模型。
11.较佳地，所述训练方法还包括：
12.合并所述第一训练变形场和所述第二训练变形场得到总训练变形场；所述总训练变形场包括待配准训练图像配准到对应的参考训练图像的第一总训练变形场，和/或，对应的参考训练图像配准到待配准训练图像的第二总训练变形场；
13.计算所述待配准训练图像经第一总训练变形场配准后得到的图像与所述对应的参考训练图像之间的第二损失；和/或，计算所述对应的参考训练图像经第二总训练变形场配准后得到的图像与所述待配准训练图像之间的第三损失；
14.所述根据所述第一损失训练所述图像配准模型，具体包括：
15.根据所述第二损失和/或所述第三损失，以及所述第一损失训练所述图像配准模
型。
16.较佳地，所述训练方法还包括：
17.计算所述第一训练变形场的第一平滑损失和所述第二训练变形场的第二平滑损失；
18.所述根据所述第一损失训练所述图像配准模型，具体包括：
19.根据所述第一损失、所述第一平滑损失和所述第二平滑损失训练所述图像配准模型。
20.较佳地，所述计算所述第一训练变形场的第一平滑损失和所述第二训练变形场的第二平滑损失，具体包括：
21.分别对所述第一训练变形场和所述第二训练变形场计算一阶梯度，以得到所述第一平滑损失和所述第二平滑损失。
22.较佳地，所述训练方法中基于均方误差损失和/或归一化交叉相关损失计算所述第一损失、所述第二损失和/或所述第三损失。
23.较佳地，所述训练方法基于u型神经网络结构训练得到所述图像配准模型。
24.一种图像配准方法，包括：
25.获取待配准图像和与所述待配准图像对应的参考图像；
26.将所述待配准图像和所述对应的参考图像输入至通过上述的图像配准模型的训练方法训练出的图像配准模型，输出与所述待配准图像对应的第一变形场和与所述对应的参考图像对应的第二变形场；
27.合并所述第一变形场和所述第二变形场得到总变形场；
28.基于所述总变形场将所述待配准图像配准到与所述待配准图像对应的参考图像。
29.较佳地，所述合并所述第一变形场和所述第二变形场得到总变形场，具体包括：
30.对所述第二变形场求逆，得到逆向变形场；
31.将所述第一变形场转换到所述逆向变形场的坐标系下后与所述逆向变形场叠加，得到所述总变形场。
32.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现上述的图像配准模型的训练方法；
33.和/或，
34.所述处理器执行计算机程序时实现上述的图像配准方法。
35.一种计算机可读介质，其上存储有计算机指令，所述计算机指令在由处理器执行时实现上述的图像配准模型的训练方法；
36.和/或，
37.所述计算机指令在由处理器执行时实现上述的图像配准方法。
38.本发明的积极进步效果在于：本技术将待配准的每对图像输入待训练的图像配准模型，将输入的每对图像同时配准到中间的某种状态，输出两个变形场，然后将两个变形场合并作为待配准图像配准到对应的参考图像的总变形场，上述的中间状态是指输入的每对图像对应位置的中间位置，通过变相减少待配准图像之间的形变的大小，降低了形变较大图像之间的配准难度，以提高后续的配准准确度。
附图说明
39.图1为本发明的一实施方式的图像配准模型的训练方法的流程图。
40.图2为本发明的图像配准模型的训练方法的一优选实施方式的流程图。
41.图3为本发明的图像配准模型的训练方法的另一优选实施方式的流程图。
42.图4为本发明的另一实施方式的图像配准方法的流程图。
43.图5为本发明的图像配准方法中一具体示例的配准示意图。
44.图6为本发明的图像配准模型的训练方法或图像配准方法的电子设备的结构示意图。
具体实施方式
45.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
46.为了克服目前存在的上述缺陷，本实施例提供一种图像配准模型的训练方法，所述训练方法包括：获取待配准训练图像和与所述待配准训练图像对应的参考训练图像；将所述待配准训练图像和所述对应的参考训练图像输入待训练的图像配准模型，输出与所述待配准训练图像对应的第一训练变形场和与所述对应的参考训练图像对应的第二训练变形场；计算所述待配准训练图像经所述第一训练变形场配准后得到的图像与所述对应的参考训练图像经所述第二训练变形场配准后得到的图像之间的第一损失；根据所述第一损失训练所述图像配准模型。
47.基于上述训练方法，本实施例还提供一种图像配准方法，包括：获取待配准图像和与所述待配准图像对应的参考图像；将所述待配准图像和所述对应的参考图像输入至通过上述的图像配准模型的训练方法训练出的图像配准模型，输出与所述待配准图像对应的第一变形场和与所述对应的参考图像对应的第二变形场；合并所述第一变形场和所述第二变形场得到总变形场；基于所述总变形场将所述待配准图像配准到与所述待配准图像对应的参考图像。
48.具体的，作为一实施方式，如图1所示，本实施例提供的图像配准模型的训练方法，具体包括：
49.步骤11、获取待配准训练图像和与待配准训练图像对应的参考训练图像；
50.步骤12、将待配准训练图像和对应的参考训练图像输入待训练的图像配准模型，输出与待配准训练图像对应的第一训练变形场和与对应的参考训练图像对应的第二训练变形场；
51.示例性的，以一组图像a与b为例，将图像a配准到图像b的过程中，b是参考图像，a是浮动图像。将a与b输入到初始的图像配准模型，输出图像a配准到一中间形态图像的空间变换关系，以及图像b配准到同一个中间形态图像的空间变换关系，该空间变换关系进一步通过变形场来体现，也即体现图像a和中间形态图像之间的坐标对应关系的第一训练变形场fa，以及体现图像b和中间形态图像之间的坐标对应关系的第二训练变形场fb。
52.步骤13、计算待配准训练图像经第一训练变形场配准后得到的图像与对应的参考训练图像经第二训练变形场配准后得到的图像之间的第一损失；
53.其中，将第一训练变形场fa作用到图像a，得到图像a配准之后的中间形态am，同样
将第二训练变形场fb作用到图像b，得到图像b配准之后的中间状态bm，本实施例中，训练的目标是让中间状态am和中间状态bm为同一状态，即am与bm相同，训练过程中，计算am与bm的配准精度损失也即第一损失，可以基于均方误差损失算法或者归一化交叉相关损失算法计算第一损失。
54.步骤14、根据第一损失训练图像配准模型。
55.其中，在得到第一损失后，进行反向传播，更新图像配准模型的参数，然后将训练图像再次输出更新的图像配准模型，迭代训练得到最终的图像配准模型。另外，本技术中，优选的基于u型神经网络结构训练图像配准模型。比如采用unet网络结构，其中，将unet整个网络结构分为压缩路径和非压缩路径两部分，也就是缩小和扩大医学影像的特征映射，并且将缩小端的低层特征送入放大端的相应位置，为模型的训练提供更多的有效信息，加速训练过程中模型的收敛。
56.上述实现方式中，训练过程中将输入的两幅图像同时配准到中间的某种状态，得到图像a配准到中间状态的变形场以及图像b配准到中间状态的变形场，该中间状态是指输入两幅图像对应位置的中间位置，通过变相减少待配准图像之间的形变的大小，降低了形变较大图像之间的配准难度，以提高后续的配准准确度。
57.作为图像配准模型的训练方法的一优选实施方式，如图2所示，步骤14之前，所述训练方法还包括：
58.步骤131、合并第一训练变形场和第二训练变形场得到总训练变形场；所述总训练变形场包括待配准训练图像配准到对应的参考训练图像的第一总训练变形场，和/或，对应的参考训练图像配准到待配准训练图像的第二总训练变形场；
59.具体的，以第一训练变形场fa和第一训练变形场fb合并为图像a配准到图像b的第一总训练变形场f
ab
为例：
60.首先对第二训练变形场fb求逆，得到第二训练fb的逆向变形场f
b-1
，将第一训练变形场fa变换到逆向变形场f
b-1
空间坐标系下，然后将变换之后得到的变形场叠加到逆向变形场f
b-1
上，得到图像a配准到图像b的第一总训练变形场f
ab
。
61.其中，利用逆向变形场f
b-1
对第一训练变形场fa进行空间变换的具体计算过程为：首先计算得到逆向变形场f
b-1
在位置(x，y)处所指的具体坐标位置l(x+dx，y+dy)，其中(dx，dy)＝f
b-1
(x，y)。由于位置l很大概率会出现在第一训练变形场fa的非网格点上，利用插值算法计算得到第一训练变形场fa在位置l处的值，将该值作为经过几何变换之后的第一训练变形场fa在位置(x，y)处的值，最终得到经过空间几何变换之后的变形场。
62.步骤132、计算待配准训练图像经第一总训练变形场配准后得到的图像与对应的参考训练图像之间的第二损失；和/或，计算对应的参考训练图像经第二总训练变形场配准后得到的图像与待配准训练图像之间的第三损失；
63.具体的，第二损失和第三损失可以基于均方误差损失算法或者归一化交叉相关损失算法计算第一损失，得到第一总训练变形场f
ab
后，将第一总训练变形场f
ab
作用到图像a，得到a配准到图像b的结果图像a’，计算b与a’的均方误差l
ba’，同样将第一训练变形场fa和第二训练变形场fb合并为图像b配准到图像a的第二总训练变形场(f
ba
)，将第二总训练变形场f
ba
作用到图像b，得到图像b配准到图像a的结果图像b’，计算得到a与b’的均方误差l
ab’，训练过程中，可以只使用第二损失和第三损失中的一个损失进行反向传播，更新图像配准
模型的参数，亦可以综合二者进行反向调整，对二者进行数值处理，比如将l
ba’与l
ab’的加权和作为图像a与图像b之间的总配准精度损失l
ab
。
64.进一步的，步骤14具体包括：
65.步骤141、根据第二损失和/或第三损失，以及第一损失训练图像配准模型。
66.其中，在得到第一、二、三损失后，进行反向传播，更新图像配准模型的参数，然后将训练图像再次输出更新的图像配准模型，迭代训练得到最终的图像配准模型。
67.上述实现方式中，将待配准训练图像经第一训练变形场配准后得到的图像与对应的参考训练图像经第二训练变形场配准后得到的图像之间的第一损失、待配准训练图像与对应的参考训练图像之间的第二损失，以及参考训练图像与待配准训练图像之间的第三损失作为反向传播数据，进一步更新优化的参数，提高图像配准模型的训练精度。
68.作为图像配准模型的训练方法的另一优选实施方式，如图3所示，步骤14之前，所述训练方法还包括：
69.步骤133、计算第一训练变形场的第一平滑损失和第二训练变形场的第二平滑损失；
70.具体的，为了保证变形场局部的平滑性，平滑性是指配准之前和配准之后图像的拓扑结构不变，本发明方法对变形场进行约束，将其作为损失函数的一部分进行梯度回传，以更新图像配准模型的参数。优选的，综合模型训练精度和效率，本实施例中分别对第一训练变形场和第二训练变形场计算一阶梯度，以得到第一平滑损失和第二平滑损失。
71.进一步的，步骤14具体包括：
72.步骤142、根据第一损失、第一平滑损失和第二平滑损失训练图像配准模型。
73.其中，在得到第一损失、第一平滑损失和第二平滑损失后，可以将两类损失函数进行加权求和作为最终的损失值，再进行反向传播，更新图像配准模型的参数，然后将训练图像再次输出更新的图像配准模型，迭代训练得到最终的图像配准模型。
74.另外，需要说明的是，本技术在进行反向传播更新图像配准模型的参数过程中，亦可将前述的第一、二、三损失以及第一、第二平滑损失进行加权求和作为最终的损失值，再进行反向传播，更新图像配准模型的参数，然后将训练图像再次输出更新的图像配准模型，迭代训练得到最终的图像配准模型。
75.上述实现方式中，将待配准训练图像经第一训练变形场配准后得到的图像与对应的参考训练图像经第二训练变形场配准后得到的图像之间的第一损失、第一训练变形场的第一平滑损失，以及第二训练变形场的第二平滑损失作为反向传播数据，进一步更新优化的参数，提高图像配准模型的训练精度。
76.本实施例还提供了另一实施方式，如图4所示，本实施例提供的图像配准方法，具体包括：
77.步骤21、获取待配准图像和与待配准图像对应的参考图像；
78.步骤22、将待配准图像和对应的参考图像输入至如上的图像配准模型的训练方法训练出的图像配准模型，输出与待配准图像对应的第一变形场和与对应的参考图像对应的第二变形场；
79.步骤23、合并第一变形场和第二变形场得到总变形场；
80.具体的，对第二变形场求逆，得到逆向变形场；将第一变形场转换到逆向变形场的
坐标系下后与逆向变形场叠加，得到总变形场。具体合并方式可参见前述合并第一训练变形场和第二训练变形场得到总训练变形场的过程。
81.步骤24、基于总变形场将待配准图像配准到与待配准图像对应的参考图像。
82.参见图5，提供一具体示例，参考图像a和浮动图像b之间的呼吸状态差距较大，其中参考图像a处于呼气状态，浮动图像b处于吸气状态，直接进行形变配准难度较大。中间状态c是介于参考图像a和浮动图像b中间的呼吸状态(可以参考十字线所处位置)，配准结果图像d呼吸状态与参考图像一致。需要说明的是，此处中间状态c是为了进行阐述说明本实施例的配准方法，实际应用中，并不必要输出该中间状态，输入一对图像后，会直接输出对应的配准结果图。
83.上述实现方式中，基于图像配准模型的训练方法训练得到图像配准模型，实际应用中，将待配准的一对图像输入上述图像配准模型，输出两个变形场，然后将两个变形场合并作为待配准图像配准到对应的参考图像的总变形场，通过变相减少待配准图像之间的形变的大小，降低了形变较大图像之间的配准难度，以提高后续的配准准确度。
84.图6为本实施例提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现上述的图像配准模型的训练方法；
85.和/或，所述处理器执行计算机程序时实现上述的图像配准方法。图6示出了适于用来实现本发明实施方式的示例性电子设备90的框图。图6显示的电子设备90仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
86.如图6所示，电子设备90可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备90的组件可以包括但不限于：至少一个处理器91、至少一个存储器92、连接不同系统组件(包括存储器92和处理器91)的总线93。
87.总线93包括数据总线、地址总线和控制总线。
88.存储器92可以包括易失性存储器，例如随机存取存储器(ram)921和/或高速缓存存储器922，还可以进一步包括只读存储器(rom)923。
89.存储器92还可以包括具有一组(至少一个)程序模块924的程序工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
90.处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理。
91.电子设备90也可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(i/o)接口95进行。并且，电子设备90还可以通过网络适配器96与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备90的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
92.应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述
的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
93.本实施例还提供了一种计算机可读介质，其上存储有计算机指令，所述计算机指令在由处理器执行时实现上述的图像配准模型的训练方法；
94.和/或，所述计算机指令在由处理器执行时实现上述的图像配准方法。其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
95.在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现上述的图像配准模型的训练方法，和/或，图像配准方法。
96.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
97.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。