一种基于深度学习的医学图像配准方法

1.本发明涉及医学图像配准技术领域，特别是涉及一种基于深度学习的医学图像配准方法。


背景技术：

2.随着医学图像处理技术的快速发展，基于患者个体化医学图像的计算机辅助诊断和治疗技术越来越成熟。其中，医学图像配准在许多医学图像辅助诊断和治疗中起到关键作用。
3.目前医学图像配准技术可以分为基于迭代优化的配准技术和基于深度学习的配准技术。基于迭代优化的配准技术将配准问题视为寻找最优解的问题，以两张图像的相似度作为损失函数，结合一种优化策略寻找最佳的配准参数或变形场。基于深度学习的配准技术，大多搭建一个神经网络模型，依靠大量真实的医学图像数据进行训练，使模型具备一次正向计算即可得到配准参数或变形场的能力。
4.迭代优化的配准算法，往往需要提前给出一个比较好的初始解，否则很容易陷入局部最优点，无法搜寻到全局最优点。此外该方法需要迭代优化，每次迭代都需要计算两张图像的相似度，需要大量计算资源，非常耗时。深度学习的训练需要大量图像数据和人工标注的结果，非常耗费人力资源，并且以往的深度学习配准技术的配准精度不高，且无法用于图像大小不一致的一组图像。


技术实现要素：

5.本发明要克服现有技术的上述缺点，提供一种基于深度学习的医学图像配准方法，以实现两张医学图像的快速、精准配准。具体技术方案如下：
6.本发明实施例提供了一种基于深度学习的医学图像配准方法，所述方法包括：
7.s1获得一组医学图像，一张为固定图像，另一张为浮动图像；两张图像可以是同一模态的医学图像，也可以是不同模态的医学图像，两张图像的大小可以不相同；
8.s2固定图像和浮动图像送入网络模型，浮动图像传入一个级联的卷积网络，固定图像传入另一个级联的卷积网络，每条管道包含三个卷积网络，分别提取两张图像的高维特征；然后将两组高维特征合并和重组后输入变压器网络(transformer)，输出的特征再输入另一个卷积网络，输出变形场；
9.s3用变形场对浮动图像进行样条插值变换得到变形图像；
10.s4先用固定图像和变形图像计算相似度，再用变形场计算正则项，相似度和正则项的线性组合形成损失函数；
11.s5对每组图像的损失函数计算梯度，并对梯度进行平滑处理，再反向传播到各级网络的参数中，更新网络参数，对整个网络模型进行训练，完成网络模型的训练后，保存网络模型和训练后的网络参数；
12.s6将新的一组浮动图像和固定图像传入网络模型，使用训练后的网络参数生成变
形场，并基于变形场对浮动图像进行样条插值变换，得到配准后的变形图像。
13.本发明的一个实施例中，步骤s1中所述固定图像和浮动图像可以是三维图像，两张图像大小相等，对应的变形场为三维三通道矩阵，变形场的长宽高与固定图像和浮动图像相等。
14.本发明的一个实施例中，步骤s1中所述固定图像和浮动图像可以是二维图像，两张图像大小不相等，对应的变形场为二维两通道矩阵，变形场的长宽与浮动图像的长宽相等。
15.本发明的一个实施例中，步骤s2中所述网络模型可以包括六个卷积网络、一个变压器网络、两个全连接网络和一个输出层；所述固定图像传入三个卷积网络级联的管道，所述浮动图像传入另外三个卷积网络级联的管道；两个管道输出的特征经过合并和重组后输入变压器网络进一步提取具有自注意力的高维特征，然后再将特征输入两个全连接和一个输出层；输出层为一维向量具有12个参数，分别表示仿射变换中的3个平移量、3个旋转量、3个剪切量和3个尺度量，最后由所述参数计算生成变形场。
16.本发明的一个实施例中，步骤s2中所述网络模型可以包括九个卷积网络、四个卷积上采样网络、一个变压器网络；所述固定图像传入三个卷积网络级联的管道，所述浮动图像传入另外三个卷积网络级联的管道；两个管道输出的特征经过合并和重组后输入变压器网络；输出的特征再经过重组后，输入两个级联的卷积网络进一步提取合并后的特征，再往后连接四个级联的卷积上采样网络，每一个上采样网络和之前相同维度的一对卷积网络跳跃连接，合并之前的低维特征；最后再接一个卷积网络获得一个与浮动图像尺寸相同的变形场。
17.本发明的一个实施例中，步骤s3中所述样条插值变换优选b样条插值变换，作为替代可以是薄板样条插值变换、三次样条插值变换或线性插值变换等。
18.本发明的一个实施例中，步骤s4中所述相似度优选互相关函数，所述正则项优选变形场的扩散函数，公式如下：
[0019][0020][0021]
其中，cc(f,m(φ))表示固定图像f和变形图像m(φ)间的互相关函数，m为浮动图像，φ为变形场，f^(p)和m^((φ(p))分别表示固定图像的像素平均值和变形图像的像素平均值，l(φ)为正则项。完整的损失函数可表示为
[0022]
l(f,m,φ)＝-cc(f,m(φ))+λl(φ)
ꢀꢀꢀ
(3)
[0023]
其中，λ为正则化参数。
[0024]
本发明的一个实施例中，步骤s6所述新的一组浮动图像和固定图像传入网络模型，模型会调用所述训练后的网络参数生成变形场，并用所述变形场对浮动图像进行插值变换得到配准后的变形图像。
[0025]
由以上可见，采用本发明实施例提供的方案进行医学图像配准时，可以对两张不同模态、不同尺寸的二维或三维医学图像进行非刚体配准，无需额外的处理步骤。并且所述方案采用非监督学习的方式对网络进行训练，无需大量耗费人力的标注工作，使得所述方
案更加容易进入实际应用，减轻训练数据的准备工作。另一方面，在损失函数中加入了变形场的正则项，保证了原有图像中器官的拓扑结构不发生改变，也维持了变形场的光滑性，因此配准后的变形图像会更加精确。
[0026]
此外，本发明在完成网络的训练之后，在配准环节无需初始解、无需反复的迭代计算，一次正向运算即可得出配准后的变形图像，极大缩短了配准时间。
[0027]
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
[0028]
本发明的优点是：能实现医学图像的快速、精准配准。
附图说明
[0029]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
[0030]
图1为本发明实施例提供的一种基于深度学习的医学图像配准的方法流程示意图；
[0031]
图2为本发明实施例提供的第一种基于深度学习的配准模型的示意图；
[0032]
图3为本发明实施例提供的第二种基于深度学习的配准模型的示意图；
[0033]
图4为本发明实施例提供的一种变压器网络的结构示意图；
[0034]
图5为本发明实施例提供的一种卷积网络的结构示意图；
[0035]
图6为本发明实施例提供的一种卷积上采网络的结构示意图。
具体实施方式
[0036]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
为提高两张医学图像间非刚体配准的速度和准确度，本发明实施例提供了一种基于深度学习的医学图像配准方法，下面进行详细说明。
[0038]
参见图1，为本发明实施例提供的一种基于深度学习的医学图像配准的方法流程示意图。
[0039]
s1获得一张固定图像和一张浮动图像；s2输入网络模型进行计算，得到变形场；s3利用插值变换函数对变形场和浮动图像进行处理，得到变形图像；s4基于变形图像、固定图像和变形场计算损失函数；s5利用损失函数和优化方法对网络模型进行训练，更新网络参数，直到损失函数小于阈值或达到最大迭代次数停止网络训练，完成训练后保存网络参数；s6新的一组浮动图像和固定图像传入网络模型，调用训练后的网络参数得到变形场，并对浮动图像进行变换得到配准后的变形图像。
[0040]
其中，s1中所述的固定图像和浮动图像可以是不同模态、不同尺寸的图像，可以是二维图像或三维图像，例如，可以是x光图像、ct图像、核磁共振图像、pet图像、超声图像、
oct图像等；所述固定图像和浮动图像是三维图像时，对应的变形场为三维三通道矩阵，变形场的长宽高与浮动图像相等；所述固定图像和浮动图像是二维图像时，对应的变形场为二维两通道矩阵，变形场的长宽与浮动图像相等。
[0041]
s2中所述的网络模型包含卷积网络、卷积上采样网络、变压器网络、全连接网络等组成。此外变形场可以由网络模型直接生成，也可以由网络模型输出的变形参数计算生成。
[0042]
s3中所述的插值变换可以是b样条插值变换、薄板样条插值变换、三次样条插值变换、线性插值变换等。
[0043]
s4中所述的损失函数包含两张图像间的相似度和正则项，所述正则项由变形场的扩散函数计算得到。
[0044]
具体的，两张图像间的相似度，可以通过以下公式获得。
[0045][0046]
在上述公式中，cc(f,m(φ))表示固定图像f和变形图像m(φ)间的互相关系数，m为浮动图像，φ为变形场，f^(p)和m^((φ(p))分别表示固定图像的像素平均值和变形图像的像素平均值。
[0047]
正则项的计算公式如下：
[0048][0049]
因此完整的损失函数可表示为
[0050][0051]
其中，λ为正则化参数。
[0052]
s5中所述的网络的优化过程利用损失函数可以计算梯度，然后采用反向传播的方式将梯度回传至网络模型中，对网络参数进行更新，使得整个网络的损失值逐步减小，达到最佳性能，直到损失函数小于阈值或达到最大迭代次数停止网络训练，并保存最新的网络参数；所述网络优化方法优选adam(adaptive moment estimation)。
[0053]
由以上可见，采用本发明实施例提供的方案进行医学图像配准时，可以对两张不同模态、不同尺寸的二维或三维医学图像进行非刚体配准，无需额外的处理步骤。并且所述方案采用非监督学习的方式对网络进行训练，无需大量耗费人力的标注工作，使得所述方案更加容易进入实际应用，减轻训练数据的准备工作。另一方面，在损失函数中加入了变形场的正则项，保证了原有图像中器官的拓扑结构不发生改变，也维持了变形场的光滑性，因此配准后的变形图像会更加精确。
[0054]
此外，本发明在完成网络的训练之后，在配准环节无需初始解、无需反复的迭代计算，一次正向运算即可得出配准后的变形图像，极大地缩短了配准时间。
[0055]
下面再对前述网络模型进行说明。本发明实施例提供了两种网络模型的结构，为了便于理解，下面结合图2和图3对上述网络模型进行说明。
[0056]
参见图2，为本发明实施例提供的第一种基于深度学习的配准模型的示意图。
[0057]
由图2可见，所述网络模型包括六个卷积网络、一个变压器网络、两个全连接网络和一个输出层；所述固定图像传入三个卷积网络级联的管道，所述浮动图像传入另外三个卷积网络级联的管道；两个管道输出的特征经过合并和重组后输入变压器网络进一步提取
具有自注意力的高维特征，然后再将特征输入两个全连接和一个输出层；输出层为一维向量具有12个变形参数，再由变形参数生成变形场。
[0058]
上述变形可以是放射变换，对应的参数包含3个平移量、3个旋转量、3个尺度量、3个剪切量，也可以是他们中的任何一个或他们之间的任意组合。
[0059]
采用两条管道无需先将两张大小不同的图像处理成尺寸相同后再送入网络进行计算，它可以对任意大小的两张图像进行计算，经过三轮卷积网络的处理提取维度相同的高维特征，合并后再由后续网络进行处理。
[0060]
参见图3，为本发明实施例提供的第二种基于深度学习的配准模型的示意图。
[0061]
由图3可见，所述网络模型可以包括九个卷积网络、四个卷积上采样网络、一个变压器网络；所述固定图像传入三个卷积网络级联的管道，所述浮动图像传入另外三个卷积网络级联的管道；两个管道输出的特征经过合并和重组后输入变压器网络；输出的特征再经过重组后，输入两个级联的卷积网络进一步提取合并后的特征，再往后连接四个级联的卷积上采样网络，每一个上采样网络和之前相同维度的一对卷积网络跳跃连接，合并之前的低维特征；最后再接一个卷积网络获得一个与浮动图像尺寸相同的变形场。
[0062]
上述实施例可以利用网络中的多尺度特征提取结构获得局部和全局的视野，并在后半部分结构中逐步恢复图像的分辨率，最终直接获得高分辨的变形场。
[0063]
上述网络模型中使用的变压器网络、卷积网络、卷积上采样网络将在图4、图5、图6中说明。
[0064]
参见图4，为本发明实施例提供的一种变压器网络的结构示意图，上述网络结构包括层标准化(layer norm)、多头自注意力(msa)、多层感知机(mlp)并加入残差机制，可由多个重复的变压器网络块级联组成。其中层标准化是将个输入特征转化成均值为0方差为1的数据，能够加快网络训练的速度，并提高训练稳定性；多头自注意力是为了更好地提取两张图像间最相关的特征，提高配准准确度；多层感知机由全连接层组成；残差机制的加入是为了防止梯度消失，网络性能退化。
[0065]
由以上可见，采用本发明实施例提供的方案进行图像配准时，由于引入了变压器网络，不仅充分提取了两张图像间相关性最高的特征用于配准，而且残差机制和层归一化的应用使得网络的训练更加高效和稳定，提升了配准网络的性能，缩短了正向预测时间。
[0066]
参见图5，为本发明实施例提供的一种卷积网络的结构示意图，包括：卷积层(conv layer)、relu激活函数层、实例标准化(instance norm)和最大池化层(max-pool)；依次连接卷积层、relu激活函数层和实例标准化，然后再接一个同样的结构，最后经过最大池化层的处理提取视野更大通道数更多的高维特征。
[0067]
参见图6，为本发明实施例提供的一种卷积上采样网络的结构示意图，包括：上采样层(upsample)、关联(concatenation)、卷积层(conv layer)、relu激活函数层、实例标准化(instance norm)；输入的特征首先进行上采样获得分辨率更高的特征，然后和之前同分辨率的特征合并，再依次连接卷积层、relu激活函数层和实例标准化，然后再接一个同样的结构，最后输出特征。
[0068]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖
非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
[0069]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0070]
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。