一种基于深度学习的肝脏多模态图像配准方法

本发明涉及一种医学图像配准方法，具体涉及一种基于深度学习的肝脏多模态图像配准方法。

背景技术：

1、原发性肝癌是一种多发疾病，死亡率居恶性肿瘤第二位。目前肝切除手术是肝癌首选的治疗方法，通过完整的清除肿瘤组织来达到治愈的目的。除了手术以外，其他的一些治疗包括射频消融、放疗、分子靶向治疗等。

2、这些内容与医学图像分析密切相关，其中多模态图像配准是至关重要的步骤。通过实现肝脏多模态图像的配准和融合，能够充分利用不同模态的互补信息，从而实现对肝脏病灶定位、定性、定量和定期的综合医疗诊断。当前医学领域普遍采用传统迭代配准算法，而传统方法存在配准精度低、速度慢等缺陷。快速高精度配准方法能极大的方便医生作出诊断和治疗，在未来的医学领域中有着重大的应用前景。

3、近年来，针对医学图像配准，研究者们提出许多基于深度学习的配准技术和方法，主要分为两种类型：1）运用深度学习网络来推测两幅图像之间的相似度度量；2）直接利用深度回归网络预测变换参数。其中估计相似性度量的方法仍然需要结合迭代算法，虽然配准精度更高，但配准时间长的问题没有得到改善。基于深度回归网络的方法包括全监督学习、半监督学习和无监督学习，由于全监督和半监督学习需要在训练时使用真实形变场（金标准）或分割标签，对医生来说标注这些数据也是费时费力的。基于无监督的方法则无需标注数据，直接根据输入数据生成变换参数。

4、当前主流无监督算法是单向配准网络，且在多模态领域一般先将源模态翻译成目标模态，再进行单模态配准，配准精度得到有效提升。然而，在模态形变差异较大的时候，往往会造成误配准问题，配准效果往往很差。为了解决这个问题，可以采用双向配准网络，同时结合多模态信息进行约束，有助于提高配准精度。

5、公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现思路

1、本发明的目的在于解决现有利用无监督网络的单向翻译配准方法，无法同时有效利用两种模态特征信息的问题。提出一种基于深度学习的肝脏多模态图像配准方法，引入查询注意力模块以保证模态翻译时的结构一致性，同时构建循环翻译配准框架，充分利用两个模态的信息进行约束，以提高配准精度。

2、为实现上述目的，本发明提供一种基于深度学习的肝脏多模态图像配准方法，包括以下步骤：

3、（s1）获取配对的肝脏mri和ct三维影像数据，分别作为待配准图像和固定图像；

4、（s2）对待配准图像和固定图像进行预处理，并进行仿射预配准；

5、（s3）在上述数据处理后提取包含肝脏部位的切片，并处理成二维图像，分别指定为mri图像x和ct图像y；

6、（s4）构建基于深度学习的肝脏多模态图像配准模型，输入图像x和y以进行模型训练；

7、（s5）对于训练好的模型，利用dsc评分来作为量化配准性能优劣的指标；

8、（s6）将测试数据输入到训练好的模型中，并将配准好的二维图像整合重建成三维图像。

9、优选的是，本发明步骤s4中的深度学习网络，采用一个双向配准网络r和两个基于查询注意力模块的无监督翻译网络与。输入一对图像，配准网络r学习到双向形变场和。图像x经过形变场得到配准后图像，图像x经过翻译网络和形变场得到图像，图像再经过翻译网络和形变场得到图像，最后采用patchnce损失、相似性损失、循环损失、局部损失和平滑损失的组合进行优化。在学习阶段各网络联合训练，在测试时只使用配准网络。

10、优选的是，配准网络r的基础框架采用u-net，网络由一些包含跳跃连接的编码-解码器组合而成。以图像对为输入，编码器对图像降采样并提取不同尺度的特征，解码器根据学习到的特征生成可逆形变场和。采用形变场梯度的l2范数作为正则化项来使形变场光滑，计算公式为：

11、

12、式中，v表示x和y两个方向的形变位移量，为梯度计算符，为平面空间，代表任意形变场。

13、配准网络r生成两个形变场，总的平滑损失项为：

14、

15、式中r代表配准网络。

16、优选的是，整个网络包含两个翻译网络，分别为与，这两个网络结构相同，翻译方向相反。每个翻译网络包含两个组件，为编码器和解码器。编码图像并提取与形状相关的特征，解码图像并利用这些特征进行模态翻译。

17、优选的是，采用噪声对比估计框架来确保模态翻译过程的结构一致性。从翻译后图像中抽取一个patch（图块）作为查询补丁，并将翻译前图像中同一位置的patch记为正补丁，将翻译前图像中不同位置的patch记为负补丁。采用编码器和mlp（多层感知网络）将三种补丁分别映射到k维向量、和中，其中的r表示实数空间，n表示补丁数量。采用交叉熵损失来计算翻译前后patch之间的互信息，其公式为：

18、<mstyle displaystyle="true" mathcolor="#000000"><mi>l</mi><mi>(</mi><mi>q</mi><mi>,</mi><msup><mi>v</mi><mo>+</mo></msup><mi>,</mi><msup><mi>v</mi><mi>−</mi></msup><mi>)</mi><mi>=−</mi><mi>log[</mi><mfrac><mrow><mi>exp(</mi><mi>q</mi><mi>⋅</mi><msup><mi>v</mi><mo>+</mo></msup><mi>/</mi><mi>τ</mi><mi>)</mi></mrow><mrow><mi>exp(</mi><mi>q</mi><mi>⋅</mi><msup><mi>v</mi><mo>+</mo></msup><mi>/</mi><mi>τ</mi><mi>)</mi><mo>+</mo><mstyle displaystyle="true"><msubsup><mo>∑</mo><mrow><mi>n</mi><mi>=</mi><mn>1</mn></mrow><mi>n</mi></msubsup><mrow><mi>exp(</mi><mi>q</mi><mi>⋅</mi><msup><mi>v</mi><mi>−</mi></msup><mi>/</mi><mi>τ</mi><mi>)</mi></mrow></mstyle></mrow></mfrac><mi>]</mi></mstyle>

19、式中为温度超参数。

20、为避免采用随机位置的特征补丁来计算交叉熵损失，本发明采用查询注意力模块来选择查询补丁。具体为，翻译前的图像经过编码器得到特征，式中r为实数空间，h、w、c分别为图像的高、宽、通道数。将其重塑为二维矩阵p，并将其转置为q，然后p与q进行矩阵相乘，经过softmax函数，得到一个全局注意力矩阵。根据中每一行的熵来测量显著特征，其计算公式为：

21、

22、式中i和j表示中的行和列。

23、将的行按照熵的升序排序以筛选出所有重要的补丁，选取最小的n行作为查询注意力矩阵。将简化后的作为注意力矩阵，从翻译前后图像中选出关键查询补丁，这些补丁描述了图像的高维特征和纹理信息。

24、图像翻译所用的编码器会生成多层隐藏特征，采用mlp网络将选出的补丁映射到k维空间。翻译前图像中每一个空间位置的嵌入编码表示为，其他位置的嵌入编码表示为，翻译后图像对应的嵌入编码表示为。其中l表示第l层特征空间，n表示每一层特征空间中补丁的序号，表示每一层特征空间中补丁的总数。对应的多层patchnce损失为：

25、

26、式中l表示一共编码的层数，代表mri向ct翻译的网络，h代表mlp网络，代表期望计算符，为计算每层特征的交叉熵损失，对应的patchnce损失与此相同。

27、优选的是，patchnce损失对于保持输入图像的形状是有效的，然而在没有对抗损失的情况下，仍然需要最大化翻译图像和目标域图像之间的外观相似性。为了实现这一目标，本发明采用基于l1范数的相似性损失，其计算公式为：

28、

29、式中为图像x经过翻译形变后的图像，为目标域固定图像，代表mri域向ct翻译的网络，r代表配准网络。

30、优选的是，为了使网络进行纹理转换，以及保持形变场的可逆性，本发明在循环翻译配准架构上采用循环损失进行约束，计算公式为：

31、

32、式中x为固定图像，为x经过翻译形变后再经反向翻译形变后的图像，代表ct域向mri域翻译的网络，r代表配准网络。

33、优选的是，为了进一步提高配准性能，本发明采用模态独立邻域描述符mind来构建每个像素周围的结构信息，以保持局部一致性。定义为一对图像块的相似距离，即两个图块之差的平方，其计算公式为：

34、

35、其中i表示一张二维图像，o1和o2表示图像i上两个图块的中心坐标，p代表以o1和o2为中心、尺寸为p×p的图像块之间的位移量，t表示任意位移量。然后计算图像中o点的4邻域搜索空间中各点的相加再平均，其计算公式为：

36、

37、式中o是图像i上的任意像素，on是四邻域内其他点的像素。

38、采用的高斯函数来代表mind函数，其计算公式为：

39、

40、其中r是距离向量。

41、最后采用平均绝对误差来计算两幅图像之间的mind描述子，将其作为局部损失，计算公式为：

42、

43、其中是配准后的图像，y是目标域图像，u是4邻域的位移向量，r表示配准网络。

44、优选的是，本发明的总体损失定义为：

45、

46、式中代表patchnce损失，代表平滑损失，代表循环损失，代表相似性损失，代表局部损失，、、、、为对应损失的权重。

47、优选的是，本发明步骤s5中的dsc评分，计算公式为

48、

49、式中和分别表示图像x和y的标签。

50、本发明涉及基于深度学习的肝脏多模态图像配准方法，是一种以卷积神经网络为基础的方法。本发明相比于传统迭代配准算法，配准精度更高，速度更快。同时相比于以卷积神经网络为基础的单向配准网络，本发明采用循环翻译配准框架，能有效利用源域和目标域的特征，同时结合两个域的损失函数以及两个域交叉的损失函数，使配准精度更高。

51、本发明在图像翻译过程中没有采用基于gan的翻译框架，而是去掉了其中的鉴别器，有效避免鉴别器带来的人工伪影。同时通过基于查询注意力模块的交叉熵损失来保持结构一致性，再通过相似性损失和循环损失来使图像纹理向目标域靠拢，对整个配准网络提供了较好的约束，实现了配准精度的提升。