一种基于弱监督学习的肺部X射线图像配准方法

本发明涉及部x射线图像配准方法领域，具体涉及的是一种基于弱监督学习的肺部x射线图像配准方法。

背景技术：

1、传统的图像配准通常采用关键点检测、边缘提取、区域分割等图像处理技术，最大限度地提高变换后的运动图像与固定之间预定义的相似性度量。不幸的是，解决这种优化问题通常会产生不令人满意的计算效率和配准精度。然而，这种方法的计算成本昂贵，而且在实践中通常速度缓慢，因为优化问题需要对每对看不见的图像重新解决。

2、现有的基于cnn的图像配准方法通常分为有监督或无监督两种，这取决于它们在训练过程中是否使用地面真实变形场来计算损失函数。基于cnn的监督图像配准方法将图像配准作为一个回归问题。给定一对源图像和目标图像，它们的目标是回归一个与地面真相相匹配的变形场。这些方法的优点之一是它相对于图像模式的独立性：给定一个带有图像对及其相应的地面真实变形的训练数据集，它学习将图像映射到变形场，而不使用任何类型的相似性度量来比较它们。然而，获得如此好的数据集是一项困难的任务，这使得这种方法不切实际。

3、相反，基于cnn的医学图像配准不需要地面真实变形场。相反，这些方法(以及原始的基于cnn的无监督光流估计方法)通过基于变形源图像与目标之间的相似度最小化损失函数来解决配准过程。他们使用一个类似于空间变形器中使用的可微扭曲模块，在正向传递过程中扭曲源图像，并允许梯度在反向传播时回流。通过这种方式，该模型被训练产生最小化基于相似的损失函数。在测试时，一次前进传递将返回变形场。

4、传统的卷积网络架构通常有局限性，难以建模图像中的显式长距离空间关系，这是由于卷积操作的本地性质导致的。u-net提出通过引入下采样和上采样操作来扩大传统的卷积网络架构的感受野，以鼓励网络考虑图像中点之间的长距离关系。然而，存在一些问题：首先，前几层的感受野仍受到卷积核大小的限制，只有在网络的较深层才能查看图像的全局信息；其次，研究表明，随着卷积层数的增加，来自远处体素的影响迅速减小。这导致u-net的实际感受野要小得多，而且远小于典型医学图像的尺寸。这限制了u-net理解语义信息和建模点之间的长距离关系的能力。然而，理解语义场景信息在处理大变形中被认为至关重要。许多其他领域的工作已经解决了u-net的这一局限性。因此，在医学图像配准中，对于采用先进的网络架构的研究较少。

5、现在，由于transformer在计算机视觉任务中表现出潜力，它可以更好地理解移动图像和固定图像之间的空间对应关系，这使得它成为图像配准的强有力选择。transformer使用自注意机制来根据上下文信息确定输入序列(如图像)的哪些部分是重要的。与卷积操作不同，自注意机制的有效感受野受限于卷积核的大小，使得transformer能够捕获长距离空间信息。在医学图像领域，transformer相关方法也受到了关注，主要应用于图像分割任务。transformer可以更好地理解移动图像和固定图像之间的空间对应关系，使其成为图像配准的强有力选择。传统的卷积网络架构具有较窄的视野：它在本地执行卷积操作，其视野随着传统的卷积网络架构的深度增加而增长。因此，浅层具有相对较小的感受野，限制了传统的卷积网络架构在两幅图像之间关联远距离部分的能力。然而，transformer能够处理这种情况，并迅速关注需要变形的部分，因为它具有大的感受野和自注意机制。在肺部x射线的图像配准中，主要想要进行的是对其中的肺部器官进行配准。但是在以往的配准模型训练中直接比较的是两幅图像的相似度，并没有把图像中的器官部分作为着重的配准部分。

技术实现思路

1、本发明要解决的技术问题是针对以上问题和要求，提供一种基于弱监督学习的肺部x射线图像配准方法。

2、为解决以上技术问题，本发明采用以下技术方案：

3、一种基于弱监督学习的肺部x射线图像配准方法，包括以下步骤：

4、步骤1、对现有x射线图像数据库进行预处理，得到训练集；

5、步骤2、从训练集中选取肺部x射线移动图像和固定图像输入x射线配准模块和肺部医学图像分割模块；

6、步骤3、x射线配准模块预测出输入的移动图像变形到固定图像的形变场；肺部医学图像分割模块分割出输入的移动图像和固定图像的肺部掩码；

7、步骤4、对形变场进行平滑性约束后，作用于步骤2输入的移动图像一起生成配准后图像；

8、平滑性约束后的形变场作用于移动图像的肺部掩码中生成配准后的肺部掩码，并将配准后的肺部掩码与固定图像的掩码进行相似度比较，计算交叉熵损失函数，并通过最小化交叉熵损失函数对肺部医学图像分割模块进行训练；

9、利用改进的结构相似性损失函数计算步骤2输入的移动图像与配准后图像之间的相似度，并通过最小化损失函数对x射线配准模块进行训练，最终得到训练好的肺部医学图像分割模块和x射线配准模块；

10、步骤5、将待配准固定图像和移动图像输入训练好的肺部医学图像分割模块和x射线配准模块，得到配准后的图像和配准后图像掩码。

11、进一步的，步骤2中，肺部医学图像分割模块采用了unet基本结构编码器、解码器以及跳跃连接，用注意力模块取代了cnn；对于编码器，通过将图像进行不重叠切分成4×4的补丁，再将补丁输入线性嵌入层进行特征维数的投影，转换后的补丁令牌通过通过几个bi-former块和patch merging来提取层次特征，在解码器中，将patch merging替换成patch expanding做上采样，恢复分辨率。

12、进一步的，步骤2中，x射线配准模块的编码器部分采用transformer和cnn结合的形式，融合了对于理解移动图像和固定图像之间的空间对应关系功能，编码器采用unet模型的cnn架构，模型图中的ds模块是形变场增强模块，用于通过对形变场的x,y两个方向同时增强。

13、进一步的，所述步骤4中，改进的结构相似性损失函数公式如下：

14、(1+c)simm(f,m)if(x＝lung)

15、simm(f,m)otherwise

16、其中f代表固定图像，m代表移动图像，x代表x射线图像中肺部像素区域,c表示的是肺部区域在整张图像中所占的面积比例，大小为0到1之间。

17、本发明采用以上技术方案后，与现有技术相比，具有以下优点：

18、本发明提出了一个结合transformer和cnn的配准模块，融合了transformer中有但cnn不具备的对于理解移动图像和固定图像之间的空间对应关系优势，提升配准的位置精度；同时由于医学图像的分割掩码制作成本偏大，我们在整体配准模型中，提供了新的轻量化的医学图像分割网络，为缺失分割掩码的图像提供肺部掩码。同时由于以往在模型训练中，一般直接比较整张图像的相似度，但实际上我们更加关注的时肺部区域的配准情况，因此，本发明提出了一个新的损失函数，通过对于肺部区域进行相似比较是，增加权重的方法，让图像配准更加关注于肺部区域。

19、下面结合附图和实施例对本发明进行详细说明。