一种基于GAN用于IGRT精确配准的有限角度CBCT重建方法

本发明属于计算机图像处理领域，具体涉及一种基于gan用于igrt精确配准的有限角度cbct重建方法。

背景技术：

1、锥形束计算机断层扫描(cbct)是一种医学影像技术，在光子和质子治疗的图像引导放射治疗(igrt)中发挥着重要作用。它用于准确的治疗设置、在线肿瘤和器官定位以及临床实践中的患者剂量计划验证。然而，由于cbct成像特点的限制，它的运动自由度受限且辐射剂量较高。这限制了对较大解剖区域的覆盖，并增加了基因突变的风险。

2、目前，有限角度技术在cbct的igrt应用中被认为是一种有前景的解决方案。对于临床igrt而言，有限的扫描角度范围可以有效提高cbct成像的自由度并减少辐射剂量。这提升了igrt的图像质量，提高了患者的定位精度，从而最大限度地提高了放射治疗的有效性和安全性。然而，由于投影视图的范围小于精确重建所需的理论要求，重建问题变得非常棘手，导致图像常常出现明显的带状伪影。这严重影响了肿瘤和器官的识别，并进一步阻碍了准确的结构划分和治疗剂量的确定。为了满足有限角度cbct成像在igrt中的准确性要求，迫切需要一种强大的有限角度重建算法。目前，研究人员广泛研究有限角度重建作为一个严妥的反问题，其算法可分为基于正则化的方法和基于深度学习的方法。

3、(1)基于正则化的方法：

4、基于正则化的方法通过在重建过程中引入额外的先验信息或约束条件，以弥补缺失的投影数据并减少伪影的出现。一种常见的正则化方法是使用正则化函数，例如全变差正则化(total variation regularization)，它鼓励重建图像具有较少的突变和边缘。全变差正则化基于图像的梯度信息，使得重建的图像在边缘处具有平滑的特性。通过最小化原始数据拟合项和正则化项之间的加权和，可以得到一种平衡重建质量和平滑度的解。此外，还有其他正则化方法，如总变差正则化、低秩正则化、形态学正则化等，它们在有限角度重建中起到平衡数据拟合和先验信息的作用。基于正则化的方法在有限角度重建中具有一定的优势，能够提供较好的重建质量和伪影抑制效果。然而，选择适当的正则化参数和设计合适的正则化函数仍然是挑战，需要根据具体的应用场景和数据特点进行调整和优化。

5、(2)基于深度学习的方法：

6、基于深度学习的图像重建可以分为三类：图像域方法、数据域方法和深度重建方法。图像域方法以质量良好的样本为目标，直接在图像域学习和确定噪声的分布和伪影的程度，达到抑制噪声和伪影的目的。数据域方法尝试直接在投影域处理不理想的正弦图数据。但是与图像域方法相比，数据域的方法效果相对有限。深度重建方法则是以传统重建方法为基础发展起来的，这类方法通过深度神经网络来描述重建的物理和数学模型，替换传统方法中的部分甚至是全部过程。

7、随着深度学习的进一步发展，为了更好的利用gan强大的生成能力，基于gan的条件生成模型被应用到有限角cbct的重建，并且它们已被证明在有限角cbct重建的伪影抑制中具有良好的性能。

技术实现思路

1、为解决上述问题，本发明公开了一种基于gan用于igrt精确配准的有限角度cbct重建方法，充分利用了计划ct中高质量的心眼信息及gan强大的生成能力，实现了有限角cbct图像的高质量重建，从而提升了igrt过程中的配准精度。

2、为达到上述目的，本发明的技术方案如下：

3、一种基于gan用于igrt精确配准的有限角度cbct重建方法，包括以下步骤：

4、步骤1：准备训练数据，获得有限角cbct临床数据与其对应的全角cbct数据及计划ct数据，所述有限角度是80°；

5、步骤2：对采集的计划ct数据进行预处理操作并进行有限角伪影模拟；

6、步骤3：搭建计划ct配准的神经网络模块umr-module，以步骤2所得的有限角度计划ct与有限角cbct作为输入，并设计损失函数对umr-module进行训练，经网络处理后获得空间变换参数；

7、步骤4：依据步骤3获得的空间变换参数对计划ct进行处理，获得配准后的计划ct先验图像；

8、步骤5：搭建计划ct引导的有限角cbct重建模块gla-module，以步骤4所得的配准后的计划ct及有限角cbct作为输入，并设计损失函数对gla-module进行训练，经网络处理后获得最终的有限角cbct重建图像；

9、步骤6：测试与评估，将umr-module与gla-module级联即位我们提出的完整plg-net，在真实数据训练集上训练收敛后的网络，在对应的测试集中进行测试和评估。

10、进一步的，所述步骤1中,训练数据均来自雷泰公司放疗设备实地采集的真实数据。。

11、进一步的，所述步骤2中，对计划ct进行分辨率调整、等中心校正、区域分割等预处理操作，随后，对计划ct图像按照有限角cbct图像相同的几何结构进行模拟投影，并进行fdk重建，得到有限角ct图像。fdk算法是基于二维图像重建滤波反投影算法(filteredback projection，fbp)推导和修改而来，其核心依然是randon变换及其反演和中心切片定理。

12、进一步的，所述步骤3中，umr-module是一种用于不同模态三维图像对无监督配准模块，由两个协作单元构成：t-unit，r-unit

13、(1)t-unit执行模态间的翻译任务，使得多模态配准任务转变为单模态配准任务，t-unit遵循类似u-net的架构，编码器提取与形状相关的特征，解码器基于编码的特征学习翻译过程，以生成目标模态的翻译输出。在模态转换过程中，为了保持解剖一致性的同时实现从计划ct到cbct的外观转换，我们利用patchnce损失来加强形状一致性，利用像素损失来确保图像的外观转换。patchnce loss基于对比学习，通过捕捉局部区域之间的对比关系来学习图像表示。具体表达式为：

14、

15、其中q表示查询补丁，p表示正样本，g表示负样本。n代表负样本的数量。

16、像素损失计算生成的图像和目标图像在每个像素位置的绝对差值，像素损失使用l1范数计算:

17、lpixel(x，y)＝||x-y||1

18、(2)r-unit执行配准任务，使用一个三维swin transformer架构来实现配准网络，受transformer在计算机视觉任务中取得巨大成功的启发，swin transformer被用于医学图像处理；与典型的vit不同，swin transformer引入了相邻窗口之间的分层特征图提取，以提取全局基于内容的特征。此外，在整个配准过程中，仅仅依靠翻译过程中的patchnce损失和像素损失无法明确指导注册任务，我们还采用了互信息损失来引导配准过程。互信息丢失度量了不同图像之间的信息相关性，有助于学习图像内部的重要特征，具体表达式为：

19、lmi(x，y)＝h(x)+h(y)-h(x，y)

20、h(x)和h(y)分别表示变量x和y的熵，h(x，y)表示变量x和y的联合熵，计算公式如下:

21、

22、h(x，y)＝-∑x，ypx，y(x，y)log(pxy(x，y))

23、进一步的，所述步骤4中，具体包括如下过程：步骤3得到了有限角计划ct在x，y，z三个方向的平移量，将这三个平移量作用于计划ct，即可得到配准后的计划ct图像。

24、进一步的，所述步骤5中，所述步骤5中，gla-module由传统的gan模型改进而来，以有限角cbct图像作为输入，并将配准后的计划ct图像作为先验图像指导有限角cbct的重建。对于提出的gla-module，损失函数表述为三个损失的组合，具体表达式为：

25、ltotal＝lgan+μl1(y1，s1)+λlssim(y1，s1)

26、其中：y1表示gla-module的输出，s1表示对应的地面真实图像。μ和λ是分别是后两项的权重系数。

27、lgan损失是网络的对抗性损失：

28、

29、是训练的鉴别器，是训练的生成器，x表示网络的输入。

30、l1损失函数是两者的平均绝对值误差：

31、l1(y1，s1)＝||y1-s1||1

32、lssim则是输出与标签之间的ssim损失，一定程度上可以优化结果的结构信息：

33、lssim＝1-ssim(y1，s1)

34、最终采用上述损失函数对网络进行训练。

35、步骤6中，在真实数据集上进行了消融实验，并将所提出的方法与现有最先进的方法进行比较；实验结果表明，所提出的plg-net优于其他最先进的方法，这表明该方法在有限角cbct图像重建以实现igrt中的高质量配准中是有效的。

36、本发明的有益效果是：

37、(1)本发明实现了一种基于gan的由计划ct引导的学习框架，通过同时利用计划ct中高质量的先验信息及gan强大的生成能力来进行有限角cbct图像重建，极大补充了有限角度cbct的缺失数据同时提升了模型的生成能力，从而改善了重建结果。

38、(2)本发明提出了一个无监督的多模态配准模块umr-module，通过将计划ct与有限角度的cbct进行配准，获得更高质量的先验图像，从而提高了有限角度cbct的重建质量。

39、(3)本发明使用了联合训练的方式，通过多个损失函数来同时训练模型，提高了模型的稳定性和泛化能力，能够适用于不同的有限角度数据集和临床应用场景。