非迭代轻量化网络蒸馏的配准方法、系统及轻量化方法

本发明涉及外科手术的计算机辅助规划、医学图像处理、计算机视觉和知识蒸馏的，具体地，涉及非迭代轻量化网络蒸馏的配准方法、系统及轻量化方法，尤其涉及面向医学影像的基于非迭代轻量化网络蒸馏的快速配准方法。

背景技术：

1、在现代医学实践中，外科手术的计算机辅助规划、术中导航、图像引导的机器人干预、多帧组织运动跟踪等关键领域都离不开快速且准确的3d医学图像配准算法。目前，基于深度学习的医学图像配准依赖于gpu进行运算。在单独的cpu平台上，这些模型的运算效率大打折扣。这在外科手术的计算机辅助规划中是一个显著的局限性，限制了进行辅助规划的平台和场景。鉴于医疗机构采购高性能gpu设备所需的巨额开销，开发一种在cpu上也能快速且准确运行的配准模型变得尤为重要，有助于外科手术的计算机辅助规划的广泛和灵活应用。

2、有一些工作已经尝试对配准模型进行轻量化。专利《基于三维轻量化卷积神经网络的医学图像配准方法及装置》，申请公布号cn116580067a，尝试解决这一问题。该方法用跨通道低维卷积核的轻量化特征融合模块实现图像配准。然而，该方法只是在推理时间和参数量没有显著增加的条件下提高了网络的配准性能，也不具有继续轻量化的空间。论文《light-weight deformable registration using adversarial learning with distilling knowledge》,ieee transactions on medical imaging,vol.41,no.6,pp.1443-1453,2022.提出了一种新的轻量级可变形配准网络。该网络通过对抗学习和知识蒸馏的结合，有效地将高性能但计算成本高的教师网络中的信息转移到计算成本更低的学生网络中。然而，该轻量级网络依旧是迭代式网络，且网络的计算效率较低，深度配准模型无法在cpu上进行快速准确的推理。

3、因此，需要提出一种新的技术方案以改善上述技术问题。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种非迭代轻量化网络蒸馏的配准方法、系统及轻量化方法。

2、根据本发明提供的一种非迭代轻量化网络蒸馏的配准方法，所述方法包括如下步骤：

3、步骤s1：准备非迭代轻量化配准网络和迭代式配准网络；

4、步骤s2：通过渐进自蒸馏训练方法从迭代式配准网络获得非迭代配准网络，完成非迭代配准网络训练；

5、步骤s3：基于特征的蒸馏训练方法和非迭代配准网络，完成非迭代轻量化配准网络训练；在cpu上进行独立配准。

6、优选地，所述步骤s1包括如下步骤：

7、步骤s1.1：非迭代轻量化配准网络以u型网络为基础，包含编码器、解码器和跳跃连接；

8、步骤s1.2：编码器和解码器中每层分辨率的特征图仅使用一层卷积层进行下采样或上采样，卷积层设置输出通道维度；

9、步骤s1.3：网络直接生成0.5倍原始图像分辨率的变形场，并通过三线性插值获得原始分辨率的变形场。

10、优选地，所述步骤s2包括如下步骤：

11、步骤s2.1：以迭代式网络为基础，给第一个模块添加渐进自蒸馏损失和渐进无监督损失，两项损失的权重随着训练过程线性增加；

12、步骤s2.2：自蒸馏损失作用在第一个模块配准得到的变形场上，该损失的参考项为迭代式网络最终配准得到的复合变形场；

13、步骤s2.3：额外添加的无监督损失作用在第一个模块配准得到的形变图像上，参考项为固定图像；

14、步骤s2.4：参考的变形场不能由当前正在接受梯度回传的模型生成；

15、步骤s2.5：使用基本的无监督损失、正则项训练迭代式网络整体及其中的模块，对自蒸馏进行辅助。

16、优选地，所述步骤s2.1中：迭代式网络中使用n个结构相同的可变形配准模块，模块单独执行可变形配准任务，在迭代式网络中，每个模块都在上一个模块配准得到的形变图像的基础上配准得到变形场和新的形变图像，在一个迭代式网络中，产生一系列的变形场φ1,φ2…φn，将这一系列的变形场复合得到最终变形场φ；结束自蒸馏训练后，第一个模块单独执行配准任务，并被用于蒸馏步骤s1获得的非迭代轻量化配准网络；

17、所述步骤s2.2中：渐进自蒸馏损失的计算公式：

18、ldi2till-s＝p1‖φ-φ1‖2+p1‖△φ-△φ1‖2

19、p1∈[0.0,k1]为权重，随着训练轮次线性增加，在训练的第一个轮次时p1＝0.0，当训练到达最后一个轮次时p1＝k1，其中k1为设置的常数，φ代表迭代式网络最终配准得到的复合变形场，φ1代表迭代式网络第一个模块配准得到的变形场，△表示导数运算，‖·‖2表示均方根误差；

20、所述步骤s2.3中：渐进无监督损失只作用于第一个模块配准得到的形变图像的计算公式为：

21、lcorr--1＝p2(1-corrcoef[i1,i2])

22、其中相关系数为：

23、

24、其中协方差为：

25、

26、i1和i2分别表示两张图像，ω表示图像空间，|ω|表示图像中体素的数量，p2∈[0.0,k2]为权重，随着训练轮次线性增加，在训练的第一个轮次时p2＝0.0，当训练到达最后一个轮次时p2＝k2，其中k2为设置的常数；

27、所述步骤s2.4中：生成用于参考的复合变形场的模型应当来自上一个训练轮次，或者是模型参数的指数滑动平均；

28、所述步骤s2.5中：迭代式网络整体使用的无监督损失作用于网络最终配准得到的形变图像，损失的参考项为固定图像，无监督损失的计算公式为：

29、lcorr-n＝1-corrcoef[i1,i2]

30、正则项作用于所有变形场，对于一例变形场，其计算公式为：

31、

32、其中ω表示图像空间，|ω|表示图像中体素的数量，ei是的自然基向量，用于描述偏导数的计算方向，f(·)表示图像一个坐标处的灰度值。

33、优选地，所述步骤s3包括如下步骤：

34、步骤s3.1：从步骤s1获得的非迭代轻量化配准网络和步骤s2获得的非迭代配准网络，两者的解码器部分中选择相同分辨率的特征图；

35、步骤s3.2：用回归头提高非迭代轻量化配准网络特征图的通道维度，与非迭代配准网络对应特征图的通道维度对齐，回归头中还包含随机掩码和复原用的卷积层；

36、步骤s3.3：用维度对齐后的非迭代轻量化配准网络的特征图和非迭代配准网络的特征图进行基于特征的蒸馏；

37、步骤s3.4：使用基本的无监督损失、正则项和变形场蒸馏训练非迭代轻量化配准网络，对基于特征的蒸馏起到辅助作用。

38、本发明还提供一种非迭代轻量化网络蒸馏的配准系统，所述系统包括如下模块：

39、模块m1：准备非迭代轻量化配准网络和迭代式配准网络；

40、模块m2：通过渐进自蒸馏训练系统从迭代式配准网络获得非迭代配准网络，完成非迭代配准网络训练；

41、模块m3：基于特征的蒸馏训练系统和非迭代配准网络，完成非迭代轻量化配准网络训练；在cpu上进行独立配准。

42、优选地，所述模块m1包括如下模块：

43、模块m1.1：非迭代轻量化配准网络以u型网络为基础，包含编码器、解码器和跳跃连接；

44、模块m1.2：编码器和解码器中每层分辨率的特征图仅使用一层卷积层进行下采样或上采样，卷积层设置输出通道维度；

45、模块m1.3：网络直接生成0.5倍原始图像分辨率的变形场，并通过三线性插值获得原始分辨率的变形场。

46、优选地，所述模块m2包括如下模块：

47、模块m2.1：以迭代式网络为基础，给第一个模块添加渐进自蒸馏损失和渐进无监督损失，两项损失的权重随着训练过程线性增加；

48、模块m2.2：自蒸馏损失作用在第一个模块配准得到的变形场上，该损失的参考项为迭代式网络最终配准得到的复合变形场；

49、模块m2.3：额外添加的无监督损失作用在第一个模块配准得到的形变图像上，参考项为固定图像；

50、模块m2.4：参考的变形场不能由当前正在接受梯度回传的模型生成；

51、模块m2.5：使用基本的无监督损失、正则项训练迭代式网络整体及其中的模块，对自蒸馏进行辅助。

52、优选地，所述模块m2.1中：迭代式网络中使用n个结构相同的可变形配准模块，模块单独执行可变形配准任务，在迭代式网络中，每个模块都在上一个模块配准得到的形变图像的基础上配准得到变形场和新的形变图像，在一个迭代式网络中，产生一系列的变形场φ1,φ2…φn，将这一系列的变形场复合得到最终变形场φ；结束自蒸馏训练后，第一个模块单独执行配准任务，并被用于蒸馏模块m1获得的非迭代轻量化配准网络；

53、所述模块m2.2中：渐进自蒸馏损失的计算公式：

54、ldistill-s＝p1‖φ-φ1‖2+p1‖△φ-△φ1‖2

55、p1∈[0.0,k1]为权重，随着训练轮次线性增加，在训练的第一个轮次时p1＝0.0，当训练到达最后一个轮次时p1＝k1，其中k1为设置的常数，φ代表迭代式网络最终配准得到的复合变形场，φ1代表迭代式网络第一个模块配准得到的变形场，△表示导数运算，‖·‖2表示均方根误差；

56、所述模块m2.3中：渐进无监督损失只作用于第一个模块配准得到的形变图像的计算公式为：

57、lcorr-1＝p2(1-corrcoef[i1,i2])

58、其中相关系数为：

59、

60、其中协方差为：

61、

62、i1和i2分别表示两张图像，ω表示图像空间，|ω|表示图像中体素的数量，p2∈[0.0,k2]为权重，随着训练轮次线性增加，在训练的第一个轮次时p2＝0.0，当训练到达最后一个轮次时p2＝k2，其中k2为设置的常数；

63、所述模块m2.4中：生成用于参考的复合变形场的模型应当来自上一个训练轮次，或者是模型参数的指数滑动平均；

64、所述模块m2.5中：迭代式网络整体使用的无监督损失作用于网络最终配准得到的形变图像，损失的参考项为固定图像，无监督损失的计算公式为：

65、lcorr-n＝1-corrcoef[i1,i2]

66、正则项作用于所有变形场，对于一例变形场，其计算公式为：

67、

68、其中ω表示图像空间，|ω|表示图像中体素的数量，ei是的自然基向量，用于描述偏导数的计算方向，f(·)表示图像一个坐标处的灰度值；

69、模块m3.1：从模块m1获得的非迭代轻量化配准网络和模块m2获得的非迭代配准网络，两者的解码器部分中选择相同分辨率的特征图；

70、模块m3.2：用回归头提高非迭代轻量化配准网络特征图的通道维度，与非迭代配准网络对应特征图的通道维度对齐，回归头中还包含随机掩码和复原用的卷积层；

71、模块m3.3：用维度对齐后的非迭代轻量化配准网络的特征图和非迭代配准网络的特征图进行基于特征的蒸馏；

72、模块m3.4：使用基本的无监督损失、正则项和变形场蒸馏训练非迭代轻量化配准网络，对基于特征的蒸馏起到辅助作用。

73、本发明还提供一种多模态医学影像融合的轻量化方法，所述方法应用上述中的非迭代轻量化网络蒸馏的配准方法，所述方法应用于图像引导手术的智能规划。

74、与现有技术相比，本发明具有如下的有益效果：

75、1、本发明提供了一种基于非迭代轻量化网络蒸馏的快速配准方法，最终实现准确的、能够在cpu上快速配准的模型；

76、2、本发明为具有在cpu上快速配准需求的场景带来了技术基础和发展前景；

77、3、本发明率先设计出了能够在cpu上快速配准的非迭代轻量化网络，并且率先提出了从迭代式配准模型到非迭代配准模型的细致的蒸馏框架，为非迭代轻量化配准网络的性能提供了保障；

78、4、本发明的网络设计能够在常规cpu上高效执行3d医学图像配准任务，避免对昂贵gpu设备的依赖；

79、5、本发明的优势在于提高了在现有cpu设备上的图像配准任务吞吐量，并显著减少了外科手术的计算机辅助规划中图像配准的时间开销；

80、6、本发明不仅有助于降低医疗设备的总体成本，同时也提高了外科手术的计算机辅助规划的效率和易用性；

81、7、本发明能够在cpu上快速运行的非迭代轻量化配准网络，从而提高外科手术的计算机辅助规划在cpu平台上的进行速度，推动其广泛和灵活应用。