植入体遮挡下的脊椎医学图像配准方法、装置和介质

本发明涉及脊椎骨科术中植入椎弓根螺钉下的图像配准领域，特别涉及植入体遮挡下的脊椎医学图像配准方法、装置和介质。

背景技术：

1、在脊椎微创外科手术中，植入椎弓根螺钉是常见的脊椎治疗方法。如何在准确的植入螺钉的同时避免穿入椎管或椎间孔造成神经损伤的风险，对医生能否精确的操作提出了极高的要求。医生可以通过术中x射线图像查看螺钉植入情况，但术中x射线通常是低剂量，使得术中图像的清晰度能够反映出的信息较少，无法精确地体现植入螺钉和解剖结构的位置关系,而且如果拍摄多张x射线图像，容易对患者造成辐射损伤。运用2d/3d配准技术，通过术中模糊的x射线图像引导出对应姿态下术前3d ct的清晰配准图像。最后通过将x射线图像与配准图像融合，从而引导外科医生参考清晰图像来判断螺钉植入情况，提高手术效率、降低手术风险。

2、目前传统的基于优化的2d/3d配准方法在无螺钉植入的情况下可以通过迭代数字重建影像(drr)实现配准，具有较高的鲁棒性以及配准精度。相似度测量和drr生成是优化配准的两个重要组成部分，但这两部分在迭代过程中需经过大量计算，占用术中过多时间，无法满足医生对实时配准的需求。

3、近年来，基于深度学习的方法逐渐运用在医学图像配准任务当中，这类方法将配准任务视为一个回归问题，通过训练一个模型来估计输入图像中的姿态参数然而该方法所能达到的准确度远低于使用基于优化的方法所能达到的准确度。

4、椎弓根螺钉植入脊椎时，术中x射线拍摄的图像中螺钉成像的像素值较高，对脊椎部位造成遮挡，影响迭代优化过程中相似度的计算，使得配准过程极易陷入局部最优值以至于无法继续收敛。基于学习的方法利用cnn自动提取特征，有效提升了配准效率，但配准精度仍有待提高，继而在螺钉的遮挡影响下，其配准精度进一步无法得到保证。

技术实现思路

1、本发明解决的技术问题是提供一种在快速配准的同时能够避免螺钉遮挡对提取姿态的影响，保证配准精度的植入体遮挡下的脊椎医学图像配准方法、装置和介质

2、本发明解决其技术问题所采用的技术方案是：一种植入体遮挡下的脊椎医学图像配准方法，其特征在于，包括如下步骤，

3、s100：输入一张带有植入体遮挡的术中x射线图像，通过cnn得到feature map，

4、s200：将单个植入体图像经过空间金字塔池化提取得到区域遮挡信息，并将该区域遮挡信息与s100得到的feature map相加得到特征图。

5、s300：通过gcn对s200步骤中的特征图中的植入体区域以及脊椎区域进行分层解耦处理，得到隐藏特征；

6、s400：使用姿态编码器提取脊椎信息，重构对应姿态隐空间，接着利用mlp对隐空间进行回归得到所需的姿态参数，以该姿态参数对术前ct进行投影，得到最终的配准图像。

7、进一步的是：步骤s200中，在spp网络中，首先将螺钉图像通过一个卷积操作得到相应的feature map，接着输入3个全局平均池化层，将池化金字塔参数定义为(1，4，8)，步长均为1，然后将遮挡图像的整体特征与通过3个全局平均池化层计算的特征向量完成拼接并进行填充后，最后通过一个卷积计算形成最终的输出。

8、进一步的是：所述步骤s300为，用gcn作为处理遮挡模块，其中特征图中的每个图节点表示特征图上的单个像素，每个像素之间的邻接矩阵作为节点之间的边关系，因此，将图卷积操作表示为：

9、z＝σ(wzax)+x；

10、a＝soft max(f(xi,xj))；

11、f(xi,xj)＝θ(xi)tφ(xj)；

12、上式中，x为输入图片特征，+x表示一个残差连接，a表示通过点积定义图节点的相邻关系的邻接矩阵，wz为输出变换的可学习参数矩阵，最后通过一个softmax函数以及非线性函数得到输出特征z；

13、其中，θ和φ是通过1×1卷积实现的两个可训练变换函数，从而构造邻接矩阵以及图节点。

14、进一步的是：在步骤s400中，使用姿态编码器提取脊椎信息，构建自编码器架构，所述自编码器架构由四个卷积组成，每层使用3×3的卷积核，步长为2，每个卷积后面都有一个参数为0.2的leakyrelu层，在编码过程中应用2d卷积，输入不同姿态下的脊椎x射线图像特征，得到姿态信息，然后接入128->64->32->16->3全连接层，回归出姿态参数。

15、进一步的是：在进行配准时，具体为：

16、

17、上式中，ict为ct图像，ix为x射线图像，imetal为遮挡物图像，为姿态编码器+mlp的姿态回归过程模型，proj为drr投影，ireg为配准图像。

18、进一步的是：所述配准网络框架通过多损失函数ltotal定义的端到端方式训练，总目标函数为：

19、ltotal＝λ1ll1+λ2lcosine+λ3lncc

20、其中，λ1，λ2和λ3是超参数，以平衡不同损失项的权重；

21、ll1为预测的姿态参数与真实姿态r(i)的l1范数损失，具体计算为：

22、

23、lcosine为x射线图像中提取的隐变量zi与drr配准图中提取的隐变量zi'的余弦相似度损失，在训练过程中，drr图像为无遮挡的ct投影得到，该图像中提取脊椎姿态特征无遮挡干扰，与含有遮挡的x射线图像的隐变量形成对比，具体计算为：

24、

25、lncc为x射线图像与配准图像的相似度损失，该损失函数可以表示为：

26、

27、上式中ixl与idrr分别对应x射线图像与drr图像在区域(i,j)的强度值，ixl与idrr为重叠区域(i,j)∈t内图像的均值。

28、本发明还公开了一种计算机装置，包括：处理器、存储器、通信接口和通信总线，所述处理器、存储器和通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述所述的植入体遮挡下的脊椎医学图像配准方法对应的操作。

29、本发明还公开了一种计算机存储介质，所述计算机存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行上述所述的植入体遮挡下的脊椎医学图像配准方法。

30、本发明的有益效果是：

31、(1)本发明采用姿态编码器预测姿态参数，避免传统迭代过程，配准时间大幅缩短。

32、(2)本发明引入图卷积网络，处理植入体遮挡区域，避免遮挡对姿态提取的影响，保证了配准精度

33、(3)本发明采用合成数据集训练模型，仅需ct数据即可完成整个模型训练。

34、(4)本发明采用姿态预测方法进行配准，对除脊椎外的其他骨科图像均能实现。

技术特征：

1.一种植入体遮挡下的脊椎医学图像配准方法，其特征在于，包括配准网络框架，所述配准网络框架包括如下步骤，

2.如权利要求1所述的植入体遮挡下的脊椎医学图像配准方法，其特征在于，步骤s200中，在spp网络中，首先将螺钉图像通过一个卷积操作得到相应的feature map，接着输入3个全局平均池化层，将池化金字塔参数定义为(1，4，8)，步长均为1，然后将遮挡图像的整体特征与通过3个全局平均池化层计算的特征向量完成拼接并进行填充后，最后通过一个卷积计算形成最终的输出。

3.如权利要求1所述的植入体遮挡下的脊椎医学图像配准方法，其特征在于，所述步骤s300为，用gcn作为处理遮挡模块，其中特征图中的每个图节点表示特征图上的单个像素，每个像素之间的邻接矩阵作为节点之间的边关系，因此，将图卷积操作表示为：

4.如权利要求1所述的植入体遮挡下的脊椎医学图像配准方法，其特征在于，在步骤s400中，使用姿态编码器提取脊椎信息，构建自编码器架构，所述自编码器架构由四个卷积组成，每层使用3×3的卷积核，步长为2，每个卷积后面都有一个参数为0.2的leakyrelu层，在编码过程中应用2d卷积，输入不同姿态下的脊椎x射线图像特征，得到姿态信息，然后接入128->64->32->16->3全连接层，回归出姿态参数。

5.如权利要求4所述的植入体遮挡下的脊椎医学图像配准方法，其特征在于，在进行配准时，具体为：

6.如权利要求4所述的植入体遮挡下的脊椎医学图像配准方法，其特征在于，所述配准网络框架通过多损失函数ltotal定义的端到端方式训练，总目标函数为：

7.一种计算机装置，其特征在于：包括：处理器、存储器、通信接口和通信总线，所述处理器、存储器和通信接口通过所述通信总线完成相互间的通信，所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1至6中任意一项所述的植入体遮挡下的脊椎医学图像配准方法对应的操作。

8.一种计算机存储介质，其特征在于：所述计算机存储介质中存储有至少一个可执行指令，所述可执行指令使处理器执行如权利要求1至6中任意一项所述的植入体遮挡下的脊椎医学图像配准方法。

技术总结
本发明公开了植入体遮挡下的脊椎医学图像配准方法、装置和介质，其特征在于，包括如下步骤，S100：输入一张带有植入体遮挡的术中X射线图像，通过CNN得到FeatureMap；S200：将单个植入体图像经过空间金字塔池化提取得到区域遮挡信息，并将该区域遮挡信息与S100得到的FeatureMap相加；S300：通过GCN对特征图中的植入体区域以及脊椎区域进行分层解耦处理，得到隐藏特征；S400：使用姿态编码器提取脊椎信息，重构对应姿态隐空间，接着利用MLP对隐空间进行回归得到所需的姿态参数，以该姿态参数对术前CT进行投影，得到最终的配准图像，本方法能精确快速地回归术前CT图像中对应的3D姿态参数，改善了传统优化方法无法快速配准等问题。

技术研发人员：张战成,徐少康,王熙源,杨小龙,罗晓清
受保护的技术使用者：苏州科技大学
技术研发日：
技术公布日：2024/1/16