一种多模态多角度牙科种植体配准方法与流程
本发明涉及图像配准技术领域，更具体地，涉及一种多模态多角度牙科种植体配准方法。
背景技术：
牙科种植手术指的是一种以植入骨组织内的下部结构为基础来支持、固位上部牙修复体的缺牙修复方式。通过医学方式，将与人体骨质兼容性高的纯钛金属经过精密的设计，制造成类似牙根的圆柱体或其他形状，以外科小手术的方式植入缺牙区的牙槽骨内，当人工牙根与牙槽骨密合后，再在人工牙根上制作烤瓷牙冠。种植牙已经成为越来越多缺牙患者的首选修复方式，因不具破坏性，种植牙已被口腔医学界公认为缺牙的首选修复方式。而在牙科种植手术中，现阶段都会实施分步骤来评估患者口腔状况，术前建模和术中根据实际情况完成手术都是及其重要的部分。
常规操作流程都是需要根据患者口腔的具体情况进行取模分析，并且建模确定手术方案。同时，在手术的过程中，医生需要根据术中手术实时情况进行评估，调整，完善手术过程，已达到更好的手术效果。因为手术过程的局限性，医生并不能在术中获得较为准确的3d信息，仅可以通过2d图像进行观察。
在中国申请的专利201910900745.6公开了一种牙科种植体植入精度测试装置、系统及方法，以解决术前种植体精度测量的问题，但是并不涉及术中种植体配准精度的测量。
技术实现要素：
本发明的目的在于克服上述现有技术所述的至少一种缺陷(不足)，提供一种多模态多角度牙科种植体配准方法，以解决牙科医生在术中难以判断种植体的位置偏差和角度偏差的问题，从而辅助医生评估手术情况，提高种植体术中种植的精度。
为了达到上述技术效果，本发明的技术方案如下：
一种多模态多角度牙科种植体配准方法，包括以下步骤：
s1:获取患者口腔模型；该步骤获取的模型是患者口腔虚拟三维模型；
s2:将种植体模型植入所述口腔模型，获得术前3d模型；
s3:获取所述患者术中多角度口腔2d图片；
s4:将不同角度的所述口腔2d图片和所述术前3d模型进行图像配准；
s5:显示不同角度的所述口腔2d图片和所述术前3d模型的配准结果。
需要说明的是，本发明提供的牙科种植体配准方法，通过步骤s1和步骤s2获取患者口腔模型和植入种植体模型，以此来构造待配准的术前3d模型；步骤s3通过镜头或其他图像采集设备获取术中患者口腔多角度口腔2d图片；步骤s4将多角度口腔2d图片和所述术前3d模型进行图像配准，分别计算多角度的口腔2d图片和所述术前3d模型之间的偏差数据；步骤s5显示步骤s4计算得到的配准结果，使医生在术中就可以直观观察到实际术中种植体位置与术前提前建模的种植体位置的偏差，以此来指导完善进一步的手术操作。
进一步的，所述步骤s4包括以下子步骤：
s41:图像预处理，分别选取所述口腔2d图片和所述术前3d模型的待配准区域；
s42:设定选取了所述待配准区域的所述术前3d模型的初始姿态；
s43:将设定了所述初始姿态的所述术前3d模型进行降维处理；
s44:将经过所述步骤s43降维处理后得到的图像与所述口腔2d图片通过散射卷积网络变换分别提取散射特征系数；
s45:将经过所述步骤s44提取出的散射特征系数进行相似度计算；
s46:迭代更新优化所述术前3d模型的姿态参数，所述姿态参数为空间坐标系的三个轴的旋转角度(rotx,roty,roty)和平移变量(x,y,z)。
需要说明的是，步骤s41选取待配准区域的目的是减少图像噪声和无关配准部分对最终结果的影响；步骤s42设定术前3d模型的初始姿态的目的，是因为医生制作不同患者的初始模型存在差异，差异主要集中在模型初始位置坐标和模型初始位置角度这两个方面，设定初始姿态更有利于之后的配准计算；步骤s43降维处理的目的，是因为术前3d模型和口腔2d图片具有不同的维度，在将它们进行配准前需要将三维模型投影在二维平面上进行降维处理，最终获得相同维度的待配准图像；步骤s45计算术前3d模型降维处理后得到的二维图像与口腔2d图片的相似度；步骤s46迭代更新优化术前3d模型姿态参数，这部分进行迭代的参数为三个旋转角度(rotx,roty,roty)，以及x,y,z三个方向的平移变量(x,y,z)。通过更新参数，对应产生更新姿态后的降维图像，然后重复进行配准步骤计算图片相似性；当相似性函数达到最优时，输出该部分的姿态参数和术前3d模型的降维图像。
进一步的，所述多角度口腔2d图片涵盖模型方向视角的正视图，左视图，右视图和仰视图。配准结果没有绝对的标准，所以使用同一术前3d模型与不同角度口腔2d图片进行配准可以最大限度的将配准效果达到最优，减少单一角度图像配准的误差。
进一步的，步骤s42中的初始姿态是由所述术前3d模型的初始位置坐标和初始位置角度设定的。
进一步的，所述步骤s43具体如下：
进行摄影位姿渲染：设置数据可视化开发包vtk中渲染库vtkcamera的相关参数，使vtk可以渲染出指定初始姿态的2d图像；
进行数字重建放射影像：通过医学图像处理软件itk中的image类读取所述指定初始姿态的2d图像对应姿态的所述术前3d模型，组织成三维体数据；通过resample-imagefilter类对所述三维体数据重采样，并设定坐标转换和插值函数，生成drr图像。
需要说明的是，先通过摄影位姿渲染方法camera获取指定初始姿态的2d图像，然后再通过数字重建放射影像方法drr对上述指定初始姿态的2d图像对应的三维模型生成数据，可以大大减少数字重建放射影像方法drr所花费的时间；因为直接用drr方法对模型进行数据采样时，会因为指定模型采样的初始位姿花费较长时间；故采用上述两种方式结合可快速实现图像降维。
进一步的，所述步骤s44中通过散射卷积网络变换提取散射特征系数；通过该方法所提取的特征具有平移不变性和形变稳定性。同时通过此算法可以更好地提取出散射网络在不同尺度和不同方向上对应的图像特征系数矩阵。
进一步的，所述步骤s45中的相似度计算采用梯度信息和归一化互相关信息进行计算。这种算法的整体思路是将图像进行梯度处理，然后引入归一化互相关法，进行计算图像之间的相似度。
进一步的，所述步骤s46中迭代更新的过程为：
通过更新所述姿态参数，对应产生更新姿态后的所述降维图像，然后重复配准计算所述降维图像和所述口腔2d图片的相似性；
当相似性函数达到最优时，输出对应的所述姿态参数和所述降维图像。
进一步的，所述步骤s46的优化过程采用了调用nlopt库中的全局优化的算法。
进一步的，在执行所述步骤s4配准之前，先人工介入进行初始配准角度调整，可以节约配准时间。
进一步的，所述步骤s5中显示的结果还包括所述口腔2d图片对应的所述术前3d模型的相关姿态参数，姿态参数为三个旋转角度(rotx,roty,roty)，以及x,y,z三个方向的平移变量(x,y,z)。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供的牙科种植体配准方法，通过获取患者口腔模型和植入种植体模型，以此来构造待配准的术前3d模型；然后获取术中患者口腔多角度口腔2d图片，将多角度口腔2d图片和所述术前3d模型进行图像配准，分别计算多角度的口腔2d图片和所述术前3d模型之间的偏差数据；最终显示计算得到的配准结果，使医生在术中就可以直观观察到实际术中种植体位置与术前提前建模的种植体位置的偏差，以此来指导完善进一步的手术操作，辅助医生评估手术情况，提高种植体术中种植的精度。
附图说明
图1为本发明实施例1配准方法流程图；
图2为本发明实施例1中步骤s4的子步骤流程图；
图3为本发明实施例2的配准方法流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，本实施例提供一种多模态多角度牙科种植体配准方法，包括以下步骤：
s1:获取患者口腔模型；该步骤获取的模型是患者口腔虚拟三维模型；
s2:将种植体模型植入所述口腔模型，获得术前3d模型；
s3:获取所述患者术中多角度口腔2d图片；
s4:将不同角度的所述口腔2d图片和所述术前3d模型进行图像配准；
s5:显示不同角度的所述口腔2d图片和所述术前3d模型的配准结果。
需要说明的是，本实施例提供的牙科种植体配准方法，通过步骤s1和步骤s2获取患者口腔模型和植入种植体模型，以此来构造待配准的术前3d模型；步骤s3通过镜头或其他图像采集设备获取术中患者口腔多角度口腔2d图片；步骤s4将多角度口腔2d图片和所述术前3d模型进行图像配准，分别计算多角度的口腔2d图片和所述术前3d模型之间的偏差数据；步骤s5显示步骤s4计算得到的配准结果，使医生在术中就可以直观观察到实际术中种植体位置与术前提前建模的种植体位置的偏差，以此来指导完善进一步的手术操作。
进一步的，如图2所示，所述步骤s4包括以下子步骤：
s41:图像预处理，分别选取所述口腔2d图片和所述术前3d模型的待配准区域；
s42:设定选取了所述待配准区域的所述术前3d模型的初始姿态；
s43:将设定了所述初始姿态的所述术前3d模型进行降维处理；
s44:将经过所述步骤s43降维处理后得到的图像与所述口腔2d图片通过散射卷积网络变换分别提取散射特征系数；
s45:将经过所述步骤s44提取出的散射特征系数进行相似度计算；
s46:迭代更新优化所述术前3d模型的姿态参数，所述姿态参数为空间坐标系的三个轴的旋转角度(rotx,roty,roty)和平移变量(x,y,z)。
需要说明的是，步骤s41选取待配准区域的目的是减少图像噪声和无关配准部分对最终结果的影响；步骤s42设定术前3d模型的初始姿态的目的，是因为医生制作不同患者的初始模型存在差异，差异主要集中在模型初始位置坐标和模型初始位置角度这两个方面，设定初始姿态更有利于之后的配准计算；步骤s43降维处理的目的，是因为术前3d模型和口腔2d图片具有不同的维度，在将它们进行配准前需要将三维模型投影在二维平面上进行降维处理，最终获得相同维度的待配准图像；步骤s44将降维处理后得到的图像与所述口腔2d图片通过散射卷积网络变换分别提取散射特征系数；步骤s45将经过所述步骤s44提取出不同图片之间的散射特征系数进行相似度计算；步骤s46迭代更新优化术前3d模型姿态参数，这部分进行迭代的参数为三个旋转角度(rotx,roty,roty)，以及x,y,z三个方向的平移变量(x,y,z)。通过更新参数，对应产生更新姿态后的降维图像，然后重复进行配准步骤计算图片相似性；当相似性函数达到最优时，输出该部分的姿态参数和术前3d模型的降维图像。
实施例2
本实施例仅在实施例一的基础上做进一步限定，本实施例提供一种多模态多角度牙科种植体配准方法，包括以下步骤：
s1:获取患者口腔模型；该步骤获取的模型是患者口腔虚拟三维模型；
s2:将种植体模型植入所述口腔模型，获得术前3d模型；
s3:获取所述患者术中多角度口腔2d图片；
s4:将不同角度的所述口腔2d图片和所述术前3d模型进行图像配准；
s5:显示不同角度的所述口腔2d图片和所述术前3d模型的配准结果。
需要说明的是，本实施例提供的牙科种植体配准方法，通过步骤s1和步骤s2获取患者口腔模型和植入种植体模型，以此来构造待配准的术前3d模型；步骤s3通过镜头或其他图像采集设备获取术中患者口腔多角度口腔2d图片；步骤s4将多角度口腔2d图片和所述术前3d模型进行图像配准，分别计算多角度的口腔2d图片和所述术前3d模型之间的偏差数据；步骤s5显示步骤s4计算得到的配准结果，使医生在术中就可以直观观察到实际术中种植体位置与术前提前建模的种植体位置的偏差，以此来指导完善进一步的手术操作。
进一步的，如图2所示，所述步骤s4包括以下子步骤：
s41:图像预处理，分别选取所述口腔2d图片和所述术前3d模型的待配准区域；
s42:设定选取了所述待配准区域的所述术前3d模型的初始姿态；
s43:将设定了所述初始姿态的所述术前3d模型进行降维处理；
s44:将经过所述步骤s43降维处理后得到的图像与所述口腔2d图片通过散射卷积网络变换分别提取散射特征系数；
s45:将经过所述步骤s44提取出的散射特征系数进行相似度计算；
s46:迭代更新优化所述术前3d模型的姿态参数，所述姿态参数为空间坐标系的三个轴的旋转角度(rotx,roty,roty)和平移变量(x,y,z)。
需要说明的是，步骤s41选取待配准区域，是从不同角度的2d图片中选取合适的待配准区域，同时根据需求提前处理3d模型也进行待配准区域的选择，这样做的目的是减少图像噪声和无关配准部分对最终结果的影响；步骤s42设定术前3d模型的初始姿态的目的，是因为医生制作不同患者的初始模型存在差异，差异主要集中在模型初始位置坐标和模型初始位置角度这两个方面，设定初始姿态更有利于之后的配准计算；步骤s43降维处理的目的，是因为术前3d模型和口腔2d图片具有不同的维度，在将它们进行配准前需要将三维模型投影在二维平面上进行降维处理，最终获得相同维度的待配准图像；步骤s44将降维处理后得到的图像与所述口腔2d图片通过散射卷积网络变换分别提取散射特征系数；步骤s45将经过所述步骤s44提取出不同图片之间的散射特征系数进行相似度计算；步骤s46迭代更新优化术前3d模型姿态参数，这部分进行迭代的参数为三个旋转角度(rotx,roty,roty)，以及x,y,z三个方向的平移变量(x,y,z)。通过更新参数，对应产生更新姿态后的降维图像，然后重复进行配准步骤计算图片相似性；当相似性函数达到最优时，输出该部分的姿态参数和术前3d模型的降维图像。
进一步的，所述多角度口腔2d图片涵盖模型方向视角的正视图，左视图，右视图和仰视图，同时最好同一方向的拍摄图像有多张，可以提供更多的有效图像数据，保证最终结果的精确性。配准结果没有绝对的标准，所以使用同一术前3d模型与不同角度口腔2d图片进行配准可以最大限度的将配准效果达到最优，减少单一角度图像配准的误差。
进一步的，步骤s42中的初始姿态是由所述术前3d模型的初始位置坐标和初始位置角度设定的。
需要说明的是，本实施例步骤s42设定术前3d模型初始姿态是人工设定的，通过人工介入根据不同待配准图像角度设定初始的模型姿态。执行此步骤主要因为医生制作不同患者的初始模型存在差异，差异主要集中在模型初始位置坐标，模型初始位置角度这两个方面。涉及相关参数为术前3d模型俯仰，偏航，滚转三个旋转角度(rotx,roty,roty)，以及x,y,z三个方向的平移变量(x,y,z)。
结合图3对本实施例做进一步说明，所述步骤s43中的降维处理包括两个步骤：先运用摄影位姿渲染方法camera处理，再运用数字重建放射影像方法drr处理；具体如下：
所述摄影位姿渲染方法camera为：使用vtk(visualizationtoolkit)开源渲染库中的vtkcamera，通过对cameraposition、focalpoint、azimuth、elevation和zoom相关参数的设定，使vtk可以渲染出指定初始姿态的2d图像；
所述数字重建放射影像方法drr为：通过医学图像处理软件itk中的image类读取所述指定初始姿态的2d图像对应姿态的所述术前3d模型，组织成三维体数据；通过resample-imagefilter类对所述三维体数据重采样，并设定坐标转换和插值函数，生成drr图像。
需要说明的是，先通过摄影位姿渲染方法camera获取指定初始姿态的2d图像，然后再通过数字重建放射影像方法drr对上述指定初始姿态的2d图像对应的三维模型生成数据，可以大大减少数字重建放射影像方法drr所花费的时间；因为直接用drr方法对模型进行数据采样时，会因为指定模型采样的初始位姿花费较长时间；故采用上述两种方式结合可快速实现图像降维。
需要说明的是，所述数字重建放射影像方法drr是指射野方向或从类似模拟定位机的x射线靶方向观视3d重建图像的结果。近年来，随着计算机技术的发展和ct扫描技术的进步，drr越来越多的取代了传统ct模拟定位机所用胶片图像。目前，drr重建算法主要采用光线投射法实现。
需要说明的是，本实施例drr方法中采集数据的具体过程是在itk中，利用其中的一些函数来实现drr算法设计的步骤，实现过程如下:
(1)通过itk中的image类读取三维模型，组织成三维体数据；
(2)通过resample-imagefilter类对三维体数据重采样，并设定坐标转换和插值函数，以生成新的drr图像；
(3)设定坐标转换函数、模仿加速器角度，机头以及床的旋转；
(4)设定插值函数，以此计算每条光线上按一定步长采样的光点的强度值，并累加得到采样点的强度值。
需要说明的是，得到采样点的强度值将用于之后的计算相似度步骤；采用上述两种方式结合可快速实现图像降维处理。
进一步的，所属步骤s44中将降维处理后得到的图像与所述口腔2d图片通过散射卷积网络变换分别提取散射特征系数。小波散射实际上是二维方向母小波通过缩放、旋转得到一组小波簇，在不同尺度的情况下对信号源进行滤波，然后通过尺度函数不断提取其高频信息的过程.具体为：
设尺度函数为：
为了使小波变换具有平移不变性，使此变换可以找到相对稳定的特征，就需要就非线性度量，公式表示：
uλf(x)＝ρ(f*ψλ(x))(ρ代表非线性变化)
为了降维、降噪的需求，这里加入池化运算，公式表示为：
uλf(x)＝p(ρ(f*ψλ(x))))(p代表池化运算)
同时采用局部低通滤波器—gabor小波作为尺度函数来提取细节，即
为了保持能量守恒，此部分需要将引入非线性算子步骤中的高频信息进行恢复，得到新的特征：
最终小波传播算子为：
其中前一个分量表达的是信号不变的高频特征，后一个分量为稳定的低频特征(散射算子).每做一次低频散射，都会伴随着高频的丢失.因此，在下一步操作时又得恢复高频.通过路径q＝(λ1,λ2,λ3...λn))的不断迭代，最终可得：
u[q]f＝u[(λ1,λ2,λ3...λn)]f＝un[λn]...u2[λ2]u1[λ1]f
最终特征集合为：
进一步的，所述步骤s45中的相似度计算采用梯度信息和归一化互相关信息进行计算。这种算法的整体思路是将图像进行梯度处理，然后引入归一化互相关法，进行计算图像之间的相似度，具体为：
在计算两张同一维度相似度计算时采用结合梯度信息和归一化互相关信息进行计算，假设两幅图像为p1，p2；公式如下：
图像梯度处理过程，因为图像是二维图像，所以需要对图像的x,y两个方向进行梯度计算。梯度的方向是函数f(x,y)变化最快的方向，当图像中存在边缘时，一定有较大的梯度值，相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度也较小。归一化互相关(normalizedcrosscorrelationmethod,ncc)匹配算法是一种经典的统计匹配算法，通过计算模板图像和匹配图像的互相关值，来确定匹配的程度。归一化互相关配准是基于灰度信息的匹配算法。
ncc计算公式如下：
进一步的，所述步骤s46中迭代更新的过程为：
迭代更新优化3d模型姿态参数时，进行迭代的参数为三个旋转角度(rotx,roty,roty)，以及x,y,z三个方向的平移变量(x,y,z)。通过更新参数，对应产生更新姿态后的降维图像，然后重复进行配准步骤计算图片相似性。当相似性函数达到最优时，输出该部分的姿态参数和模型降维图像。
进一步的，所述步骤s46的优化过程采用了调用nlopt库中的全局优化的算法。nlopt包含全局优化和局部优化算法中，本实施例采用全局优化的算法进行优化，因为图像相似性度量为非凸，非单调同时存在很多的局部最小值，如果采用局部最优的算法，那在计算过程中，很容易陷入局部最优而不能得到全局最优解。所以选择全局最优的方法进行优化，同时采用nlopt中无导数的计算方法，这样做的主要的目的是为了减少计算量，同时降低计算时间；优化后最终输出6个姿态参数的值。
进一步的，所述步骤s5中显示的结果还包括所述口腔2d图片对应的所述术前3d模型的相关姿态参数，姿态参数为三个旋转角度(rotx,roty,roty)，以及x,y,z三个方向的平移变量(x,y,z)。
需要说明的是，循环步骤s41至s46，直至全部不同角度的口腔2d图片完成和3d模型的配准操作；全部角度配准结束后，最终显示不同角度图像配准结果。使医生在术中就可以直观观察到实际术中种植体位置与术前提前建模的种植体位置的偏差。以此来指导完善进一步的手术操作。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！