一种高精度多角度口腔三维数字成像模型构建方法与流程

本发明涉及一种高精度多角度口腔三维数字成像模型构建方法，属于口腔医学、摄影测量和计算机视觉应用领域。

背景技术：

数字三维模型构建在口腔医学中的应用是近年来口腔医学发展最快的领域之一，具有精度高、操作灵活、实现迅捷等特点。其能够使医生和患者能够根据不同三维结构的相对关系和几何形态确定手术方案，因而被广泛应用于口腔修复和口腔正畸等专业，推动了口腔医学向精准化、数字化和个性化等方向发展。

目前口腔数字三维模型的构建方法主要有条纹法和图像法。所谓条纹法主要是通过在口腔内投射条纹的方法获取控制点，从而构建三维模型，该方法中使用的条纹投射装置和观测装置保持不变，而需要调整口腔角度，虽然精度很高，但是操作步骤技巧性要求较高，尤其是对口腔内遮挡部分不能一次成像，很难一次获得整个口腔的三维模型；图像法是指通过图像提取控制点，从而构建三维模型，该方法能够获取整个口腔的三维模型，但是提取的特征点一般位于具有明显灰度差异的部位，而对于光滑或者色调均匀的区域，控制点较少，精度较低。因此，迫切需要一种精度高，且能获取整个口腔模型的三维数字模型构建方法。

技术实现要素：

本发明的目的是针对数字三维模型构建在口腔医学中的应用现状，以及现有口腔三维数字模型构建方法的局限性，提出一种高精度多角度口腔三维数字成像模型构建方法。

本发明的概念示意图如图1所示，其实现方法包括以下步骤：

第一步，在口腔内布置一定数量的“十字”型控制点。

包括“十字”型控制点设计制作；“十字”型控制点布置。

第二步，通过高分辨率图像传感器模块获取口腔的多角度图像，提取图像中所述控制点对应的点作为特殊特征点，角点作为一般特征点，通过提取与匹配特征点进而获取各个图像传感器的初始概略位置和姿态参数。

包括一般特征点与控制点的提取和匹配，这里的控制点归属于特殊的、精度级别最高的特征点；粗差特征点的去除；对于相邻的两个图像传感器，在所成图像重叠部分中选择八个特征点采用经典的“八点”算法，确定两个传感器坐标系之间的相对方位关系，进而确定每个图像传感器成像时的各自空间位置和姿态，这里相邻的两个图像传感器构成一个立体像对模型，拥有单独一个空间坐标系；利用前方交会算法，得到当前立体像对下所有二维特征点对应的三维特征点空间坐标；由于相邻的多个立体像对模型下的坐标系独立不统一，基于相邻立体像对模型之间重叠部分的三个以上数量的公共三维特征点，进行七参数坐标系转换，得到坐标系统一的图像传感器初始概略位姿和稀疏三维特征点。

第三步，将第二步得到的图像传感器初始概略位姿和稀疏三维特征点纳入光束法平差模型建立观测方程并进行平差优化，得到优化的高精度位姿与三维特征点参数；基于优化参数，对每张图像实施密集匹配形成相对尺度下的高密集点云。

包括建立参数化的光束法平差观测方程；基于观测方程进行区域网平差；基于平差结果实施的密集匹配。

第四步，依据基准尺的真实长度对相对尺度下的高密度点云进行尺度变换，得到坐标真实的绝对尺度高密集点云。

第五步，基于绝对尺度高密集点云生成高精度的可量测口腔三维数字成像模型。

包括高密度点云滤波；滤波后点云的不规则三角网构建，形成白模；对白模纹理贴图，构建口腔的三维模型。

本发明具有以下优点：

1、本发明通过两种方式布置“十字”型控制点(两种方式可以同时使用，也可以互补)，和其他基于图像的数字口腔数字三维模型相比，提高了兴趣区域，特别是后续需要采取手术或改造的区域特征点数量和精度。

2、本发明可通过几个相对关系固定的高精度图像传感器瞬间同步拍摄影像，无需调整患者口腔位置，相对于基于条纹的数字口腔数字三维模型，本发明一次成像数字三维模型精度更高。

3、本发明利用有明显纹理特征的“十字”型控制点作为特征点的控制基准，可以优化平差模型，提高光束法平差的收敛效率和精度，从而便于得到更精确的口腔三维模型。

附图说明

图1为本发明的概念示意图；

图2为本发明的数据流程图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

本发明的高精度多角度口腔三维数字成像模型构建方法如图2所示，包括以下步骤：

第一步，在口腔内布置一定数量的“十字”型控制点，包括以下步骤：

方式1：设计并制作小尺寸无毒“十字”型控制点，控制点标志避免锋利，色彩纹理与口腔的对比度要明显，控制点的尺寸可依据口腔患者部位调整。布置“十字”型控制点采用一定的分布原则：在口腔内均匀表面等不易通过计算机图像处理方法获取高精度特征点的区域，尽量多布置“十字”形控制点；在兴趣区域多布设控制点，特别是后续需要采取手术或改造的区域。在兴趣区域可选用较小的“十字”型控制点，而非兴趣区，可使用较大的“十字”型控制点。

方式2：点线光源投射器投射，可以到达手动不便贴附的地方等等。

第二步，通过高分辨率图像传感器模块获取口腔的多角度图像，提取图像中控制点对应的点为特殊特征点，角点作为一般特征点，通过提取和匹配特征点进而获取各个图像传感器的初始概略位置和姿态参数，包括以下步骤：

1)利用尺度不变特征变换(scaleinvariantfeaturetransform,sift)算法从每幅图像中提取特征点与“十字”控制点并对重叠影像进行特征点匹配。这里的“十字”控制点归属于精度级别最高的特殊特征点，后面都可以统称为特征点。一般特征点通常是纹理清晰的关键部位点，而且与周围的色彩反差比较大，如牙齿的边缘和缝隙部位等。

2)粗差特征点的去除。保留高精度“十字”型控制点，去除部分有明显错误的粗差特征点。

3)对于相邻的两个图像传感器，在所成图像重叠部分中选择八个无粗差特征点采用经典的“八点”算法，确定两个传感器坐标系之间的相对方位关系，进而确定每个图像传感器成像时的各自空间位置和姿态。每相邻的两个图像传感器称为一个立体像对模型，拥有单独一个空间直角坐标系，对于多个图像传感器而言，则构成多个立体像对模型。对于每个立体像对模型，利用前方交会，得到当前立体像对模型下所有二维特征点对应的三维特征点空间坐标；同理，其它各个立体像对模型下的三维特征点坐标也可以单独得到。

4)基于相邻图像传感器立体像对模型之间重叠部分的三个以上数量的公共三维特征点，进行七参数坐标系转换，得到坐标系统一的图像传感器位姿参数和稀疏三维特征点。一般统一在最左面的第一个图像传感器坐标系下。即这里可以得到坐标系一致的每个图像传感器的粗略位姿和所有特征点的三维坐标。

第三步，将粗略的图像传感器位姿和稀疏三维特征点依据纳入光束法平差模型建立观测方程并进行平差优化，得到优化的高精度位姿与三维特征点参数；基于优化后的图像传感器参数，对每张图像实施密集匹配，形成相对尺度下的高密集点云，包括以下步骤：

1)建立光束法平差的观测方程并进行迭代优化。

首先确定单个图像传感器模型的基础表达方程。对于任何单个图像传感器模型而言，为了表达基于像方的二维特征点坐标和对应物方的三维特征点坐标的投影关系，可以用计算机视觉中的齐次坐标构像方程表示。其表达式如下：

其中，[x1,x2,x3]^t和[x1,x2,x3,x4]^t分别是二维像点和三维空间点的齐次矢量表达。k代表图像传感器内参数矩阵，r和分别代表旋转矩阵和平移矩阵，r包含了α,β,γ三个角元素，包含了xs,ys,zs三个线元素，i为单位矩阵。

然后基于上述单个图像传感器模型，以每个角度的图像为基本平差单元，根据二维特征点和三维物方点按照上述共线方程列出观测方程，建立参数化的光束法平差观测方程。对于光束法平差模型而言，其变量包括图像传感器的6个外方位元素和特征点3个物方坐标元素，即x＝{α,β,γ,xs,ys,zs,x,y,z},其观测量为所有三维点在图像上的二维投影坐标[x,y]^t，其中x＝x1/x3,y＝x2/x3。故误差方程可以为公式(2)，其中表示图像二维点对所有变量的一阶导数，(x)和(y)是将未知数的近似值代入共线方程式所计算出来的影像坐标。当误差方程建立后，需要利用非线性优化的方法进行迭代求解。

通过上述的平差迭代优化求解，可以得到变量x＝{α,β,γ,xs,ys,zs,x,y,z}中9个参数的最优解，即最优的图像传感器位姿参数和三维点云坐标。

2)基于上述的优化后的高精度三维点云坐标和图像传感器位姿参数，利用半全局匹配(semiglobalmatching，sgm)方法进行密集匹配，得到密集的三维点云。

第四步：依据基准尺的真实长度将相对尺度下的高密度点云进行尺度变换，得到坐标真实的绝对尺度高密集点云。由于第三步得到的密集三维点云空间的尺度不固定；将基准尺的已知长度作为整个三维坐标系的尺度基准，将所有的点云坐标进行相应尺度的拉伸或压缩，实现整个三维点云空间的尺度与现实世界尺度的统一。

1)在图像上找到基准尺的两个端点，并找到与三维点云空间对应的这两个点。这两个端点特征明显，很容易被找到；

2)将已知长度的基准尺长度输入在点云空间系统中，比如60mm；

3)根据输入的基准尺尺寸作为基准参考，伸缩变换整个点云空间，得到所有其它点云在绝对坐标体系下的坐标，从而与真实世界统一，实现任意两点之间的真实量测。

第五步，基于上述绝对尺度下的密度点云生成可量测的高精度口腔三维数字模型，包括以下步骤：

1)将步骤三中获取的高密集点云采用滤波的方式，剔除杂点，得到优化的高精度点云；

2)基于优化后的高精度点云构建不规则三角网(triangulatedirregularnetwork，tin)，形成没有色彩的白模。

3)利用计算机视觉中的纹理贴图技术，将影像的色彩纹理投影到白模上，从而获取色彩真实的可量测口腔三维模型。

上述各实施例仅用于说明本发明，其中实施方式等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。