基于二维图像局部变形的三维配准方法与流程

本发明涉及一种基于二维图像局部变形的三维配准方法。

背景技术：

三维配准是将二维图像中的基本信息(点、线、面的二维坐标及像素等)与三维空间信息(点、线、面的三维坐标及纹理等)匹配融合，需要定量配准分析空间物体的大小和位置关系。现有图像三维配准方法主要可分为三大类别：

1)基于特征统计学习方法。该方法建立在大型的目标数据库基础上,将数据库中的目标与实际目标进行特征比对，建立概率函数，通过概率大小进行目标深度的配准。目前已用的概率模型有马尔科夫模型、隐马尔科夫模型等。

2)基于形状恢复技术。此方法的核心在于抽取二维图像中的三维信息(立体光、阴影、轮廓、纹理、运动等)，进行物体的三维恢复、配准。目前大多数形状恢复技术的基础是朗伯体反射图方程，它对成像条件、光学特征都做了理想假设。

3)基于图像中的几何投影信息。其基本原理是利用图像中含有的大量几何属性的约束进行相机或平面标定，从而估计相机的内外参数，然后对图像建立数字化模型，最后完成三维模型的配准。

然而，尽管上述三类配准技术分别在各自适应的场合取得了成功，但依然存在各自的局限性或缺陷。其中，基于特征统计学习方法的单幅图像三维配准虽然取得了较好的效果，但当图像与目标数据库不一致时，效果不够理想，甚至完全背离。配准效果对目标数据库的依赖性很强，而精准、全面的目标数据库的获取难度很高，所以此种方法较其余两种方法成本和难度较高。基于形状恢复技术的配准方法对光线和灰度要求较大，需要对图像的光度和灰度做预处理，并且图像分辨率高低和前景背景灰度差别会影响配准的效果；而且此项技术若没有其它约束条件,对形如凸面和凹面等曲面物体不能实现唯一匹配。基于几何投影信息的单幅图像三维配准技术对含有几何结构的目标图像取得了较理想的效果，但是测量误差累积较多，而且二维图像形变影响局部配准效果，如果能够较好地消除这些缺陷，这类方式不失为一种适应性更强的操作简洁、速度快、投入少、效率高的配准方法。因此，如何在现有基于图像中几何投影信息的配准技术的基础上，更准确地获取几何特征从而减少配准误差，是值得研究的问题。

技术实现要素：

本发明的目的是在现有现有基于图像中几何投影信息的配准技术的基础上，提供一种基于二维图像局部变形的三维配准方法，以减小初步配准产生的误差，尤其是局部误差，进而获得更好的三维配准效果。

本发明的技术方案是：一种基于二维图像局部变形的三维配准方法，包括下列步骤：

计算投影矩阵：调整三维模型场景与二维图像场景一致，在三维模型和二维图像上选择实际对应的若干对匹配点，所述匹配点的数量不少于6对，依据各对匹配点的坐标，计算出三维模型坐标点在二维图像上的投影矩阵；

初步配准：依据所述投影矩阵，进行二维图像和三维模型的初步配准；

选取原始控制点：在配准错误的区域，在原始二维图像上选择若干易于分辨的特征点做为精确配准的原始控制点，形成原始控制点集；

确定目标控制点：在三维模型中确定分别与各原始控制点实际对应的三维坐标点，依据投影矩阵计算出形成这些三维坐标点的二维图像坐标点并以此作为目标控制点，形成目标控制点集；

局部变形：依据移动最小二乘法，分别针对原始二维图像中的各像素点，计算使原始控制点逼近目标控制点的最佳变形函数，依据相应的最佳变形函数进行变形运算，计算出原始二维图像中各像素点变形后的目标二维图像坐标；

精确配准：依据所述投影矩阵，进行目标二维图像与三维模型的配准，形成精确三维配准图像。

所述匹配点的选取方式可以采用人工方式，可以依靠相关软件的功能设置进行手动选点。

所述原始控制点的选取方式可以采用人工方式，可以依靠相关软件的功能设置进行手动选点，也可以人工框选出配准错误的区域，通过软件自动识别和选取特征点作为原始控制点。

在三维模型中确定分别与各原始控制点实际对应的三维坐标点的方式可以为人工方式，通过观察确定分别与原始控制点对应的三维坐标点，可以依靠相关软件的功能设置进行手动选点。

所述三维模型优选采用世界坐标系，所述二维图像优选采用图像坐标系，以方便数据处理。

观察配准效果前，优选对三维配准图像中的二维图像进行透明化处理，以使观察更为方便和清晰。

所述初步配准可以采用交互式三维配准方式。

所述精确配准可以采用交互式三维配准方式。

所述交互式三维配准方式为采用三角面片的划分方法，在三维模型中沿着模型构建空的三角面片集合，所述三角面片集合覆盖相应二维图像的全部场景，利用所述投影矩阵计算出三角面片所有顶点的二维图像坐标并据此对三角面片进行渲染，形成融合在三维模型上的二维图像，这种融合二维图像的三维模型图像可称为三维配准图像。

所述选取原始控制点步骤中，可以先在原始二维图像中进行原始控制点的预选，对所预选的原始控制点在原始二维图像中叠加相应的控制点信息，所述控制点信息包括控制点位置和控制点标号，依据所述投影矩阵，将叠加有控制点信息的原始二维图像重新与三维模型配准并对二维图像进行透明化处理，查看和判断预选原始控制点的选点和分布是否适宜，对不适宜的预选控制点进行调整，直至预选控制点能够满足需要，以此作为选定的原始控制点，形成所述的原始控制点集。

观察配准效果的过程中，可以通过人工方式对配准错误的区域进行框选，相应地，后续选取原始控制点步骤和局部变形步骤，针对整个二维图像实施或者只针对框选为配准错误的区域实施。

框选为配准错误的区域与无配准错误区域的邻接处优选含有无配准错误的区域，以避免因变形导致的畸变。

实现精确配准后，查看配准效果，如符合要求，以当前精确三维配准图像为最终配准结果，如不符合要求，以当前目标二维图像作为新的原始二维图像，重复进行自选取原始控制点至精确配准的各步骤，获得新的精确三维配准图像，如此循环，直至配准效果符合要求，由此可逐次提高配准精度。

优选的，制备原始二维图像与目标二维图像的坐标映射表，依据坐标映射表对原始二维图像进行调整，形成目标二维图像或目标二维图像数据，并依此进行目标二维图像与三维模型的配准。

制备坐标映射表的方式可以包括：进行由目标二维图像坐标向原始二维图像坐标的逆向映射，通过目标二维图像上各像素点的坐标，计算出对应的原始二维图像坐标，由此获得坐标映射表数据。

如果发现存在空洞，可以采用双线性插值法进行插值，消除空洞。

本发明的有益效果是：由于在初步配准后，通过原始二维图像的控制点与目标二维图像的控制点的逼近，实现了二维图像在配准错误(包括达不到所要求或期望的精度)区域的局部变形，有利于消除因相机成像方式造成的二维图像形变(桶形畸变或枕形畸变)以及手动选点过程中引入主观误差，改善配准效果；由于采用了坐标映射表，方便了原始二维图像的坐标映射，明显地提高了相关数据处理速度；由于坐标映射表可以采用逆向映射的方向制备，极大地减少了数据处理量；由于可以手工框选初步匹配中存在匹配错误的区域，方便了后续控制点选取等操作，并可以只对框选区域进行后续的图像处理且不影响处理效果，有利于提高效率。

附图说明

图1是本发明的流程示意图；

图2是三维物体投影到相机图像平面的示意图；

图3是在二维图像中选择控制点及进行控制点标注的示意图(以矩形和三角形角点为例)；

图4是逆向映射原理示意图。

具体实施方式

下面结合附图对本发明做进一步说明。

参见图1-4，本发明公开的基于二维图像局部变形的三维配准方法需要完成初步配准、局部变形、坐标映射最终配准三个步骤。整体流程如图1所示，首先调整三维模型场景与二维图像场景一致，通过选择三维坐标点对应图像坐标点计算投影矩阵，将二维图像投影到三维模型完成初步配准；而后在二维图像中选择与三维模型配准错误的坐标，利用移动最小二乘法(MLS)局部变形，使错误坐标移动到正确位置；最后计算出二维图像全部区域或变形所针对区域的坐标映射表(map)，利用map重新调整二维图像，将新二维图像投影到三维模型完成最终配准。

本发明包括下列主要步骤：

步骤一、三维初步配准

首先是调整三维模型场景与图像场景一致，假设将一台相机架设在三维模型中，相机显示画面就是显示器画面，调整该相机位置(location)和朝向(up,forward)，使其显示画面和二维图像场景一致。然后在三维模型和二维图像中拾取相互实际对应坐标点(匹配点)，拾取的匹配点必须实际对应，即对应于实物上或实物空间的同一位置。拾取原则是：选点尽量分散，重点区域多选点，优先选择易于分辨特征点。例如三维场景中选择灯杆底座，则二维图像也应该选择同一个灯杆底座作为对应点。要求选择至少6组以上对应坐标点，然后利用这些对应的坐标点对计算投影矩阵。

摄像头/相机的成像原理如图2所示，三维物体投影到相机的图像平面中间需要经过一系列旋转、平移、缩放等变换，并且经过以下不同坐标系统的变换过程：

1)物体坐标系转换为世界坐标系；

2)世界坐标系转换到相机坐标系；

3)相机坐标系再转换到投影坐标系的转换；

4)投影坐标系到图像坐标系的转换。

设三维世界坐标系中的点的坐标为[X,Y,Z]^T，二维相机平面中(图像坐标系)中的对应点的坐标为[u,v]^T，则世界坐标系的点坐标到图像坐标系的坐标点之间转换通过公式1求得：

式中，s为尺度比例，[u,v,1]^T为二维图像点的齐次坐标；[X,Y,Z,1]^T定义为世界坐标系中的点(三维模型中的点)对应的齐次坐标；A如公式2所示，为相机内参矩阵或者称为转换矩阵，R为3×3的旋转矩阵，t为3×1的平移矩阵，

把式1化简为：

式中P为投影矩阵，通过6对以上匹配点，即可求出P中11个参数并确定投影矩阵，将三维坐标[X,Y,Z]^T带入式3，运算结果为[su,sv,s]^T,s的值会随着选取三维点的不同而变化，不是一个常量，但是可以通过这个等式求出特定的三维点的特定的s值，进而求出[u,v]^T。

求出投影矩阵P后，交互式操作进行三维配准。采用三角面片的划分方法，在三维模型中沿着模型构建空的三角面片集合F，三角面片集合F必须覆盖二维图像场景。通过以上步骤，可以有效剔除场景图中无用的点及线等几何体，同时可以保证纹理贴图过程中每个三角面片都能够对应足够的图像像素。在得到三角面片后，使用公式4对F中所有顶点计算得到相应的图像坐标，然后渲染三角面片，所述渲染可以采用任意适宜的现有技术。

至此，通过以上步骤能够快速完成二维图像和三维模型的初步配准。因为相机成像原理造成二维图像形变(桶形畸变或枕形畸变)以及手动选点过程中引入主观误差，初步配准局部效果通常会不理想，存在配准错位或对不齐的地方，需要利用图像变形技术微调局部效果。

步骤二、基于移动最小二乘法(MLS)的局部变形

针对初步配准产生误差问题，采用移动最小二乘法(MLS)进行图像变形，使二维图像和三维模型配准更加准确。移动最小二乘法是基于最小二乘法延伸出来的，是形成无网格方法逼近函数的方法之一，已在无网格方法中得到广泛应用。

移动最小二乘法基于控制离散点插值可以产生指定的局部变形，本发明结合三维信息辅助二维图像进行局部变形，通过步骤一实现二维图像和三维模型的初步配准，然后在三维场景中对二维图像进行透明化处理，能够透过融合的二维图像看到三维模型，可更加直观呈现二维图像中对象和三维模型中对应对象是否对齐等配准效果，然后针对配准误差选择控制点集，进行变形处理。主要流程包括：

1)选择原始控制点集pi

在原始二维图像中选择n个原始控制点，可以依据需要设置n的数值。原始控制点选点原则为：优先选择三维和二维中易于分辨的特征点，重点区域多选点。选点时需要在原始二维图像中叠加控制点信息，该信息包括点位置和序号。如图3所示，图中矩形和三角形模拟二维图像中对象，选择对象特征点作为控制点并标注序号，然后将标注的二维图像重新利用步骤一求出的投影矩阵配准到三维场景中，二维图像经过透明化处理后能够明显观察二维图像中标注特征点和三维模型配准效果，尤其是边缘是否对齐。

原始二维图像的控制点坐标以行向量形式依次储存在控制点集pi中，如公式5所示：

pi＝{(u1,v1) … (ui,vi) … (un,vn)} 公式5

其中，(ui,vi)是第i个原始控制点的相应坐标，i＝1，2，3，……,n。

2)选择目标控制点集qi

在三维模型中选择二维图像的原始控制点(ui,vi)实际对应的点的三维坐标(Xi,Yi,Zi)，然后根据步骤一求出的投影矩阵P，利用公式1求出三维坐标点(Xi,Yi,Zi)对应的二维图像坐标点(ui′,vi′)，因为初步配准存在误差，此时(ui′,vi′)和(ui,vi)可能不是同一个坐标点，将求出的新坐标点(ui′,vi′)作为目标控制点，按照与(ui′,vi′)相同的顺序以行向量形式依次存储在目标控制点集qi中，如公式6所示：

qi＝{(u1',v1') … (ui',vi') … (un',vn')} 公式6

3)移动最小二乘法图像变形

根据移动最小二乘法原理，假定有一个变形函数f，使原始图像任一点v，变形后坐标为f(v)，移动最小二乘法能够通过控制点集求得最优变形函数f，也就是公式7取值最小。

式中，fv是v的变形函数；n是控制点总数量，pi和qi分别是原始控制点集和目标控制点集中的第i个控制点的坐标，wi是权重值，定义如公式8所示，wi与变形点v和原始点p的距离的2α次方成反比，α为用于调节变形效果的参数，本发明取值为1。

变形函数f分解为2×2线性转换矩阵M和1×2平移变换矩阵T，则变形函数f转化为：

f(v)＝vM+T 公式9

进一步简化方程，消去T，得到公式10：

其中，p*和q*是控制点集加权后的重心：

令M是具有非均匀缩放、平移和旋转的刚性变换矩阵，根据已有定理1：若存在矩阵C使得式12的相似函数取得最小值，即

如果矩阵C用R表示，R为旋转矩阵，λ为缩放系数，I为单位矩阵。那么旋转矩阵R可以让下式的刚性函数取得最小值：

得到刚性变换变形函数：

其中，

至此，通过公式14能够计算出原始二维图像中任一点变形后的坐标，即目标二维图像中的坐标。

因为每个点的变形函数都是唯一的，计算量较大，而且从原始二维图像坐标求目标二维图像坐标是正向映射，因此需要进一步优化。

步骤三、坐标映射和最终配准

利用坐标映射表(map)生成新的二维图像，即目标二维图像，然后将目标二维图像和三维模型配准。

步骤二中计算出原始二维图像每一个坐标点(ui,vi)变形后的坐标(ui′,vi′)，显然，由原始二维图像坐标(Sx,Sy)目标二维图像坐标(Dx,Dy)的映射(Sx,Sy)＝>(Dx,Dy)是正向映射，正向映射直观易懂，但存在空洞现象，即目标二维图像上的某个/某些像素点在原始二维图像上没有对应的点，逆向映射则是从目标二维图像中每一个像素坐标(Dx,Dy)求出对应的原始二维图像的坐标(Sx,Sy)，也就是(Dx,Dy)＝>(Sx,Sy)，如图4所示，逆向映射解决了正向映射空洞问题。

可以采用下列方式消除空洞：

首先，基于原始二维图像中的每个坐标点(ui,vi)及其对应目标二维图像坐标点(ui′,vi′)，遍历获取目标二维图像每个像素点对应的相近坐标点，如果相邻两个坐标间隔大于1个像素，则存在空洞，利用双线性插值将该坐标点补充。

采用双线性插值法对空洞进行插值：假设四个已知点坐标分别为(0,0)、(0,1)、(1,0)和(1,1)，坐标(x,y)对应像素值f(x,y),x,y∈(0,1)，那么插值公式就可以化简为：

至此，目标二维图像每个像素点都有对应原始二维图像坐标，然后建立坐标映射表，映射表是两个一维数组X[width*height]和Y[width*height]，width为目标图像宽度，height为目标图像高度。X[width*height]存储目标二维图像每个像素对应原始二维图像横坐标，Y[width*height]存储目标二维图像每个像素对应原始二维图像纵坐标，存储原则是从左到右，从上到下。例如求目标像素(x,y)对应原始图像位置，则结果为(X[width*height],Y[width*height])。显然通过坐标映射表能够快速获取目标二维图像中任一像素对应的原始二维像素的值，当二维图像是图像序列(视频)时，使用坐标映射表能够明显提高变形效率。

利用坐标映射表能够快速生成新的二维图像(目标二维图像)，用新二维图像替换旧二维图像(原始二维图像)完成配准，二维图像经过图像变形后再配准到三维模型中效果明显改善，如果配准效果仍不理想则重复步骤二直至效果满意。

本说明书所称实际对应是指不同图像(模型)中的两个点均对应于或表示实际空间中的(包括实物上的)同一个点。

本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。