基于映射边界优化的三维物体模型纹理映射算法

基于映射边界优化的三维物体模型纹理映射算法
【专利摘要】本发明公开了一种基于映射边界优化的三维物体模型纹理映射方法。该方法分两步对三维模型纹理映射中的映射边界进行优化，从而有效减小在纹理映射中由于摄像头标定误差等干扰导致的接缝问题。该方法首先通过优化映射边界使其周围的纹理复杂度减小，然后再进一步优化和二维图像中图像边缘对应的映射边界区域，提高边界两侧二维图像边缘的一致性，从而降低包括摄像头标定误差在内的各类误差对纹理映射的影响。由于本发明着重提高图像边缘周围的纹理映射的质量，将容易产生接缝的边界区域搬移到纹理较简单的区域，符合人体的视觉感官系统的特点，同时易于实现，有较广泛的使用前景。
【专利说明】基于映射边界优化的三维物体模型纹理映射算法
【技术领域】
[0001]本发明涉及一种三维物体模型建模算法，尤其涉及一种基于映射边界优化的三维物体模型纹理映射算法。
【背景技术】
[0002]三维物体模型建模技术是指将客观世界中的物体通过三维建模的方式得到虚拟的重建，是计算机视觉，计算机图形学领域的重要研究内容之一，在医用设备、数字娱乐、电子商务等领域都有着广泛的应用价值。其中，如何使重建的三维模型具有实际物体的纹理真实感，是目前三维物体模型建模中的关键技术之一。
[0003]在三维物体模型的纹理映射算法中，经过对现有技术的文献检索发现，在1983年,Burt等人在《ACM Transactions on Graphics》(美国计算机学会图形学汇刊)第4期第 2 卷第 217 到第 236 页发表的论文“A Multiresolution Spline with Application toImage Mosaics”(图像拼接中的多分辨率接缝技术)中首先提出利用图像平滑的思想来处理图像拼接技术中产生的额外接缝问题。在此基础上，Baumberg等人于2002年在《BritishMachine Vision Conference))(英国机器视觉大会)第三卷第5页到第14页发表的论文“Blending Images for Texturing 3D Models”(三维模型纹理映射中的图像平滑)中提出了一个在3DS0M (三维物体建模软件)中使用的改进的图像平滑方法。但该方法只能在严格控制的光照条件下使用，应用范围有限。此外，在2007年，Lempitsky等人在《IEEEConference on Computer Vision and Pattern Recognition〉〉(IEEE 国际计算机视觉与模式识别会议)第I页到第6页发表的论文“Seamless Mosaicing of Image-Based TextureMaps”(基于图像的纹理映射技术中的无缝拼接算法)中通过构建出关于纹理边界的特殊能量函数，利用马尔可夫随机场能量最优化的框架解决纹理边界缩减问题，在其所构造的能量函数中，同时还提出了一种接缝补平法，通过对纹理图像梯度空间的分析，建立了一个比较理想的梯度域模型，从而对图像纹理进行一定的补偿，来弥补边界处的接缝。但此项工作在重建实景物体时并没有考虑到不同图像之间可能存在明显的色调差异，使得纹理映射结果中的接缝难以有效消除。更重要的是，上述几种方法都仅仅关注于由于边界两侧光照强度不同所引起的接缝问题。而事实上，除了光照强度不同之外，摄像头标定误差以及一些其他的系统误差也会导致接缝的产生，这类接缝很难直接用图像平滑的方法消除。这时，可以通过优化映射边界的方法来消除接缝。

【发明内容】

[0004]本发明的目的针对上述问题，提供一种基于映射边界优化的三维物体模型纹理映射算法。该算法分两步对映射边界的位置进行优化。首先，算法通过计算映射边界周围的纹理复杂度，然后将映射边界移动到纹理复杂度较小的位置，从而减小纹理映射误差的影响。其次，我们对位于图像边缘的映射边界进行优化，彻底消除纹理映射的误差，从而使得到的三维模型具有真实的纹理特征。[0005]本发明的目的是这样实现的:
一种基于映射边界优化的三维物体模型纹理映射算法，该算法基于一组彩色二维图像的颜色信息和一个无颜色的三维物体模型，目的是将二维图像的色彩信息映射到三维物体模型上，从而形成彩色的物体三维模型，特征是:
具体步骤如下:
A:利用RGB-D摄像头(带深度信息彩色摄像头)获取实际物体的无色的三维模型和一系列二维彩色图像，并建立三维模型网格和二维图像像素点之间的对应关系，即纹理映射关系。
[0006]所述的得到的纹理映射关系由下式得到:
P(^V1)=Color (pLj)
其中，Z7(Ki)是纹理映射关系建立后三维模型中三角网格Vi对应的颜色，/?.是第L个二维彩色图片中的第j个像素对应的位置，而Cbhrbzi)是象素/?的颜色。需要注意的是，此时，每一个三维模型三角网格可能对应于来自不同二维彩色图像的多个像素点。
[0007]B:根据步骤A中得到的二维彩色图像所对应的摄像头在世界坐标系中的位置，计算出初始的映射边界所在的位置。
[0008]C:通过计算初始映射边界上的纹理复杂度，找到纹理复杂度较大的顶点，并将该点周围的边界移动到纹理较为简单的区域。
[0009]所述的纹理复杂度的计算方法为:找到该顶点在该映射边界两侧二维图像上对应的像素点，分别取以该像素点为中心的8x8的子区域，再分别计算该子区域内三个颜色通道取值的标准差的均值，则该`顶点的纹理复杂度即为两个子区域得到的均值的总和。
[0010]D:对每一副二维图像提取边缘，然后检测相邻图像的边缘在映射边界上是否一致，检测到不一致的情况时，通过移动映射边界来保证边缘的一致性。
[0011]所述的二维图像边缘提取采用索贝尔(Sobel)算子与图像进行卷积操作，然后对卷积后的图像做二值化，即可得到图像的边缘信息。
[0012]E:根据步骤A得到的三维网格和二维像素点的对应关系以及经过步骤C，D优化的映射边界，将像素颜色映射到三维网格上，从而生成最终的彩色的三维目标模型。
[0013]本发明的主要创新在于分两步对三维模型纹理映射中的映射边界进行优化，从而有效减小在纹理映射中由于摄像头标定误差等干扰导致的接缝问题。本发明首先通过优化映射边界使其周围的纹理复杂度减小，然后再进一步优化和二维图像中图像边缘对应的映射边界区域，提高边界两侧二维图像边缘的一致性，从而降低包括摄像头标定误差在内的各类误差对纹理映射的影响。
[0014]与现有技术相比，本发明具有如下优点:
1、现有技术通常仅考虑由于光照条件不同在纹理映射中产生的接缝问题，利用图像平滑等技术来针对接缝问题，而忽略了包括摄像头标定误差在内的各类系统误差对纹理映射的干扰。本发明着重考虑了这类系统误差造成的问题，通过优化映射边界位置的思想，可以有效弥补很多现有技术的不足。
[0015]2、很多系统误差在实际应用中是难以避免的。本发明的出发点在于人的视觉感官系统倾向于注意色彩变化明显，纹理较复杂，例如图像边缘等信息，容易忽略纹理较简单的区域。因此本发明着重提高图像边缘周围的纹理映射的质量，将容易产生接缝的边界区域搬移到纹理较简单的区域，符合人体的视觉感官系统的特点，同时易于实现，有较广泛的使用前景。
【专利附图】

【附图说明】
[0016]图1是本发明的流程图。
[0017]图2是基于摄像头位置信息计算初始映射边界的示意图。
【具体实施方式】
[0018]下面结合实施例并对照附图对本发明进行进一步的说明。
[0019]一种基于映射边界优化的三维物体模型纹理映射算法的具体步骤如下:
A:利用RGB-D摄像头(带深度信息彩色摄像头)获取实际物体的无色的三维模型和一系列二维彩色图像，并建立三维模型网格和二维图像像素点之间的对应关系，即纹理映射关系。
[0020]所述的实际物体的三维模型可以通过Newcombe于2011年在《IEEEInternational Symposium on Mixed and Augmented Reality》(IEEE 国际混合增强现实会议)第 127 页到第 136 页发表的论文“KinectFusion: real-time dense surface mappingand tracking” (KinectFusion:实时稠密表面的映射及跟踪)中提出的KinectFusion方法通过移动深度摄像头绕着目标扫描得到。
[0021]所述的二维彩色图像可以在扫描过程中通过启动RGB-D摄像头的彩色拍照功能得到。
[0022]所述的纹理映射关系，将通过以下过程得到:
首先，利用 Newcombe 于 20`11 年在《IEEE International Symposium on Mixed andAugmented Reality)) (IEEE国际混合增强现实会议)第127页到第136页发表的论文“KinectFusion: real-time dense surface mapping and tracking” (KinectFusion:实时稠密表面的映射及跟踪)中提出的KinectFusion方法可以得到每一个二维彩色图像在拍摄时所对应的摄像头在世界坐标系中的位置。
[0023]其次，利用世界坐标系关系，将三维模型网格依据几何关系映射到每一个二维彩色图像成像所在的平面，就可以得到三维模型上每一个三角网格和二维图像像素点之间的对应关系。
[0024]所述的得到的纹理映射关系由下式得到:
P(^V1)=Color (pLj)
其中，Z7(Ki)是纹理映射关系建立后三维模型中三角网格Vi对应的颜色，/?.是第L个二维彩色图片中的第j个像素对应的位置，而Cbhrbzi)是象素/?的颜色。需要注意的是，此时，每一个三维模型三角网格可能对应于来自不同二维彩色图像的多个像素点。
[0025]B:根据步骤A中得到的二维彩色图像所对应的摄像头在世界坐标系中的位置，计算出初始的映射边界所在的位置。
[0026]所述初始映射边界可以这样确定:对于每两个相邻的二维图像(相邻是指在映射到三维模型上以后，在三维模型上有交叠区域)，我们可以得到对应摄像头位置在三维模型表面上的投影点(投影点是指投影点和摄像头所在坐标点的连线垂直于三维模型表面)。而初始映射边界为在交叠区域内到两个投影点距离相等的点的集合。如图2所示，彩色图像K和彩色图像L为两个相邻的二维图像，其投影点分别为Ck和Cu则得到的初始映射边界如图所示，记为Ei^在得到映射边界后，除映射边界上的顶点之外，每一个三维模型三角网格仅对应于一个二维彩色图像中的像素点。
[0027]C:通过计算初始映射边界上的纹理复杂度，找到纹理复杂度较大的顶点，并将该点周围的边界移动到纹理较为简单的区域，具体的可由以下三步得到:
第一步，计算初始映射边界上每一个顶点的纹理复杂度。
[0028]所述的纹理复杂度的计算方法为:找到该顶点在该映射边界两侧二维图像上对应的像素点，分别取以该像素点为中心的8x8的子区域，再分别计算该子区域内三个颜色通道取值的标准差的均值，则该顶点的纹理复杂度即为两个子区域得到的均值的总和。
[0029]第二步，找到纹理复杂度最大的一个顶点，若该点的纹理复杂度值大于阈值TH，则沿该顶点所在位置映射边界的法线方向找到和该点相邻的顶点，并用这个相邻点代替原有顶点作为新的边界。本实例中，TH取28。
[0030]第三步，持续重复第二步直到所有点的纹理复杂度都小于阈值TH，或者第二步中已经穷尽了交叠区域内所有可能作为新边界的点。
[0031]D:对每一副二维图像提取边缘，然后检测相邻图像的边缘在映射边界上是否一致，检测到不一致的情况时，通过移动映射边界来保证边缘的一致性，具体的:
首先，对每一副二维彩色图像提取边缘，本实例采用索贝尔(Sobel)算子与图像进行卷积操作，对卷积后的图像做二值化，即可得到图像的边缘信息。
[0032]其次，对每一对相邻的二维图像，按照位置相近关系对边缘进行配对，然后找到所有和映射边界相交的边缘对。`
[0033]然后，计算每对边缘在映射边界上的误差。具体的，对于一对边缘Edgei和Edgej,若它们和映射边界E1相交并且在三维模型上对应的交点为P (i，I)和P(j，I)，则这对边缘在映射边界上的误差即为两个交点P(i，I)和P(j，I)之间的距离D(i，j)。
[0034]最后，若计算得到的误差不为零，即D(i，j)不等于0，表示该区域映射别见上的边缘不一致，则按照如下规则优化原有的映射边界:计算边缘Edgei和Edgej在三维模型上对应的交点P (i，j)，然后用线段
P(Ij)PQrJ)和线段作，办°(上0代替原本在点P(i，I)和P(j，l)之间的映射边界。
[0035]E:根据步骤A得到的三维网格和二维像素点的对应关系以及经过步骤C，D优化的映射边界，将像素颜色映射到三维网格上，从而生成最终的彩色的三维目标模型。
【权利要求】
1.一种基于映射边界优化的三维物体模型纹理映射算法，特征在于该算法的具体步骤如下: A:利用摄像头获取实际物体的无色的三维模型和一系列二维彩色图像，并建立三维模型网格和二维图像像素点之间的对应关系，即纹理映射关系； B:根据步骤A中得到的二维彩色图像所对应的摄像头在世界坐标系中的位置，计算出初始的映射边界所在的位置； C:通过计算初始映射边界上的纹理复杂度，找到纹理复杂度较大的顶点，并将该点周围的边界移动到纹理较为简单的区域； D:对每一副二维图像提取边缘，然后检测相邻图像的边缘在映射边界上是否一致，检测到不一致的情况时，通过移动映射边界来保证边缘的一致性； E:根据步骤A得到的三维网格和二维像素点的对应关系以及经过步骤C，D优化的映射边界，将像素颜色映射到三维网格上，从而生成最终的彩色的三维目标模型。
2.根据权利要求1所述的基于映射边界优化的三维物体模型纹理映射算法，其特征在于在步骤A中，所述的实际物体的三维模型根据KinectFusion方法,通过移动深度摄像头绕着目标扫描得到； 所述的二维彩色图像可以在扫描过程中通过启动摄像头的彩色拍照功能得到； 所述的纹理映射关系，将通过以下过程得到: 首先，利用KinectFusion方法得到每一个二维彩色图像在拍摄时所对应的摄像头在世界坐标系中的位置； 其次，利用世界坐标系关系，将三维模型网格依据几何关系映射到每一个二维彩色图像成像所在的平面，得到三维模型上每一个三角网格和二维图像像素点之间的对应关系；所述的得到的纹理映射关系由下式得到:
P(^V1)=Color (pLj) 其中，PiV1)是纹理映射关系建立后三维模型中三角网格Vi对应的颜色，pLJ是第L个二维彩色图片中的第j个像素对应的位置，而Cbhrbzi)是象素/?.的颜色；需要注意的是，此时，每一个三维模型三角网格可能对应于来自不同二维彩色图像的多个像素点。
3.根据权利要求1所述的基于映射边界优化的三维物体模型纹理映射算法，其特征在于在步骤B中，所述的初始映射边界这样确定:对于每两个相邻的二维图像，得到对应摄像头位置在三维模型表面上的投影点；初始映射边界为在交叠区域内到两个投影点距离相等的点的集合；在得到映射边界后，除映射边界上的顶点之外，每一个三维模型三角网格仅对应于一个二维彩色图像中的像素点。
4.根据权利要求1所述的基于映射边界优化的三维物体模型纹理映射算法，其特征在于在步骤C中，所述的纹理复杂度的计算方法为:找到该顶点在该映射边界两侧二维图像上对应的像素点，分别取以该像素点为中心的8x8的子区域，再分别计算该子区域内三个颜色通道取值的标准差的均值，则该顶点的纹理复杂度即为两个子区域得到的均值的总和。
5.根据权利要求1所述的基于映射边界优化的三维物体模型纹理映射算法，其特征在于在步骤C中，所述的根据纹理复杂度对映射边界进行优化可由以下三步得到: 第一步，计算初始映射 边界上每一个顶点的纹理复杂度；第二步，找到纹理复杂度最大的一个顶点，若该点的纹理复杂度值大于阈值TH，则沿该顶点所在位置映射边界的法线方向找到和该点相邻的顶点，并用这个相邻点代替原有顶点作为新的边界；TH取值28 ； 第三步，持续重复第二步直到所有点的纹理复杂度都小于阈值TH，或者第二步中已经穷尽了交叠区域内所有可能作为新边界的点。
6.根据权利要求1所述的基于映射边界优化的三维物体模型纹理映射算法，其特征在于在步骤D中，所述的根据图像边缘信息优化映射边界，具体实现为: 首先，对每一副二维彩色图像提取边缘，采用索贝尔Sobel算子与图像进行卷积操作，对卷积后的图像做二值化，即可得到图像的边缘信息； 其次，对每一对相邻的二维图像，按照位置相近关系对边缘进行配对，然后找到所有和映射边界相交的边缘对； 然后，计算每对边缘在映射边界上的误差；具体的，对于一对边缘Edgei和Edgej，若它们和映射边界E1相交并且在三维模型上对应的交点为P (i，I)和P(j，I)，则这对边缘在映射边界上的误差即为两个交点P(i，I)和P(j，l)之间的距离D(i，j)； 最后，若计算得到的误差不为零，即D(i，j)不等于0，表示该区域映射别见上的边缘不一致，则按照如下规则优化原有的映射边界:计算边缘Edgei和Edgej在三维模型上对应的交点P (i，j)，然后用线段 P(U)PQJ)和线段代替原本在点P(i，I)和P(j，l)之间的映射边界。
7.根据权利要求1所述的基于映射边界优化的三维物体模型纹理映射算法，其特征在于摄像头为带深度信息彩色摄像头。
8.根据权利要求1所述的基于映射边界优化的三维物体模型纹理映射算法，其特征在于对于相邻的二维图像的相邻是指在映射到三维模型上以后，在三维模型上有交叠区域；摄像头位置在三维模型表面上的投影点是指投影点和摄像头所在坐标点的连线垂直于三维模型表面。
【文档编号】G06T7/00GK103761765SQ201310722348
【公开日】2014年4月30日 申请日期:2013年12月25日 优先权日:2013年12月25日
【发明者】林巍峣, 陈远哲, 裘玉英, 周旭楚, 张越青 申请人:浙江慧谷信息技术有限公司