面向激光扫描三维模型的多图像自动纹理映射方法
【技术领域】
[0001]本发明涉及计算机视觉领域，尤其涉及基于多图像的三维重建系统以及激光扫描模型的自动纹理映射，具体涉及一种面向激光扫描三维模型的多图像自动纹理映射方法。
【背景技术】
[0002]目前常用的基于多图像的三维重建系统利用图像特征向量之间的匹配关系来达到求解三维场景中相机的内参数矩阵、外参数矩阵以及三维点的世界坐标系坐标。
[0003]另一种常用的获取场景三维数据的方法是激光扫描得到三维模型。为了得到场景尽可能丰富的细节，需要使用面着色替代现有三维模型的点着色方式，即三角网格模型上每个三角面片的像素取自纹理图像上的一个三角形纹理区域。由于激光扫描三维模型的几何结构高度准确，多图像三维重建方法得到的相机参数误差很小，可以结合激光扫描三维模型和基于多图像三维重建得到的三维场景描述(每个相机的参数)来计算得到纹理细节丰富的三角网格模型。
[0004]基于多图像的三维重建系统的流程是提取每张图像的特征向量，对图像间的特征向量进行匹配，把特征向量的匹配结果作为三维重建的输入，得到每张图像对应的相机参数和三维场景的稠密三维点云，并消除每张图像的畸变得到消除畸变后的图像。
[0005]多图像自动纹理映射需要的输入数据有三角网格模型、每个相机的参数以及对应的图像。
[0006]近年来，纹理映射一直是紧接着基于多图像三维重建进行的，由于基于多图像三维重建得到的三维模型在几何结构上误差较大，最终得到的纹理映射结果不太理想，把激光扫描三维模型引入多图像纹理映射会使得最终的结果细节更丰富。
【发明内容】
[0007]针对现有技术的不足，本发明提供了一种面向激光扫描三维模型的多图像自动纹理映射方法。
[0008]一种面向激光扫描三维模型的多图像自动纹理映射方法，包括:
[0009]步骤1、使用激光扫描仪获取三维场景的三维点云模型，并形成相应的三角网格模型；
[0010]步骤2、获取所述三维场景的若干张多方向、多角度的图像，并求解得到每张图像对应的相机内参数矩阵、相机外参数矩阵，以及所述三维场景的稠密三维点云；
[0011]获取的照片的张数至少为20张。通常使用单反相机对场景进行多方向、多角度的拍照取景以得到相应的多方向、多角度的图像。
[0012]步骤3、将所述三角网格模型与所述的稠密三维点云进行匹配得到对齐三角网格模型；
[0013]步骤4、根据所有图像、各个图像对应的相机内参数矩阵、相机外参数矩阵以及所述的对齐三角网格模型，采用基于透视投影模型法获取所述对齐三角网格模型上每个三角面片在各个图像中对应的纹理区域并拼接得到相应的纹理图像。
[0014]本发明的三维场景的三维点云模型使用激光扫描仪扫描场景得到，不是常规的多图像三维重建计算出来的，对于使用激光扫描仪扫描得到的三维点云模型，处理的时候去除三维点云模型的颜色然后进行三角网格化形成相应的三角网格模型。
[0015]作为优选，所述三角网格模型为PLY格式。PLY相比其它表示三维模型的文件格式能更加简单地以元素(三维顶点、纹理坐标、三角面片)列表来存储三角网格模型，
[0016]技术成熟且易于实现，所述步骤2中利用多图像三维重建方法求解得到每张图像对应的相机内参数矩阵、相机外参数矩阵，以及稠密三维点云。
[0017]通过匹配使得激光扫描的三维模型(即三角网格模型)和多图像三维重建得到的稠密三维点云这两个模型最重合，保证多图像三维重建得到的相机参数在激光扫描三维模型下有效。作为优选，所述步骤3具体如下:
[0018]根据所述三角网格模型和所述稠密三维点云之间的几何相似性(如轮廓等几何特征)计算得到所述三角网格模型和稠密三维点云间的位移矩阵，所述位移矩阵包括旋转矩阵、平移矩阵、缩放矩阵和畸变参数；
[0019]以所述稠密三维点云作为基准，根据所述的位移矩阵调整三角网格模型的方向、位置、尺寸得到对齐三角网格模型。
[0020]本发明中进行匹配时需要在同一个世界坐标系下进行。
[0021]本发明中从所有对应的初始纹理区域选择最终纹理区域时以保证所有三角面片对应的最终纹理区域尽可能来自于同一图像为原则。即在众多可选择的图像中选择覆盖像素最多的那一张，通过在几何拓扑上尽可能选择多的相邻三角面片对应到同一张图像上能够确保纹理映射的效果最优化。
[0022]每个三角面片对应一个纹理区域，将所有三角面片对应的纹理区域拼接为纹理图像时，得到的纹理图像会存在拼接缝隙，为提高得到的纹理图像的质量，作为优选，本发明还包括对拼接得到的纹理图像进行色差弱化处理。
[0023]本发明中最后得到纹理图像可以为OBJ、MTL、PNG三个文件格式，即面向激光扫描三维模型的多图像自动纹理映射的结果。
[0024]与现有技术相比，本发明的面向激光扫描三维模型的多图像自动纹理映射方法极大地提高了三角网格模型的几何精度和纹理映射后模型的细节丰富程度，且容易实现。
【具体实施方式】
[0025]下面结合具体实施例对本发明进行详细说明，以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。
[0026]本实施例的面向激光扫描三维模型的多图像自动纹理映射方法包括:
[0027]步骤1、使用激光扫描仪扫描场景得到三维点云模型，经过处理得到PLY格式的三角网格模型。
[0028]步骤2、使用单反相机对场景进行多方向、多角度的拍照取景，并利用多图像三维重建方法求解得到每张图像对应的相机内参数矩阵、相机外参数矩阵、场景的稠密三维点云。
[0029]步骤3、匹配激光扫描三维模型和多图像三维重建得到的稠密三维点云，以多图像三维重建得到的稠密三维点云作为基准，按照三维点云处的几何相似性(轮廓等特征)来求得模型间的旋转矩阵、平移矩阵、缩放矩阵，调整激光扫描三维模型的方向、位置、尺寸使得激光扫描三维模型和多图像三维重建得到的稠密三维点云最重合，得到对齐三角网格模型。
[0030]通过匹配得到的稠密三维点云这两个模型最重合，保证多图像三维重建得到的相机参数在激光扫描三维模型下有效。
[0031]步骤4、三维场景表达方式的转换，从多图像三维重建方法得到的结果中提取出多图像自动纹理映射能识别的最简洁的三维场景表达方式(相机焦距、旋转矩阵、平移矩阵、畸变参数)以表示该三维场景。
[0032]步骤5、多图像自动纹理映射，根据透视投影模型和步骤4中提取的三维场景表达方式来求得对齐三维模型上每个三角面片对应的纹理区域并将所有三角面片对应的纹理区域拼接得到相应的纹理图像作为映射结果。
[0033]本实施例中针对每个三角面片通过如下方法获取对应的纹理区域:
[0034]采用基于透视投影模型法获取该三角面片在各个图像中对应的纹理区域作为初始纹理区域，然后从所有对应的初始纹理区域选择一个作为最终纹理区域。
[0035]从所有对应的初始纹理区域选择最终纹理区域时以保证所有三角面片对应的最终纹理区域尽可能来自于同一图像为原则。
[0036]在几何拓扑上尽可能选择多的相邻三角面片对应到同一张图像上同时确保纹理映射的效果最优化。
[0037]以上所述的【具体实施方式】对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
【主权项】
1.一种面向激光扫描三维模型的多图像自动纹理映射方法，其特征在于，包括: 步骤1、使用激光扫描仪获取三维场景的三维点云模型，并形成相应的三角网格模型； 步骤2、获取所述三维场景的若干张多方向、多角度的图像，并求解得到每张图像对应的相机内参数矩阵、相机外参数矩阵，以及所述三维场景的稠密三维点云； 步骤3、将所述三角网格模型与所述的稠密三维点云进行匹配得到对齐三角网格模型； 步骤4、根据所有图像、各个图像对应的相机内参数矩阵、相机外参数矩阵以及所述的对齐三角网格模型，采用基于透视投影模型法获取所述对齐三角网格模型上每个三角面片在各个图像中对应的纹理区域并拼接得到相应的纹理图像。2.如权利要求1所述的面向激光扫描三维模型的多图像自动纹理映射方法，其特征在于，所述三角网格模型为PLY格式。3.如权利要求1所述的面向激光扫描三维模型的多图像自动纹理映射方法，其特征在于，所述步骤2中利用多图像三维重建方法求解得到每张图像对应的相机内参数矩阵、相机外参数矩阵，以及稠密三维点云。4.如权利要求1所述的面向激光扫描三维模型的多图像自动纹理映射方法，其特征在于，所述步骤3具体如下: 根据所述三角网格模型和所述稠密三维点云之间的几何相似性计算得到所述三角网格模型和稠密三维点云间的位移矩阵，所述位移矩阵包括旋转矩阵、平移矩阵和缩放矩阵； 以所述稠密三维点云作为基准，根据所述的位移矩阵调整三角网格模型的方向、位置、尺寸得到对齐三角网格模型。5.如权利要求1所述的面向激光扫描三维模型的多图像自动纹理映射方法，其特征在于，所述步骤4中针对每个三角面片通过如下方法获取对应的纹理区域: (4-1)采用基于透视投影模型法获取该三角面片在各个图像中对应的纹理区域作为初始纹理区域； (4-2)从所有对应的初始纹理区域选择一个作为最终纹理区域。6.如权利要求5所述的面向激光扫描三维模型的多图像自动纹理映射方法，其特征在于，从所有对应的初始纹理区域选择最终纹理区域时以保证所有三角面片对应的最终纹理区域尽可能来自于同一图像为原则。7.如权利要求1?6中任意一项所述的面向激光扫描三维模型的多图像自动纹理映射方法，其特征在于，还包括对拼接得到的纹理图像进行色差弱化处理。
【专利摘要】本发明公开了一种面向激光扫描三维模型的多图像自动纹理映射方法，包括：使用激光扫描仪获取三维场景的三维点云模型，并形成相应的三角网格模型，利用多图像三维重建系统求解三维场景的三维点云模型以及对应的相机参数，求解三角网格模型和三维点云模型间的旋转矩阵、平移矩阵、缩放矩阵并调整三角网格模型使它与多图像三维重建模型最重合，面向经过调整的三角网格模型利用相机参数进行自动纹理映射得到相应的纹理图像，本发明的多图像自动纹理映射方法极大地改变传统三维模型纹理映射效果不佳的现状，不仅全自动化完成整个纹理映射过程而且得到的结果质量更好。
【IPC分类】G06T7/00, G06T17/20
【公开号】CN104952075
【申请号】CN201510334502
【发明人】李定康, 刁常宇, 邢卫, 鲁东明
【申请人】浙江大学
【公开日】2015年9月30日
【申请日】2015年6月16日