基于图像处理的物体三维模型构建方法与流程

本发明涉及图像处理应用领域，特别是涉及一种基于图像处理的物体三维模型构建方法。

背景技术：

随着时间的流逝和人类活动的影响，文物不断遭到破坏，如何对文物进行数字化处理，以实现其三维模型展示，对于传播传统文化具有重要的意义和价值。

现有技术中，采用激光扫描仪等设备，首先采集文物的三维点云数据，然后基于采集的三维点云数据来重建文物的三维模型。但是，这种方法操作复杂、数据处理周期长，并且设备昂贵，不便于推广。

技术实现要素：

本发明的目的是提供一种基于图像处理的物体三维模型构建方法，与现有方法相比实施难度低，使用设备成本低，数据运算更高效。

为实现上述目的，本发明提供如下技术方案：

一种基于图像处理的物体三维模型构建方法，包括：

对以不同角度对物体拍摄获得的、在同一空间坐标系中描述的物体的第一图像和第二图像，对图像分别进行至少三种不同高斯核的卷积运算，得到卷积图；

对得到的所述卷积图分别沿平面内多个方向求梯度，得到卷积梯度方向图；

根据得到的所述卷积梯度方向图为图像中每一像素构建描述子，像素的描述子为由所述像素在各层卷积梯度方向图中对应像素的值构成的向量；

在所述第一图像和所述第二图像中，根据像素的描述子匹配像素，建立匹配关系得到视差图；

利用所述视差图、所述第一摄像装置或者所述第二摄像装置的内参数和外参数，获得像素对应空间点的空间位置，以构建物体三维模型。

可选地，所述对得到的所述卷积图分别沿平面内多个方向求梯度，得到卷积梯度方向图包括：

对所述卷积图分别沿x方向和y方向求梯度；

将每对梯度图对平面内多个方向进行投影，对每对梯度图计算梯度方向图，得到卷积梯度方向图。

可选地，对图像分别进行三种不同高斯核的卷积运算，高斯核表示为得到的卷积图表示为

可选地，所述对得到的所述卷积图分别沿平面内多个方向求梯度，得到卷积梯度方向图包括：

对得到的卷积图分别沿x方向和y方向求梯度，得到三对梯度图，分别表示为

对每对梯度图对平面内多个方向进行投影计算梯度方向图，表示为其中每对梯度图对应得到的梯度方向图表示为：

可选地，所述在所述第一图像和所述第二图像中，根据像素的描述子匹配像素，建立匹配关系得到视差图包括：

对第一图像中每一像素，在第二图像中沿极线方向搜索每个像素，并取出对应描述子，计算第一图像中像素的描述子与第二图像中极线方向上每一像素的描述子之间的欧氏距离，将极线方向上欧氏距离最小的像素作为与第一图像中像素相匹配的像素。

可选地，所述利用所述视差图、所述第一摄像装置或者所述第二摄像装置的内参数和外参数，获得像素对应空间点的空间位置包括：

利用相似三角形性质，由所述视差图计算像素对应空间点的深度；

基于第一摄像装置的内参数矩阵、外参数矩阵以及计算得到的像素深度，计算所述像素对应空间点的空间位置。

可选地，还包括：根据得到的像素对应空间点的空间位置，使用三角化技术将离散的空间点进行三角化及拼接，利用渲染技术构建带纹理的物体三维模型。

可选地，在对以不同角度对物体拍摄获得的、在同一空间坐标系中描述的物体的第一图像和第二图像，对图像分别进行至少三种不同高斯核的卷积运算，得到卷积图之前还包括：

第一摄像装置和第二摄像装置以不同角度同时对物体拍摄，获得物体图像，分别描述为原始第一图像和原始第二图像；

对所述原始第一图像和所述原始第二图像进行坐标变换，得到以同一空间坐标系描述的所述第一图像和所述第二图像。

可选地，所述对所述原始第一图像和所述原始第二图像进行坐标变换包括：

对每一摄像装置，基于所述摄像装置的内参数矩阵、外参数矩阵构造所述摄像装置的原始投影矩阵，基于原始投影矩阵计算光心坐标；

基于光心坐标以及内参数矩阵、外参数矩阵为所述摄像装置构建新的内参数矩阵、新的外参数矩阵；

基于所述摄像装置新的内参数矩阵、新的外参数矩阵构造新投影矩阵，计算所述新投影矩阵与原始投影矩阵之间变换的变换矩阵；

以所述变换矩阵分别对所述原始第一图像中每一像素和所述原始第二图像中每一像素进行坐标变换。

由上述技术方案可知，本发明所提供的基于图像处理的物体三维模型构建方法，首先对以不同角度对物体拍摄获得的、在同一空间坐标系中描述的物体的第一图像和第二图像，对图像分别进行至少三种不同高斯核的卷积运算，得到卷积图，然后对得到的卷积图分别沿平面内多个方向求梯度，得到卷积梯度方向图，根据得到的卷积梯度方向图为图像中每一像素构建描述子，像素的描述子为由所述像素在各层卷积梯度方向图中对应像素的值构成的向量，进一步在第一图像和第二图像中，根据像素的描述子匹配像素，建立匹配关系得到视差图，最后利用视差图、第一摄像装置或第二摄像装置的内参数和外参数，获得像素对应空间点的空间位置，从而构建物体三维模型。

本发明基于图像处理的物体三维模型构建方法，与现有方法相比，不需要采集物体的三维点云数据，只需要采集物体的两幅图像，基于图像处理即可实现物体三维模型构建，使用摄像装置就可完成拍摄，因此实施难度低，使用设备成本低，数据运算更高效。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于图像处理的物体三维模型构建方法的流程图；

图2为本发明实施例中对图像计算卷积梯度方向图的计算方法示意图；

图3为本发明实施例中对图像像素构建描述子的示意图；

图4为本发明实施例中由视差图求图像深度的示意图；

图5为本发明实施例中对拍摄的原始图像进行极线校正的示意图；

图6为本发明实施例中对拍摄的原始图像进行极线校正的方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参考图1，本发明实施例提供的一种基于图像处理的物体三维模型构建方法，包括步骤：

s10：对以不同角度对物体拍摄获得的、在同一空间坐标系中描述的物体的第一图像和第二图像，对图像分别进行至少三种不同高斯核的卷积运算，得到卷积图。

第一图像和第二图像是以不同角度对物体拍摄获得的物体图像，在具体实施时，可采用第一摄像装置和第二摄像装置以不同角度同时对物体拍摄来获得。

对第一图像和第二图像，对每一图像，进行至少三种不同高斯核的高斯卷积，对图像进行不同高斯核卷积运算的种数越多，对图像特征提取以及物体三维模型构建的精度越高，但会降低数据处理速度，增加计算量。因此在具体实施时，要根据实际情况，兼顾考虑计算精度和数据运算效率选择高斯卷积运算的种数。

优选的，本实施例中对图像进行三种不同高斯核的卷积运算，分别得到三个卷积图，表示为其中，高斯核表示为其中q＝3表示当前像素的描述子由周围三层固定距离的像素的卷积图决定，r表示当前像素到处于第三层的像素的距离。

s11：对得到的所述卷积图分别沿平面内多个方向求梯度，得到卷积梯度方向图。

本步骤可通过以下过程实现，包括步骤：

s110：对所述卷积图分别沿x方向和y方向求梯度。

以对图像进行三种不同高斯核的卷积运算的情况为例，可参考图2所示，将上步骤得到的卷积图分别沿x方向和y方向求梯度，得到三对梯度图，表示为

s111：将每对梯度图对平面内多个方向进行投影，对每对梯度图计算梯度方向图，得到卷积梯度方向图。

对上步骤得到的每对梯度图对平面内多个方向进行投影计算梯度方向图，表示为其中计算梯度方向图时在平面内选择的方向数量越多，计算精度越高，但随之会降低数据运算速率，因此在具体实施时，可根据情况选择投影方向的数量，以兼顾计算精度和运算效率。

优选的，本实施例中计算平面内8个方向的梯度方向图，相应的，每对梯度图的梯度方向图表示为：

s12：根据得到的所述卷积梯度方向图为图像中每一像素构建描述子，像素的描述子为由所述像素在各层卷积梯度方向图中对应像素的值构成的向量。

以上述实例中对图像进行三种不同高斯核的卷积运算，并对平面内8个方向进行投影计算梯度方向图的情况为例，会得到24个卷积梯度方向图。根据得到的24个卷积梯度方向图，为图像中每一像素构建描述子。每一层离中心像素的距离为可参考图3所示，其中，到中心像素距离为r0的像素从高斯核为∑0的卷积方向图中取其对应位置的像素值，到中心像素距离为r1的像素从高斯核为∑1的卷积方向图中取其对应位置的像素值，到中心像素距离为r2的像素从高斯核为∑2的卷积方向图中取其对应位置的像素值，其中i＝0,1,…,7，则图像像素(u，v)的描述子表示为：

s13：在所述第一图像和所述第二图像中，根据像素的描述子匹配像素，建立匹配关系得到视差图。

本步骤中进行稠密匹配，在第一图像和第二图像中利用像素的描述子寻找相匹配的像素。

具体的，对第一图像中每一像素，在第二图像中沿极线方向搜索每个像素，并取出对应描述子，计算第一图像中像素的描述子与第二图像中极线方向上每一像素的描述子之间的欧氏距离，将极线方向上欧氏距离最小的像素作为与第一图像中像素相匹配的像素，建立稠密匹配关系，得到视差图。

s14：利用所述视差图、所述第一摄像装置或者所述第二摄像装置的内参数和外参数，获得像素对应空间点的空间位置，以构建物体三维模型。

本步骤中具体包括以下过程：

s140：利用相似三角形性质，由所述视差图计算像素对应空间点的深度。

可参考图4所示，p(x，y，z)表示空间点，x1表示空间点p在第一摄像装置成像面上(即第一图像中)像点的x坐标值，x2表示空间点p在第二摄像装置成像面上(即第二图像中)像点的x坐标值，f表示摄像装置焦距，tx表示图像变换后两幅图像之间光心的距离，即在同一空间坐标系中描述的两幅图像之间光心的距离。利用p点与其在两图像中像点构成的三角形，和p点与光心o1、o2构成的三角形之间的相似性质，计算p点深度，具体计算公式表示为：其中d表示匹配像素的视差。

s141：基于第一摄像装置的内参数矩阵、外参数矩阵以及计算得到的像素深度，计算所述像素对应空间点的空间位置。

计算公式表示为：其中，表示像素坐标，表示像素对应空间点的位置，([r1|t1])^-1表示所述第一摄像装置外参数矩阵的逆矩阵，表示所述第一摄像装置内参数矩阵的逆矩阵。

需要说明的是，在本方法其它实施例中，也可采用第二摄像装置的内参数矩阵、外参数矩阵来计算。

根据计算获得的三维点云空间位置，则可构建出物体的三维模型，进一步可输出显示。

优选的，在一种优选实施例中，本方法还包括步骤s15：根据得到的像素对应空间点的空间位置，使用三角化技术将离散的空间点进行三角化及拼接，利用渲染技术构建带纹理的物体三维模型。通过利用计算得到的像素对应的空间位置，利用渲染技术构建带纹理的物体三维模型，这样对物体三维模型的构建精度更高，构建的物体模型更加精细、更加形象。本实施例基于图像处理的物体三维模型构建方法，与现有使用三维激光扫描进行文物三维重建的方法相比，本方法不需要采集物体的三维点云数据，只需要采集物体的两幅图像，基于图像处理实现物体三维模型构建，使用摄像装置就可完成拍摄，因此实施难度低，使用设备成本低，数据运算更高效。

本实施例基于图像处理的物体三维模型构建方法中，进行上述各步骤处理的物体第一图像和第二图像，是在同一空间坐标系中描述，所述第一图像和所述第二图像可通过以下过程获得，具体包括步骤：

s20：第一摄像装置和第二摄像装置以不同角度同时对物体拍摄，获得物体图像，分别描述为原始第一图像和原始第二图像。

比如，对文物进行三维模型构建，使用两台已完成参数标定的摄像装置，两台摄像装置以不同角度同时对文物拍摄，各拍摄到一幅图像，分别对应描述为原始第一图像和原始第二图像。

s21：对所述原始第一图像和所述原始第二图像进行坐标变换，得到以同一空间坐标系描述的所述第一图像和所述第二图像。

由于在拍摄图像时第一摄像装置和第二摄像装置的视轴处于非平行状态，各自拍摄的图像以不同的空间坐标系描述，参考图5所示，其中p点表示物体空间点，o1、o2分别表示第一摄像装置、第二摄像装置的光心，l1表示第一摄像装置成像面(即原始第一图像)，l2表示第二摄像装置成像面(即原始第二图像)。本步骤中通过对原始图像进行坐标变换，以在同一空间坐标系中描述两幅图像。

具体的，请参考图6，本步骤中包括以下步骤：

s210：基于所述摄像装置的内参数矩阵、外参数矩阵构造所述摄像装置的原始投影矩阵，基于原始投影矩阵计算光心坐标。

基于摄像装置的内参数矩阵、外参数矩阵，构造摄像装置的原始投影矩阵，表示为：po1＝k1[r1|t1]，po2＝k2[r2|t2]，其中，k1、[r1|t1]分别表示所述第一摄像装置的内参数矩阵、外参数矩阵，k2、[r2|t2]分别表示所述第二摄像装置的内参数矩阵、外参数矩阵。

投影矩阵po1及po2分别表示将世界坐标系下的三维空间点投影到第一摄像装置和第二摄像装置像素坐标的变换关系。利用投影矩阵po1及po2可分别得到空间点p在原始第一图像l1中对应像点p1、在原始第二图像l2中对应像点p2。

第一摄像装置光心o1的坐标计算公式表示为：第二摄像装置光心o2的坐标计算公式表示为：其中p(i:j,m:n)表示取出矩阵p的第i行至第j行，第m列至第n列之间的元素所构造的新的矩阵，只有冒号表示取出所有的行或者列。

s211：对每一摄像装置，基于光心坐标以及内参数矩阵、外参数矩阵为所述摄像装置构建新的内参数矩阵、新的外参数矩阵。

具体的，令v1＝c1-c2，v3＝v1×v2，则构建新的内参数矩阵k和旋转矩阵r分别表示为：

其中，令k(1,2)＝0，norm(v)表示求向量范数，上标t表示矩阵转置，p^-1表示对矩阵p求逆矩阵。

s212：对每一摄像装置，基于所述摄像装置新的内参数矩阵、新的外参数矩阵构造新投影矩阵，计算所述新投影矩阵与原始投影矩阵之间变换的变换矩阵。

基于摄像装置新的内参数矩阵、新的外参数矩阵构造新投影矩阵，表示为pn1＝k[r|rc1]，pn2＝k[r|rc2]。利用投影矩阵pn1及pn2可分别得到空间点p在第一图像l1′中对应像点p1′、在第二图像l2′中对应像点p2′，l1′表示经过坐标变换得到的第一图像，l2′表示经过坐标变换得到的第二图像，参考图5所示。计算新投影矩阵与原始投影矩阵之间的变换关系，表示为：

其中，t1、t2分别表示变换矩阵。

s213：以所述变换矩阵分别对所述原始第一图像中每一像素和所述原始第二图像中每一像素进行坐标变换。

以变换矩阵对原始第一图像l1和原始第二图像l2分别逐个像素点进行转换，表示为：p′1＝t1p1，p′2＝t2p2；其中，p1、p2分别表示变换前所述第一图像和所述第二图像中像素的齐次坐标，p′1，p′2分别表示变换后所述第一图像和所述第二图像中像素的齐次坐标。

这样就可以得到经过对极线校正后新的投影矩阵，将被测物图像映射到虚拟成像平面上所形成的两幅新的图像。在运用上述变换关系时，发现如果变换后图像中的像素点坐标对应到原始图像中的非整数坐标上，则变换后图像像素点的灰度值通过灰度双线性插值方法得到。

本发明基于图像处理的物体三维模型构建方法，可以应用于文物三维模型构建，也可以应用于人脸三维模型构建，或者其他物体三维模型构建。

以上对本发明所提供的基于图像处理的物体三维模型构建方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。