一种基于网格投影的自由曲面三维重建方法
【专利摘要】本发明公开了一种基于网格投影的自由曲面三维重建方法。自由曲面的表面无规则纹理和确定特征点，现有自由曲面的三维重建算法在运行过程中由于表面反射率不同、图像局部亮度不同和图像噪声等原因，所提取特征点的位置、数量都具有较大不确定性。针对此类问题，将网格投影到待重建曲面的表面，使自由曲面具备确定的可识别纹理及特征。在此基础上，提取自由曲面表面特征，实现精确特征点匹配及重建，将自由曲面的三维重建转换为通过识别自由曲面表面的网格投影特征进行匹配及重建。经过对实体模型的三维重建，验证了该方法的可行性和有效性。
【专利说明】一种基于网格投影的自由曲面三维重建方法
【技术领域】
[0001]本发明涉及一种自由曲面三维重建方法，尤其涉及基于网格投影的自由曲面三维重建方法。
【背景技术】
[0002]立体视觉一直是计算机图形学和计算机视觉的重要研究问题，是根据人类双目视觉的原理对场景或目标进行感知或识别，也就是利用数学方法从两幅或多幅二维立体图像对中恢复场景或目标的三维信息。目前立体视觉在工业领域——产品质量检测以及外包装检测、出厂金属产品的工业探伤；在医学领域——在医疗手术前建立模型，用于辅助医生进行诊断和提供治疗方案；在考古领域——对文物进行数字化处理，实现文化遗产保护等多个领域有广泛应用。同时随着3D打印技术的日趋成熟，未来满足通过3D打印技术快速复制物体的前提也是成熟的便捷三维重建技术。
[0003]立体视觉根据测量方法的不同，可以分为主动测量和被动测量。主动测量，如激光扫描、结构光扫描，同一时间对目标从不同角度进行拍摄，可以重建高精度的模型。被动方法是基于多视几何原理从多幅图像中提取二维信息重建模型。目前三维测量方法主要包括相位测量轮廓法、网格结构光模式等，运用这些方法已能够恢复形状规则、特征明显的场景或目标的三维信息。但是相位测量轮廓法存在由于相移不准以及光场的非正弦性都能够产生测量误差的问题，因此测量时就需要引入精度比较高的相移装置以及标准的正弦光栅；网格结构光模式又称为网格编码模式，其存在空间邻域内特征点的影响，所以编码图像的识别及解码比较困难，并且使得系统的测量误差增大，也存有分辨率低以及受到景物表面反射率不相同和颜色的影响等缺点。
[0004]因此，为了解决这类问题，本文在三维重建过程中，将被动测量方法与主动测量方法相结合，加入人为约束条件，将无规则或无纹理的表面信息统一为由规则网格构成的表面，在空间域内对双目图像处理后恢复三维信息，降低三维重建过程中的不确定性，提高重建结果精度。本文方法相较于激光扫描、相位法等重建方法成本较低，系统结构简单，不需要对实验对象做任何预处理，即可达到预期效果。
【发明内容】
[0005](一 )要解决的技术问题
[0006]本发明的目的是为了克服现有技术的不足，提供一种基于网格投影的自由曲面三维重建方法，该方法降低三维重建过程中的不确定性，提高重建结果精度。
[0007]( 二 )技术方案
[0008]针对以上问题，本发明提出的基于网格投影的自由曲面三维重建方法，包括以下步骤:
[0009]I)设计选择系统硬件，搭建双目视觉实验台，采集实验对象图片；
[0010]2)将步骤I)中取得两幅图像进行畸变校正及各种预处理操作，通过实验比较分析选择适当的预处理方法，为后期图像的处理做好准备；
[0011]3)将步骤2)所得两幅图像利用形态学方法进行网格线条细化；
[0012]4)将步骤3)所得两幅图像提取网格交点及网格交点间的特征点。根据网格交点的分布特征及其四邻域和八邻域内像素分布特征，在每个交点所在位置提取特征点，最终保留位于最中心位置的特征点作为网格交点。根据网格交点及细化后网格线条的单像素特征，提取出网格交点间所有特征点。
[0013]5)将步骤4)所得两幅图像特征点，网格交点按照交点的位置对其进行二次编码，将行坐标在一定范围内的点归为同一行，将列坐标在一定范围内的点归为同一列，编码后将两幅图像中具有同一编码的交点列为匹配对。网格交点间的特征点根据极线几何约束、相似性约束、连续性约束、顺序一致性约束进行匹配；
[0014]6)将步骤5)所得两幅图像特征点匹配对，根据匹配点对的特征点在各自图像中的二维坐标，双目视觉相机的内部参数和外部参数以及立体视觉三维重建公式，计算出特征点的三维坐标，并完成重建。
[0015](三)有益效果
[0016]本发明的基于网格投影的自由曲面三维重建方法能很好地运用在曲面上，实验针对鼠标表面进行重建，取得了比较好的实验效果，具有通用性。
【专利附图】
【附图说明】
[0017]图1为本发明实施例1的左右相机图像灰度化处理效果图，其中，(a)为左相机原始图像(畸变校正后)，(b)为右相机原始图像(畸变校正后)；
[0018]图2为本发明实施例1的左右相机图像预处理完成效果图，其中，(a)为左相机预处理完成图，(b)为右相机预处理完成图；
[0019]图3为本发明实施例1的网格交点提取效果图，其中，(a)为左相机提取交点，(b)为右相机提取交点；
[0020]图4为本发明实施例1的网格交点间特征点提取效果图，其中，(a)为左图竖直方向特征点，(b)为右图竖直方向特征点，(C)为左图水平方向特征点，(d)为右图水平方向特征点；
[0021]图5为本发明实施例1的特征点匹配效果图，其中，(a)为竖直方向特征点匹配结果，(b)为水平方向特征点匹配结果；
[0022]图6为本发明实施例1的特征点匹配流程图；
[0023]图7为本发明实施例1三维重建效果图；
【具体实施方式】
[0024]本发明提出的基于网格投影的自由曲面三维重建方法结合附图和实施例说明如下，以下实施方式仅用于说明本发展，而并非对本发明的限制，本发明的专利保护范围应由各权利要求限制。
[0025]本发明在三维重建过程中，将被动测量方法与主动测量方法相结合，加入人为约束条件，将无规则或无纹理的表面信息统一为由规则网格构成的表面，在空间域内对双目图像处理后恢复三维信息，降低三维重建过程中的不确定性，提高重建结果精度。
[0026]本发明以鼠标为研究对象，研究用何种算法能更加精确地对曲面进行三维重建。
[0027]实施例
[0028]本文所搭建的三维重建系统由C⑶相机、网格投影、双目相机支架、计算机及系统软件等构成。左右两摄像机采用非平行光轴的任意姿态放置，在两摄像机连线中点处放置网格投影。测量时，网格投影到被测表面，并在被测表面上形成网格状的亮光条，CCD相机采集测量两幅原始图像，如图1。
[0029]对摄像机获得的原始图像进行畸变校正、去噪声、二值化、细化网格线条等预处理后，可以得到仅有网格信息的图像对，如图2所示。通过网格投影、提取网格线条以后，将无规则特征、无规则纹理的目标图像转换为纹理统一的网格线条，通过对网格线条进行处理，即可对任意自由曲面重建目标获得规则的纹理特征。对比原始图像和预处理图像可以看至IJ，将原始图像中之后算法中用不到的信息剔除，最大程度提高算法运行速度。
[0030]针对图2进行特征提取，遵循从点到线的原则，即先提取准确率高、容易识别的角点、交点，而后根据这些角点、交点提取其间的特征点。第一个提取目标是网格线交点。在提取网格线交点过程中，由于网格投影到目标表面后发生变形，经过细化后的网格线交叉区域会有细微的区别。我们需要兼顾不同的网格交叉点特点，提取所有网格线的交点。对不同实验对象拍摄的多张网格图像交点及其邻域像素特征进行观察、分析与统计。研究统计了交点所在像素的四邻域及八邻域中的像素点数量，可归纳为5种类型。所述5种类型的特征点可以覆盖绝大多数的网格交点。如果有极个别网格交叉点不符合以上任意一种类型，则将这类交叉点记为空缺点。由于网格交叉点附近像素分布情况复杂，在同一个交叉点附近可以提取到多个上述类型的特征点。为此，对每种类型的交点设置优先级排序，按此方法可以保证提取后的特征点与交叉点一一对应，最终提取的特征点数量等于或小于实际网格交叉点数量，如图3所示。
[0031]根据网格交点，进一步提取网格交点之间的特征点。这部分特征点分为两类，一类是近似竖直方向曲线段上的特征点，一类是近似水平方向曲线段上的特征点。在图像中，由于网格线已经被细化为单像素线条，因此根据已提取的网格交点，即可获得所有网格交点之间的像素点坐标。网格间特征点提取结果如图4所示。
[0032]根据特征点提取过程，将特征点划分为网格交点、近似竖直方向曲线段的特征点和近似水平方向曲线段的特征点，特征点匹配过程也将按照这三种分类进行，流程如图6所示。
[0033]对于网格交点，提取网格交点后，可以获得交点在图像中的二维坐标(X，y)。根据交点的二维坐标可以得到交点在图像中的位置信息。我们将按照交点的位置对其进行二次编码，将行坐标在一定范围内的点归为同一行，将列坐标在一定范围内的点归为同一列。以图2中的网格交点为例，将图中25个点按照点所在位置依次编码为(1，1)、(1,2)……(5，4)、(5，5),如第I行第I列的交点标价为(1，I)，第I行第2列的交点标记为(1，2),以此类推。
[0034]在匹配过程中，可能存在有网格交点未能成功提取造成网格交点空缺的问题，如果按照顺序一致性约束继续进行匹配，会导致该交点之后所有的交点匹配错误。因此，将按照两交点之间距离的平均值作为阈值，如果两交点之间行坐标或列坐标大于该阈值的1.5倍，则认为两点之间有交叉点未能成功提取，将两点之间的编码作空缺处理，避免在接下来的匹配过程中出现误差。将图片对中的网格交叉点分别二次编码后，即可进行精确匹配。将具有对应二次编码的特征点进行匹配，例如，将左图像中编码为(1，1)的特征点与右图像中的(1，1)点进行匹配，将左图像中编码为(1，2)的特征点与右图像中的(1，2)点进行匹配，以此类推，匹配所有的网格交点。在匹配过程中，可能存在有网格交点未能成功提取造成网格交点空缺的问题，如果按照顺序一致性约束继续进行匹配，会导致该交点之后所有的交点匹配错误。因此，将按照两交点之间距离的平均值作为阈值，如果两交点之间行坐标或列坐标大于该阈值的1.5倍，则认为两点之间有交叉点未能成功提取，将两点之间的编码作空缺处理，避免在接下来的匹配过程中出现误差。将图片对中的网格交叉点分别二次编码后，即可进行精确匹配。将具有对应二次编码的特征点进行匹配，例如，将左图像中编码为(1，1)的特征点与右图像中的(1，1)点进行匹配，将左图像中编码为(1，2)的特征点与右图像中的(1，2)点进行匹配，以此类推，匹配所有的网格交点。
[0035]对于近似竖直方向和近似水平方向的网格交点间特征点，按照极线几何约束、相似性约束、连续性约束和顺序一致性约束等约束条件进行约束匹配。首先对图像对进行极线校正，消除相应匹配点点之间y方向的距离，即相应匹配点位于同一水平线上。如此，再搜索相应匹配点时即可在该水平线上一维搜索，而不需要在整个图像中进行二维搜索。在一维搜索过程中，相应的匹配点一定出现在对应的网格线条中，因此只要搜索该水平线上位于该网格线条上的点即可找到相应匹配点。例如，搜索左图像第I列网格线上某待匹配点在右图像中的对应点，找到该点所在的水平线，确定对应点的I坐标；而后找到右图像第I列网格线，搜索该网格线与该点所在水平线的交点即可确定为对应点。按照同样的方法，将右图像中的点作为待匹配点，在左图像中搜索对应点。两次搜索得到的对应匹配点对在图像中的距离在一定阈值内即认为是正确对应点，从而建立匹配关系。同理，对于近似水平方向的特征点，利用相似性约束、连续性约束和顺序一致性即可找到对应点。由于投影关系，近似水平曲线段上的特征点不能建立一一对应的关系，即左图像中的每个点不一定可以在右图像中找到对应的点与之匹配。左右图像特征点匹配结果如图5所示。
[0036]根据匹配点对的特征点在各自图像中的二维坐标，双目视觉相机的内部参数和外部参数以及立体视觉三维重建公式，得到匹配点对的三维坐标。根据三维坐标，拟合曲面得到三维模型，如图7。图中蓝色圆点为重建后的特征点，曲面表面颜色的变化反映曲面Z轴坐标的变化。
【权利要求】
1.一种基于网格投影的自由曲面三维重建方法，包括对网格投影后表面图像的预处理分析方法，特征点提取方法，特征点匹配方法，三维重建方法。
2.根据权利要求1所述的基于网格投影的自由曲面三维重建方法，其特征是预处理阶段将实域上的平滑方法进行详细的分析和实验，并对中值滤波进行改进，采用自适应中值滤波。对滤波后的图像，在二值化后采用形态学方法提取网格线条，并将网格线条进行单像素细化。
3.根据权利要求1所述的基于网格投影的自由曲面三维重建方法，其特征是在特征提取阶段包含两部分，网格交点特征点提取和网格交点间特征点提取。其特征是: 1)提取网格交点特征点的特征是统计了交点所在像素的四邻域及八邻域中的像素点数量，并可归纳为5种类型。根据这5种类型分别提取交点，在每个交点位置保留一个最合适的特征点，保证每个交点位置仅有一个特征点。 2)网格交点间特征点提取的特征是根据网格线条交点和单像素线条两个约束条件，提取出所有位于网格线条交点间的特征点。
4.根据权利要求1所述基于网格投影的自由曲面三维重建方法，特征点的匹配方法包含两部分，网格交点特征点匹配和网格交点间特征点匹配，其特征是: 1)网格交点匹配，是按照交点的位置对其进行二次编码，将行坐标在一定范围内的点归为同一行，将列坐标在一定范围内的点归为同一列。 2)网格间特征点匹配，是根据极线几何约束、顺序一致性约束，以一幅图像为基准，在另一幅图像的同一行中搜索相应匹配点后，以被搜索图像为基准，在原基准图像中搜索相应匹配点。按照匹配检验一致性，确定最终匹配点对。
5.根据权利要求1所述的基于网格投影的自由曲面三维重建方法，其特征是:根据匹配点对的特征点在各自图像中的二维坐标，双目视觉相机的内部参数和外部参数以及立体视觉三维重建公式，计算出特征点的三维坐标，并完成重建。
【文档编号】G06T17/30GK104408772SQ201410647810
【公开日】2015年3月11日 申请日期:2014年11月14日 优先权日:2014年11月14日
【发明者】化春键, 方程骏 申请人:江南大学