一种基于双目相机和结构光投影的精密三维视觉测量方法与流程

本发明涉及三维扫描与测量技术和计算立体视觉领域，尤其涉及一种基于双目相机和结构光投影的精密三维视觉测量方法。

背景技术：

三维扫描与测量技术广泛应用于制造业，电子电路行业，艺术文娱行业，考古业，医疗业等等。在这些行业中，通常会涉及到需要对某一类物体进行高精度三维扫描，并对所获取的点云模型进行分析处理，常见的有缺陷检测、3d建模等。这类三维扫描的特点在于扫描时间短、点云精度高、细节保存完好。

传统基于多相机的多视几何三维建模方法一般是根据物体自然纹理特征寻找两个相机中图像像素的对应关系。此类方法精度不高，产生的点云非常稀疏，且无法有效应对无纹理的物体。之后出现了基于结构光的三维建模技术，结构光也可以看作是一系列的图案纹理，可利用投影进行投射。相机因此可以利用这些人工构造的纹理特征完成像素点之间的匹配，之后再反向三角化求得空间点坐标。此类方法精度较高，点云更为密集，且有效适用于无纹理物体。多见利用三频三相余弦波纹理或者三相移余弦波+灰码纹理。但仍旧存在以下几个问题：

1)由于图像产生较多噪声，导致计算生成的点云表面过于粗糙；

2)相对相位间断处的绝对相位值很容易产生突跃现象，一般采用近邻插值或者均值滤波的方法，但会丢失细节，并引入人工特征缺陷；

3)采用横向纵向双方向纹理，采集图像耗时长，采用二维搜索方式暴力寻找匹配特征，计算复杂度过高；

另外，也常见采用单投影单相机配置，其中投影作为一个逆向相机设备进行标定，但其标定过程过于复杂，且投影畸变参数较难确定，同时，没有充分利用双目相机或者投影相机之间的几何约束关系，测量准确度不足.

技术实现要素：

本发明的目的在于克服现有技术的缺陷，提供一种基于双目相机和结构光投影的精密三维视觉测量方法，解决上述技术问题。

本发明实施例提供一种基于双目相机和结构光投影的精密三维视觉测量方法，包括：

架设双目相机和数字光学投影硬件设备，标定所述双目相机；

根据多相余弦纹理与灰码算法或多频多相余弦纹理算法生成结构光纹理并将所述结构光纹理烧录进所述数字光学投影硬件设备中；

使用所述数字光学投影硬件设备投射所述结构光纹理，所述双目相机同步采集纹理图像；

对所述纹理图像进行解码运算，并使用基于中值滤波的相位矫正算法，还原真实相位值；

根据基于极线的相位二分搜索匹配算法，查找绝对相位值最为接近的左右相机中的像素点；

利用双目标定结果，反向三角化生成点云。

本发明实施例提供的一种基于双目相机和结构光投影的精密三维视觉测量方法，通过多相余弦纹理与灰码算法或多频多相余弦纹理算法生成结构光纹理，将结构光纹理与双目相机相结合，利用基于中值滤波的相位矫正算法，还原真实相位值，利用基于极线的相位二分搜索匹配算法，查找绝对相位最为接近的左右相机中的像素点，多种算法结合，提高图像测量的精确度。

附图说明

图1示出了适于本发明实施例的一种基于双目相机和结构光投影的精密三维视觉测量方法流程图；

图2示出了适于本发明实施例的双目相机和数字光学摄影硬件设备的摆放位置示意图；

图3示出了适于本发明实施例的纹理投影周期和相机曝光周期的时间示意图；

图4示出了适于本发明实施例的基于极线的相位二分搜索匹配算法流程图；

图5示出了适于本发明实施例的求取点云坐标的方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了适于本发明实施例的一种基于双目相机和结构光投影的精密三维视觉测量方法流程图，详述如下：

在步骤s101中，架设双目相机和数字光学投影硬件设备，标定所述双目相机。

图2示出了适于本发明实施例的双目相机和数字光学摄影硬件设备的摆放位置示意图。

在本发明实施例中，双目相机和摄影设备的摆放位置如图2所示，双目相机201摆在投影仪202的两侧，双目相机的视野需包含整个场景203，同时需要保证双目相机的视野能覆盖到整个投影纹理。

在本发明实施例中，将双目相机和摄影设备摆放到设定的位置之后，需要对双目相机进行标定，得出每个摄像头内部的参数以及两个摄像头之间的相对位置，保证后续测量的准确度。

在步骤s102中，根据多相余弦纹理与灰码算法或多频多相余弦纹理算法生成结构光纹理并将所述结构光纹理烧录进所述数字光学投影硬件设备中。

在本发明实施例中，可以利用多相余弦纹理与灰码算法生成结构光纹理，还可以通过多频多相余弦纹理算法生成结构光纹理，然后将所述结构光纹理烧录进入数字光学摄影硬件设备中。

作为本发明一种实施例，利用余弦相移原理，将投影图像的像素所在的绝对相位编码为一系列的像素灰度值，对所述像素灰度值解码后可获得具备周期特性的相对相位；利用灰码对所述相对相位所处的周期阶段进行编码并解码后可获取所述相对相位所处的周期阶段值；将所述相对相位加上所述周期阶段值求得绝对相位。

在本发明实施例中，多相余弦纹理与灰码算法有编码算法和解码算法，分别为：

(1)编码算法：

对于投影的每一个像素点(x，y)，其每一个相移所对应的灰度值为式(1)：

其中i为列数，t为相位周期，n为相移个数，k∈[0,n)。

灰码的每一位所对应的灰值为式(2)：

其中l为灰码的长度，i为列数，t为相位周期，k∈[0,l),greycode为十进制转灰码函数。

(2)解码算法：

设采集到的图像序列中，第k张图像中某一像素的灰度值为ik(x，y)，则对于该像素(x，y)，其对应投影像素的相对相位为式(3)：

σ(x，y)＝-tan^-1

(3)

其中，对应周期阶段为式(4)：

decimal为灰码转十进制函数。绝对相位为式(5)：

对应的投影像素的列数为式(6)：

本发明实施例通过多相余弦纹理与灰码算法对投影图像的像素进行编码从而产生结构光纹理，通过解码得到绝对相位值。

作为本发明又一个实施例，采取多频多相余弦进行编码并解码得出绝对相位值。

在本发明实施例中，多频多相余弦纹理算法有编码算法和解码算法，分别为：

(1)编码算法：

对于投影的每一个像素(x,y)，每一个相移和原始周期所对应的灰度值为式(7)：

其中i为列数，tp为相位原始周期大小，n为相移个数，q∈「0，n)，p∈「0，m)，m为原始频率(周期)的个数。

同时，按照原始周期从小到大的顺序，计算新的合成周期值为式(8)：

t01，t012，t0123...t0123...(m-1)

(8)

其中之后按照原始周期编码算法生成若干个相移的纹理。

(2)解码算法：

设采集到的图像序列中，第i个周期采集到的第j个相移的图像的某一个像素点的灰度值为ii，j(x，y)，则对应该像素(x，y)其对应投影像素的相对相位为式(9)：

其中n为相移个数。

之后，按照所有周期(原始周期和合成周期)从大到小的顺序，依次求解出每一个合成周期所对应的绝对相位值为式(10)：

其中

本发明实施例通过多频多相余弦纹理算法对投影图像进行编码从而产生结构光纹理，通过解码得到绝对相位值。

在步骤s103中，使用所述数字光学投影硬件设备投射所述结构光纹理，所述双目相机同步采集纹理图像。

在本发明实施例中，开启数字光学投影硬件设备，将结构光纹理进行投影，同时双目相机开始采集图像。

作为本发明一种实施例，当开启数字光学投影硬件设备的同时，双目相机同时开启，两者之间通过硬件触发机制触发。并且，每幅纹理的投射周期要完全涵盖相机图像才采集的曝光周期，图3示出了适于本发明实施例的纹理投影周期和相机曝光周期的时间示意图，在时间轴302上，需保证每幅纹理的投射周期303完整覆盖到相机图像采集的曝光周期301。

本发明实施例通过硬件触发数字光学投影硬件设备对纹理进行投影和双目相机对图像进行采集，控制每幅纹理的投射周期完全涵盖相机图像才采集的曝光周期，保证相机能够对图像进行完全曝光，保证图像的清晰度。

在步骤s104中，对所述纹理图像进行解码运算，并使用基于中值滤波的相位矫正算法，还原真实相位值。

在本发明实施例中，基于中值滤波的相位矫正算法包括：

(1)中值滤波的选取：对于每一个像素(x，y)，设其对应的绝对相位为以该像素为中心，对临域1*11的窗口内的所有像素求取其中位值为

(2)相位矫正：

矫正后的相位为式(11)：

本发明实施例在面对实际图像处理过程的噪声所导致的相位突跃的情形时，采用一种中值滤波计算出异常相位校正值，让实际相位值减去所述相位校正值从而还原到正确相位，确保测量的准确性。

在步骤s105中，根据基于极线的相位二分搜索匹配算法，查找绝对相位值最为接近的左右相机中的像素点。

在本发明实施例中，基于极线的相位二分搜索匹配算法，包括：

对于左相机中每一个像素所求得的投影的绝对相位值，在右相机图像中沿着极线搜索所述绝对相位值最接近的像素，搜索过程采用二分夹逼准则和双线性插值，以获得对数级计算复杂度和子像素精度。

作为本发明一种实施例，图4示出了适于本发明实施例的基于极线的相位二分搜索匹配算法流程图，具体为：

(1)沿极线二分搜索，夹逼求值：

在相机标定过程中可确定本征矩阵，对于左相机图像中的每一个像素点(x，y)，其相位值为右相机图像中存在一条极线与该像素对应，方程为ax+by+c＝0，之后按照以下步骤进行搜索：

①设low＝0，hidh＝width-1，其中width为相机图像的宽度；

②设对应的相位值为f(midx，midy)；

③如果则high＝midx，反之，则low＝midx；

④回到二，直到循环次数n＞5，或者

(2)利用双线性插值求取子像素位置所对应的相位值。对于每一个求取的(midx，midy)，其对应的相位值为式(12)：

其中为向上取整，为向下取整。

本发明实施例对采集到的纹理图像，利用所述解码算法，求取相机图像中每一个像素所对应的绝对相位值，并利用所述矫正算法矫正部分出现偏差的相位，保证测量的准确性。

在步骤s106中，利用双目标定结果，反向三角化生成点云。

图5示出了适于本发明实施例的求取点云坐标的方法示意图，沿着极线501寻找左右相机中相位值互相匹配的像素点502和503，并利用双目标定结果，反向三角化，求取点云坐标504。

本发明实施例通过多相余弦纹理与灰码算法或多频多相余弦纹理算法生成结构光纹理，将结构光纹理与双目相机相结合，利用基于中值滤波的相位矫正算法，还原真实相位值，利用基于极线的相位二分搜索匹配算法，查找绝对相位最为接近的左右相机中的像素点，多种算法结合，确保图像测量的精确度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。