一种面向视觉结构光的三维重建方法及系统与流程

1.本发明涉及三维重建的技术领域，特别涉及一种面向视觉结构光的三维重建方法及系统。


背景技术：

2.结构光是一组由投影仪和摄像头组成的系统结构，通过投影仪投射特定的光信息到物体表面及背景后，采用摄像头采集，并根据物体造成的光信号变化计算物体的位置和深度信息，从而实现三维空间的复原。
3.现有技术中，随着及其视觉技术的发展，双目立体视视觉技术受到了行业内的广泛关注。在实际工业作业的过程中，由于工业产品的表面缺陷检测常采用二维检测的方式，通过平行光源打光的方式，根据产品缺陷及纹理的反光度不同进行检测。此种方式只能针对缺陷明显的产品，受限程度大，无法实现对复杂产品的高精度检测需求。


技术实现要素：

4.发明目的：提出一种面向视觉结构光的三维重建方法及系统，以解决现有技术存在的上述问题。通过将目标对象信息转换为数字信号，计算机读取数字信号并进行三维图像处理，实现三维图像重建。同时在图像分析过程中采用背景差分和相位滤波的方法克服实际应用过程中模型边缘会出现的毛刺问题。
5.技术方案：第一方面，提出了一种面向视觉结构光的三维重建方法，该方法具体包括以下步骤：
6.步骤1、读取信息采集设备的标定参数；
7.步骤2、基于结构光的构建，通过信息采集设备获取目标图像数据并进行信息采集设备的参数标定；
8.步骤3、对图像数据进行图像校正；
9.步骤4、根据图像数据进行立体匹配获取三维立体数据位置；
10.步骤5、基于匹配点实现三维重建。
11.在第一方面的一些可实现方式中，结构光为一组编码光，用于投射到待测目标物表面，产生高度起伏并发生形变，进一步通过变形的光栅获取物体表面的特征信息。
12.在第一方面的一些可实现方式中，在匹配获取三维立体数据位置的过程中，采用多频外差相位展开的方式，将像素绝对化，从而使得每一个像素都能具有自己唯一的位置，将相位信息转化成高度信息，实现精准的双目相位匹配。
13.其中，多频外差相位展开的具体过程为将两种不同频率的相位函数叠加到一种频率更低的相位函数，通过包裹相位之差合成全局相位。
14.进一步的，两个相移编码周期，即编码条纹宽度分别为t1和t2，t
12
为相位差周期，根据频拍信号频率表达式：
[0015][0016]
当t
12
足够大时，便会覆盖整个信息采集设备的视野，此时双频外差的处理结果将由小周期扩展到一个大周期内，当频率差为1时，可以达到全场范围内只有一个周期的目的，实现展开仅与频率相位有关，不受颜色影响。
[0017]
在第一方面的一些可实现方式中，实现多频外差计算的具体步骤如下：
[0018]
步骤
①
、获取出图像数据的相位主值；
[0019]
步骤
②
、叠加不同频率的相位主值，得到整幅图像只有一个周期的相位值1；
[0020]
步骤
③
、最后周期相位反计算相位主值的连续相位。
[0021]
在第一方面的一些可实现方式中，基于结构光获取目标图像数据的过程中，为了提高匹配效率，缩减工作量，进一步通过黑白背景差分对图像数据中的背景进行消除；进一步的，针对初步背景差分后，获取到的背景存在噪点，采用区域生长方法提高对相位边界的定位准确性，进而减少错误的相位数量；
[0022]
其中，区域生长方法实现的过程，具体包括以下步骤：
[0023]
步骤a、确定种子点；所述种子点作为区域生长的起始点，是背景差分后的任意一个有效点；
[0024]
步骤b、预设区域生长的规则；
[0025]
步骤c、预设区域生长停止的条件。
[0026]
在第一方面的一些可实现方式中，基于双目形式，通过建立三维空间中点的坐标到二维图像平面上的点坐标转换关系，实现两个相面的整合，在双目校正到共面的情况下，实现最终的位置确定。
[0027]
进一步的，所述双目校正的过程是刚体变换过程，即只改变图像的位置不改变图像的尺度；进行刚体变换，需要用到旋转矩阵r和平移矩阵t；使用平移矩阵t将左相机坐标系平移至右相机的坐标系至远点重合，rr(r
l
)表示世界坐标先进行右旋转，即乘以rr，再进行左旋转，即乘以r
l
，结果r即为相机外部参数的旋转矩阵，对应表达式为：
[0028]
r＝rr(r
l
)t
[0029]
使用上一步得到的旋转矩阵r将左相机坐标系旋转后，即rt
l
，再与右相机的平移矩阵tr相减，所得的结果t就是相机外部参数的平移矩阵，对应表达式为：
[0030]
t＝t
r-rt
l
[0031]
经过双目校正，左右图像达到共面行对准，即左相机中的某一点在右相机中处于同一行，此时该点在左右图像中的成像点的距离则在基准线上。
[0032]
第二方面，提出一种面向视觉结构光的三维重建系统，该系统具体包括以下模块：
[0033]
用于获取信息采集设备标定参数的参数读取模块；
[0034]
用于对信息采集设备进行参数标定的参数标定模块；
[0035]
用于对图像数据进行图像校正的数据矫正模块；
[0036]
用于实现三维立体数据位置的三维位置获取模块；
[0037]
用于完成三维重建的重建执行模块。
[0038]
第三方面，提出一种面向视觉结构光的三维重建设备，该设备包括：处理器以及存储有计算机程序指令的存储器；
[0039]
所述处理器读取并执行所述计算机程序指令，以实现三维重建方法。
[0040]
第四方面，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，其中计算机程序指令被处理器执行时以实现三维重建方法。
[0041]
有益效果：本发明提出了一种面向视觉结构光的三维重建方法及系统，通过将目标对象信息转换为数字信号，计算机读取数字信号并进行三维图像处理，实现三维图像重建。同时在图像分析过程中采用背景差分和相位滤波的方法克服实际应用过程中模型边缘会出现的毛刺问题。
附图说明
[0042]
图1为本发明的数据处理流程图。
具体实施方式
[0043]
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
[0044]
实施例一
[0045]
在一个实施例中，提出一种面向视觉结构光的三维重建方法，如图1所示，该方法具体包括以下步骤：
[0046]
步骤1、读取信息采集设备的标定参数；
[0047]
步骤2、基于结构光的构建，通过信息采集设备获取目标图像数据并进行信息采集设备的参数标定；
[0048]
步骤3、对图像数据进行图像校正；
[0049]
步骤4、根据图像数据进行立体匹配获取三维立体数据位置；
[0050]
步骤5、基于匹配点实现三维重建。
[0051]
在进一步的实施例中，结构光法作为主动式光学三维测量法，由于成本低、易部署的属性受到大众的青睐。结构光作为一组事先进行编码的有规律光，通过投影仪将事先存储的特定光信息投射到目标物的表面，随后通过相机手机图像，最后在利用计算机识别图像中光信号的变化，从而获得目标物的表面信息和深度信息。
[0052]
在结构光三维测量中，高效准确地对相位进行展开是三维重建的前提，结构光是一组编码光，在投射到物体表面时会根据物体表面的高度起伏发生形变，物体表面的特征信息就包含在这些变形的光栅里面。多频外差相位展开的目的在于把像素绝对化，使得每一个像素都能具有自己唯一的位置，实现正确的双目相位匹配，将相位信息转化成高度信息。
[0053]
具体的，使用多频外差的方式须要有很多个频率才能完成相位的展开，但是在运行速度需求偏高的实际应用中难以达到这个要求，现有技术中，为了获取物体的相位就必须减少光栅图像数量。例如，如果使用双频的四步相移一共需要投射八副图片，如果使用双频率三步相移一共投射六副图片。
[0054]
外差原理是将两种不同频率的相位函数叠加到一种频率更低的相位函数，原理是
以包裹相位之差合成全局相位。设两个相移编码周期，即编码条纹宽度分别为t1和t2，t
12
为相位差周期，根据频拍信号频率计算表达式：
[0055][0056]
当t
12
足够大时，便会覆盖整个相机的视野，因此图像上没一点的绝对相位值，双频外差的处理结果可以将小周期扩展到一个大周期内，当频率差为1时，可以达到全场范围内只有一个周期的目的，展开仅与频率相位有关，不受颜色影响。实现多频外差计算的步骤如下：
[0057]
步骤
①
、获取出图像的相位主值；
[0058]
步骤
②
、利用外差原理叠加不同频率的相位主值，得到整幅图像只有一个周期的相位值为1；
[0059]
步骤
③
、最后周期相位反计算相位主值的连续相位。
[0060]
在进一步的实施例中，基于结构光获取目标图像数据的过程中，由于背景的存在，往往会导致不需要的物体被扫描到，因此分析图像数据的过程中，为了提高匹配效率，缩减工作量进一步采用黑白背景差分的方式对图像数据中的背景进行消除。在进行初步的背景差分后，获取到的背景依旧会存在很过的噪点，这些噪点的存在会影响到解相位的准确性，进而影响到最后生成点云的质量。本实施例通过区域生长算法提高对相位边界的定位准确性，进而减少错误的相位数量。
[0061]
具体的，相位边界图的生成步骤如下：
[0062]
步骤a、确定种子点；种子点作为区域生长的起始点，是背景差分后的任意一个有效点；
[0063]
步骤b、预设区域生长的规则；优选实施例中，基于待测区域形状的不确定性，区域生长的规则预设为八个方向上的生长，当生长点的一个像素单位距离内，有经过背景差分后任然存在的点，则划分为生长区域；
[0064]
步骤c、预设区域生长停止的条件。
[0065]
本实施例通过将目标对象信息转换为数字信号，计算机读取数字信号并进行三维图像处理，实现三维图像重建。同时在图像分析过程中采用背景差分和相位滤波的方法克服实际应用过程中模型边缘会出现的毛刺问题。
[0066]
实施例二
[0067]
在实施例一基础上的进一步实施例中，获取三维立体数据位置信息时，基于双目形式，通过建立三维空间中点的坐标到二维图像平面上的点坐标转换关系，实现两个相面的整合，在双目校正到共面的情况下，实现最终的位置确定。
[0068]
具体的，双目校正的过程是纯粹的刚体变换过程，即只改变图像的位置不改变图像的尺度。进行刚体变换，需要用到旋转矩阵r和平移矩阵t。使用平移矩阵t将左相机坐标系平移至右相机的坐标系至远点重合，rr(r
l
)表示世界坐标先进行右旋转，即乘以rr，再进行左旋转，即乘以r
l
，结果r即为相机外部参数的旋转矩阵，对应表达式为：
[0069]
r＝rr(r
l
)t
[0070]
使用上一步得到的旋转矩阵r将左相机坐标系旋转后，即rt
l
，再与右相机的平移矩阵tr相减，所得的结果t就是相机外部参数的平移矩阵，对应表达式为：
[0071]
t＝t
r-rt
l
[0072]
经过双目校正，左右图像达到共面行对准，即左相机中的某一点在右相机中处于同一行，此时该点在左右图像中的成像点的距离则在基准线上。
[0073]
实施例三
[0074]
在实施例一基础上的进一步实施例中，在实现双目结构光三维重建的过程中，由于现有技术中存在同步性不足、投入成本高等问题，本实施例采用单相机加两块双棱镜及投影仪的硬件设备实现虚拟双目结构光的三维重建。利用双棱镜折射和分光改变被测对象表面反射光的路径，达到使用一个相机同时完成多视角图像采集的目的。
[0075]
具体的，采用两个双棱镜位于相机正前方，关于相机的光轴对称，投影仪放置于相机旁，两个双棱镜中间放置一个遮光片用来遮挡被测对象表面反射的光线。实际测量过程中，有效视场内被测对象表面反射的光线从不同方向经过两个双棱镜发生折射，改变光线路径后分别映射到相机成像区域的左右两侧。从双棱镜折射出来的光线最终交汇于相机成像区域的前方，使得相机采集到被测对象的图像是左右镜像的。
[0076]
虚拟相机的光学中心点关于相机光轴对称，此时通过精细调整双棱镜和相机的相对位置，使得左右虚拟相机成像区域分别对应真实相机成像区域右左两部分。此外，通过调整两块双棱镜之间的夹角，调节左右虚拟相机之间的基线大小。
[0077]
本实施例采用的虚拟双目结构光实现三维重建的方法，速度更快投入成本更低，且适配与小型化方面。
[0078]
实施例四
[0079]
在实施例一基础上的进一步实施例中，基于结构光实现三维重建的过程中，为了更好的适用高速运动目标的非接触检测和测量的需求，对特征少、速度快的目标三维重建中的结构光采用空间编码的形式。
[0080]
具体的，结构光模式采用正弦条纹和伪随机点构成，并采用两个颜色通道进行编码，由于条纹是通过其随机点的分布情况进行识别，因此不存在条文之间的解码不存在依赖性。其中，正弦条纹的生成表达式为：
[0081]
p(x,y)＝c+acos(2πfx)
[0082]
式中，a表示幅度；c表示直流偏移量；f表示条纹频率。通过在条纹之间引入满足正弦变化的编码信息，可以为后续的解码提供相位信息。
[0083]
随机点是在黑色的背景上随机生成彩色点，需满足高度随机分布，用于保证条纹可以有效地识别。生成伪随机点的需满足属性的前提条件如下：
[0084]
属性一：随机点的尺寸；每个随机点的尺寸设定为k
×
k像素，其中k可由投影仪和相机的分辨率共同设定；
[0085]
属性二：随机点的密度；设k
×
k像素为一个点，优选实施例中，在包含3
×
3个点的矩形区域中，只有一个点是随机点；
[0086]
属性三：随机点的分布情况；令每个随机点的八邻域中不能有其他随机点。
[0087]
实施例五
[0088]
在一个实施例中，提出一种面向视觉结构光的三维重建系统，用于面向视觉结构光的三维重建方法，该系统具体包括以下模块：
[0089]
用于获取信息采集设备标定参数的参数读取模块；
[0090]
用于对信息采集设备进行参数标定的参数标定模块；
[0091]
用于对图像数据进行图像校正的数据矫正模块；
[0092]
用于实现三维立体数据位置的三维位置获取模块；
[0093]
用于完成三维重建的重建执行模块。
[0094]
实施例六
[0095]
在一个实施例中，提出一种面向视觉结构光的三维重建设备，该设备包括：处理器以及存储有计算机程序指令的存储器；其中处理器读取并执行所述计算机程序指令，以实现三维重建方法。
[0096]
实施例七
[0097]
在一个实施例中，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，其中计算机程序指令被处理器执行时以实现三维重建方法。
[0098]
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。