一种多线结构光双目视觉立体匹配方法和系统

1.本发明涉及三维测量技术领域，具体涉及一种多线结构光双目视觉立体匹配方法和系统。


背景技术：

2.近年来，随着计算机与制造技术迅猛发展，在一些行业领域中，如逆向工程、缺陷检测、生物医疗等行业，二维信息已经远远不能够满足人们的要求，在这种需求为驱动的背景下，各种三维测量技术迅猛发展。现代三维测量技术可以分为接触式测量和非接触式测量。
3.在接触式测量方法中，三坐标测量机是典型的接触式测量仪，但由于其需用探头接触待测物体的性质，在测量过程中可能会对待测物体造成破坏。并且其测量速度较慢，测量效率较低。非接触式测量包含基于光学、声学、电磁学等方法，其中，基于光学的视觉测量方法具有非接触、高分辨率、高速度等优点。
4.其中，基于线结构光的主动式三维测量技术，因其不依赖于被测物体表面的纹理特征以及不受被测环境照明条件的限制等原因，成为目前应用最广泛的三维形貌测量方法之一。光学投射器投射出激光平面，激光平面与物体表面相交形成光条，根据结构光视觉模型，可重建光条点处的三维坐标。根据结构光投射器所投射的光平面的数目，现有的线结构光测量方法可分为单线结构光与多线结构光测量方法。单线结构光系统结构简单，易于实现，但其主要缺点也十分明显：测量范围有限，测量效率低，对复杂物体存在测量盲区。因此，单线结构光测量系统仅适用于测量结构简单、没有遮挡的物体。相对于单线结构光，多线结构光可以一次重建出多根光条处的三维信息，测量速度更快，效率更高，因此尤其适用于复杂物体表面的三维重建。
5.虽然多线结构光带来了测量效率上的提高，但是同时也引入了一些问题。当多线结构光投射到被测物体上时，由于物体的调制，其在二维图像上的投影分布可能会出现弯曲、断裂和变形等现象。这就给双目图像光条中心点之间的匹配带来了诸多问题，在多线结构光三维测量中，如果错误匹配左右特征点，会导致重建出来的三维坐标错误，从而影响测量结果。对于多线结构光双目视觉三维测量系统而言，其难点在于如何快速获得唯一的匹配点对。
6.现有技术，如谢广辉等人在论文《一种光栅式双目立体视觉传感器光条匹配方法》中提出了一种将双目相机看作两个光栅结构光传感器，根据两光栅结构光传感器对不同光条测量结果之间的距离判断两光条是否匹配的方法，其算法本质思想是基于距离约束的枚举。虽然之后魏振忠等人在《光栅式双目立体视觉传感器的立体匹配方法》和《光栅式双目立体视觉传感器光条快速匹配算法》中优化了搜索算法，排除了冗余计算，大大减少了运算量，但在本质上其算法思想并没有发生改变，仍是对所提取到的所有的光条中心特征点进行遍历，通过最后的距离相似性来判断是否为正确的匹配点。并且，其对光条组合模式分析的方法是基于光条连续且清晰可见的前提，当被测物体表面具有深度突变的区域或者起伏
较大时，该方法会存在大量的误匹配情况。
7.综上，当被测物体具有复杂表面时，多线结构光在双目图像上的投影分布会出现变形、断裂和消失等情况，现有的多线结构光双目立体匹配方法鲁棒性较差，存在大量的误匹配，且所需计算数据量大，导致三维重构无法满足工程实践需求。


技术实现要素：

8.为了克服现有技术的不足，本发明提供了一种多线结构光双目视觉立体匹配方法和系统，本发明的方法首先利用光条点预定位方法粗略寻找对应光条，再利用光条点精确定位方法和极线约束精炼结果，在具有唯一对应关系的光条上进行立体匹配。使用一种由粗到细的空间几何约束逐步精炼匹配结果，提高了立体匹配的效率和准确性，同时当光条在双目图像下出现变形、断裂、消失等情况时，依然能够获得正确的匹配结果。
9.本发明的技术方案如下：本发明的第一方面提供了一种多线结构光双目视觉立体匹配方法，所述方法包括如下步骤：步骤s100，左右相机构成双目立体视觉传感器，左相机与多线结构光投射器组成左结构光传感器；步骤s200，分别对双目立体视觉传感器、左结构光传感器进行标定，获得左右相机内参、外参、光平面参数方程，建立空间中结构光与图像中光条之间的关系，获得预定位线段集合；步骤s300，基于hessian矩阵，对左右相机所拍摄的图像进行光条中心提取，分别获得左右光条中心点集；步骤s400，对左右图像进行连通域分析，获取每个光条中心点所对应的连通域，基于预定位线段集合，对左图像上提取到的光条中心点，寻找其位于右图像上的对应点位置，获取其光条点所在连通域所对应的位于右图像上的候选光条连通域以及候选光平面；步骤s500，基于步骤s400所获得的结果，基于空间点到光平面距离最小约束，进一步精炼光条匹配结果，最终获得具有唯一对应关系的光条对以及其所属光平面；步骤s600，基于步骤s500所获得的结果，在具有唯一对应关系的光条对上，基于极线约束计算得到匹配点，计算得到物体表面的三维坐标。
10.进一步的，步骤s200包括：步骤s210，分别对双目立体视觉传感器、左结构光传感器进行标定，获得左右相机内参、外参、光平面参数方程；步骤s220，建立空间中结构光与图像中光条之间的关系，在左右相机的景深范围内，寻找使多线结构光在图像上的投影光条端点为清晰可见的最近与最远的空间位置；记录最近与最远位置时结构光在图像上各投影光条中心点的像素坐标，将对应光条对应中心点连接起来，建立基于查找表的预定位线段集合。
11.进一步的，所述步骤s400包括：步骤s410，对左右图像进行连通域分析，获得每个光条中心点所属的连通域；步骤s420，在左图像一个光条连通域中，均匀选取光条中心点，对选取的每一个光条中心点，基于预定位线段集合，计算并存储符合条件的左图像预定位线段，相应的，其所
对应的右图像预定位线段与预定位线段所属光平面也随之获得；计算光条中心点所对应的极线，计算极线与预定位线段的交点，分析交点所属的右图像光条连通域，若交点位于右图像某一连通域中，则记录：对应的左图像光条中心点、右图像交点、交点所属光条连通域、所属光平面；遍历左图像所有光条连通域，由此获得了左图像光条所可能对应的所有右图像光条以及其相应的所属光平面。
12.进一步的，所述步骤s500包括：步骤s510，基于步骤s420所获得的结果，在左图像一个光条连通域中，基于三角法原理，分别计算其所对应的不同右图像交点的三维空间点坐标，通过右图像同一光条连通域下的交点所求得的三维点属于同一集合，对应不同右图像光条连通域下的交点所求得的三维点属于不同集合，遍历所有左图像光条连通域，由此获得左图像光条与其可能对应的右图像光条的所有三维空间点集合；步骤s520，基于步骤s510所获得的左图像所有光条所对应的三维空间点集合，计算集合中所有点到对应光平面之间的平均距离，若左图像光条所对应的多个右图像光条连通域属于同一光平面，则将其合并为同一集合，取其平均距离最小的集合作为候选集合，若此时的平均距离同时小于一定阈值，则视此时左右图像所对应的光条连通域为正确对应光条对，同时也可获得对应光平面。
13.进一步的，所述步骤s600包括：步骤s610，基于步骤s520所获得的左右图像对应光条结果，遍历左图像所有光条中心点，计算其右图像上的对应极线，在其对应的右图像光条连通域中，搜索距离该极线在一定阈值内的一组光条中心点，对搜索到的光条中心点进行直线拟合，计算拟合直线与极线的交点，交点即为匹配点；步骤s620，基于s610所获得的结果，遍历所有的匹配点对，基于三角法原理，将匹配点对带入双目立体视觉测量模型中，计算相应的三维点，实现三维重构。
14.本发明还提供了一种多线结构光双目视觉立体匹配系统，包括：构建模块，左右相机构成双目立体视觉传感器，左相机与多线结构光投射器组成左结构光传感器；标定模块，分别对双目立体视觉传感器、左结构光传感器进行标定，获得左右相机内参、外参、光平面参数方程，建立空间中结构光与图像中光条之间的关系，获得预定位线段集合；光条中心点提取模块，基于hessian矩阵，对左右相机所拍摄的图像进行光条中心提取，分别获得左右光条中心点集；光条点预定位模块，对左右图像进行连通域分析，获取每个光条中心点所对应的连通域，基于预定位线段集合，对左图像上提取到的光条中心点，寻找其位于右图像上的对应点位置，获取其光条点所在连通域所对应的位于右图像上的候选光条连通域以及候选光平面；光条点精确定位模块，基于步骤s400所获得的结果，基于空间点到光平面距离最小约束，进一步精炼光条匹配结果，最终获得具有唯一对应关系的光条对以及其所属光平面；光条特征点立体匹配算法模块，基于步骤s500所获得的结果，在具有唯一对应关
系的光条对上，基于极线约束计算得到匹配点，计算得到物体表面的三维坐标。
15.本发明还提供了一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述所述的方法。
16.本发明还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述所述的方法。
17.与现有技术相比，本发明有如下有益的技术效果：1、现有的基于多线结构光的双目立体匹配算法，计算量大，存在大量冗余计算。而本发明基于结构光透视投影模型，增加了光条点预定位方法，相比于遍历所有的光平面以及光条连通域的传统方法，预定位方法的计算量减少了一半以上，减少了多线结构光双目视觉立体匹配的歧义性，大大提高了寻找对应点匹配的效率以及准确率。
18.2、当被测物体具有复杂表面形状、深度突变的区域时，由于物体表面的调制，光条在图像上的投影可能会出现变形、断裂甚至是消失现象，这就给寻找光条中心点匹配点带来了困难。由于结构光图像的性质，基于灰度的立体匹配算法是无效的。本发明通过一种由粗到细的空间几何约束，解决了多线结构光在双目图像中难以区分匹配的问题。在遮挡、物体高度起伏变化明显的情况下依旧能获得准确唯一的匹配。
附图说明
19.图1是本发明的一种多线结构光双目视觉立体匹配方法的总体实现流程图；图2是本发明实施例系统结构示意图；其中，
①
为左相机，
②
为右相机，
③
为多线结构光投射器，
④
为被测物体；图3是本发明的基于透视投影关系的光条点预定位方法示意图；图4是本发明的对应光条特征点立体匹配算法示意图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
21.下面结合具体实施例对本发明做进一步详细的描述。
22.如图1所示，本发明方法的具体实施步骤如下：步骤s100，左右相机构成双目立体视觉传感器，左相机与多线结构光投射器组成左结构光传感器；具体的，基于多线结构光的双目视觉三维测量系统如图2所示，主要包括左相机
①
、7线结构光投射器
③
、右相机
②
、被测物体
④
。7线结构光投射器
③
向被测物体
④
投射7根光条，左右相机同时采集图像。
23.步骤s200，分别对双目立体视觉传感器、左结构光传感器进行标定，获得左右相机
内参、外参、光平面参数方程，建立空间中结构光与图像中光条之间的关系，获得预定位线段集合；具体包括：步骤s210，对双目立体视觉传感器和左结构光传感器进行标定，获得左右相机内参、外参和左结构光传感器的光平面方程。
24.其中，左相机内参，右相机内参分别为： 其中，和为相应相机下在u轴和v轴的有效焦距，为相应相机的光学中心，是相应相机u轴和y轴的不垂直因子；左右相机的外参旋转矩阵r和平移向量t为： 其中，为旋转矩阵r的第s个元素，，，分别为平移矢量t的三个分量；左结构光传感器光平面方程：
ꢀꢀ
(i = 0,1,
…
,m)其中，为光平面方程系数，m为多线结构光投射器所投射的光条的数目，在本实例中，m = 7；步骤s220，建立空间中结构光与图像中光条之间的关系，获得预定位线段集合plst。具体的，建立空间中结构光与图像中光条之间的关系，在左右相机的景深范围内，寻找使多线结构光在图像上的投影光条端点为清晰可见的最近与最远的空间位置；记录最近与最远位置时结构光在图像上各投影光条中心点的像素坐标，将对应光条对应中心点连接起来，建立基于查找表的预定位线段集合。
25.如图3所示，在左右相机的景深范围内，寻找使多线结构光在图像上的线条端点的投影点为清晰可见的最近与最远的空间位置；景深范围内的某三维空间点p将满足：其中，与分别为左右像平面上的某一点，、、、分别为
与在左右像平面中的投影，代表由两端点所组成的线段；在实际成像的过程中，由于镜头失真引起的结构光平面的弯曲是不可避免的，因此，结构光在图像上的投影是一个具有小曲率的曲线。为保证精确性，并不能简单的按直线来建模，同时考虑到曲线形式并不复杂，采用三次多项式模型来拟合光条曲线，具体实现过程如下：以左相机最近平面上光条的（i代表光条的索引）弧长为基准，以端点为起始点，以1像素（stride = 1）为间隔逐点均分。因此在由两端点、所组成的线段上（x = l or r），其与相邻线段的端点坐标应满足：的端点坐标应满足：并且，其中，d(d = near or far)代表或下的对应坐标或光条。与代表对应平面下相邻线段与之间x坐标与y坐标的差异, 、、、分别为拟合光条曲线所对应的三次多项式系数，为相应平面上相应光条的弧长，为基准面上光条所被均分的点的个数；将与平面上所提取到的对应光条（同一光平面的光条）的对应点、连接成线段，由此获得了预定位线段集合pls：其中，其中，n为预定位线段集合的大小，元素内存储了相互对应的左右图像预定位线段与。
26.对左图像所有的像素，记录所有符合公式的预定位线段索引，建立基
于查找表的预定位线段集合plst，plst以像素坐标为索引，内部存储了该像素所对应的左右预定位线段；其中，i、j分别代表了图像的行列数，为像素坐标为(i,j)时，所对应的预定位线段集合，其中包含了线段到。
27.步骤s300，基于hessian矩阵，对左右相机所拍摄的图像进行光条中心提取，分别获得左右光条中心点集；具体的，基于hessian矩阵，获得左右图像光条中心点坐标，从而构建左右光条中心点集与。具体过程在文章“c.steger,
ꢀ“
analytical and empirical performance evaluation of subpixel line and edge detection”,empir.eval.methods comput.vis.,pp.188-210,apr.1998.”中有详细描述。
28.步骤s400，基于预定位线段集合plst，获得左右图像光条对应关系以及光条所属光平面。
29.具体的，对左右图像进行连通域分析，获取每个光条中心点所对应的连通域，基于预定位线段集合，对左图像上提取到的光条点进行预定位方法，寻找其位于右图像上的对应点位置，以粗略的获取其光条点所在连通域所对应的位于右图像上的候选光条连通域以及候选光平面；所述步骤s400包括：步骤s410，对左右图像进行连通域分析，获得每个光条中心点所属的连通域；对左右光条图像进行连通域分析，将具有8-邻域相邻关系的像素视为相同连通域。标记与中每个光条中心点所属的连通域，构建所属不同连通域下的光条中心点集与，其中，，n与m代表连通域索引；步骤s420，在左图像一个光条连通域中，均匀选取光条中心点，对选取每一个光条中心点，基于预定位线段集合，计算并存储符合条件（公式）的左图像预定位线段；相应的，其所对应的右图像预定位线段与预定位线段所属光平面也随之获得；计算光条中心点所对应的极线；计算极线与预定位线段的交点；分析交点所属的右图像光条连通域；若交点位于右图像某一连通域中，则记录：对应的左图像光条中心点、右图像交点、交点所属光条连通域、所属光平面；遍历左图像所有光条连通域，由此获得了左图像光条所可能对应的所有右图像光条以及其相应的所属光平面。
30.具体的，遍历左图像光条连通域，均匀选取其中的20个点（不足20个点的情况按照原数量选取），遍历中每一个光条中心点，基于plst，寻找满足条件的，同
时计算其在右图像上对应的极线；计算极线与中预定位线段的交点，分析交点所属的右图像光条连通域，若交点位于右图像某一连通域、光平面中，则记录，存储了左图像光条所可能对应的所有右图像光条以及其相应的所属光平面，其上标ij代表左图像连通域下第j个点，下标m代表其所对应的右图像连通域。
31.步骤s500，基于步骤s400所获得的结果，基于空间点到光平面距离最小约束，进一步精炼光条匹配结果，最终获得具有唯一对应关系的光条对以及其所属光平面；具体的，光条点精确定位模块，基于进一步精炼匹配结果，最终获得具有唯一对应关系的光条以及其所属光平面。
32.具体包括：步骤s510，基于步骤s420所获得的结果；在左图像一个光条连通域中，基于三角法原理，分别计算其所对应的不同右图像交点的三维空间点坐标；通过右图像同一光条连通域下的交点所求得的三维点属于同一集合，对应不同右图像光条连通域下的交点所求得的三维点属于不同集合；遍历所有左图像光条连通域，由此获得左图像光条与其可能对应的右图像光条的所有三维空间点集合；具体的，遍历，基于三角法原理，将候选匹配点对与带入双目立体视觉测量模型中，实现三维重构，获得对应的三维坐标，通过右图像同一光条连通域下的交点所求得的三维点属于同一集合，由此获得左图像光条连通域可能对应的所有三位点集合，其中，上标i代表左图像连通域，下标mk代表右图像连通域以及光平面；步骤s520，基于步骤s510所获得的左图像所有光条所对应的三维空间点集合，计算集合中所有点到对应光平面之间的平均距离；若左图像光条所对应的多个右图像光条连通域属于同一光平面，则将其合并为同一集合；取其平均距离最小的集合作为候选集合，若此时的平均距离同时小于一定阈值，则视此时左右图像所对应的光条连通域为正确对应光条对，同时也可获得对应光平面。
33.具体的，遍历，计算中所有点到对应光平面的平均距离，其中代表三维点到光平面的距离，n为集合的大小。在左图像连通域中，选择平均距离最小的作为候选集合，若此时同时小于设定的阈值1.5，则视此时左图像光条连通域的对应右图像光条连通域为，且光条所属光平面。
34.步骤s600，基于步骤s500所获得的结果，在具有唯一对应关系的光条对上，基于极线约束计算得到匹配点，根据三角法原理，计算得到物体表面的三维坐标。
35.具体的，对应光条特征点立体匹配算法模块，如图4所示，在具有对应关系的光条上，基于极线约束计算得到匹配点，根据三角法原理，计算得到物体表面的三维坐标。
36.进一步的，所述步骤s600包括：步骤s610，基于步骤s520所获得的左右图像对应光条结果；遍历左图像所有光条中心点，计算其右图像上的对应极线，在其对应的右图像光条连通域中，搜索距离该极线在一定阈值内的一组光条中心点；对搜索到的光条中心点进行直线拟合，计算拟合直线与极线的交点，交点即为匹配点；具体的，遍历左图像光条连通域，对中的每一个光条中心点，计算其所对应的极线；基于步骤s520所获得的结果，遍历左图像光条连通域所对应的右图像光条连通域中的所有光条中心点，搜索距离极线在阈值1.5内的所有光条中心点并存储于集合中。基于中的所有点进行直线拟合，获得拟合直线。计算与的交点，记录匹配点对与于集合result中；步骤s620，基于s610所获得的结果；遍历所有的匹配点对，基于三角法原理，将匹配点对带入双目立体视觉测量模型中，计算相应的三维点，实现三维重构。
37.具体的，遍历result中的所有匹配点对，基于三角法原理，将匹配点对带入双目立体视觉测量模型中，计算相应的三维点，实现三维重构。
38.本发明还提供了一种多线结构光双目视觉立体匹配系统，包括：构建模块，左右相机构成双目立体视觉传感器，左相机与多线结构光投射器组成左结构光传感器；标定模块，分别对双目立体视觉传感器、左结构光传感器进行标定，获得左右相机内参、外参、光平面参数方程，建立空间中结构光与图像中光条之间的关系，获得预定位线段集合；光条中心点提取模块，基于hessian矩阵，对左右相机所拍摄的图像进行光条中心提取，分别获得左右光条中心点集；光条点预定位模块，对左右图像进行连通域分析，获取每个光条中心点所对应的连通域，基于预定位线段集合，对左图像上提取到的光条中心点，寻找其位于右图像上的对应点位置，获取其光条点所在连通域所对应的位于右图像上的候选光条连通域以及候选光平面；光条点精确定位模块，基于步骤s400所获得的结果，基于空间点到光平面距离最小约束，进一步精炼光条匹配结果，最终获得具有唯一对应关系的光条对以及其所属光平面；光条特征点立体匹配算法模块，基于步骤s500所获得的结果，在具有唯一对应关系的光条对上，基于极线约束计算得到匹配点，计算得到物体表面的三维坐标。
39.本发明还提供了一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的方法。
40.本发明还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行所述的方法。
41.应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。