一种应用于旋转双目立体视觉系统的图像校正方法

1.本发明涉及三维视觉技术领域，具体涉及一种应用于旋转双目立体视觉系统的图像校正方法。


背景技术：

2.刚性连接的双目立体视觉广泛应用于工业检测和三维重构，受限于基线长度，难以在远距离大场景中应用。旋转双目立体视觉系统，通过长基线双目相机的联动旋转实现大范围的扫描成像，采用图像立体匹配方法，实现大场景的三维重建。高精度转台机械间隙造成左右相机位姿的微小偏差，也会导致图像立体校正和匹配失败。旋转双目相机的动态位姿估计和双目图像的立体校正算法研究，是实现大场景三维重构的基础。立体校正算法主要两种：基于相机标定的立体校正法和非标定校正法。标定校正法需提前标定相机，根据标定参数完成左右图像的立体校正。而非标定校正法，由左右图像间的特征点映射关系，直接估计基础矩阵，由校正变换操作实现图像的立体校正。在旋转双目立体视觉系统中，双目非刚性固定，只能采用非标定立体校正法。但由于图像间特征点的误匹配，会加剧校正图像畸变，影响校正图像的质量。
3.因此，有必要提供一种应用于旋转相机立体视觉系统的方法，提升图像校正的精确性的同时提升校正便利度。


技术实现要素：

4.解决的技术问题针对现有技术所存在的上述缺点，本发明提供了一种应用于旋转双目立体视觉系统的图像校正方法，该方法可以提升图像校正的精确性的同时提升校正便利度。
5.技术方案为实现以上目的，本发明通过以下技术方案予以实现：本发明提供了一种应用于旋转双目立体视觉系统的图像校正方法，包括如下步骤：s1、采用fast特征检测和brief特征描述方法，提取orb特征点，并在左右图像中进行初始匹配，建立左右图像特征点的映射关系，得到匹配对点；s2、对若干匹配点对进行优选和二次匹配优化；s3、对优选和二次匹配优化后的若干所述匹配点对进行质量排序，选取排序中的若干所述匹配点对，计算出所述左右两个相机的精确位姿关系；s4、基于所述精确位姿关系，得到左图像和右图像的极点和极线；s5、根据立体校正准则，选取所述左图像和所述右图像的投影变换矩阵，对所述左图像和所述右图像的极点和极线进行重采样，实现立体图像校正。
6.进一步地，步骤s1具体包括：采用fast特征检测和brief特征描述方法，提取orb特征点。然后检测特征点邻域描述符子，得到orb特征描述向量，在所述左图像和所述右图像
中进行快速初始匹配，建立两者特征点的映射关系，进而获取若干特征点的匹配点对。
7.进一步地，步骤s1具体包括：对所述左图像和所述右图像，构造层图像尺度金字塔，分别在w个尺度上，利用fast算法检测角点位置，并计算每个角点的响应值，选取固定数量的角点，作为该尺度的特征点；再以该特征点为圆心，半径为r的圆形邻域内，计算图像质心位置，并将该特征点位置到质心位置的方向作为该特征点的主方向；将该特征点邻域旋转到主方向，利用brief算法构建特征描述符子，得到orb特征描述向量；最后对所述左图像和所述右图像中的所述orb特征描述向量，进行初始匹配。
8.进一步地，经所述初始匹配后，所述左图像i
l
中特征点和所述右图像ir中的特征点，组成的n对初始匹配点集，其中，为特征点的序号，和为图像中特征点的坐标。
9.在所述匹配点集p
lr
中，将n对匹配点对间欧氏距离按从小到大排序为，选取距离中值bu作为基准，将匹配点对欧氏距离与基准距离之比定义为该匹配点对的相对距离，得到相对距离集合。由，计算上述bi所对应的匹配点的连线斜率，得到斜率集合；设定匹配点对相对距离误差范围（按经验取0.12），遍历所述相对距离集合bi，保留的匹配点；将匹配点对斜率均值作为基准，设定斜率误差范围（按经验取0.04），遍历所述斜率集合ki，保留的匹配点对；检验经上述步骤后所述匹配点集p
lr
中剩余匹配点对的数量，如果匹配点对数量少，可判断为阈值设置过小，这时，分别按0.02和0.01的步长来增大和，重新对所述匹配点集p
lr
按上述步骤进行特征点优选；重复上述步骤，在全局层优选出t对匹配点集p
lre
，其中，。
10.进一步地，所述二次匹配优化具体包括：将p
l
和pr的邻域分别表示为和，其中，s为邻域特征点的序号，和中包含t个p
l
和pr的邻域点（t按经验取9）；定义了特征点邻域空间一致性校检值c，
其中，为邻域内的特征点。使用来检验p
l
和pr是否满足邻域空间支持。向量用以检验p
l
和pr与邻域内匹配点向量偏移值，来衡量p
l
和pr的邻域是否具有空间约束。其中，v为p
l
和pr的向量，为匹配点邻域内和的向量；检验p
l
邻域内所有特征点在pr的邻域内是否有相应的特征点，若满足，此时邻域内共同特征点个数与邻域内特征点数量t的支撑特征点比率为1，且，认为该匹配点满足邻域空间支持；计算匹配点与其邻域匹配点间的向量偏移，设定匹配点向量偏移阈值（按经验取0.2），当时，认为该匹配点邻域满足空间约束；当一对匹配点同时满足邻域空间支持和空间约束时，c =0，重复上述步骤，直至检验完所有匹配点，得到优化后的m对匹配点集p
lrs
，其中，。
11.进一步地，所述匹配点对进行质量排序具体包括：重新计算优化后匹配点对的距离，并由计算匹配质量，据此完成匹配点对的排序，得到匹配点对质量优先序列，m为质量优先排序序号。
12.其中，为匹配点对间次小距离，为匹配点对间最小距离。
13.进一步地，步骤s3具体包括：对于质量排序后的若干匹配点对，采用八点法估计所述左图像和所述右图像之间的基础矩阵f，根据所述基础矩阵f计算出所述左右两个相机的精确位姿关系。
14.进一步地，步骤s4中采用图像对极几何得到所述左图像和所述右图像的极点和极线。
15.有益效果本发明提供了一种应用于旋转双目立体视觉系统的图像校正方法，受相机角度变换的影响较小。为开展动态会聚双目视觉测量理论研究、开展大场景高精度工业视觉测量和三维重建奠定基础。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明一实施例提供的应用于旋转双目立体视觉系统的图像校正方法流程示意图；图2为本发明一实施例提供的应用于旋转双目立体视觉系统的图像校正方法立体校正示意图；图3为本发明一实施例提供的应用于旋转双目立体视觉系统的图像校正方法匹配点对优选和优化示意图。
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.本发明一实施例提供一种应用于旋转双目立体视觉系统的图像校正方法，包括如下步骤：s1、采用fast特征检测和brief特征描述方法，提取orb特征点，并在左右图像中进行初始匹配，建立左右图像特征点的映射关系，得到匹配对点；s2、对若干所述匹配点对进行优选和二次匹配优化；s3、对优选和二次匹配优化后的若干所述匹配点对进行质量排序，选取排序中的若干所述匹配点对，计算出所述左右两个相机的精确位姿关系；s4、基于所述精确位姿关系，得到所述左图像和所述右图像的极点和极线；s5、根据立体校正准则，选取所述左图像和所述右图像的投影变换矩阵，对所述左图像和所述右图像的极点和极线进行重采样，实现立体图像校正。
20.在本实施例中，步骤s1具体包括：采用fast特征检测和brief特征描述方法，提取orb特征点。然后检测特征点邻域描述符子，得到orb特征描述向量，在所述左图像和所述右图像中进行快速初始匹配，建立两者特征点的映射关系；具体地，参阅图1，对于步骤s1，图像立体校正前，先进行特征点提取与匹配，采用的orb特征提取算法是特征点提取的经典算法，采用fast特征检测和brief特征描述方法，提取orb特征点，并完成初始匹配。由于双目相机每次旋转后，均需进行立体校正，那么，立体校正算法必要较快的执行速度。orb特征提取算法，相对于sift和kaze，具有明显的速度优势。
21.按照如下步骤进行：1）构造左右图像i
l
和ir的w层图像金字塔，分别在w个尺度上，利用fast算法检测角点位置，并计算每个角点的响应值，选取固定数量的角点，作为本尺度的特征点；2）在以特征点为圆心，半径为r的圆形邻域内，计算图像质心位置，并将特征点位置到质心位置的方向作为特征点的主方向；3）将特征点邻域旋转到主方向，利用brief算法构建特征描述子，得到orb特征描述向量；
4）对i
l
和ir中orb特征描述向量，进行初始匹配。
22.在本实施例中，所述特征点优选过程如下：orb特征点误匹配率较高，如果能利用正确匹配点连线的几何特征，可有效剔除明显误匹配点。为此，结合了特征点连线的几何关系，定义匹配点对连线斜率和相对距离的全局几何约束，用以限定匹配点对斜率和相对距离的范围，在全局层面实现匹配点的优选。
23.经全局立体匹配后，图像i
l
中特征点和ir中的特征点，组成的n对初始匹配点集，为特征点的序号，和为图像中特征点的坐标。
24.在p
lr
中，将n对匹配点间欧氏距离按从小到大排序为，选取距离中值bu作为基准，将匹配点欧氏距离与基准距离之比定义为该匹配点的相对距离。得到相对距离集合。由，计算上述bi所对应的匹配点的连线斜率，得到斜率集合。
25.具体步骤如下：1）设定匹配点相对距离误差范围为（按经验取0.12），遍历集合bi，保留的匹配点；2）将匹配点斜率均值作为基准，设定斜率误差范围（按经验取0.04），遍历集合ki，保留经步骤(1)后的匹配点；3）检验经步骤（1）和（2）后p
lr
中剩余匹配点的数量，如果匹配点数量少，可判断为阈值设置过小，这时，分别按0.02和0.01的步长来增大和，重新对p
lr
按（1）、（2）步进行特征点优选；4）重复上述步骤，在全局层优选出t对匹配点集p
lre
，表示为下式所示；关于误差范围的确定。考虑采用八点法估计基础矩阵时至少需要8对匹配点，所以误差范围设定应至少保留8对匹配点对，多次实验验证， 取0.12，取0.04时，能够过滤掉不满足几何约束的误匹配点。
26.在本实施例中，参阅图3，所述二次匹配优化过程如下：特征点全局几何约束，实现了匹配点的优选，然而全局层的筛选，必会遗漏特征点邻域的部分外点，因此，有必要在特征点局部层进一步优化。鉴于此，借鉴内点邻域空间支持思想，提出内点邻域空间一致性的局部校验方法，完成二次匹配优化。
27.为了分别描述距离i
l
中的特征点，以及与之对应的ir中的最近的邻域集合，将p
l
和pr的邻域分别表示为和，用以描述特征点邻域内点的分布。其中，s为邻域特征点的序号, 和中包含t个p
l
和pr的邻域点（t按经验取9）。
28.为了描述p
l
和pr邻域内特征点空间支持和空间约束情况，定义了特征点邻域空间一致性校检值c，如下式所示。其中，为邻域内的特征点。使用来检验p
l
和pr是否满足邻域空间支持。向量用以检验p
l
和pr与邻域内匹配点向量偏移值，来衡量p
l
和pr的邻域是否具有空间约束。其中，v为p
l
和pr的向量，为匹配点邻域内和的向量。
29.具体步骤包括：1）检验p
l
邻域内所有特征点在pr的邻域内是否有相应的特征点。若满足，此时邻域内共同特征点个数与邻域内特征点数量t的支撑特征点比率为1，且，认为该匹配点满足邻域空间支持；2）计算匹配点与其邻域匹配点间的向量偏移。设定匹配点向量偏移阈值（按经验取0.2），当时，认为该匹配点邻域满足空间约束；3）当一对匹配点同时满足邻域空间支持和空间约束时，c =0。重复上述步骤，直至检验完所有匹配点，得到优化后的m对匹配点集p
lrs
；4）重新计算优化后匹配点对的距离，并由计算匹配质量，据此完成匹配点对的排序，得到匹配点质量优先序列，m为质量优先排序序号。
30.其中，为匹配点间次小距离，为匹配点间最小距离。
31.在本实施例中，对于质量排序后的若干匹配点对，采用八点法估计所述左图像和所述右图像之间的基础矩阵f，根据所述基础矩阵f计算出所述左右两个相机的精确位姿关系。步骤s4中采用图像对极几何得到所述左图像和所述右图像的极点和极线。
32.在本实施例中，参阅图2，步骤s5中图像立体校正过程如下：1)采用八点法估计图像间基础矩阵f，根据f估算出左右相机位姿关系，并由图像对极几何，求出图像i
l
和ir对应极点和与极线和；2）如图2(a)所示为两幅图像极点和极线分布情况，假设右图像ir的中心像素坐标为，通过平移变换c
t
，将ir坐标轴的原点平移到图像的中心。如图2(b)所示以原点为轴心，将ir的极点通过旋转矩阵cr旋转到x轴上。此时，外极点坐标变换为，s为横坐标。并通过映射矩阵cg，将映射到无穷远点，如图2(c)所示，以保证ir上的极线与水平方向平行；3）由计算出右投影矩阵，并最小化最小二乘距离，估算出左投影矩阵h；
4）利用左右投影矩阵，分别重采样对极线，以此完成图像的立体校正，校正后的立体图像如图2(d)所示。
33.本发明的优点在于提供了一种应用于旋转双目立体视觉系统的图像校正方法，受相机角度变换的影响较小。为开展动态会聚双目视觉测量理论研究、开展大场景高精度工业视觉测量和三维重建奠定基础。
34.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。