双目相机标定参数的检测方法，装置与自动驾驶系统与流程

本发明涉及双目相机领域，尤其涉及一种双目相机标定参数的检测方法、装置与自动驾驶系统。

背景技术：

双目相机成像系统在实际使用中，首要必须要进行标定，但是双目相机的标定目的与单目不同，主要是为了保证左右相机达到极线对齐的状态，进而为后续的其他处理步骤提供便捷的数据支持。

如图1所示，双目成像系统中，两光心连线(olor)与成像平面的交点(el，er)被称为极点，空间物体p在左右成像面上的像(pl，pr)与极点的连线(plel，prer)分别称为左、右极线。双目相机标定的目的在于：(1)修正畸变；(2)极线对齐。

但是由于加工及装配工艺的限制，双目相机系统标定后不可能完全达到理论设计状态，因此如何评价双目相机的标定结果，目前还没有比较详尽的方式。

鉴于此，提出本发明。

技术实现要素：

本发明提出一种双目相机标定参数的检测方法、装置及自动驾驶系统，用于解决现有技术中双目相机标定参数的正确性的检测问题。

为实现上述目的，根据本发明的一个方面，提供一种双目相机标定参数的检测方法，并采用如下技术方案：

该双目相机标定参数的检测方法包括：获取预设标定板的角点亚像素坐标；对所述亚像素坐标进行第一次标定，得到所述亚像素坐标的原始内参数与原始外参数；对所述亚像素坐标，所述原始内参数以及所述原始外参数均添加随机噪声后，进行第二次标定，得到新的内参数与新的外参数；将所述新的内参数与所述新的外参数分别与所述原始内参数以及所述原始外参数进行对比，得到对比结果；判断所述比较结果是否满足预设阈值条件，在所述比较结果满足预设阈值条件时，确定所述原始内参数以及所述原始外参数的正确性。

根据本发明的另外一个方面，提供一种双目相机标定参数的检测装置，并采用如下技术方案：

双目相机标定参数的检测装置包括：获取模块，用于获取预设标定板的角点亚像素坐标；第一标定模块，用于对所述亚像素坐标进行第一次标定，得到所述亚像素坐标的原始内参数与原始外参数；第二标定模块，用于对所述亚像素坐标，所述原始内参数以及所述原始外参数均添加随机噪声后，进行第二次标定，得到新的内参数与新的外参数；对比模块，用于将所述新的内参数与所述新的外参数分别与所述原始内参数以及所述原始外参数进行对比，得到对比结果；确定模块，用于判断所述比较结果是否满足预设阈值条件，在所述比较结果满足预设阈值条件时，确定所述原始内参数以及所述原始外参数的正确性。

根据本发明的又一个方面，提供一种自动驾驶系统，并采用如下技术方案：

该自动驾驶系统包括上述的检测装置。

本发明通过提取靶标棋盘格标定板角点，对角点坐标进行标定后，添加随机噪声，进而对标定参数进行约束检测，从而验证双目相机标定过程中内、外参数标定的正确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1表示本发明背景技术所述的双目标定基本原理示意图；

图2表示本发明实施例所述的双目相机标定参数的检测方法流程图；

图3表示本发明实施例所述的角点亚像素精确提取方法示意图；

图4表示本发明实施例所述的双目相机标定参数的检测装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图2表示本发明实施例所述的双目相机标定参数的检测方法流程图。

参见图2所示，一种双目相机标定参数的检测方法包括：

s101：获取预设标定板的角点亚像素坐标；

s103：对所述亚像素坐标进行第一次标定，得到所述亚像素坐标的原始内参数与原始外参数；

s105：对所述亚像素坐标，所述原始内参数以及所述原始外参数均添加随机噪声后，进行第二次标定，得到新的内参数与新的外参数；

s107：将所述新的内参数与所述新的外参数分别与所述原始内参数以及所述原始外参数进行对比，得到对比结果；

s109：判断所述比较结果是否满足预设阈值条件，在所述比较结果满足预设阈值条件时，确定所述原始内参数以及所述原始外参数的正确性。

在步骤s101中，获取预设标定板的角点亚像素坐标。具体方法如下：

预设标定板，本实施例中选取棋盘格标定板，作为预设标定板。对棋盘格标定板进行不同空间位姿下的三次拍摄，使用基于灰度梯度的方式对拍摄图像进行角点位置的初步定位。即对灰度图像分别进行从左到右和从上到下的一阶差分，并提取一阶差分图的局部极值如公式(1)。且要求这些极值位置的差分像素值应大于150或小于-150。

其中corner(x,y)表示提取到的角点坐标(x,y)，其数值等于x方向或y方向的特定邻域内的最大值或最小值

对公式(1)获取的角点坐标(x,y)进行亚像素坐标提取。作为优选的实施方式，图3表示本发明实施例所述的角点亚像素精确提取方法示意图。

参见图3所示，假设一个起始角点q在实际亚像素角点附近。p点在q点附近的邻域中，若p点在均匀区域内部，如(a)图所示neighorhood的情况，则p点的梯度为0，若p点在边缘上，如(b)图所示gradientonedge的情况，则p点的梯度方向垂直边缘方向，竖直向上。如果向量q-p方向与边缘方向一致，那么q-p向量与p点的梯度向量点积运算结果为0。在初始角点(初始角点可能不在边缘上)附近可以收集很多组点的梯度以及相关向量q-p,此时的q就是我们所要求的更精确角点位置，那么每一组的向量点积设置为0，正是基于这个思想，将点积为0的等式组合起来形成一个系统方程，该系统方程的解就是更精确的角点亚像素位置。将新的q点作为区域的中心，可以继续使用这个方法进行迭代，获得很高精度的角点亚像素坐标。

在步骤s103中，对步骤s101中所获取的亚像素坐标进行第一次标定，得到所述亚像素坐标的原始内参数与原始外参数。在步骤s105中，对所述亚像素坐标，所述原始内参数以及所述原始外参数均添加随机噪声后，进行第二次标定，得到新的内参数与新的外参数。

具体而言，对所述亚像素坐标添加[-0.1,0.1]之间的随机均匀噪声。

进一步的，对每一个角点坐标(x,y)的横纵坐标分别按照下面公式(2)添加δ∈[-0.1,0.1]之间的均匀随机噪声。

x＝x+δ,y＝y+δ公式(2)

更进一步的，对原始外参数添加随机均匀噪声，方法如下：

对原始外参数，按照公式(3)添加[-1，1]之间的随机均匀噪声。

其中om1表示围绕x轴的旋转角，om2表示围绕y轴的旋转角，om3表示围绕z轴的旋转角；t1表示在x轴方向的平移，t2表示在y轴方向的平移，t3表示在z轴方向的平移；δ∈[-0.1,0.1]之间的均匀随机噪声。

在步骤s107至步骤s109中，将所述新的内参数与所述新的外参数分别与所述原始内参数以及所述原始外参数进行对比，得到对比结果；然后判断所述比较结果是否满足预设阈值条件，在所述比较结果满足预设阈值条件时，确定所述原始内参数以及所述原始外参数的正确性。

经过上述对添加均匀随机噪声后的亚像素坐标及原始内参数重新进行标定，得到的标定内参数应该与添加随机噪音之前的标定内参数近似相等。若满足这一条件，则说明原始内参数及原始外参数标定稳健、正确。否则说明原始内参数及原始外参数标定不正确。

作为优选的实施方式，将所述新的内参数与所述新的外参数分别与所述原始内参数以及所述原始外参数进行对比，得到对比结果；然后判断所述比较结果是否满足预设阈值条件，在所述比较结果不满足预设阈值条件时，所述检测方法还包括：

将带有新的内参数与所述新的外参数的双目图像的角点坐标，去除外参数和内参数，得到原始坐标；

对所述原始坐标再重新进行双目标定。

具体而言，所述带有新的内参数与所述新的外参数的双目图像的角点坐标去除外参数和内参数，得到原始坐标包括：去除所述外参数的方法如下：

将左图角点坐标leftpoint0不变，右图角点坐标rightpoint0去除外参数旋转矩阵r和平移矩阵t的影响，如公式(4)所示：

去除所述内参数的方法如下：

将左图、右图分别映射到正规化坐标系下的角点坐标；

其中，c指的是内参标定中主点坐标，f指的是内参标定中的等效焦距。

对于leftpoint2和rightpoint2来说，是由二维点坐标组成的一个序列，其中每一个角点坐标可以表示为(xi,yi)，其中xi表示leftpoint2(或rightpoint2)中第i个点的横坐标，yi表示leftpoint2(或rightpoint2)中第i个点的纵坐标。再根据下面公式添加镜头畸变。径向畸变：

切向畸变：

其中k1和k2是径向畸变参数，p1和p2是切向畸变参数，畸变参数是由张正友标定方法在标定内参时一同计算得到的。

根据上述公式(6)和公式(7)，可以得到添加畸变后的角点坐标leftpoint3和rightpoint3。然后利用公式(8)即可求得原始图像上角点坐标。

对经公式(8)求取的原始图像角点坐标执行基于张正友方法的双目标定，使用到的内参数即为原始的标定内参数，生成的外参数应与原始的标定外参数相差不大。否则认为原始标定的外参数不正确。

经过以上验证步骤，就可以验证双目相机标定过程中内数、外参数标定的正确性，同时满足上述两个验证的约束，这说明双目相机的内外参标定正确、稳定。

图4表示本发明实施例所述的双目相机标定参数的检测装置结构示意图。

参见图4所示，双目相机标定参数的检测装置包括：获取模块40，用于获取预设标定板的角点亚像素坐标；第一标定模块42，用于对所述亚像素坐标进行第一次标定，得到所述亚像素坐标的原始内参数与原始外参数；第二标定模块44，用于对所述亚像素坐标，所述原始内参数以及所述原始外参数均添加随机噪声后，进行第二次标定，得到新的内参数与新的外参数；对比模块46，用于将所述新的内参数与所述新的外参数分别与所述原始内参数以及所述原始外参数进行对比，得到对比结果；确定模块48，用于判断所述比较结果是否满足预设阈值条件，在所述比较结果满足预设阈值条件时，确定所述原始内参数以及所述原始外参数的正确性。

可选地，所述获取模块40包括：拍摄模块(图中未示)，用于对所述预设标定板进行不同空间位姿下的预设次数拍摄，得到拍摄图像；定位模块(图中未示)，用于使用基于灰度梯度的方式对所述拍摄图像进行对角点位置的初步定位，即对灰度图像分别经行进行从左到右和从上到下的一阶差分，并提取一阶差分图的局部极值如公式(1)，且要求这些极值位置的差分像素值应大于150或小于-150：其中cornerx,y表示提取到的角点坐标(x,y)，其数值等于x方向或y方向的特定邻域内的最大值或最小值

可选地，所述第二标定模块44还用于：

对所述亚像素坐标添加[-0.1,0.1]之间的随机均匀噪声；

对所述原始内参数的每一个角点坐标(x,y)的横纵坐标分别按照下面公式(2)添加δ∈[-0.1,0.1]之间的均匀随机噪声；

x＝x+δ,y＝y+δ公式(2)

对所述原始外参数，按照公式(3)添加[-1,1]之间的随机均匀噪声；

其中om1表示围绕x轴的旋转角，om2表示围绕y轴的旋转角，om3表示围绕z轴的旋转角；t1表示在x轴方向的平移，t2表示在y轴方向的平移，t3表示在z轴方向的平移；δ∈[-0.1,0.1]之间的均匀随机噪声。

可选地所述的检测装置还包括：去除模块(图中未示)，用于将矫正后的双目图像的角点坐标，去除外参数和内参数，得到原始坐标；重新标定模块(图中未示)，用于对所述原始坐标再重新进行双目标定。

本发明提供的自动驾驶系统包括上述的检测装置。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。