一种多约束双目鱼眼相机标定与空间点定位的方法

1.本发明涉及相机标定技术领域，尤其是一种多约束双目鱼眼相机标定与空间点定位的方法。


背景技术：

2.双目立体视觉是计算机视觉重要的研究方向之一，该技术被广泛的应用在航空测绘、建筑测量、机器人定位以及三维重建等领域。摄像机是立体视觉获取外部信息的一个重要途径，然而，传统摄像机的视场角有限，在不加旋转平台等辅助设施的情况下，很难满足大范围导航、定位以及三维重建的要求。鱼眼摄像机的出现解决了普通相机视场范围小的问题，鱼眼镜头是一种超广角镜头，其视场范围可达180
°
，有的甚至270
°
。然而，鱼眼镜头虽然比普通镜头拍摄的视角范围大，但也缺失了一部分视觉信息。鱼眼图像具有很大的变形，在一些精度要求较高的环境下，这种误差必然会对鱼眼镜头的应用领域造成影响。因此需要建立用于优化的数学模型，使用最优化算法找到相机的精确内外参，完成相机高精度的标定。
3.现有的标定方法一般可以分为两类：第一类是相机的自标定，自标定方法只需要图像点对应即可完成标定，但这种方法以牺牲标定精度为代价来进行灵活快速的完成标定，因此，它并不适用于需要高精度的应用场景。第二类是基于目标的校准方法，其中最常见的方法是基于棋盘格检测，但基于棋盘格检测方法在标定的过程中会存在冗余棋盘格角点，可能会导致角点误检、漏检等情况且只能达到像素级精度。


技术实现要素：

4.本发明需要解决的技术问题是提供一种多约束双目鱼眼相机标定与空间点定位的方法，通过阈值分割找到特征点后，建立了多约束包含重投影约束、极线约束、距离约束、垂直约束及共线约束的目标函数，通过优化算法迭代优化待标定参数，最终获取的双目鱼眼相机参数。
5.为解决上述技术问题，本发明所采用的技术方案是：
6.一种多约束双目鱼眼相机标定与空间点定位的方法，包括如下步骤：
7.步骤s1、获取标定板原图像：选取左右两台双目鱼眼相机，左右两台双目鱼眼相机相对标定物进行多个角度的拍摄，每次拍摄左右两台双目鱼眼相机之间的相对位姿保持不变，改变左右两台双目鱼眼相机与标定物之间的相对位置，获取标定板图像组，标定板图像组为多对畸变图像；
8.步骤s2、初始化内部参数：提取步骤s1中畸变图像的有效区域，采用最小二乘法对以椭圆为成像边界的鱼眼图像进行拟合，求出该椭圆的一般方程拟合结果为：au2+2buv+cv2+2du+2ev+f＝0，根据拟合的结果对左右两台双目鱼眼相机的有效焦距(f
x
,fy)进行初始估计：
[0009][0010]
步骤s3、提取标定板原图像中控制点的图像坐标：采用高斯拟合的全局阈值算法对畸变图像的有效区域进行阈值分割，获取畸变图像中标定圆的边界，计算畸变图像中标定圆的质心，并作为左右鱼眼相机的特征点对；
[0011]
步骤s4、对左右两台双目鱼眼相机进行单目标定：采用球型投影模型并根据kannala方法分别对左右两台双目鱼眼相机进行单目标定，得到左双目鱼眼相机内部参数矩阵p
l
和左双目鱼眼相机外部参数旋转矩阵r
l
、平移矩阵t
l
，右双目鱼眼相机内部参数矩阵pr和右双目鱼眼相机外部参数旋转矩阵rr、平移矩阵tr，并作为左右两台双目鱼眼相机的初始参数；
[0012]
步骤s5、反投影畸变图像的特征点求空间点坐标：对步骤s3得到的畸变图像上的特征点对进行反投影处理，根据内参p
l
、pr和外参r
l
、rr、t
l
、tr反投影得到入射光线的参数θ
l
、θr、其中θ
l
表示左图像入射光线与相机三维坐标系中z轴的夹角，θr表示右图像入射光线与相机三维坐标系中z轴的夹角，表示左图像入射光线投影到相机三维坐标系xy平面中与x轴的夹角，表示右图像入射光线投影到相机三维坐标系xy平面中与x轴的夹角；将特征点对进行反投影到球面上，得到归一化坐标进行反投影到球面上，得到归一化坐标其中，x
l
代表左图像的特征点反投影到球面上的归一化坐标，xr代表右图像的特征点反投影到球面上的归一化坐标；根据左右两台双目鱼眼相机的变换公式求出系数λ
l
、λr，最终求得空间点坐标为x＝λ
l
x
l
；
[0013]
步骤s6、与世界坐标匹配：针对每一个世界坐标系下圆形标定物图案中中坐标已知的特征点mw，将特征点mw从标定物为中心的世界坐标系转换为以左鱼眼摄像机为中心的相机坐标系下的特征点m，将计算出的空间点x与m进行比较，构造三维测量坐标系下两组特征点的差值最小的目标函数并进行非线性优化：
[0014][0015]
其中，i表示图像的序列号，j表示每幅图像中的特征点的序列号；
[0016]
步骤s7、构造优化目标函数：为了加速非线性优化的收敛性，根据三维重建特征点处理，加入极线约束je、距离约束j
dis
、共线约束j
co
、垂直约束j
+
，极线约束je是双目视觉系统的固有属性，距离约束j
dis
是检验距离重建的指标，共线约束j
co
和垂直约束j
+
是检验反投影结果的指标，将几j
3d
、je、j
dis
、j
co
和j
+
结合在一起，得到完整的目标函数：j＝j
3d
+je+j
dis
+j
co
+j
+
，根据建立优化目标函数进行求解获得最优的相机参数，然后采用列文伯格-马夸尔特法对优化目标函数进行求解获得最优的相机参数，完成对左右两台双目鱼眼相机的高精度标定。
[0017]
本发明技术方案的进一步改进在于：所述步骤s1中左右两台双目鱼眼相机拍摄时，标定物为液晶显示器上的黑白圆形图案，根据显示分辨率和屏幕的物理大小，获得圆形
式图像中每个标定圆的半径大小，且保证在拍摄过程中黑白圆形图案完整成像在左右图像中。
[0018]
本发明技术方案的进一步改进在于：所述步骤s3的具体过程为：首先将畸变图像转为灰度图像并统计其灰度直方图，然后采用otsu全局阈值算法对图像进行分割，得到一个初始阈值th0，利用初始阈值thi将灰度直方图分成c0和c1两个部分，其中i是迭代次数，分别计算c0和c1各自分布的均值μ0、μ1以及方差拟合出两个高斯分布和并分别计算各分布在的概率密度函数值，记μ
begin
为方差较小的高斯分布的均值,μ
end
为方差较大的高斯分布的均值，从μ
begin
位置处向μ
end
方向进行遍历，当p(xi|begin)≤p(xi|end)时,则本次迭代搜索到的最佳阈值为th
i+1
＝xi，当|th
i+1-thi|＜＝1时，则thi为全局最佳阈值，迭代停止，然后用最小二乘椭圆拟合方法计算出标定物圆形图案的圆心图像坐标。
[0019]
本发明技术方案的进一步改进在于：所示步骤s4中左双目鱼眼相机坐标系是以左双目鱼眼相机为基准的三维笛卡尔坐标系，右双目鱼眼相机坐标系是以右双目鱼眼相机为基准的三维笛卡尔坐标系。
[0020]
本发明技术方案的进一步改进在于：所述步骤s7中极线约束je是通过特征点对反投影到单位球面上得到的归一化坐标与基础矩阵e计算得到的，e＝[t]
×
r，其中选取{ri}和{ti}的中位数，其中i表示从1到的图像对的序列数,计算左右图像对特征点的极线约束je：
[0021][0022]
其中，x
lij
表示第i个图象对的左图像下的第j个特征点的球面归一化坐标，x
rij
表示第i个图象对的右图像下的第j个特征点的球面归一化坐标，d(*,*)2代表两个坐标的几何距离的平方，e表示基本矩阵。
[0023]
本发明技术方案的进一步改进在于：所述步骤s7中距离约束j
dis
的计算方法为：计算黑白圆形图案中行方向相邻的两个特征点所对应的反投影空间点的距离和圆形图案中列方向相邻的每两个特征点所对应的反投影空间点的距离，计算所有以空间点的距离和显示器圆形图案中相邻两个特征点实际间距之间的差值作为相邻距离误差，作为距离约束j
dis
：
[0024]jdis
＝∑h∑v||l
dis-d(mh,mv)||2，
[0025]
其中，l
dis
为常数，代表圆形标定物图案的最小间隔，mh和mv是在棋盘目标上通过水平和垂直方向的反投影计算出的相邻特征点。
[0026]
本发明技术方案的进一步改进在于：所述步骤s7中垂直约束j
+
的计算方法为：特征点对反投影获得的三维重建特征点中，任一位于非边缘的三维重建特征点，其左边三维重建特征点与右边三维重建特征点的连线垂直于其上边三维重建特征点与下边三维重建特征点的连线，以此计算所有图像下非边缘内部三维重建特征点的垂直约束j
+
：
[0027][0028]
其中，x
ij
表示第i个图象的第j个特征点的左边三维重建特征点指向右边三维重建
+2du+2ev+f＝0，根据拟合的结果对左右两台双目鱼眼相机的有效焦距(f
x
,fy)进行初始估计：
[0043][0044]
步骤s3、提取标定板原图像中控制点的图像坐标：采用高斯拟合的全局阈值算法对畸变图像的有效区域进行阈值分割，获取畸变图像中标定圆的边界，计算畸变图像中标定圆的质心，并作为左右鱼眼相机的特征点对；步骤s3的具体过程如图2所示：控制点为标定板中圆形图案的圆心点，首先将畸变图像转为灰度图像并统计其灰度直方图，然后采用otsu全局阈值算法对图像进行分割，得到一个初始阈值th0，利用初始阈值thi将灰度直方图分成c0和c1两个部分，其中i是迭代次数，分别计算c0和c1各自分布的均值μ0、μ1以及方差拟合出两个高斯分布和并分别计算各分布在的概率密度函数值，记μ
begin
为方差较小的高斯分布的均值,μ
end
为方差较大的高斯分布的均值，从μ
begin
位置处向μ
end
方向进行遍历，当p(xi|begin)≤p(xi|end)时,则本次迭代搜索到的最佳阈值为th
i+1
＝xi，当|th
i+1-thi|＜＝1时，则thi为全局最佳阈值，迭代停止，然后用最小二乘椭圆拟合方法计算出标定物圆形图案的圆心图像坐标，拟合结果如图3所示。
[0045]
步骤s4、对左右两台双目鱼眼相机进行单目标定：采用球型投影模型并根据kannala在a generic camera model and calibration method for conventional,wide-angle,and fish-eye lenses提出的方法分别对左右两台双目鱼眼相机进行单目标定，得到左双目鱼眼相机内部参数矩阵p
l
和左双目鱼眼相机外部参数旋转矩阵r
l
、平移矩阵t
l
，右双目鱼眼相机内部参数矩阵pr和右双目鱼眼相机外部参数旋转矩阵rr、平移矩阵tr，并作为左右两台双目鱼眼相机的初始参数；左双目鱼眼相机坐标系是以左双目鱼眼相机为基准的三维笛卡尔坐标系，右双目鱼眼相机坐标系是以右双目鱼眼相机为基准的三维笛卡尔坐标系。世界坐标系是以标定物为基准的三维笛卡尔坐标系。
[0046]
步骤s5、反投影畸变图像的特征点求空间点坐标：
[0047]
如图4所示，对步骤s3得到的畸变图像上的特征点对进行反投影处理，根据内参p
l
、pr和外参r
l
、rr、t
l
、tr反投影得到入射光线的参数θ
l
、θr、其中θ
l
表示左图像入射光线与相机三维坐标系中z轴的夹角，θr表示右图像入射光线与相机三维坐标系中z轴的夹角，表示左图像入射光线投影到相机三维坐标系xy平面中与x轴的夹角，表示右图像入射光线投影到相机三维坐标系xy平面中与x轴的夹角；将特征点对进行反投影到球面上，得到归一化坐标其中，x
l
代表左图像的特征点反投影到球面上的归一化坐标，xr代表右图像的特征点反投影到球面上的归一化坐标；根据左右两台双目鱼眼相机的变换公式求出系数λ
l
、λr，最终求得空间点坐标为x＝λ
l
x
l
；
[0048]
步骤s6、与世界坐标匹配：针对每一个世界坐标系下圆形标定物图案中中坐标已知的特征点mw，将特征点mw从标定物为中心的世界坐标系转换为以左鱼眼摄像机为中心的相机坐标系下的特征点m，将计算出的空间点x与m进行比较，构造三维测量坐标系下两组特征点的差值最小的目标函数并进行非线性优化：
[0049][0050]
其中，i表示图像的序列号，j表示每幅图像中的特征点的序列号；
[0051]
步骤s7、构造优化目标函数：为了加速非线性优化的收敛性，根据三维重建特征点处理，加入极线约束je、距离约束j
dis
、共线约束j
co
、垂直约束j
+
，极线约束je是双目视觉系统的固有属性，距离约束j
dis
是检验距离重建的指标，共线约束j
co
和垂直约束j
+
是检验反投影结果的指标，
[0052]
极线约束je是通过特征点对反投影到单位球面上得到的归一化坐标与基础矩阵e计算得到的，e＝[t]
×
r，其中步骤s3由于外部参数的估计可能不够准确，因此对旋转矩阵r和平移向量t的初始计算会逐个不同，为了得到更好的初始估计，选取{ri}和{ti}的中位数，其中i表示从1到的图像对的序列数,计算所左右图像对特征点的极线约束和j
epi
：
[0053][0054]
其中，x
lij
表示第i个图象对的左图像下的第j个特征点的球面归一化坐标，x
rij
表示第i个图象对的右图像下的第j个特征点的球面归一化坐标，d(*,*)2代表两个坐标的几何距离的平方，e表示基本矩阵。
[0055]
距离约束j
dis
的计算方法为：计算黑白圆形图案中行方向相邻的两个特征点所对应的反投影空间点的距离和圆形图案中列方向相邻的每两个特征点所对应的反投影空间点的距离，计算所有以空间点的距离和显示器圆形图案中相邻两个特征点实际间距之间的差值作为相邻距离误差，作为距离约束j
dis
：
[0056]jdis
＝∑h∑v||l
dis-d(mh,mv)||2[0057]
其中，l
dis
为常数，代表圆形标定物图案的最小间隔，mh和mv是在棋盘目标上通过水平和垂直方向的反投影计算出的相邻特征点。
[0058]
垂直约束j
+
的具体方法为：特征点对反投影获得的三维重建特征点中，任一位于非边缘的三维重建特征点，其左边三维重建特征点与右边三维重建特征点的连线垂直于其上边三维重建特征点与下边三维重建特征点的连线,以此计算所有图像下非边缘内部三维重建特征点的垂直约束j
+
：
[0059][0060]
其中，x
ij
表示第i个图象的第j个特征点的左边三维重建特征点指向右边三维重建特征点的向量，y
ij
表示第i个图象的第j个特征点的上边三维重建特征点指向下边三维重建特征点的向量。
[0061]
特征点对反投影获得的三维重建特征点中，任一位于边缘的三维重建特征点，处于其所在列的内部三维重建特征点的连线上，以及处于其所在行的内部三维重建特征点的
连线上，计算所有视角图像下边缘内部三维重建特征点的垂直距离的累加和，作为共线约束j
co
：
[0062][0063]
其中，p
ij
表示第i个图象中处于边缘的第j个特征点，x
1ij
、x
2ij
表示第i个图象中与p
ij
处于同一行或同一列的内部p
ij
特征点。
[0064]
将几何约束j
3d
、je、j
dis
、j
co
和j
+
结合在一起，得到完整的目标函数：j＝j
3d
+je+j
dis
+j
co
+j
+
，采用列文伯格-马夸尔特法对优化目标函数进行求解获得最优的相机参数，完成对双目相机的高精度标定。