一种基于镂空棋盘的深度相机的标定

本发明属于无人机视觉，具体涉及一种基于校准对象的相机校准方法。

背景技术：

1、基于校准对象的校准方法是相机校准的主流方法。对于rgb相机，作为校准对象的棋盘容易获取和操作。而深度图像的值表示点与相机之间的距离，所以在黑白棋盘深度图像中找不到角点。为了解决这一问题，有学者提出了不使用校准对象的自校准方法，现有的自校准方法是基于主动视觉的，可以通过求解kruppa方程、逐步分层标定和二次曲面等方法实现。然而上述自校准方法都存在成本高、工艺复杂、实用性差和鲁棒性差等缺点。有一些方法是利用rgb相机和深度传感器同时观测到的特定校准对象。

2、深度摄像机校准的主要问题是，在校准平面上的角点难以找到。目前有学者改进了在彩色图像中寻角的方法，并将其应用于深度图像中。他们去掉了板的黑色棋盘格，这样深度相机在这些位置获得的深度信息就是板平面后面的背景，根据校准板与背景之间的深度差来估计角点的位置，然后像彩色相机一样进行校准。

技术实现思路

1、本发明的目的是针对深度摄像机在校准平面上的角点难以找到的问题，而提供一种基于镂空棋盘的深度相机的标定方法。

2、一种基于镂空棋盘的深度相机的标定方法，它包括：

3、1.通过rgb相机或深度相机得到深度图像，在深度图像中找到棋盘格的位置；

4、2.对图像进行二值化操作；

5、3.合并结果，并且进行闭操作；

6、4.提取边缘，进行霍夫变换；

7、5.进行svm线条重定位；

8、6.使用平行等距约束优化线条位置；计算棋盘角点并完成标定；

9、步骤6所述的使用平行等距约束优化线条位置，包括：使用cape的方法找到标定板平面；在该平面上定位一个正方形的四个顶点，根据四个顶点在图像坐标系的投影找到标定板平面的无穷远直线，根据无穷远直线构造一个射影矩阵，使得原棋盘线在经过射影变换之后恢复其平行等距的性质，根据平行等距的约束优化射影之后的棋盘线，再将优化之后的棋盘线交点映射回原平面，最后根据优化后的棋盘角点对深度相机进行标定；

10、具体优化棋盘线条的方法过程如下：

11、第一步使用cape的方法找到标定板平面：

12、

13、第二步求出四个平面：

14、

15、使得这四个平面满足如下关系：

16、

17、第三步分别求出π0、π1、π3，π0、π3、π2，π0、π2、π1，π0、π1、π4，(三个面确定一个点)确定的正方形的四个顶点lsq1、lsq2、lsq3、lsq4。第四步分别求出四个顶点在像素平面上的坐标xsi1、xsi2、xsi3、xsi4。第五步求出正方形的四条边lsi1、lsi2、lsi3、lsi4，方法如下：

18、

19、第六步根据两组平行线求出两个无穷远点wsi1、wsi2：

20、

21、第七步根据两个无穷远点求无穷远直线wl:

22、

23、其中wl为：

24、

25、第八步根据wl求射影矩阵hip，使其恢复平行等距的性质，hip为：

26、

27、第九步求出使用svm分类器得到的棋盘横线与纵线的射影投影（变换矩阵为）row(row1,row2,row3)，col(col1,col2,col3,col4)，这里的横线均为col1与col4所截取的线段，纵线均为row1与row3截取的线段。第十步求出棋盘边界点的射影投影bounds。第十一步求出row、col的中点。第十二步分别求出row、col与像素坐标系vp轴（竖直向下的方向）的夹角的平均值并以平均夹角跟新row、col的夹角。第十三步通过最小二乘法求出使row、col移动距离最小的新的中点，并使用新的中点更新row、col。第十四步分别以中点为轴，取row、col的旋转角度为变量，求出使bounds分别到row、col的距离的平方和最小的转角θrow与θcol，并以此更新row、col。第十五步固定row、col与vp轴的夹角，取位移量为变量，求出使bounds分别到row、col的距离的平方和最小的位移drow与dcol，并以此更新row、col。第十六步求出row、col之间的交点points，即棋盘角点。第十七步根据射影矩阵hip将points射影到原始射影空间得到points1第十八步即可根据points1对深度相机进行标定。

28、本发明针对深度摄像机在校准平面上的角点难以找到的问题，将棋盘线平行等距的约束条件用于棋盘角点的位置优化，该方法可以得到更加准确的棋盘角点位置，从而得到了更好的标定结果。首先在深度图像中找到棋盘格的位置，并对棋盘格图像进行二值化将背景与遮挡区域融合。在同一位置拍摄多张标定棋盘的深度图，将拍摄结果的二值化图合并，使用闭操作去除标定棋盘格上的噪声。进行霍夫变换检测棋盘上的线，接下来使用svm的方法进行角点重定位。然后通过增加线条之间平行等距的约束继续优化棋盘线的位置。首先使用cape的方法找到标定板平面，在该平面上定位一个正方形的四个顶点，根据四个顶点在图像坐标系的投影找到标定板平面的无穷远直线，根据无穷远直线构造一个射影矩阵，使得原棋盘线在经过射影变换之后恢复其平行等距的性质，根据平行等距的约束优化射影之后的棋盘线，再将优化之后的棋盘线交点映射回原平面，最后根据优化后的棋盘角点对深度相机进行标定。

29、将棋盘线平行等距的约束条件用于棋盘角点的位置优化，该方法可以得到更加准确的棋盘角点位置，从而得到了更好的标定结果，通过上述优化方法，前十三步使棋盘线重新满足平行等距的约束条件，后面的步骤在此基础上重新利用之前求得的棋盘边界点对棋盘线进行进一步的优化，通过最小二乘法微调棋盘线与vp轴的夹角与棋盘线中点的位置，从而计算出更准确的棋盘角点，最终提高深度相机的标定精度。

技术特征：

1.一种基于镂空棋盘的深度相机的标定方法，它包括：

2.根据权利要求1所述的一种基于镂空棋盘的深度相机的标定方法，其特征在于：步骤6所述的使用平行等距约束优化线条位置包括：

技术总结
本发明公开了一种基于镂空棋盘的深度相机的标定，通过RGB相机或深度相机得到深度图像，在深度图像中找到棋盘格的位置；对图像进行二值化操作；合并结果，并且进行闭操作；提取边缘，进行霍夫变换；进行SVM线条重定位；使用平行等距约束优化线条位置；计算棋盘角点并完成标定；使用CAPE的方法找到标定板平面，定位一个正方形的四个顶点，在图像坐标系的投影找到标定板平面的无穷远直线，构造一个射影矩阵，使得原棋盘线在经过射影变换之后恢复其平行等距的性质，根据约束优化后的棋盘线，再将优化之后的棋盘线交点映射回原平面，根据优化后的棋盘角点对深度相机进行标定。解决了深度摄像机在校准平面上的角点难以找到的问题。

技术研发人员：朱航,王冰坤,张政,江梓豪
受保护的技术使用者：吉林大学
技术研发日：
技术公布日：2024/1/15