一种红外相机与激光雷达联合标定的方法与流程

1.本发明属于移动测量领域，特别是涉及一种红外相机和激光雷达联合标定的方法。


背景技术：

2.随着机器人等技术的发展，在一些高危且固定的场景中，如化工厂、变电站等，人们逐渐使用机器人进行自主巡检，能够高效快速地检测并排除潜在的险情，同时也可以一定程度上减少工作人员出现事故的可能，间接保证人员和财产安全。激光雷达广泛运用到机器人领域，主要用于机器人的定位和环境感知。虽然激光雷达可以稳定且快速的获取周围物体的空间位置，但缺乏对周围物体的其他属性的感知能力，如颜色、温度等。现在用于高危场景巡检的机器人主要是负责检测高温、有毒气体泄漏等，完成这样的巡检任务单单依靠一个激光雷达是无法实现的，必须搭载其他传感器来协助完成巡检任务。在这些高危场景中，防止火灾是重中之重，巡检机器人必然需要搭载感知温度的仪器，例如红外相机，它可以在夜间及恶劣的气候下工作，安全可靠。激光雷达和红外相机联合使用进行数据融合，不仅可以获取物体的温度信息，同时可以快速的得到物体的空间位置，为工作人员快速排除险情提供支持。为了提高温度异常点定位的精度，需要对激光雷达和红外相机进行联合标定，进而获得红外相机的内参和两者之间的外参。因此，研究红外相机与激光雷达的标定方法就具有非常重要的实际意义。
3.因为红外相机成像的独特性，无法使用传统相机的标定方式，现有的红外相机和激光雷达联合标定多使用手动配准的方法，操作繁琐，精度较低。由于红外相机难以获取类似于可见光系统标定板的精密表面特征点，要想简化标定过程和提高标定精度，需采用特定的红外标定板，该标定板可将部分区域进行加热，形成高辐射区，其余部分为正常辐射区，区域均为一定长度的正方形。高辐射区和正常辐射区交替排布，两者交叉部分就会在红外图像形成鲜明的交叉点，通过提取交叉点的像素坐标就可精确地计算出红外相机的内参，内参包括焦距、主点和畸变系数。红外相机与激光雷达联合标定则是通过构建红外标定板的交叉点到激光平面上的约束，并利用非线性优化的方法进行多组迭代计算两者之间的外参，最终求出最优解。


技术实现要素：

4.本发明针对现有技术的不足，提供一种红外相机和激光雷达联合标定的方法。首先利用角点检测算法提取红外图像上的像素坐标，然后利用最小二乘法求解内参，得到标定板在相机坐标系中的位置，接着单点交互提取平面点，得到标定板在激光坐标系中的位置，最后利用两者的平面距离差为零的约束条件进行迭代优化求解，得到两者之间的外参，最终完成红外相机与激光雷达的联合标定。
5.为了达到上述目的，本发明提供的技术方案是一种红外相机和激光雷达联合标定的方法，包括以下步骤：
6.步骤1，采集标定数据；
7.步骤2，对红外图像进行角点检测；
8.步骤3，根据步骤2检测的角点，利用最小二乘算法计算相机内参，确定标定板在相机坐标系下的位置；
9.步骤4，角点反投验证内参参数的精度；
10.步骤5，单点交互提取标定板平面点，确定标定板在激光坐标系下的位置；
11.步骤6，利用步骤3标定的内参和步骤5手动选取的标定板平面点构建点到平面的约束，迭代优化求解得到红外相机和激光雷达之间的外参。
12.而且，所述步骤1中数据采集包括两组，一组利用红外相机拍摄标定板，得到标定板的红外图像，用于相机内参标定；另一组同时采集标定板的红外图像和激光数据，用于红外相机和激光雷达之间的外参标定。
13.而且，所述步骤2中角点检测主要是提取标定板中高辐射区和正常辐射区相交交点的像素坐标，可利用opencv4中的函数findchessboardcornerssb进行角点检测，该函数可以直接得到亚像素精度的角点。
14.而且，所述步骤3中以图像的左上角点为原点，原点相连的两条垂直边为u轴、v轴构造像素坐标系o-uv；若摄影中心为s，摄影方向与图像平面的交点p为图像的像主点，以x轴平行于像素坐标系的u轴，y轴平行于像素坐标系的v轴构建图像坐标系p-xy；相机坐标系s-xyz是以摄影中心s为原点，主光轴sp为z轴，x、y轴分别平行于图像坐标系的x、y轴；世界坐标系w-xyz是以标定板左上角角点w为坐标原点，z轴垂直与标定板平面，水平方向为y轴，垂直方向为x轴的右手坐标系。假设空间中某一点m在w-xyz的坐标为(x,y,z)，过点m与s的直线与像平面相交于点m，若s在w-xyz的坐标为(xs,ys,zs)，令sp＝1，则m在s-xyz的坐标为(x,y,1)，将w-xyz依次绕y轴、x轴与z轴分别旋转(β,α,γ)角与s-xyz同方向，则有：
[0015][0016][0017]
式中，(r
11
,r
12
,r
13
,r
21
,r
22
,r
23
,r
31
,r
32
,r
33
)构成旋转矩阵r：
[0018][0019]
旋转矩阵中各元素计算公式为：
[0020][0021]
光学镜头无法完全模拟小孔成像过程，会带来畸变，最主要的畸变为径向畸变与切向畸变，理想成像点m会沿其与主点p的径向与切向偏移至点m
′
，其畸变可由5个畸变系数(k1,k2,k3,p1,p2)建模，m
′
的坐标为(x
′
,y
′
)，则有：
[0022]
x
′
＝x(1+k1r2+k2r4+k3r6)+p1(r2+2x2)+2p2xy
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0023]y′
＝y(1+k1r2+k2r4+k3r6)+p2(r2+2y2)+2p1xy
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0024]
r2＝x2+y2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0025]
式中，r为径向长。
[0026]
最终在像平面上经过仿射变化将(x
′
,y
′
)转化至像素坐标(u,v)：
[0027]
u＝f
x
×
x
′
+c
x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0028]
v＝fy×y′
+cyꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0029]
式中，f
x
为x方向主距，fy为y方向主距，(c
x
,cy)为主点的像素坐标。
[0030]
最终得到像素坐标(u,v)的函数关系式：
[0031]
u＝u(xs,ys,zs,α,β,γ,f
x
,fy,c
x
,cy,k1,k2,k3,p1,p2,x,y,z)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0032]
v＝v(xs,ys,zs,α,β,γ,f
x
,fy,c
x
,cy,k1,k2,k3,p1,p2,x,y,z)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0033]
已知n个空间点的坐标(xi,yi,zi)及其对应的像点坐标(ui,vi)，i＝1,2,
…
,n，通过迭代最小二乘法估计参数(xs,ys,zs,α,β,γ,f
x
,fy,c
x
,cy,k1,k2,k3,p1,p2)，由此完成红外相机内参(f
x
,fy,c
x
,cy,k1,k2,k3,p1,p2)的标定。
[0034]
而且，所述步骤4中角点反投验证内参参数的精度是利用步骤3计算得到的参数将三维空间点投影成二维平面像素点，然后与角点提取的像素坐标做差值，差值在0.5像素内即可认为内参精度满足要求，否则重新选取角点计算内参。
[0035]
三维空间点投影成二维平面像素点过程表示为：
[0036][0037]
式中，(xw,yw,zw,1)表示三维空间点，(u,v)表示二维平面像素点，r、t由内参标定参数可得。
[0038]
而且，所述步骤5中需要先在软件中手动单点选取激光数据中标定板平面，确定标
定板在点云中的大致位置，然后点击平面中心，平面选取算法会按一定的半径选取平面点，最后利用ransac算法对平面点进行平面拟合，即可确定标定板在激光坐标系下位置。
[0039]
激光坐标系下，标定板平面方程表示为：
[0040]
ax+by+cz+d＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0041]
式中，(x,y,z)为标定板平面上的激光点坐标。
[0042]
利用ransac算法即可求解出参数a、b、c、d，得到激光坐标系下的标定板平面。
[0043]
而且，所述步骤6中设外参为(α
′
,β
′
,γ
′
,x,y,z)，初始值均为0，其中(α
′
,β
′
,γ
′
)依次为沿x轴、y轴、z轴旋转的欧拉角，(x,y,z)依次为x轴、y轴、z轴三个方向的平移，利用激光坐标系中的标定板平面变换至相机坐标系下的标定板平面时，平面点与该标定板平面法向量的点乘为零这个约束条件，构建如下约束方程：
[0044][0045]
式中，pi是第i个棋盘格在相机坐标系下的平面位置，ni是第i个棋盘格在相机坐标系下的平面法向量位置，q
ij
是激光坐标系下第i个棋盘格第j个点的位置，r(α
′
,β
′
,γ
′
)表示欧拉角转换成旋转矩阵，t(x,y,z)表示平移向量。
[0046]
利用最小二乘法求解，经过数十组数据迭代优化后，外参(α
′
,β
′
,γ
′
,x,y,z)会收敛到一个理想值，由此红外相机和激光雷达联合标定完成。
[0047]
与现有技术相比，本发明的优点和有益效果：
[0048]
(1)标定精度提高
[0049]
本发明将红外相机内参标定和与激光雷达外参标定分开，虽然步骤上变复杂，但精度却有明显的提高。采用分开标定主要是基于两者标定数据需求的不同：内参标定需要标定板尽量覆盖整个画幅，这样计算相机内参会更加准确；外参标定需要标定板在不同位置以不同姿态摆放，以提供充分的约束，使得计算的外参更加准确。
[0050]
(2)标定过程简单
[0051]
红外相机标定主要包括角点提取和内参计算两步，在保证标定板在图像中的完整性的前提下，基本无需人工选取和调整，均为傻瓜式按键操作。联合标定考虑到激光雷达数据有一定的噪声存在，为了提高标定精度，采用了手动选取平面的操作，虽然有人工参与，但其中也有平面拟合算法协助用户方便快捷精准地提取标定板平面，选取完成后，即可计算外参。
附图说明
[0052]
图1为本发明实施例技术流程图。
[0053]
图2为本发明实施例红外相机采集标定板数据示意图。
[0054]
图3为本发明实施例相机成像数学模型示意图。
[0055]
图4为本发明实施例镜头畸变示意图。
[0056]
图5为本发明实施例手动选取标定板平面示意图。
具体实施方式
[0057]
本发明提供一种红外相机与激光雷达联合标定的方法，首先利用角点检测算法提
取红外图像上的像素坐标，然后利用最小二乘法求解内参，得到标定板在相机坐标系中的位置，接着单点交互提取平面点，得到标定板在激光坐标系中的位置，最后利用两者的平面距离差为零的约束条件进行迭代优化求解，得到两者之间的外参，最终完成红外相机与激光雷达的联合标定。
[0058]
下面结合附图和实施例对本发明的技术方案作进一步说明。
[0059]
如图1所示，本发明实施例的流程包括以下步骤：
[0060]
步骤1，采集标定数据。
[0061]
数据采集包括两组，一组利用红外相机拍摄标定板，得到标定板的红外图像，如图2所示，用于相机内参标定；另一组同时采集标定板的红外图像和激光数据，用于红外相机和激光雷达之间的外参标定。
[0062]
步骤2，对红外图像进行角点检测。
[0063]
角点检测主要是提取标定板中高辐射区和正常辐射区相交交点的像素坐标，可利用opencv4中的函数findchessboardcornerssb进行角点检测，该函数可以直接得到亚像素精度的角点。
[0064]
步骤3，根据步骤2检测的角点，利用最小二乘算法计算相机内参，确定标定板在相机坐标系下的位置。
[0065]
相机的成像数学模型如图3所示：以图像的左上角点为原点，原点相连的两条垂直边为u轴、v轴构造像素坐标系o-uv；若摄影中心为s，摄影方向与图像平面的交点p为图像的像主点，以x轴平行于像素坐标系的u轴，y轴平行于像素坐标系的v轴构建图像坐标系p-xy；相机坐标系s-xyz是以摄影中心s为原点，主光轴sp为z轴，x、y轴分别平行于图像坐标系的x、y轴；世界坐标系w-xyz是以标定板左上角角点w为坐标原点，z轴垂直与标定板平面，水平方向为y轴，垂直方向为x轴的右手坐标系。假设空间中某一点m在w-xyz的坐标为(x,y,z)，过点m与s的直线与像平面相交于点m，若s在w-xyz的坐标为(xs,ys,zs)，令sp＝1，则m在s-xyz的坐标为(x,y,1)，将w-xyz依次绕y轴、x轴与z轴分别旋转(β,α,γ)角与s-xyz同方向，则有：
[0066][0067][0068]
式中，(r
11
,r
12
,r
13
,r
21
,r
22
,r
23
,r
31
,r
32
,r
33
)构成旋转矩阵r：
[0069][0070]
旋转矩阵中各元素计算公式为：
[0071][0072]
光学镜头无法完全模拟小孔成像过程，会带来畸变，最主要的畸变为径向畸变与切向畸变，如图4所示：理想成像点m会沿其与主点p的径向与切向偏移至点m
′
，其畸变可由5个畸变系数(k1,k2,k3,p1,p2)建模，m
′
的坐标为(x
′
,y
′
)，则有：
[0073]
x
′
＝x(1+k1r2+k2r4+k3r6)+p1(r2+2x2)+2p2xy
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0074]y′
＝y(1+k1r2+k2r4+k3r6)+p2(r2+2y2)+2p1xy
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0075]
r2＝x2+y2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0076]
式中，r为径向长。
[0077]
最终在像平面上经过仿射变化将(x
′
,y
′
)转化至像素坐标(u,v)：
[0078]
u＝f
x
×
x
′
+c
x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0079]
v＝fy×y′
+cyꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0080]
式中，f
x
为x方向主距，fy为y方向主距，(c
x
,cy)为主点的像素坐标。
[0081]
最终得到像素坐标(u,v)的函数关系式：
[0082]
u＝u(xs,ys,zs,α,β,γ,f
x
,fy,c
x
,cy,k1,k2,k3,p1,p2,x,y,z)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0083]
v＝v(xs,ys,zs,α,β,γ,f
x
,fy,c
x
,cy,k1,k2,k3,p1,p2,x,y,z)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0084]
已知n个空间点的坐标(xi,yi,zi)及其对应的像点坐标(ui,vi)，i＝1,2,
…
,n，通过迭代最小二乘法估计参数(xs,ys,zs,α,β,γ,f
x
,fy,c
x
,cy,k1,k2,k3,p1,p2)，由此完成红外相机内参(f
x
,fy,c
x
,cy,k1,k2,k3,p1,p2)的标定。
[0085]
步骤4，角点反投验证内参参数的精度。
[0086]
首先利用步骤3计算得到的参数将三维空间点投影成二维平面像素点，然后与角点提取的像素坐标做差值，差值在0.5像素内即可认为内参精度满足要求，否则重新选取角点计算内参。
[0087]
三维空间点投影成二维平面像素点过程表示为：
[0088][0089]
式中，(xw,yw,zw,1)表示三维空间点，(u,v)表示二维平面像素点，r、t由内参标定参数可得。
[0090]
步骤5，单点交互提取标定板平面点，确定标定板在激光坐标系下的位置。
[0091]
为了确定标定板在激光坐标系下的位置，需要单点交互提取标定板平面点，这样可以保证提取精度，减小误差。首先需要在软件中手动单点选取激光数据中标定板平面，确定标定板在点云中的大致位置，如图5所示，然后点击平面中心，平面选取算法会按一定的半径选取平面点，最后利用ransac算法对平面点进行平面拟合，即可确定标定板在激光坐标系下位置。
[0092]
激光坐标系下，标定板平面方程表示为：
[0093]
ax+by+cz+d＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0094]
式中，(x,y,z)为标定板平面上的激光点坐标。
[0095]
利用ransac算法即可求解出参数a、b、c、d，得到激光坐标系下的标定板平面。
[0096]
步骤6，利用步骤3标定的内参和步骤5手动选取的标定板平面点构建点到平面的约束，迭代优化求解得到红外相机和激光雷达之间的外参。
[0097]
设外参为(α
′
,β
′
,γ
′
,x,y,z)，初始值均为0，其中(α
′
,β
′
,γ
′
)依次为沿x轴、y轴、z轴旋转的欧拉角，(x,y,z)依次为x轴、y轴、z轴三个方向的平移，利用激光坐标系中的标定板平面变换至相机坐标系下的标定板平面时，平面点与该标定板平面法向量的点乘为零这个约束条件，构建如下约束方程：
[0098][0099]
式中，pi是第i个棋盘格在相机坐标系下的平面位置，ni是第i个棋盘格在相机坐标系下的平面法向量位置，q
ij
是激光坐标系下第i个棋盘格第j个点的位置，r(α
′
,β
′
,γ
′
)表示欧拉角转换成旋转矩阵，t(x,y,z)表示平移向量。
[0100]
利用最小二乘法求解，经过数十组数据迭代优化后，外参(α
′
,β
′
,γ
′
,x,y,z)会收敛到一个理想值，由此红外相机和激光雷达联合标定完成。
[0101]
具体实施时，以上流程可采用计算机软件技术实现自动运行流程。
[0102]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。