相机与激光雷达组合传感器的外参数标定方法及系统与流程

本发明涉及相机和激光雷达传感器标定领域，具体涉及一种相机和激光雷达外参数标定系统与方法。

背景技术：

相机摄像头，是一种利用光学成像原理形成影像并记录影像的设备。其工作原理是通过镜头将光聚焦在电荷耦合元件(charge-coupleddevice,ccd)或互补金属氧化物半导体(complementarymetaloxidesemiconductor,cmos)上，然后通过ccd或cmos将光转换成电信号，经过传感器加工，记录在相机的内存上，就可以处理拍摄的图像。

激光雷达，即通过是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号，即激光束，然后将接收到的从目标反射回来的信号，即目标回波，与发射信号进行比较，作适当处理后，就可获得目标的有关信息，例如目标距离、方位、高度、速度、姿态、甚至形状等参数。激光雷达本身具有非常精确的测距能力，可以获得极高的角度、距离和速度分辨率。

在相机和激光雷达的导航系统当中，我们可以通过相机和激光雷达获得周围的环境。但是因为激光雷达扫描出的点云分布非常稀疏，对周围环境的测量反馈非常有限。而高线数的激光雷达成本非常昂贵，并不经济。因此，将相机与激光雷达进行组合，从而结合稠密的场景信息和低线数激光雷达，是非常有必要的。此时，获取相机和激光雷达之间的位置关系与坐标变换就变得尤为重要，这决定了相机和激光雷达系统能否成功运行。然而，由于激光雷达扫描的空间点云没有颜色和纹理等信息，在利用三维点云标定相机和激光雷达系统的时候，很难对应相机和激光雷达扫描过程当中的对应点，因此这就成为了相机和激光雷达的标定过程当中的难点。

对上述相机和激光雷达系统的标定方法一般采用多块平行标定板以及需要移动标定板或者测量装置进行多次测量，然后拟合出相机和激光雷达之间的坐标变换关系。这种标定方法往往需要较为准确的坐标变换初始值，然后通过精调得到较为准确的结果，且移动标定板或测量装置进行反复测量的过程增加了操作的复杂性。

技术实现要素：

本发明的目的是克服上述现有技术中需要多次测量及多块标定板的缺陷，提出了一种相机与激光雷达组合传感器的外参数标定方法及系统，采用一次测量即可获取相机与激光雷达的外参数矩阵，可以兼顾准确性、简单易用性、高效性和普适性。

具体来说，本发明提出一种相机与激光雷达组合传感器的外参数标定方法，包括：将组合传感器对准标定装置，进行一次扫描，获得该标定装置在激光雷达坐标系中的第一坐标paⁱ、在图像坐标系中的第二坐标pbⁱ和在相机坐标系中的第三坐标pcⁱ；以该第一坐标paⁱ和该第二坐标pbⁱ，获取标定装置坐标系至该激光雷达坐标系的第一变换矩阵ta；以第三坐标pcⁱ和该第二坐标pbⁱ，获取该相机坐标系至该标定装置坐标系的第二变换矩阵tc^-1；以该第一变换矩阵ta和该第二变换矩阵tc^-1，获得该相机坐标系至该激光雷达坐标系的外参数矩阵te；其中，该标定装置包括三个相互垂直相交设置的标定板。

本发明所述的外参数标定方法，其中获得该变换矩阵te步骤包括：获取图像坐标系至标定板坐标系的第三变换矩阵td；分解该第三变换矩阵td，得到该标定板坐标系至该相机坐标系的第四变换矩阵tc；对该第四变换矩阵tc求逆，获得该第二变换矩阵tc^-1；获得该外参数矩阵te＝tatc^-1。

本发明所述的外参数标定方法，其中该相机的光轴和该激光雷达的扫射面，与三个该标定板的平面夹角均大于30°。

本发明所述的外参数标定方法，其中该标定板为黑白方格交替设置的标准尺寸棋盘平面标定板。

本发明还提出一种相机与激光雷达组合传感器的外参数标定系统，包括：

坐标获取模块，用于将组合传感器对准标定装置，进行一次扫描，获得该标定装置在激光雷达坐标系中的第一坐标paⁱ、在图像坐标系中的第二坐标pbⁱ和在相机坐标系中的第三坐标pcⁱ；

第一变换矩阵获取模块，用于以该第一坐标paⁱ和该第二坐标pbⁱ，获取标定装置坐标系至该激光雷达坐标系的第一变换矩阵ta；

第二变换矩阵获取模块，用于以第三坐标pcⁱ和该第二坐标pbⁱ，获取该相机坐标系至该标定装置坐标系的第二变换矩阵tc^-1；

外参数矩阵获取模块，用于以该第一变换矩阵ta和该第二变换矩阵tc^-1，获得该相机坐标系至该激光雷达坐标系的外参数矩阵te；

其中，该标定装置包括三个相互垂直相交设置的标定板。

本发明所述的外参数标定系统，其中该外参数矩阵获取模块具体包括：获取图像坐标系至标定板坐标系的第三变换矩阵td；分解该第三变换矩阵td，得到该标定板坐标系至该相机坐标系的第四变换矩阵tc；对该第四变换矩阵tc求逆，获得该第二变换矩阵tc^-1；获得该外参数矩阵te＝tatc^-1。

本发明所述的外参数标定系统，其中调用坐标获取模块时，该相机的光轴和该激光雷达的扫射面，与三个该标定板的平面夹角均大于30°。

本发明所述的外参数标定系统，其中该标定板为黑白方格交替设置的标准尺寸棋盘平面标定板。

本发明还提出一种可读存储介质，存储有可执行指令，该可执行指令用于执行如前述的相机与激光雷达组合传感器的外参数标定方法。

本发明还提出一种数据处理装置，包括如前述的可读存储介质，该数据处理装置调取并执行该可读存储介质中的可执行指令，以进行相机与激光雷达组合传感器的外参数标定。

本发明提出了一种相机与激光雷达组合传感器的外参数标定系统与方法，使用一块拥有标准尺寸的镂空棋盘立体标定板，对相机和激光雷达的待标定系统进行标定。利用采集到的空间点之间的关系，通过求解方程组，获得相机和激光雷达的外参数。该系统与方法获得空间标定点容易，求解过程简单、快速。

附图说明

图1是本发明的相机与激光雷达组合传感器的外参数标定方法流程图。

图2是本发明的棋盘平面标定板示意图。

图3是本发明的镂空棋盘平面标定板示意图。

图4是本发明的定板装置示意图。

图5是本发明的坐标系变换示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明提出的相机与激光雷达组合传感器的外参数标定方法及系统进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。

本发明提出了一种相机和激光雷达组合传感器的外参数标定系统，包括一个组合传感器(待标定系统)和一个标定装置。

其中，组合传感器包括固定于所需应用设备上的一个相机和一个激光雷达，标定装置为拥有标准尺寸的镂空棋盘立体标定板。

该方法的具体步骤如下：

s1：将相机和激光雷达固定于所需应用设备上，这个相机和激光雷达就组成了一个待标定的相机、激光雷达系统。

s2：固定一个拥有标准尺寸的镂空棋盘立体标定板，使其能够被相机拍摄和激光雷达扫描。

s2.1：获取三个拥有标准尺寸的镂空棋盘平面标定板：首先获得三块棋盘平面标定板，然后去除其中的黑色小方格，即可获得三个镂空棋盘平面标定板；

s2.2：获取一个拥有标准尺寸的镂空棋盘立体标定板：将上述三块镂空棋盘平面标定板延边拼接在一起，保证每两块标定板的平面夹角为90°，三块标定板的交汇点为原点。

s2.3：在制作好该镂空棋盘立体标定板之后，需要将该标准尺寸的镂空棋盘立体标定板固定于相机和激光雷达都可以观测到的位置，并且立体标定板的三个面应与相机的光轴和激光雷达的扫描面保持大于30度的夹角。

s3：开启s1中的待标定系统，对s2中的标定装置进行扫描，从而获取稳定的测量结果。

s3.1：开启待标定系统当中的相机和激光雷达，待运行稳定后，对标定装置进行拍摄和扫描，获得相机对s2中标定板的拍摄结果和激光雷达对s2中标定板的扫描结果。

s3.2：处理相机和激光雷达对s2中标定板上每一个白色小方格的拍摄结果和扫描结果，得到了标定板上每一个白色小方格在图像坐标系中的二维坐标和激光雷达坐标系中的三维坐标。

s4：根据s3中白色小方格在图像坐标系和激光雷达坐标系中的坐标，推算出相机坐标系至激光雷达坐标系的坐标变换te：

s4.1：求解相机坐标系至标定板坐标系的变换矩阵tc^-1：

s4.1.1：求解图像坐标系至标定板坐标系的变换矩阵td：

通过相机对标定板的观测，可以联立方程组求解td矩阵的12个自由变量。

s4.1.2：分解图像坐标系至标定板坐标系的变换矩阵td，得到相机坐标系至图像坐标系变换矩阵tb和标定板坐标系至相机坐标系变换矩阵tc。

s4.1.3：对标定板坐标系至相机坐标系的变换矩阵tc求逆，得到相机坐标系至标定板坐标系的变换矩阵tc^-1。

s4.2：求解标定板坐标系至激光雷达坐标系的变换矩阵ta：

通过激光雷达对标定板的观测，可以联立方程组求解ta矩阵的12个自由变量。

s4.3：求解相机坐标系至激光雷达坐标系的变换矩阵te：

s5：完成相机和激光雷达外参数的标定工作。

下面将结合附图和具体实施例对本发明技术方案进行详细的描述，以更进一步了解本发明的目的、方案及功效。

图1是本发明的相机与激光雷达组合传感器的外参数标定方法流程图。如图1所示，本发明的相机与激光雷达组合传感器的外参数标定方法具体包括：

1)安装待标定相机与激光雷达系统。

相机和激光雷达作为重要的环境感知传感器，需要安装在承载设备的合适位置。为了使相机和激光雷达配合良好，安装相机和激光雷达使应当考虑它们的拍摄和扫描范围，使其配合起来能得到更多的环境信息。

因此，相机和激光雷达应当保持合适的间隔，且不宜太远，即在空间的三个维度上有合适的偏移。这样才能保证它们得到的信息尽量覆盖更多有用的区域，并且在对关键区域的观测方面，相机和激光雷达应当都能够获得观测。

2)制作一个拥有标准尺寸的镂空棋盘立体标定板，并固定。

图2是本发明的棋盘平面标定板示意图，图3是本发明的镂空棋盘平面标定板示意图，图4是本发明的定板装置示意图。如图2、3、4所示，首先，获取三个棋盘平面标定板，棋盘平面标定板如图二所示。棋盘的每个小格为正方形，每个小方格的颜色为黑色和白色，且间隔排列，相邻黑色方格或相邻白色方格的中心距离为l厘米，棋盘中白色方格的数量不应少于4个，越多精度越好。其中，考虑到点云扫描的稀疏性，l的值不应太小，保证每个白色的小方格上都会有扫描点；考虑到点云扫描的范围有限，l的值也不应过大，保证每个激光雷达都可以尽量扫描到所有的白色小方格。

然后，将棋盘平面标定板中的黑色棋盘格都挖去，得到如图三所示的镂空棋盘平面标定板，其中灰色的部分为挖掉的部分。获得的三个棋盘平面标定板都要挖去。在挖去时，白色的小方格不能从标定板上掉落，因此挖去的部分应与黑色小方格的边界存在一定的距离，并且该距离应当尽可能的小，较佳为1～2mm。

最后，将获得的三块镂空棋盘平面标定板延边界拼接粘贴在一起。粘贴需要注意每两块镂空棋盘平面标定板的夹角应为90度，三块标定板的交汇点定为镂空棋盘立体标定板的坐标原点，延着相交的三条边依次建立右手坐标系的x轴、y轴、z轴，并且获得每一个白色小方格中心的三维坐标。得到的镂空棋盘立体标定板如图四所示。

在制作好该镂空棋盘立体标定板之后，需要将该标定板固定于相机和激光雷达都可以观测到的位置，并且立体标定板的三个面应与相机的光轴和激光雷达的扫描面都保持大于30度的夹角。

3)开启待标定相机和激光雷达系统，对镂空棋盘立体标定板进行扫描，并取得扫描结果。

在固定好镂空棋盘立体标定板之后，就可以开始正式的标定流程。

打开待标定系统中的相机和激光雷达，使相机和激光雷达开始采集周围环境的信息。待相机和激光雷达的拍摄和扫描结果稳定后，在图像和激光雷达的坐标系中，分别确定各个白色小方格中心的坐标。

在图像坐标系中确定白色小方格中心坐标时，首先先获得每个白色小方格的4个顶点在图像中的坐标，然后将这4个点的横纵坐标分别求和，再分别除以4，就得到了那个白色小方格的中心点的横纵坐标值。

在激光雷达坐标系中确定白色小方格中心坐标时，用该激光雷达落在该白色小方格中的所有点云的三维坐标的平均值作为该白色小方格在该激光雷达坐标系中的空间位置。

最后，统计该镂空棋盘立体标定板上各个白色小方格在图像坐标系中的二维坐标和激光雷达坐标系中的三维坐标，并将这些三维坐标应用到接下来的外参数计算当中。其中，为了表示方便，这里使用paⁱ＝[xaⁱ，yaⁱ，zaⁱ，1]^t来表示第i个白色小方格中心在激光雷达坐标系中的三维齐次坐标，其坐标值为[xaⁱ，yaⁱ，zaⁱ，1]^t。使用pbⁱ＝[xbⁱ，ybⁱ,1]^t来表示第i个白色小方格中心在图像坐标系中的二维齐次坐标，其坐标值为[xbⁱ，ybⁱ,1]^t。使用pcⁱ＝[xcⁱ，ycⁱ，zcⁱ]^t来表示第i个白色小方格中心在相机坐标系中的三维坐标，其坐标值为[xcⁱ，ycⁱ，zcⁱ]^t。

4)利用坐标变换，求解方程组，得到待标定系统的外参数。

这里我们先介绍相机坐标系、激光雷达坐标系、标定板坐标系和图像坐标系及其之间的关系。

图5是本发明的坐标系变换示意图。如图5所示，相机坐标系就是以相机镜头的中心为原点，光轴向外为z轴正方向，与光轴垂直且水平向右为x轴，与光轴垂直且竖直向下为y轴。该坐标系可以代表相机当前在空间中的位置。

激光雷达坐标系就是以激光雷达旋转扫描中心为原点，竖直向上为z轴正方向，水平向左为y轴，水平向前为x轴。该坐标系可以代表激光雷达在空间中的位置。

标定板坐标系如步骤3中所描述的原点和x、y、z三轴。该坐标系可以代表标定板在空间中的位置。

图像坐标系就是以拍摄的图像左上角为原点，水平向右是x轴，竖直向下为y轴，是一个二维坐标系。该坐标系可以代表图像中各个像素点的坐标值。

待标定相机和激光雷达的外参数，即相机坐标系和激光雷达坐标系之间的空间变换关系te。

首先，在建立镂空棋盘立体标定板的三维坐标系后，可以获得每一个白色小方格中心在标定板坐标系中的位置。为了公式表示方便，这里用pⁱ＝[xⁱ,yⁱ,zⁱ,1]^t表示第i个白色小方格在标定板坐标系下的三维齐次坐标，其坐标值为[xⁱ,yⁱ,zⁱ,1]^t。

然后，对于激光雷达，我们可以通过三维空间变换关系，可以推导出由标定板坐标系至激光雷达坐标系的变换关系为：

其中，ta为标定板坐标系至激光雷达坐标系的变换矩阵，其中有12个自由变量，前三列的9个自由变量构成一个旋转正交矩阵，第四列的3个自由变量构成一个平移向量，i为第i个白色小方格。

对于相机，我们可以通过三维空间变换关系，建模由标定板坐标系至相机坐标系的变换关系以及由相机坐标系至图像坐标系的变换关系。

由标定板坐标系至相机坐标系的变换关系又称为相机的外参数，具体表示为：

其中，tc为标定板坐标系至相机坐标系的变换矩阵，其中同样有12个自由变量，前三列的9个自由变量构成一个旋转正交矩阵，第四列的3个自由变量构成一个平移向量，i为第i个白色小方格。

由相机坐标系至图像坐标系的变换关系又称为相机的内参数，可由小孔成像原理建模，如下：

其中，tb为相机坐标系至图像坐标系的变换矩阵，其中同样有5个自由变量，构成了一个上三角矩阵，i为第i个白色小方格。

由于我们需要求得相机坐标系和激光雷达坐标系之间的坐标变换关系

te，因此我们只需获得相机坐标系至标定板坐标系的变换矩阵tc^-1和标定板坐标系至激光雷达坐标系之间的变换矩阵ta。

过程1：求解相机坐标系至标定板坐标系的变换矩阵tc^-1：

先求解图像坐标系至标定板坐标系的变换矩阵td＝tbtc，实际为相机的内、外参数的乘积：

这时我们就可以根据pbⁱ和pⁱ的测量值将td矩阵求出。具体的，先展开该方程组，得到如下三个方程：

zcⁱxbⁱ＝d1xⁱ+d2yⁱ+d3zⁱ+d4

zcⁱybⁱ＝d5xⁱ+d6yⁱ+d7zⁱ+d8

zcⁱ＝d9xⁱ+d10yⁱ+d11zⁱ+d12

我们根据第三个方程，将前两个方程中的zcⁱ消元：

d9xⁱxbⁱ+d10yⁱxbⁱ+d11zⁱxbⁱ+d12xbⁱ＝d1xⁱ+d2yⁱ+d3zⁱ+d4

d9xⁱybⁱ+d10yⁱybⁱ+d11zⁱybⁱ+d12ybⁱ＝d5xⁱ+d6yⁱ+d7zⁱ+d8

这两个方程中，只有d1～d12是未知量，也是所要求的量。因此，将上式写成线性方程组的形式：

aⁱ[d1d2d3d4d5d6d7d8d9d10d11d12]^t＝0

其中，aⁱ矩阵如下：

通过联立所有白色小方格的观测方程，我们可以求得d1～d12的值。由于该方程是尺度无关的，会有无穷多解，因此我们需要通过d12的值来确定d1～d11的值，从而得到唯一的解。实际上，d12的值就为标定板坐标系的原点至相机镜头平面的垂直距离，可以通过直尺测量。至此，我们求得了td矩阵。

分解图像坐标系至标定板坐标系的变换矩阵td，得到矩阵tb和tc：

由于td的前三列是由tb和tc的前三列通过矩阵相乘得到的，因此我们先分解由td的前三列构成的子矩阵td’。具体的分解方法为矩阵的rq分解，将该子矩阵分解为一个上三角矩阵r和正交矩阵q的乘积：

td’＝rq

由rq分解的唯一性可知，矩阵r就为矩阵tb，矩阵q就为矩阵tc的前三列，而最后一列的三个元素也可以通过td＝tbtc关系得到。因此，我们求得了矩阵tb和tc，再对tc求逆即得相机坐标系至标定板坐标系的变换矩阵tc^-1。

过程2：求解标定板坐标系至激光雷达坐标系的变换矩阵ta：

同样的，根据观测数据和坐标变换关系，我们可以得到如下三个方程：

xaⁱ＝t1xⁱ+t2yⁱ+t3zⁱ+t4

yaⁱ＝t5xⁱ+t6yⁱ+t7zⁱ+t8

zaⁱ＝t9xⁱ+t10yⁱ+t11zⁱ+t12

通过联立所有白色小方格的观测方程，我们可以求得t1～t12的值，即得到了矩阵ta。

过程3：求解相机坐标系至激光雷达坐标系的变换矩阵te：

由pⁱ＝tc^-1pcⁱ和paⁱ＝tapⁱ

可得：paⁱ＝tatc^-1pcⁱ

因此，te＝tatc^-1

至此，得到了矩阵te即为所求。

通过过程1～过程3，我们就得到了相机和激光雷达的外参数te。

本发明实施例还提供一种可读存储介质，以及一种数据处理装置。本发明的可读存储介质存储有计可执行指令，可执行指令被数据处理装置的处理器执行时，实现上述外参数标定方法。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件(例如处理器)完成，所述程序可以存储于可读存储介质中，如只读存储器、磁盘或光盘等。上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中的普通技术人员，在不脱离本发明的精神和范围内，可以做出若干变形和改进，故本发明的保护范围当视后附的申请专利范围所界定者为准。