一种参数标定方法及其装置、处理设备与流程

本发明涉及传感器标定技术领域，特别涉及一种参数标定方法及其装置、处理设备。

背景技术：

在自动驾驶、机器人等人工智能领域，为了提高车辆或机器人等智能设备对周边环境的环境感知和定位能力，将多种传感器进行融合是一种较为重要的技术，其中以激光雷达为代表的测距传感器和以摄像头为代表的图像传感器在环境感知和定位方面具有互补特性，是目前人工智能领域最为常用的两种传感器。为了对激光雷达和摄像头的信息进行融合，需要预先标定激光雷达与摄像头之间的外参，外参是两个传感器的坐标系之间的相对变换，包括旋转矩阵和平移向量。

激光雷达测量得到的是三维激光点云数据，而摄像头测量得到的是二维图像，目前对激光雷达和摄像头进行标定的方式主要是借助于例如棋盘格这样的工具，该种标定方式存在以下技术缺陷：

缺陷1、需要准备专门的道具(比如棋盘格)，并且需要按照要求摆放，实现和操作较为复杂。

缺陷2、求解外参的过程中需要进行迭代优化，无法确保计算得到的外参对应全局最优解。

技术实现要素：

鉴于上述技术问题，本发明提供一种参数标定方法及其装置、处理设备，以解决现有标定技术存在的需要准备特定道具以及无法得到外参最优解的技术问题。

本发明实施例，第一方面，提供一种参数标定方法，靶标包含多个相交的平面且多个平面的多条交线经过同一个交点，所述多条交线所在的坐标系称为虚拟坐标系，所述方法包括：

接收激光雷达对所述靶标进行激光扫描所得到的激光点云，从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；

接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；

根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。

本发明实施例，第二方面，提供一种参数标定装置，靶标包含多个相交的平面且多个平面的多条交线经过同一个交点，所述多条交线所在的坐标系称为虚拟坐标系，所述装置包括：

第一旋转矩阵计算单元，用于接收激光雷达对所述靶标进行激光扫描所得到的激光点云，从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；

第二旋转矩阵计算单元，用于接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；

第三旋转矩阵计算单元，用于根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。

本发明实施例，第三方面，提供靶标包含多个相交的平面且多个平面的多条交线经过同一个交点，所述多条交线所在的坐标系称为虚拟坐标系，处理设备包括第一通信单元、第二通信单元和处理单元，其中：

第一通信单元，用于接收激光雷达对所述靶标进行激光扫描所得到的激光点云，并将所述激光点云发送给处理单元；

第二通信单元，用于接收摄像头对所述靶标进行拍摄得到的图像，并将所述图像发送给处理单元；

处理单元，用于从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。

本发明实施例提供的技术方案，一方面，仅需要选择一个具有特定几何空间结构靶标即可，可以在实际生活环境中寻找即可得到，例如建筑物的墙角、箱子等，靶标的选取更灵活、更加随意，不需要像现有技术需要具备特定的某一类专业道具；另一方面，在计算激光雷达坐标系和摄像头坐标系之间的外参时，计算第一旋转矩阵、第二旋转矩阵均可计算出解析解，不需要进行迭代优化，从而不会陷入局部极小值，根据第一旋转矩阵和第二旋转矩阵可以直接得到激光雷达坐标系和摄像头坐标系之间旋转矩阵的解析解，提高准确性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明实施例中参数标定方法的流程图之一；

图2a、图2b和图2c为靶标的一个具体示例；

图3为本发明实施例中计算第一旋转矩阵的方法流程图；

图4为本发明实施例中靶标的一个示意图；

图5为本发明实施例中计算第二旋转矩阵的方法流程图；

图6为本发明实施例中参数标定方法的流程图之一；

图7a～图7e为本发明实施例中靶标的三条交线垂直的情况下计算雷达坐标系和摄像头坐标系之间的外参的示意图；

图8为本发明实施例中参数标定装置1的结构示意图之一；

图9为本发明实施例中参数标定装置1的结构示意图之二；

图10为本发明实施例中处理设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明提供的技术方案，可以广泛应用于同时安装有激光雷达和摄像头的场景的标定，例如，可以应用于智能驾驶、自动驾驶领域(例如商用车、乘用车、物流车等)对车载摄像头和车载激光雷达之间的标定，还可应用于机器人领域对装载在机器人上的摄像头和车载激光雷达之间的标定，本申请对技术方案的应用场景不作严格限定。

实施例一

参见图1，为本发明实施例提供的一种参数标定方法的流程图，该方法中选取的靶标包含多个相交的平面且多个平面的多条交线经过同一个交点，假设将多条交线所在的坐标系称为虚拟坐标系，所述方法包括：

步骤101、接收激光雷达对所述靶标进行激光扫描所得到的激光点云，从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；

步骤102、接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；

步骤103、根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。

本发明实施例中，前述步骤101与步骤102之间没有严格的先后执行顺序，可以先执行步骤101再执行步骤102，也可以先执行步骤102再执行步骤101，也可以同时执行步骤101和步骤102，本申请不作严格限定。

本发明实施例中，可以通过计算机程序实现自动化的在所述图像中标注出所述靶标的多条交线，也可以通过人工在图像中标注所述靶标的多条交线，本申请不做严格限定。

本发明实施例中，所述靶标包括的多个平面的数量没有限制，可以是3个，也可以是4个，只要该多个平面相交的多条交线交于一点即可。例如，可以是相交的三个平面如图2a所示，也可以是相交的四个平面如图2b所示。

在一些可选的实施例中，为便于计算，降低计算量，靶标可以包括三个相互垂直的平面，且该三个平面相交的三条交线相互垂直且交于一点，如图2c所示。图2c所示的靶标相对其他几何结构的靶标在实际生活环境中更容易寻找，例如可以选取一个墙角、一个纸箱、一张桌子、一个柜子等等。

在一些可选的实施例中，所述步骤101中从所述激光点云中检测出所述多条交线，具体实现可如下：采用预置的检测算法从去除了所有已检测平面的三维点的激光点云中检测出当前平面以及归属于该当前平面的三维点，将该当前平面的三维点从激光点云中去除；将该当前平面确定为已检测平面，并继续进行下一个平面的检测，直到检测出所有平面；计算各平面相交的交线得到靶标的多条交线。

前述预置的检测算法可以是随机采样一致性算法(即ransac，randomsampleconsensus)、奇异值分解(svd，singularvaluedecomposition)或者迭代最近点(icp，iterativeclosestpoint)等。

以前述图2c所示的靶标为例，首先，采用随机采样一致性算法从激光点云中检测出第一平面以及归属于第一平面的三维点，将第一平面的三维点从激光点云中去除；其次，采用随机采样一致性算法从去除了第一平面的三维点的激光点云中检测出第二平面以及归属于第二平面的三维点，将第二平面的三维点从激光点云中去除；然后，采用随机采样一致性算法从去除了第一平面、第二平面的三维点的激光点云中检测出第三平面；最后，计算各平面相交的交线。

在一些可选的实施例中，所述步骤101中根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵，具体可通过图3所示的方法流程实现，该流程具体包括：

步骤101a、确定多条交线分别在激光雷达坐标系中的方向向量；

步骤101b、根据所述多条交线的方向向量确定所述虚拟坐标系在激光雷达坐标系中的三个方向向量；

步骤101c、根据虚拟坐标系在激光雷达坐标系中的三个方向向量确定出激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵。

前述步骤101b中，若多条交线的方向向量相互垂直，则直接将多条交线中的其中三条交线的方向向量确定为虚拟坐标系在激光雷达坐标系中的三个方向向量；若多条交线的方向向量不相互垂直，则根据格莱姆-施密特正交化方法对多条交线中的三条交线的方向向量进行正交化处理以得到虚拟坐标系在激光雷达坐标系中的三个方向向量。

以图4所示的三条交线为例，用ex、ey、ez表示三条交线在虚拟坐标系中的方向向量，三条交线的交点为用o(x0，y0，z0)表示，激光雷达坐标系的原点为(0，0，0)；若ex、ey、ez相互垂直则ex、ey、ez即直接构成虚拟坐标系，若ex、ey、ez不相互垂直，则通过格莱姆-施密特正交化方法对ex、ey、ez进行正交化处理即得到虚拟坐标系的三个方向向量。根据下式(1)和式(2)即可得到激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵和第一平移向量

式(1)中，(a1,b1,c1)、(a2,b2,c2)和(a2,b2,c2)分别表示ex、ey、ez的单位方向向量。

在一些可选的实施例中，所述步骤102中根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵，具体可通过如图5所示的流程实现，流程包括：

步骤102a、根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出多条交线分别在摄像头坐标系的方向向量；

步骤102b、根据多条交线在摄像头坐标系的方向向量确定所述虚拟坐标系在摄像头坐标系中的三个方向向量；

步骤102c、根据虚拟坐标系在摄像头坐标系中的三个方向向量确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵。

所述步骤102b中，若多条交线的方向向量相互垂直，则直接将多条交线中的三条交线的方向向量确定为虚拟坐标系在摄像头坐标系中的三个方向向量；若多条交线的方向向量不相互垂直，则根据格莱姆-施密特正交化方法对多条交线中的三条交线的方向向量进行正交化处理以得到虚拟坐标系在摄像头坐标系中的三个方向向量。

在一些可选的实施例中，例如前述图1、图3和图5所示的方法流程中还可进一步包括步骤104～步骤106，步骤104与步骤105之间没有严格的先后执行顺序，可以先执行步骤104再执行步骤105，也可以先执行步骤105再执行步骤104，也可以同时执行步骤104和步骤105，如图6所示，其中：

步骤104、根据所述多条交线的交点在激光雷达坐标系中的坐标确定激光雷达坐标系和虚拟坐标系之间的第一平移向量；

步骤105、在其中一条交线上选取一个非交点的位置点作为标志点，并在图像平面(图像平面是指在成像点上与光轴垂直的平面)中标注所述标志点的第一投影点和所述交点的第二投影点；根据所述交点和标志点的距离、摄像头光心到第一投影点的方向向量、摄像头光心到第二投影点的方向向量、正弦定理，确定虚拟坐标系和摄像头坐标系之间的第二平移向量；

步骤106、根据所述第一平移向量和第二平移向量确定所述激光雷达坐标系和摄像头坐标系之间的平移向量。

用表示激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵，用表示激光雷达坐标系和虚拟坐标系之间的第一平移向量，用表示摄像头坐标系和虚拟坐标系之间的第二旋转矩阵，用表示摄像头坐标系和虚拟坐标系之间的第二平移向量。可以根据以下公式(3)和公式(4)即可得到激光雷达坐标系和摄像头坐标系之间的旋转矩阵和平移向量

为便于本领域技术人员了解本发明实施例具体如何得到第二旋转矩阵，下面以靶标包含三个相交平面，且三个相交平面的三条交线交于一点的例子为例进行详细描述，以示例1为例三条交线相互垂直于一点，以示例2为例三条交线不相互垂直。本领域技术人员可以基于示例1和示例2的相同原理，结合普通的数学知识即可得到其它多个相交平面的实施例，在此不再一一列举。

示例1

如图7a所示的场景，选取一个靶标，该靶标包含三个相互垂直的平面且三条交线相互垂直于一点o(例如选取的靶标可以是一个墙角或一个纸箱或一个大型柜子)，车辆上安装有车载激光雷达和车载摄像头。接收激光雷达对靶标进行激光扫描所得到的激光点云，从激光点云中检测出三条相互垂直的交线如图7b所示；接收摄像头对所述靶标进行拍摄得到图像并在图像中标注出三条相互垂直的交线，如图7c所示。优选地，为了确保检测出的三条交线相互垂直，可以在从激光点云中检测出三条交线后，对该三条交线进行调整以确保三条交线相互垂直。

如图7d所示，将三条交线所在的坐标系称为虚拟坐标系，由于三条交线相互垂直，可以将三条交线的方向向量作为虚拟坐标系的三个方向向量，将三条交线在摄像头坐标系中的方向向量标记为ex、ey、ez，即ex、ey、ez直接构成虚拟坐标系在摄像头坐标系中的三个方向向量，ex、ey、ez构成虚拟坐标系，它们互相垂直ex⊥ey、ex⊥ez、ey⊥ez。

将摄像头的光心记为c，用(p,dx,dy,dz)表示三条交线在视角c下的观测量，其中，o′表示交点o在归一化图像平面上的第二投影点，光心c到第二投影点o′的向量用p表示，为便于计算，在本发明实施例中，可以采用齐次坐标来表示o′，也就是说o′的第三维坐标为1。向量dx＝[cosθx,sinθx,0]^t、dy＝[cosθy,sinθy,0]^t、dz＝[cosθz,sinθz,0]^t表示三条交线在图像平面上投影的单位方向向量，其中θx、θy、θz表示三条交线在图像上的投影对应的角度。

基于靶标在摄像头中的成像原理可知，向量ex位于向量p和向量dx张成的平面上，向量ey位于向量p和dy张成的平面上，向量ez位于向量p和dz张成的平面上，即可以表示为ex∈span(p,dx)、ey∈span(p,dy)、ez∈span(p,dz)。因此，ex可以写成p和dx的线性组合，ey可以写成p和dy的线性组合；ez可以写成p和dz的线性组合，定义三组基ex、ey、ez和三组组合系数ax、ay、az，即可得到以下关系：

其中，x、y、z是未知变量，将向量ex、ey和ez表示为如下式(5)所示：

通过约束ex⊥ey、ex⊥ez、ey⊥ez消除变量y和z，得到一个关于x的一元二次方程，具体如下：

由ex⊥ey可以推导出y的表达式，推导过程如下：

其中式(6)中，为矩阵的第i行第j列的元素，在约束ex⊥ey中，方向向量的长度可以是任意的，因此组合系数可以写成式(7)：

其中公式(7)中，组合系数ay和方向向量ex是关于变量x的线性函数。

同样地，由ex⊥ez可以推导出z的表达式，推导过程如下：

其中公式(8)中，是矩阵的第i行第j列的元素。在约束ex⊥ez中，方向向量的长度可以是任意的，因此组合系数可以写成式(9)：

式(9)中，组合系数az和方向向量ez是关于变量x的线性函数。

同样地，由ey⊥ez可以推导出以下关系：

其中式(10)中，是矩阵的第i行第j列的元素。

将ay和az代入到上式，得到x的一元二次方程如下：

通过求根公式可以得到x的解析解，将x代入到前述各公式中即可得到ax、ay、az、ex、ey、ez。

将ex、ey、ez构成的坐标系作为一个虚拟坐标系，摄像头坐标系和激光雷达坐标系之间的相对旋转可以分解成两个旋转矩阵的合成：

式(12)中，参数的上标和下标中的cam、lid、vir分别代表摄像头坐标系、激光雷达坐标系、虚拟坐标系，表示摄像头坐标系与激光雷达坐标系之间的旋转矩阵，表示虚拟坐标系与激光雷达坐标系之间的第一旋转矩阵，表示摄像头坐标系与虚拟坐标系之间的第二旋转矩阵，在前述步骤101中即可直接得到，在此不再赘述。

下面对示例1中如何得到激光雷达坐标系与摄像头坐标系之间的平移向量进行描述：

首先，在一条交线ex选取一个标志点b，该标志点b与交点o之间的距离用d表示；在图像平面中标注标志点b的第一投影点b’，从摄像头光心c到第一投影点b’的向量用pmarker表示，摄像头坐标系与虚拟坐标系之间的第二平移向量用表示，其中其中s为尺度因子，如图7e所示。该pmarker可以通过标志点b在归一化图像平面上的齐次坐标直接得到，根据余弦定理计算图7e中的角度α、β、γ可如下：

根据正弦定理可以计算得到尺度因子如下：

摄像头坐标系与激光雷达坐标系之间的平移向量用表示，可以通过结合两个平移变换得到，计算如下：

式(15)中，为虚拟坐标系与激光雷达坐标系之间的第一平移向量，为摄像头坐标系与虚拟坐标系之间的第二平移向量。

示例2

在示例2中，将三条交线在摄像头坐标系中的方向向量标记为ex、ey、ez，记ex与ey的夹角为θxy；ex与ez的夹角为θxz；ey与ez的夹角为θyz。

由ex与ey的夹角为θxy，可以推导出式(16)所示的关于x和y的二元四次方程：

同理，由ey与ez的夹角为θyz，可以推导出如式(17)所示的关于y和z的二元四次方程：

同理，由ez与ez的夹角为θxz，可以推导出如式(18)所示的关于x和z的二元四次方程：

联立式(16)～式(18)所示的三个二元四次方程，即可得到如式(19)所示的三元四次方程组，通过代数几何方法即可求解出变量x，y和z，从而可以计算出三条交线在摄像头坐标系中的方向向量为ex、ey、ez。

最后，再根据按照格莱姆-施密特正交化方法将三条交线的方向向量ex、ey、ez进行正交化处理得到互相垂直的三个方向向量e’x、e‘y、e’z，该e’x、e‘y、e’z即为虚拟坐标系在摄像头坐标系中的三个方向向量。

在示例2中，计算激光雷达坐标系与摄像头坐标系之间的平移向量的原理如示例1所示，在此不再赘述。

实施例二

基于前述实施例一提供的参数标定方法的相同构思，本发明实施例二提供一种参数标定装置1，所述参数标定装置1的结构如图8所示，选取的靶标包含多个相交的平面且多个平面的多条交线经过同一个交点，所述多条交线所在的坐标系称为虚拟坐标系，所述装置具体包括：

第一旋转矩阵计算单元11，用于接收激光雷达对所述靶标进行激光扫描所得到的激光点云，从所述激光点云中检测出所述多条交线，根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵；

第二旋转矩阵计算单元12，用于接收摄像头对所述靶标进行拍摄得到的图像；在所述图像中标注出所述靶标的多条交线，根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵；

第三旋转矩阵计算单元13，用于根据所述第一旋转矩阵和第二旋转矩阵，确定所述激光雷达坐标系和摄像头坐标系之间的旋转矩阵。

在一些可选的实施例中，第一旋转矩阵计算单元11根据所述多条交线确定激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵，具体包括：确定多条交线分别在激光雷达坐标系中的方向向量；根据所述多条交线的方向向量确定所述虚拟坐标系在激光雷达坐标系中的三个方向向量；根据虚拟坐标系在激光雷达坐标系中的三个方向向量确定出激光雷达坐标系和虚拟坐标系之间的第一旋转矩阵。具体实现可参见前述实施例一中步骤101具体实现方案的相关内容，在此不在赘述。

在一些可选的实施例中，第二旋转矩阵计算单元12根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵，具体包括：根据所述多条交线的几何空间结构、所述靶标在摄像头中的成像原理确定出多条交线分别在摄像头坐标系的方向向量；根据多条交线在摄像头坐标系的方向向量确定所述虚拟坐标系在摄像头坐标系中的三个方向向量；根据虚拟坐标系在摄像头坐标系中的三个方向向量确定出摄像头坐标系和虚拟坐标系之间的第二旋转矩阵。具体实现可参见前述实施例一中步骤102具体实现方案的相关内容，在此不在赘述。

在一些可选的实施例中，所述装置还可进一步包括第一平移向量计算单元14、第二平移向量计算单元15和第三平移向量计算单元16，如图9所示，其中：

第一平移向量计算单元14，用于根据所述多条交线的交点在激光雷达坐标系中的坐标确定激光雷达坐标系和虚拟坐标系之间的第一平移向量；

第二平移向量计算单元15，用于在其中一条交线上选取一个非交点的位置点作为标志点，并在图像平面中标注所述标志点的第一投影点和所述交点的第二投影点；根据所述交点和标志点的距离、摄像头光心到第一投影点的方向向量、摄像头光心到第二投影点的方向向量、正弦定理，确定虚拟坐标系和摄像头坐标系之间的第二平移向量；

第三平移向量计算单元16，用于根据所述第一平移向量和第二平移向量确定所述激光雷达坐标系和摄像头坐标系之间的平移向量。

在一些可选的实施例中，所述第一旋转矩阵计算单元11从所述激光点云中检测出所述多条交线，具体包括：采用预置的检测算法从去除了所有已检测平面的三维点的激光点云中检测出当前平面以及归属于该当前平面的三维点，将该当前平面的三维点从激光点云中去除；将该当前平面确定为已检测平面，并继续进行下一个平面的检测，直到检测出所有平面；计算各平面相交的交线得到靶标的多条交线。

在一些可选的实施例中，本发明实施例二中，所述靶标包含三个相交平面，三个平面的三条交线交于一点，具体可参见实施例一中的示例1和示例2，在此不再赘述。

实施例三

本发明实施例三提供一种处理设备2，所述处理设备2包括第一通信单元21、第二通信单元22和处理单元23，如图10所示，该处理设备2可以是一种计算机设备、微处理设备等，所述第一通信单元21和第二通信单元22可以为处理设备2的通信模块，例如可以是天线，处理单元23可以为处理设备2的cpu、arm处理器等。其中第一通信单元21与激光雷达通信连接，第二通信单元22与摄像头通信连接，第一通信单元21和第二通信单元22分别与处理单元23通信连接：

第一通信单元21，用于从激光雷达接收所述激光雷达对靶标进行激光扫描所得到的激光点云，并将所述激光点云发送给处理单元23；

第二通信单元22，用于从摄像头接收所述摄像头对所述靶标进行拍摄得到的图像，并将所述图像发送给处理单元23；

处理单元23，用于根据所述激光点云检测出所述靶标中具有特定几何空间结构的特征部位，并获取所述特征部位在激光雷达坐标系中的第一坐标；在图像平面中标注出所述靶标的所述特征部位，得到所述特征部位在所述图像中的第二坐标；根据所述特征部位的几何空间结构、所述靶标在摄像头中的成像原理和特征部位在图像中的第二坐标，确定所述靶标的特征部位在摄像头坐标系中的第三坐标；根据所述特征部位的第一坐标和第三坐标，得到所述激光雷达坐标系和摄像头坐标系的旋转矩阵。

在一些可选的实施例中，所述处理单元23进一步用于：根据所述多条交线的交点在激光雷达坐标系中的坐标确定激光雷达坐标系和虚拟坐标系之间的第一平移向量；在其中一条交线上选取一个非交点的位置点作为标志点，并在所述图像中标注所述标志点的第一投影点和所述交点的第二投影点；根据所述交点和标志点的距离、摄像头光心到第一投影点的方向向量、摄像头光心到第二投影点的方向向量、正弦定理，确定虚拟坐标系和摄像头坐标系之间的第二平移向量；根据所述第一平移向量和第二平移向量确定所述激光雷达坐标系和摄像头坐标系之间的平移向量。

本发明实施例三中，处理单元23计算前述第一旋转矩阵、第二旋转矩阵、旋转矩阵、第一平移向量、第二平移向量、平移向量具体可参见实施例一中的相关内容，在此不再赘述。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件固件、软件或者他们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。

本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的上述实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括上述实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。