外参标定方法、装置及电子设备与流程

本申请涉及多传感器融合的环境感知技术领域，特别是涉及外参标定方法、装置及电子设备。

背景技术：

环境感知是机器人、自动驾驶、智能制造、智能监控、智慧交通等行业中的核心技术，实现环境感知常用的传感器有激光雷达、相机、毫米波雷达等，其中激光雷达与相机最为常用。各种传感器由于其原理特性不同而各有优势和缺点，为了更好的实现环境感知，通常需要将多种不同传感器的数据融合使用。例如，在自动驾驶行业，可能会需要在同一个路侧设备上同时配备激光雷达与相机设备，通过融合两种传感器的数据，实现对环境内具体的路况等信息的感知。而要实现不同传感器之间的数据融合，首先就要解决各个传感器数据的坐标系统一的问题。也即，需要不同传感器的坐标系之间的旋转平移关系。在实际应用中，在安装不同的传感器设备时，是按照一定的角度或者平移距离等进行安装，但是，实际安装后形成的角度或者距离可能并不是恰好等于某设定值，而是有一定的误差。例如，在某场景中，相机与激光雷达之间的角度可能是30度，距离是50cm，但是，实际安装后，可能是31度，距离是50.3cm，等等。此时，就需要通过一些手段，标定出实际的旋转平移关系，否则，可能会使得环境感知的融合结果也产生误差。

因此，如何简单便捷的获得相机设备与雷达设备坐标系之间的旋转平移关系标定结果，成为需要本领域技术人员解决的技术问题。

技术实现要素：

本申请提供了外参标定方法、装置及电子设备，能够更简单便捷得获得更高精度的外参标定结果。

本申请提供了如下方案：

一种外参标定方法，包括：

获得相机设备对目标标定参照物采集的图像数据，以及雷达设备对所述目标标定参照物采集的点云数据，其中，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体；

根据所述点云数据进行处理，确定出具有不同特定位置特征的多个点云数据集合；

将所述集合中的点云数据投影到所述相机设备采集的图像中；

根据所述集合中的点云数据与在所述相机设备采集的图像中的投影结果之间的重叠度确定标定结果。

一种标定参照物，

所述标定参照物包括多个具有预置颜色并形成预置角度的平面体，所述标定参照物用于对同一环境感知系统中安装的相机设备与雷达设备的坐标系之间的转旋平移关系进行标定。

一种环境感知系统，包括：

相机设备，用于对目标环境进行图像数据采集；

雷达设备，用于对所述目标环境进行点云数据采集；

数据处理设备，用于预先保存所述相机设备坐标系与所述雷达设备坐标系之间的转换关系标定结果，根据所述标定结果将所述相机设备与所述雷达设备采集到的数据进行融合，获得对所述目标环境的感知结果；其中，所述标定结果是通过目标标定参照物获得的，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体。

一种环境感知方法，包括：

预先保存相机设备坐标系与雷达设备坐标系之间的转换关系标定结果，其中，所述标定结果是通过目标标定参照物获得的，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体；

根据所述标定结果将所述相机设备与所述雷达设备采集到的数据进行融合，获得对目标环境的感知结果。

一种外参标定装置，包括：

数据获得单元，用于获得相机设备对目标标定参照物采集的图像数据，以及雷达设备对所述目标标定参照物采集的点云数据，其中，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体；

点云数据集合确定单元，用于根据所述点云数据进行处理，确定出具有不同特定位置特征的多个点云数据集合；

投影单元，用于将所述集合中的点云数据投影到所述相机设备采集的图像中；

标定结果确定单元，用于根据所述集合中的点云数据与在所述相机设备采集的图像中的投影结果之间的重叠度确定标定结果。

一种环境感知装置，包括：

保存单元，用于预先保存相机设备坐标系与雷达设备坐标系之间的转换关系标定结果，其中，所述标定结果是通过目标标定参照物获得的，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体；

感知单元，用于根据所述标定结果将所述相机设备与所述雷达设备采集到的数据进行融合，获得对目标环境的感知结果。

一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

获得相机设备对目标标定参照物采集的图像数据，以及雷达设备对所述目标标定参照物采集的点云数据，其中，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体；

根据所述点云数据进行处理，确定出具有不同特定位置特征的多个点云数据集合；

将所述集合中的点云数据投影到所述相机设备采集的图像中；

根据所述集合中的点云数据与在所述相机设备采集的图像中的投影结果之间的重叠度确定标定结果。

一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

预先保存相机设备坐标系与雷达设备坐标系之间的转换关系标定结果，其中，所述标定结果是通过目标标定参照物获得的，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体；

根据所述标定结果将所述相机设备与所述雷达设备采集到的数据进行融合，获得对目标环境的感知结果。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

通过本申请实施例，可以采用具有预置颜色并形成预置角度的平面体组成标定参照物，然后通过相机设备以及雷达设备对该标定参照物进行数据采集，进而可以从点云数据中确定出具有不同特定位置特征的多个点云数据集合，并分别投影到相机设备采集到的图像中，然后可以根据所述集合中的点云数据与在所述相机设备采集的图像中的投影结果之间的重叠度确定标定结果。通过上述方式，由于标定参照物为三维空间中的物体，而不是二维的标定板，因此，不需要借助更高精度的传感器，即可使得雷达设备获得比较高的数据采集精度。另外，由于多个平面之间具有预置角度以及与之颜色不同这一先验信息，因此，可以从雷达设备采集到的点云数据中获得具体的点云数据所在的位置特征，例如，是否位于某平面，是否位于某特征直线上，等等，进而可以根据这种位置特征信息以及具体点云数据在相机设备采集到的图像中的投影，通过逐渐调整角度、平移距离等，使得两者之间的重叠度符合预置条件，即可获得对应的标定结果。并且，由于标定参照物具有多个平面，因此可以一次性提取出多个角度的特征平面，使得整个标定过程中，相机设备与雷达设备只需要执行一次数据采集操作即可获得满意的标定结果，不需要进行多次采集，也不需要进行多次运算，因此，可以提高效率。

另外，在优选的实现方案中，可以将相机设备采集到的图像进行灰度梯度逆深度变换后的特征与激光点云数据进行匹配，相比于直接使用图像边缘特征来说能使匹配优化更加稳定，更容易获得全局最优解。

再者，在使用同一组标定数据的情况下，可以分为粗标定和精标定两个步骤来解最终的标定结果，相比传统的一次性计算出标定结果的方案来说，可以使得标定精度更高。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的标定系统的示意图；

图2是本申请实施例提供的第一方法的流程图；

图3是本申请实施例提供的标定参照物的示意图；

图4是本申请实施例提供的第一应用系统的示意图；

图5是本申请实施例提供的第二应用系统的示意图；

图6是本申请实施例提供的第二方法的流程图；

图7是本申请实施例提供的第一装置的示意图；

图8是本申请实施例提供的第二装置的示意图；

图9是本申请实施例提供的电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

本申请发明人在实现本申请的过程中发现，如果想要对相机设备与雷达设备坐标系之间的旋转平移关系，则可以以激光雷达的坐标系为基准坐标系，对相机进行外参标定。其中，具体的标定方案包括基于标定板、或基于标定车间标定。对于基于标定板的标定方式，具体的实现方式时，是以平面的标定板作为标定参照物，相机和激光雷达同时对该标定板进行拍摄或者扫描。然后，从相机采集到的图像中提取标定板的角点坐标(或其他特征点坐标)，在激光雷达采集到的点云数据中提取各对应角点的三维空间坐标(或对应的特征点坐标)，然后使用2d-3d坐标对应关系，通过解pnp(相机姿态估计)问题计算出相机和激光雷达的外参。或者，也可以采用棋盘格标定板，从相机采集到的图像中提取棋盘格各个格子角点，利用相机内参标定原理，将角点2d坐标回归到相机3d空间中。同时，在激光点云中提取棋盘格的角点3d坐标，利用icp等方法解出激光雷达与相机的外参。

上述基于标定板的标定方案的缺点在于，标定板是一个二维平面的物体，而激光雷达的激光束打到单平面的物体上时，会存在精度不高的情况。以至于在利用激光雷达采集到的数据对相机设备进行外参标定时，也会带来一定的误差，标定精度不高。

基于标定车间的方法基本与标定板相同，即在用于进行标定的房间墙面上挂多个标定板，相机设备均匀采集多个角度分布下的标定板图像来减少标定误差，采集数据的过程比较繁琐费时、且标定结果不太稳定。

另一种提高标定精度的方案是，引入一个更高精度的第三传感器设备，通过该第三传感器分别标定出相机设备的外参，以及激光雷达设备的外参，然后再通过上述两个标定结果换算出相机设备与激光雷达设备的坐标系之间的旋转平移关系。但是，这种方案仍然会比较繁琐。

针对上述各种方案中存在的问题，在本申请实施例中提供了能够更加方便快捷获得更高精度标定结果的方案。在该方案中，首先对标定参照物进行了改进，并在该改进后的标定参照物的基础上，提供了具体的标定方法。其中，该标定参照物可以由多个具有预置颜色并形成预置角度的平面体组成。这样，由于存在多个具有预置颜色的平面，便于识别各自之间的交界线，并且具有相互成一定角度的先验信息，因此，可以很方便的从雷达设备采集到的点云数据中，确定出不同点云的位置特征，例如，某点云位于其中哪个平面上，是否位于某直线(不同平面之间的交界线或者平面的边界线)上，等等，进而就可以利用这种位置特征信息向相机设备采集到的图像进行投影，并根据点云数据与对应的投影之间的重叠度，完成最终的标定。通过这种方式，不需要进行改变角度进行多次数据采集，也不需要借助于其他更高精度的第三传感器，就可以实现高精度的外参标定。

具体实现时，从系统架构角度而言，首先，具体需要标定的对象可以是相机设备的外参，该相机设备需要与一雷达设备合作，进行某场景下的环境感知。因此，相机设备与雷达设备通常预先按照一定的规则进行安装，例如，在路侧设备对路况信息进行采集的场景下，可以在同一个路侧设备上同时安装相机设备与雷达设备，这两个设备之间可能会呈一定的角度，并且可能具有一定的平移距离，标定的目的就是准确的识别出两者之间的实际角度，以及平移距离。因此，在具体进行标定时，如图1所示，相机设备101与雷达设备102可以按照实际安装时所呈的角度以及距离进行放置，同时对标定参照物进行数据采集。另外，还可以提供一处理设备103(例如，一台电脑等，其中可以运行有具体用于进行标定的应用程序)，相机设备与雷达设备在采集到关于标定参照物的一组数据后，可以传给该处理设备，由处理设备进行具体的标定操作，得到标定结果。其中，具体的标定结果可以是一组数据，该数据用于描述相机设备坐标系相对于雷达设备坐标系的角度(多个方向上的角度)、距离(多个方向上的距离)等信息。在完成标定以后，具体的相机设备以及雷达设备就可以按照标定时所呈的角度以及平移距离安装到实际的应用场景中，并且可以将具体的标定结果提供给实际应用场景中的数据融合处理系统，该数据融合处理系统便可以根据标定结果对相机设备以及雷达设备实际采集到的数据进行融合，也即，将相机设备实际采集到的数据按照前述标定结果进行旋转、平移处理后，再与雷达设备采集到的数据进行融合，并根据融合结果实现环境感知。

下面对本申请实施例提供的具体实现方案进行详细介绍。

实施例一

该实施例一主要从前述图1中所示的处理设备的角度，提供了一种外参标定方法，该方法的执行主体可以是运行于该处理设备中的计算机程序，或者，还可以是通过硬件的方式固化在处理设备中的处理模块，等等。具体的，参见图2，该方法具体可以包括：

s210：获得相机设备对目标标定参照物采集的图像数据，以及雷达设备对所述目标标定参照物采集的点云数据，其中，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体；

本申请实施例中具体进行标定的目的是，在相机设备的内参为已知的情况下，获取雷达设备(例如，激光雷达)坐标系与相机设备坐标系之间的转换关系，这种转换关系可以通过相机设备坐标系相对于雷达设备坐标系的旋转欧拉角以及平移距离来表示。也就是说，需要确定出，在将相机设备的坐标系向何种方向旋转多少度，在各平移方向上需要平移多少距离，能够使其与雷达设备的坐标系重合。只有在两者之间的坐标系重合的情况下，才能够将两者实际采集到的数据进行融合，实现对具体环境空间的感知。

具体在进行标定时，可以预先进行一些准备阶段的工作，具体包括：可以将相机设备和雷达设备均对准标定参照物，保证雷达设备能扫描到各个平面，同时在相机设备中各个平面面清晰可见。然后，便可以启动具体的雷达设备以及相机设备，对该标定参照物进行数据采集，分别获取到雷达设备以及相机设备所采集到的一组数据。其中，所述一组数据具体可以包括：雷达设备旋转一周采集到的点云数据(雷达设备通常具有旋转部件，在旋转部件的转动下，雷达设备发出的激光光束也会采集到360度的点云数据)，以及相机设备对标定参照物进行拍摄后，从中提取出的其中一帧图像数据。

在本申请实施例中，具体的标定参照物是由多个具有预置颜色并形成预置角度的平面体，其中，具体实现时，具体的角度、颜色等可以根据实际需求而定，而在其中一种优选的实现方式下，可以通过多个相互正交的平面体作为标定参照物。也就是说，各个平面之间的角度为90度。而关于颜色信息，一种方式下，可以是同一平面体的颜色相同，而不同的平面体之间具有不同的颜色。或者，也可以是同一平面体的颜色相同，具有相交关系的两个平面体之间具有不同的颜色，也即，只要能够便于通过颜色区分出不同平面之间的交界处即可。例如，如图3所示，在一种具体的实现方式下，标定参照物具体可以是三正交平面，三个平面的颜色可以分别为三原色之一，也即，分别涂成红、绿、蓝三种颜色。需要说明的是，图3所示的标定参照物总共具有三个平面，不是一个长方体，而是相当于将长方体沿着对角线切掉一半，剩余的三个面，其内表面分别涂成红、绿、蓝三种颜色。当然，在实际应用中，也可以采用更多的平面来进行实现。总之，每个平面都可以具有单一颜色，并且不同平面的颜色不同，以便于从具体采集到的数据中识别出各个平面。并且，由于多个平面之间具有相互正交的先验信息，因此，也可以便于识别出具体的点或者像素所在的位置特征，例如，是否位于其中某个平面上，是否位于某两个平面之间的交界线上，是否位于某个平面的边界线上，等等。

s220：根据所述点云数据进行处理，确定出具有不同特定位置特征的多个点云数据集合；

在获取到雷达设备以及相机设备分别采集到的一组数据后，便可以利用这组数据执行具体的标定过程。其中，在具体进行标定时，首先可以根据所述点云数据进行处理，确定出具有不同特定位置特征的多个点云数据集合。

其中，关于激光雷达采集到的数据，由于采集到的初始数据可能是激光雷达旋转一周采集到的结果，但是标定参照物仅在其中一定的扫描角度内存在，而只有标定参照物所在的区域才是需要关注的区域，其他部分数据为无效数据。因此，还可以首先粗略划定roi区域，将落在标定参照物上的点云提取出来，然后再分别确定具体的点云数据所在的特定位置特征。

具体的特定位置特征可以有多种，例如，其中一种情况可以是：对于某个点而言，是否位于标定参照物中的某个具体的平面上。具体如，假设标定参照物一共包括三个平面，分别为平面a、b、c，在雷达设备采集到具体的点云数据后，可以通过具体的处理操作，识别出其中哪些点位于平面a上，哪些点位于平面b上，哪些点位于平面c上，等等。也就是说，可以根据所述点云数据进行处理，确定出具有分别位于不同平面体上的点云数据，进而确定出多个不同的平面体对应的多个第一点云数据集合。后续可以根据这些特征数据投影到相机设备采集到的图像数据中，然后根据具体投影结果的重合度，来得到具体的标定结果。其中，由于具体的位置特征是点云所在的平面的特征，因此，具体在进行投影时，可以直接将所述多个第一点云数据集合中的点云数据，分别投影到所述相机设备采集到的彩色原图的三通道图像中。

其中，具体在确定具有分别位于不同平面体上的点云数据时，也可以有多种方式。例如，其中一种方式下，可以是根据所述雷达设备采集到的与所述标定参照物相关的点云数据进行拟合(例如，具体可以根据ransca算法进行拟合，等等)，得到分别对应多个不同平面体的平面方程，并分割出分别属于不同平面体的点云数据。当然，由于激光雷达采集到的点云数据中包括的点可能会非常多且密集，如果全部进行匹配运算，则运算量会非常大，且可能会显得没有必要。因此，在可选的实施方式下，还可以根据所述多个平面方程平面的尺寸信息，按照预置的间隔分别对各平面体中的点云数据进行采样，得到分别对应不同平面体的第一点云数据集合。例如，在采用三正交面作为标定参照物的情况下，可以根据三个平面方程，以及平面尺寸l、w、h，分别以间隔la均匀采样各个平面上的点，产生平面点集合pp＝{p_n^i∈【plane】^i│i∈{0,1,2}}，其中i表示三个平面，n表示每个平面上采样的点数目。

需要说明的是，在进行平面方程拟合的过程中可能会存在一些误差，例如，拟合出的各个平面方程之间的角度可能并不是严格的与标定参照物中各个平面之间的实际角度相等。因此，为了进一步提高标定的精度，还可以在拟合出所述平面方程后，按照所述多个平面体之间的角度先验信息，对所述平面方程进行校准。例如，如果标定参照物中的各个平面相互正交，则可以利用各个平面相互正交的先验信息，以角度步长θ旋转各个平面方程，调整平面方程的参数，以使得各个平面方程的法向相互正交，且各自平面上的点到平面的距离之和达到最小，以此来达到校准正交平面方程的目的。

关于具体的点云数据所在的特定位置特征，除了点云与所在平面之间的位置关系，还可以包括具体点云与所在特征直线的位置关系，这里的特征直线可以包括两个平面之间的交界线，单个平面的边界线，等等。因此，具体在确定具有不同特定位置特征的多个点云数据集合时，还可以确定分别位于不同特征直线上的点云数据，并确定多个不同的特征直线对应的多个第二点云数据集合。

其中，具体在确定分别位于不同特征直线上的点云数据时也可以有多种实现方式。例如，在其中一种方式下，可以是在之前拟合出的多个不同平面体对应的平面方程的基础上，根据所述不同平面体对应的平面方程计算出两两平面之间的交线方程，以及平面体的边界线方程，然后，可以在各条直线上按照预置的间隔分别对各条直线上的点云数据进行采样，得到分别对应不同直线的第二点云数据集合。

例如，在采用三正交面作为标定参照物的情况下，可以根据三个平面方程以及平面尺寸，分别求出两两平面间的交线方程、和平面边界线方程，在各个直线上以间隔lb均匀采样生成点集，得到pl＝{p_m^j∈【line】^j│j∈{0,1,2…9}}，其中j表示平面边线加上交线共9条，m表示每条线上采样的点的数目。

s230：将所述集合中的点云数据投影到所述相机设备采集的图像中；

在得到具体的点云数据所在的特定位置特征，并得到多个点云数据集合(其中，同一集合中的点云数据具有相同的位置特征，例如，位于同一平面，或者同一直线，等等)后，可以将集合中的点云数据投影到所述相机设备采集的图像中。

其中，具体在投影的过程中，可以单独利用点云数据所在的平面特征或者直线特征进行投影，并进行标定，或者，还可以将平面特征与直线特征相结合，得到更精确的标定结果。

具体的，如果利用点云数据所在的平面特征进行投影，则可以将所述多个第一点云数据集合中的点云数据，分别投影到所述相机设备采集到的彩色原图的三通道图像中。其中，由于每个像素点都有3个值表示，所以称为三通道图像。例如rgb图片即为三通道图片，rgb色彩模式是工业界的一种颜色标准，是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。而在本申请实施例中，由于标定参照物中多个不同的平面分别具有不同的颜色，而同一平面上各个像素点的颜色相同，因此，三通道值也是相同的，进而可以确定出哪些像素点分别位于哪个平面上。因此，在确定出雷达设备采集到的点云数据所在的平面特征，并投影到该三通道图像中之后，可以根据具体的点云数据与对应的投影结果之间的重叠度，来确定相机设备与雷达设备之间的坐标重叠度，如果重叠度不符合要求，则可以通过逐步调整角度、平移距离等方式来提升其重叠度，当重叠度达到最大时，则可以得到具体的标定结果。

而如果利用点云数据所在的直线特征进行投影，则还可以预先对相机设备采集到的图像数据进行预处理，得到具有特征直线信息的图像数据，然后，将所述多个第二点云数据集合中的点云数据，分别投影到所述具有特征直线信息的图像中。

其中，具体在获得具有特征直线信息的图像数据时，可以有多种实现方式，例如，一种实现方式下，可以将所述相机设备采集到的彩色图像数据进行灰度化处理，并在每个像素的第一预置数目邻域中计算灰度值的梯度值，并取其中一邻域上的梯度最大值作为对应像素上的梯度值，得到梯度图像，以便根据所述梯度值确定所述特征直线信息。其中，所谓的梯度图像具体可以是一张与相机设备采集到的原始图像大小相同的图像，只是每个像素上对应的信息不再是每个像素上的三通道颜色信息值，而是灰度梯度值。这种灰度梯度值用于表示一个像素点与相邻的其他像素点之间在灰度上的差别。而在本申请实施例中，由于标定参照物在同一个平面上的颜色是相同的，不同的平面则具有不同的颜色，因此，如果一个像素点不是某个平面与另一个平面的交界处，则该像素点与周围各个像素点之间的梯度灰度为0。而当一个像素点位于某个平面与另一个平面的交界处，或者某个平面的边界线上时，则该像素点与周围的8个像素点中其中某个像素点之间的灰度梯度可能是255，或者其他的非0数值。因此，可以通过这种灰度梯度值的计算，确定出哪些像素点位于两个不同平面的交界线上，哪些像素点位于平面的边界线上，各自属于哪两个平面的交界线，哪个平面的哪条边界线，等等。

在得到图像数据中的上述直线特征后，便可以将雷达设备中具有直线特点的点云数据分别投影到所述具有特征直线信息的图像数据中。或者，具体实现时，由于通过上述计算灰度梯度的方式来识别图像数据中的直线特征的像素点时，识别出的边界线、交界线等可能会非常“窄”，例如，只有一个像素的宽度。这对于后续的具体投影匹配可能是不利的，因此，在优选的实施方式中，在计算出上述灰度梯度图像之后，还可以在所述梯度图像中计算每个像素在第二预置数目(例如，24邻域)邻域的逆深度变换信息，得到逆深度变换图，以便根据所述逆深度变换信息确定所述特征直线信息。也就是说，通过逆深度变换，可以将不同平面之间的交界线处的像素点进行泛化，使得交界线变“宽”，以便于后续的步骤进行比对。其中，逆深度变换图也是一张与相机设备采集到的原始图像大小相等的图，其中每个像素点上的信息也可以是灰度梯度信息，但是，相对于灰度梯度图而言，具体的“直线”变宽。例如，在灰度梯度图中，某些像素点的灰度梯度值可能是(…0，0，0，255，0，0，0…)，而进行逆变换之后，可能表示为(…0，0，50，100，255，100，50，0，0…)，也即，使得可能位于交界线上的像素点变多，这样，后续在进行投影比对的过程中，可以更高效地获得标定结果。

s240：根据所述集合中的点云数据与在所述相机设备采集的图像中的投影结果之间的重叠度确定标定结果。

在完成具体的点云数据集合中的点云数据向相机设备采集的图像中的投影之后，可以根据点云数据与投影结果之间的重叠度来确定具体的标定结果。其中，具体在确定标定结果时，可以首先确定出旋转欧拉角初始值、平移向量初始值，例如，具体可以根据相机设备与雷达设备在安装时的大略的角度以及距离确定上述初始值。在该初始值的位置，可以计算获得具体集合中的点云数据与投影结果之间的重合度。之后，可以在该初始值附近，按照预置的角度步长以及平移步长进行搜索，分别确定出在每一次搜索时，具体集合中的点云数据与投影结果之间的重合度。然后，可以从中获得重合度符合预置条件时(例如，重合度达到最大值)对应的旋转欧拉角以及平移距离，进而就可以将旋转欧拉角以及平移距离确定为标定结果。

例如，在利用具有平面特征的第一点云数据集合中的点云数据进行投影时，可以在所述第一点云数据集合中的点云数据与在所述三通道图像中的投影之间的重叠度符合预置条件时，按照对应的旋转欧拉角以及平移向量确定第一标定结果。

在利用具有直线特征的第二点云数据集合中的点云数据进行投影时，可以在所述第二点云数据集合中的点云数据与在具有直线特征信息的图像数据中的投影之间的重叠度符合预置条件时，按照对应的旋转欧拉角以及平移向量确定第一标定结果。其中，具体的具有直线特征信息的图像数据可以包括前述灰度梯度图或逆深度变换图，等等。

另外，还可以将具有平面特征的第一点云数据集合与具有直线特征的第二点云数据相结合，得出更精确的标定结果。例如，具体的，可以首先将第一点云数据集合中的点云数据投影到三通道图像中，然后，以安装时的大致角度、平移距离为初始值，按照预置的角度步长以及平移步长进行搜索，在所述第一点云数据集合中的点云数据与在所述三通道图像中的投影之间的重叠度符合预置条件时，按照对应的旋转欧拉角以及平移向量确定第一标定结果。此时获得第一标定结果可以称为“粗标定”结果。例如，具体实现时，首先可以分别提取相机设备采集到的彩色原图中rgb三个通道图，然后根据相机设备和雷达设备的安装先验信息，给定旋转欧拉角和平移向量的大致初始值，并利用相机针孔成像原理将第一点云数据集合中的点云数据分别投影到三个通道的图像中。然后，分别以角度步长0.5度，平移步长10cm在初始值附近做贪婪搜索，得到第一点云数据集合中的点云数据与图像中红、绿、蓝三个面投影重叠最大的值，此时即得到粗标定结果result1＝{roll1,pitch1,yaw1,x1,y1,z1}。

然后，再将第二点云数据集合中的点云数据投影到逆深度变换图像中，以上述第一标定结果为初始值，在所述第二点云数据集合中的点云数据与在具有直线特征信息的图像中的投影之间的重叠度符合预置条件时，按照对应的旋转欧拉角以及平移向量确定第二标定结果，此时得到的结果是在粗标定结果基础上进一步提高精度，因此可以称为“精标定”结果。例如，在前述粗标定结果result1的基础上，利用相机针孔成像原理将第二点云数据集合中的点云数据投影到前述逆深度变换图中。然后，分别以角度步长0.05度，平移步长1cm在result1附近做贪婪搜索，得到第二点云数据集合中的点云数据与逆深度变换图中特征直线的投影重叠最大的值，此时即得到精标定最后结果result＝{roll,pitch,yaw,x,y,z}。

总之，通过本申请实施例，可以采用具有多个具有预置颜色并形成预置角度的平面体组成标定参照物，然后通过相机设备以及雷达设备对该标定参照物进行数据采集，进而可以从点云数据中确定出具有不同特定位置特征的多个点云数据集合，并分别投影到相机设备采集到的图像中，然后可以根据所述集合中的点云数据与在所述相机设备采集的图像中的投影结果之间的重叠度确定标定结果。通过上述方式，由于标定参照物为三维空间中的物体，而不是二维的标定板，因此，不需要借助更高精度的传感器，即可使得雷达设备获得比较高的数据采集精度。另外，由于多个平面之间具有相互预置角度以及预置颜色等先验信息，因此，可以从雷达设备采集到的点云数据中获得具体的点云数据所在的位置特征，例如，是否位于某平面，是否位于某特征直线上，等等，进而可以根据这种位置特征信息以及具体点云数据在相机设备采集到的图像中的投影，通过逐渐调整角度、平移距离等，使得两者之间的重叠度符合预置条件，即可获得对应的标定结果。并且，由于标定参照物具有多个平面，因此可以一次性提取出多个角度的特征平面，使得整个标定过程中，相机设备与雷达设备只需要执行一次数据采集操作即可获得满意的标定结果，不需要进行多次采集，也不需要进行多次运算，因此，可以提高效率。

另外，在优选的实现方案中，可以将相机设备采集到的图像进行灰度梯度逆深度变换后的特征与激光点云数据进行匹配，相比于直接使用图像边缘特征来说能使匹配优化更加稳定，更容易获得全局最优解。

再者，在使用同一组标定数据的情况下，可以分为粗标定和精标定两个步骤来解最终的标定结果，相比传统的一次性计算出标定结果的方案来说，可以使得标定精度更高。

实施例二

该实施例二提供了一种标定参照物，其中，所述标定参照物包括多个具有预置颜色并形成预置角度的平面体，所述标定参照物用于对同一环境感知系统中安装的相机设备与雷达设备的坐标系之间的转旋平移关系进行标定。

具体实现时，所述目标标定参照物可以包括多个相互正交的平面体。

所述目标标定参照物中，同一平面体的颜色相同，不同的平面体之间具有不同的颜色。

或者，同一平面体的颜色相同，具有相交关系的两个平面体之间具有不同的颜色。

具体的，参见图3所示，所述平面体的数目具体可以为三个，且相互正交，颜色分别为三原色之一，也即分别为红、绿、蓝。当然，在实际应用中，也可以是其他颜色，只要易于区分即可。

实施例三

该实施例三是从具体的应用场景的角度，提供了一种环境感知系统，其中，具体的环境感知系统还可以有多种更具体的应用，例如，包括路况信息感知，或者，机器人设备对周围环境的感知，等等。具体的，参见图4，该系统具体可以包括：

相机设备410，用于对目标环境进行图像数据采集；

雷达设备420，用于对所述目标环境进行点云数据采集；

数据处理设备430，用于预先保存所述相机设备坐标系与所述雷达设备坐标系之间的转换关系标定结果，根据所述标定结果将所述相机设备与所述雷达设备采集到的数据进行融合，获得对所述目标环境的感知结果；其中，所述标定结果是通过目标标定参照物获得的，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体。

其中，具体的目标环境可以有多种，例如，在一种具体的应用场景下，所述目标环境可以是目标道路环境，也即，可以通过部署相机设备、雷达设备，实现对道路环境的感知，以便指导车辆自动驾驶，或者为驾驶员提供实时的路况信息，等等。

具体实现时，如图5所示，所述目标道路环境中还包括按照预置的排列方式部署的多个路侧单元rsu；

此时，所述相机设备、雷达设备以及所述数据处理设备可以部署于所述rsu上，另外，所述rsu上还可以部署有无线通信模块；

这样，所述数据处理设备还可以用于，将对所述目标道路环境的感知结果通过所述rsu上的无线通信模块进行广播。

相应的，具体的车辆等交通参与者对象可以通过关联的终端设备(移动终端，车载终端等)收听到具体的路况信息，对于自动驾驶的车辆，可以进行具体的驾驶决策。

或者，另一种方式下，所述相机设备、雷达设备以及所述数据处理设备也可以部署于所述目标道路环境中的交通参与者对象上。此时，如果所述交通参与者对象为自动驾驶类的交通参与者对象，则所述数据处理设备还可以用于，根据对所述目标道路环境的感知结果进行驾驶决策。

实施例四

该实施例四是与实施例三相对应的，从具体的数据处理设备角度，提供了一种环境感知方法，参见图6，该方法具体可以包括：

s610：预先保存相机设备坐标系与雷达设备坐标系之间的转换关系标定结果，其中，所述标定结果是通过目标标定参照物获得的，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体；

s620：根据所述标定结果将所述相机设备与所述雷达设备采集到的数据进行融合，获得对目标环境的感知结果。

关于前述实施例二至实施例四中的未详述部分，可以参见前述实施例一中的记载，这里不再赘述。

与实施例一相对应，本申请实施例还提供了一种外参标定装置，参见图7，该装置具体可以包括：

数据获得单元710，用于获得相机设备对目标标定参照物采集的图像数据，以及雷达设备对所述目标标定参照物采集的点云数据，其中，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体；

点云数据集合确定单元720，用于根据所述点云数据进行处理，确定出具有不同特定位置特征的多个点云数据集合；

投影单元730，用于将所述集合中的点云数据投影到所述相机设备采集的图像中；

标定结果确定单元740，用于根据所述集合中的点云数据与在所述相机设备采集的图像中的投影结果之间的重叠度确定标定结果。

其中，所述相机设备可同时采集到所述多个平面体的图像；所述雷达设备可扫描到所述多个平面体。

其中一种实现方式下，所述点云数据集合确定单元具体可以用于：

根据所述点云数据进行处理，确定出具有分别位于不同平面体上的点云数据，并确定多个不同的平面体对应的多个第一点云数据集合；

所述投影单元具体可以用于：

将所述多个第一点云数据集合中的点云数据，分别投影到所述相机设备采集到的彩色原图的三通道图像中。

其中，所述点云数据集合确定单元在确定具有分别位于不同平面体上的点云数据时，具体可以包括：

拟合子单元，用于根据所述雷达设备采集到的与所述标定参照物相关的点云数据进行拟合，得到分别对应多个不同平面体的平面方程，并分割出分别属于不同平面体的点云数据；

第一采样单元，用于根据所述多个平面方程平面的尺寸信息，按照预置的间隔分别对各平面体中的点云数据进行采样，得到分别对应不同平面体的第一点云数据集合。

为了进一步提升精度，该装置还可以包括：

校准单元，用于在拟合出所述平面方程后，按照所述多个平面体之间的角度先验信息，对所述平面方程进行校准。

此时，具体的标定结果确定单元具体可以用于：

在预置的旋转欧拉角初始值、平移向量初始值附近按照预置的角度步长以及平移步长进行搜索，在所述第一点云数据集合中的点云数据与在所述三通道图像中的投影之间的重叠度符合预置条件时，按照对应的旋转欧拉角以及平移向量确定第一标定结果。

另外，在优选的实现方式下，点云数据集合确定单元还可以用于：

根据所述点云数据进行处理，确定分别位于不同特征直线上的点云数据，并确定多个不同的特征直线对应的多个第二点云数据集合，所述特征直线包括多个正交面之间的交线和/或各平面体的边界线；

所述装置还可以包括：

图像处理单元，用于对所述相机设备采集到的图像数据进行处理，得到具有特征直线信息的图像数据；

所述投影单元还用于：在确定出所述第一标定结果后，将所述多个第二点云数据集合中的点云数据，分别投影到所述具有特征直线信息的图像中；

所述标定结果确定单元还用于：在所述第一标定结果附近，按照预置的角度步长以及平移步长进行搜索，在所述第二点云数据集合中的点云数据与在图像中特征直线上的投影之间的重叠度符合预置条件时，按照对应的旋转欧拉角以及平移向量确定第二标定结果。

另一种方式下，所述点云数据集合确定单元具体可以用于：

根据所述点云数据进行处理，确定分别位于不同特征直线上的点云数据，并确定多个不同的特征直线对应的多个第二点云数据集合，所述特征直线包括多个正交面之间的交线和/或各平面体的边界线；

所述装置还可以包括：

图像处理单元，用于对所述相机设备采集到的图像数据进行处理，得到具有特征直线信息的图像数据；

所述投影单元具体可以用于：

将所述多个第二点云数据集合中的点云数据，分别投影到所述具有特征直线信息的图像中。

其中，所述点云数据进行处理具体可以包括：

拟合单元，用于根据所述雷达设备采集到的与所述标定参照物相关的点云数据进行拟合，得到分别对应多个不同平面体的平面方程；

边界线方程确定单元，用于根据所述不同平面体对应的平面方程计算出两两平面之间的交线方程，以及平面体的边界线方程；

第二采样单元，用于在各条直线上按照预置的间隔分别对各条直线上的点云数据进行采样，得到分别对应不同直线的第二点云数据集合。

其中，所述图像处理单元具体可以用于：

将所述相机设备采集到的彩色图像数据进行灰度化处理，并在每个像素的第一预置数目邻域中计算灰度值的梯度值，并取其中一邻域上的梯度最大值作为对应像素上的梯度值，得到梯度图像，以便根据所述梯度值确定所述特征直线信息。

或者，在优选的实现方式下，所述图像处理单元还可以用于：

在所述梯度图像中计算每个像素在第二预置数目邻域的逆深度变换信息，得到逆深度变换图，以便根据所述逆深度变换信息确定所述特征直线信息。

与实施例四相对应，本申请实施例还提供了一种环境感知装置，参见图8，该装置具体可以包括：

保存单元810，用于预先保存相机设备坐标系与雷达设备坐标系之间的转换关系标定结果，其中，所述标定结果是通过目标标定参照物获得的，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体；

感知单元820，用于根据所述标定结果将所述相机设备与所述雷达设备采集到的数据进行融合，获得对目标环境的感知结果。

另外，本申请实施例还提供了一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

获得相机设备对目标标定参照物采集的图像数据，以及雷达设备对所述目标标定参照物采集的点云数据，其中，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体；

根据所述点云数据进行处理，确定出具有不同特定位置特征的多个点云数据集合；

将所述集合中的点云数据投影到所述相机设备采集的图像中；

根据所述集合中的点云数据与在所述相机设备采集的图像中的投影结果之间的重叠度确定标定结果。

以及另一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

预先保存相机设备坐标系与雷达设备坐标系之间的转换关系标定结果，其中，所述标定结果是通过目标标定参照物获得的，所述目标标定参照物包括多个具有预置颜色并形成预置角度的平面体；

根据所述标定结果将所述相机设备与所述雷达设备采集到的数据进行融合，获得对目标环境的感知结果。

其中，图9示例性的展示出了电子设备的架构，具体可以包括处理器910，视频显示适配器911，磁盘驱动器912，输入/输出接口913，网络接口914，以及存储器920。上述处理器910、视频显示适配器911、磁盘驱动器912、输入/输出接口913、网络接口914，与存储器920之间可以通过通信总线930进行通信连接。

其中，处理器910可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器920可以采用rom(readonlymemory，只读存储器)、ram(randomaccessmemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器920可以存储用于控制电子设备900运行的操作系统921，用于控制电子设备900的低级别操作的基本输入输出系统(bios)。另外，还可以存储网页浏览器923，数据存储管理系统924，以及标定处理系统925等等。上述标定处理系统925就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器920中，并由处理器910来调用执行。

输入/输出接口913用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口914用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。

总线930包括一通路，在设备的各个组件(例如处理器910、视频显示适配器911、磁盘驱动器912、输入/输出接口913、网络接口914，与存储器920)之间传输信息。

另外，该电子设备900还可以从虚拟资源对象领取条件信息数据库941中获得具体领取条件的信息，以用于进行条件判断，等等。

需要说明的是，尽管上述设备仅示出了处理器910、视频显示适配器911、磁盘驱动器912、输入/输出接口913、网络接口914，存储器920，总线930等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本申请所提供的外参标定方法、装置及电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。