基于分类惩罚的摄像头和激光雷达信息配准方法与流程

本发明涉及自动驾驶环境感知系统的不同传感器之间的信息配准以及融合技术领域，具体地涉及一种基于分类惩罚的摄像头和激光雷达信息配准方法。

背景技术：

自动驾驶环境感知系统是一个信息冗余系统,其环境感知传感器包括如激光雷达、双目摄像头、单目摄像头、超声波、毫米波雷达等。而在这个冗余感知系统中，不同传感器之间的信息配准以及融合是自动驾驶的环境感知模块中的关键步骤。

激光雷达和摄像头之间的融合是目前的一个研究热点，其主要原理如图1所示。

激光雷达数据到摄像头数据的坐标变换，其实就是一个旋转平移矩阵[r，t]。为了表述方便，如图1所示，我们将摄像机坐标系定义为ocxcyczc，雷达坐标系定义为olxlylzl,摄像机的图像坐标系定义为ocucvc。对于空间任意一点m，其在摄像机坐标系下的坐标xc，yc，zc，其在雷达坐标系下的坐标为(xl,yl,zl)，其在摄像机的图像坐标系下的坐标为(u,v)，这样对于空间之间的坐标转换关系如下：

dx代表x轴方向一个像素的宽度，dy代表y轴方向上一个像素的宽度。dx、dy为摄像机的内参数。(u0,v0)称为图像平面的主点，也是摄像机的内参数。摄像机的内参数可以通过张正友的标定方法进行快速精确的标定。为了表述方便我们将内参矩阵定义为p，空间点在摄像机坐标系以及雷达坐标系的向量定义为mc，ml。

摄像机坐标系和雷达坐标系之间满足：

r代表旋转，t代表平移。r、t与摄像机无关，所以称这两个参数为摄像机的外参数。有以上关系可以得出摄像机图像坐标系和雷达坐标系存在如下关系：

在公式中，仅有r，t两个未知矩阵，因此存在两类标定方法。

1.基于phantom的点到点对应关系标定，此方法直接利用上述公式，通过获取空间点在雷达坐标系中的坐标以及在摄像机图像坐标系上的坐标，然后通过解线性非齐次方程组的方法进行标定。但是由于雷达数据的稀疏特性，因此需要通过曲线拟合的方法获取标定点。如图2所示，由于激光雷达点的稀疏特性，可能雷达射线并不能恰好扫描到模体的顶点a，因此我们需要先进性模型边线的直线拟合,边线拟合的交点即是模型的顶点a，其他的标定点可以同理获取。该方法操作相对复杂且该配准方法的配准精度会受到很大影响。

2.另一种方法基于雷达强度图像以及摄像头强度图像之间的互信息来进行摄像头以及激光雷达的位姿配准，如图3所示。激光雷达获取的强度分布统计与摄像头图像的强度分布统计之间的互信息与它们之间的位姿关系r，t存在一个一个正相关关系，当r，t靠近摄像头和激光雷达之间位姿关系的真值时，其互信息值达到最大。这种方法有一个关键的假设：对于同一个物体激光雷达的探测强度和摄像头图像的强度相同。但是这个假设对环境的要求过于苛刻，因为，激光雷达是主动光探测，其探测强度受环境光照影响很小，但是摄像头图像却是被动探测，其探测强度受环境影响很大，因此此种方法的鲁棒性很差。

技术实现要素：

为了解决上述存在的技术问题，本发明提供了一种基于分类惩罚的摄像头和激光雷达信息配准方法，将激光雷达点分成正负两类和视觉图像分为正负区域，原则上，激光雷达的正类别点要投影到图像的正类别区域，负类别点投影到负类别区域。以此为原则，设计目标分数，目标分数是关于位姿参数的函数，当激光雷达的正负类别点恰好投影到相对应的正负图像区域时，此目标分数达到最大值，此时的位姿参数即为真实位姿参数。

本发明的技术方案是：

一种基于分类惩罚的摄像头和激光雷达信息配准方法，包括以下步骤：

s01：对采集的图像通过区域分类算法将图像分为正负区域；

s02：将激光雷达点分成正负两个类别；

s03：将激光雷达点按照位姿参数投影在图像坐标系内，当激光雷达的正点投影到正区域，分配正的奖励值，反之分配负的奖励值，设置目标函数，将目标函数抽象成位姿参数的函数，每一次位姿更新，将所有的激光雷达点投影在图像区域，通过统计分类正确以及错误点计算目标函数值，然后评价此次位姿参数的优劣，并继续更新，得到目标函数值最大的位姿参数。

优选的技术方案中，通过仿体对图像进行区域分类，将仿体区域设置为正区域，其他区域设置为负区域。

优选的技术方案中，将激光雷达扫描在仿体上的点设置为正类别，其他的点设置为负类别，通过激光雷达的每个点的坐标判断激光雷达点是否打在仿体上。

优选的技术方案中，所述步骤s03中通过搜索算法搜索得到目标函数值最大的位姿参数。

与现有技术相比，本发明的优点是：

1、通过激光雷达距离将激光雷达点分成正负两类，与之相对应的是摄像头视觉图像也分为正负区域，原则上，激光雷达的正类别点要投影到图像的正类别区域，负类别点投影到负类别区域。以此为原则，设计目标分数，目标分数是关于位姿参数的函数，当激光雷达的正负类别点恰好投影到相对应的正负图像区域时，此目标分数达到最大值。此时的位姿参数即为真实位姿参数。可以十分方便地对位姿进行配准，避免了需求精度较高的配准仿体，同时解决了基于强度的互信息配准的受环境影响比较大的缺点。

2、通过基于分类设计目标函数，具有极强的鲁棒性。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为激光雷达和摄像头之间的位姿变换示意图；

图2为激光雷达的稀疏点直线拟合获取标定点示意图；

图3为激光雷达图像和摄像机图像的互信息配准示意图；

图4为激光雷达和单目摄像头示意图；

图5为本发明基于分类惩罚的摄像头和激光雷达信息配准方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例：

下面结合附图，对本发明的较佳实施例作进一步说明。

单目摄像头，激光雷达的位置安装，如图4所示，单目摄像头，激光雷达连接pc处理终端。

摄像头模块主要用于周围环境的视觉感知。在本方案中，需要使用仿体(phantom)，仿体是一个外形规则，易于进行图像轮廓提取的物体，比如一个平板。这样可以十分方便的将图像进行区域分类，通过区域分类算法，如二值化、角点提取、边提取算法等，将图像分为正负区域，将平板区域设置为正区域，其他区域设置为负区域。摄像头和pc处理终端通过usb协议或者网口协议传输。

激光雷达感知周围环境，获取周围物体在激光雷达坐标系中的坐标位置。通过将物体在激光雷达坐标系的坐标进行仿射变换，转变成物体在摄像机坐标系中的坐标，然后经过摄影变换转成物体在图像坐标系的位置。但是在此之前，需要将激光雷达点进行正负分类，此算法逻辑是将激光雷达扫描在仿体上的点设置为正类别，其他的点设置为负类别。可以使用激光雷达的每个点的坐标来判断激光雷达点是否打在了仿体上。举例来说，仿体距离激光雷达约为2米，通过这个信息就可以判断某个激光雷达点是否打在了仿体上。当然，也得保证仿体周围没有干扰物体，才能比较精确的将激光雷达点进行分类，但是这个条件可以十分容易的实现。

在分类完成之后，需要将激光雷达点按照位姿参数(r、t)投影在摄像机图像坐标系内，原则上，分类为正的激光雷达点(打在了仿体上的激光雷达点)应该投影到图像的正区域(仿体的图像区域)。负点亦然。因此，我们以此为逻辑出发点设置了目标函数。目标函数抽象成位姿参数的函数，每一次位姿更新，将所有的激光雷达点投影在图像区域，通过统计分类正确以及错误点来计算目标函数值。然后来评价此次位姿参数的优劣，并继续更新。

目标函数值的计算，如下：

当激光雷达的正点投影到正区域，给一个正的奖励值，当分类错误，给一个负的奖励值。奖励值以及不同点的权重可以根据需要进行设置，不做限定。最终搜索并输出奖励值取最大的位姿参数。

具体的位姿参数更新流程如图5所示。需要说明的是，这个流程图的更新算法是梯度下降法，当然也可以使用其它的搜索策略，比如随机梯度法，模拟退火法，遗传算法等很多搜索算法。

1、获取摄像机图像，以及激光雷达扫描点，分别将两者进行分类。初始化r，t(位姿参数)

2、通过目前的位姿参数，按照设计的目标函数计算方法计算目标函数值。

3、通过梯度下降法获取新的位姿参数，并计算新的目标函数值。

4、比较旧的目标函数值以及新的目标函数值，决定是否跳出循环。

通过梯度下降法，十分容易陷入局部最小值，而使用一些全局搜索策略，如模拟退火就可以解决这个问题。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。