一种集成双目摄像头和毫米波雷达的商用车AEBS系统的制作方法

本发明属于车辆安全驾驶技术领域，具体涉及一种集成双目摄像头和毫米波雷达的商用车aebs系统。

背景技术：

随着我国汽车保有量的增加以及交通事故的频发，自动驾驶及辅助驾驶技术得到了广泛的关注和研究，当今，自动驾驶技术已经成为整个汽车产业的最新发展方向。前方车辆检测技术是自动驾驶汽车与高级辅助驾驶系统的关键技术之一，准确，实时的车辆检测技术可以为自主驾驶辅助系统提供有效决策依据，对提高车辆的行驶安全性和驾驶舒适性具有重要意义。

毫米波雷达和机器视觉是车辆检测常用的两种传感器，毫米波雷达能够准确探测障碍物的位置和速度，并且具有较强的适应性，但无法识别障碍物类型，易受噪音影响。机器视觉获取信息丰富，在目标识别及分类中极具优势，且成本较低，但其检测实时性不高，易受天气影响。因此，毫米波雷达与机器视觉数据融合技术被认为是提高车辆检测准确性和实时性的有效途径。因此，利用机器视觉技术以及雷达探测技术对车辆前方进行检测并给出驾驶员预警信息，能够在很大程度上避免交通事故的发生。

目前前车检测技术主要是由毫米波雷达与单目摄像头以及其他感知器件组成，基于单目摄像头与双目摄像头的不足，现提出技术改进方案，应用双目摄像头与毫米波雷达融入技术进行前车检测。

现有技术的不足：作为主流的单目摄像头与双目摄像头相比存在以下不足：单目摄像头需要对目标进行识别，既在测距前先识别障碍物是车、人还是其他物体，在此基础上再进行测距。而双目摄像头则类似人类的双眼，主要通过两幅图像的视差计算来确定距离，既双目摄像头不需要知道障碍物具体是什么，只需通过计算就可以测距。

技术实现要素：

本发明的目的在于提供一种集成双目摄像头和毫米波雷达的商用车aebs系统，其采用双目摄像头和毫米波雷达组合进行前车检测，实现更加精确可靠的数据测量，改善数据测量的实时性，准确性，以及精确性。

本发明采用如下技术方案来实现的：

一种集成双目摄像头和毫米波雷达的商用车aebs系统，包括

毫米波雷达传感器，左右对称安装在车辆前灯处，用于获取本车前方物体的雷达探测信息；

双目摄像头，安装在前挡风玻璃中间位置处，获取本车前方物体的图像探测信息；

主控制单元，用于根据所述雷达探测信息和所述图像探测信息，确认位于本车同一车道内的前方物体，并确定所述位于本车同一车道内的前方物体的类型及与本车的相对速度和相对距离，进而纵向控制单元控制本车的制动器、油门和转向装置执行自适应巡航或自动紧急制动。

本发明进一步的改进在于，本车前方物体的图像探测信息包括行驶路径上位于本车前方的最近的目标信息、本车两侧相邻的目标信息、行驶路径上位于本车后方的最近的目标信息以及本车前方的路况信息；其中，所述目标信息包括目标的距离、相对速度和位置信息，所述路况信息包括可行驶区域、交通标志及信号灯信息。

本发明进一步的改进在于，双目摄像头的三维测量方法如下：

设定b为基线距离，即两摄像机的投影中心连线的距离；p为两摄像机在同一时刻观看时空物体的同一特征点，并分别在“左眼”和“右眼”上获取了点p的图像，其坐标分别为pleft＝(xleft,yleft)；pright＝(xright,yright)；设定两摄像机的图像在同一平面上，则特征点p的图像坐标的y坐标是相同的，即yleft＝yright＝y；

由三角几何关系得到如下关系式：

则视差为：disparity＝xleft-xright，由此计算出特征点p在摄像机坐标系下的三维坐标：

本发明进一步的改进在于，双目摄像头的立体视觉数学模型建立如下：

设左摄像机o-xyz位于世界坐标系原点，且没有发生旋转，图像坐标系为ol-x1y1，其中，fl为有效焦距；右摄像机坐标系为or-xyz，图像坐标系为or-xryr，其中，fr为有效焦距；根据摄像机的投射模型得到如下关系式：

因为o-xyz坐标系与or-xryrzr坐标系之间的位置关系能够通过空间转换矩阵mlr表示为：

同理，对于o-xyz坐标系中的空间点，两个摄像机面点之间的对应关系能够表示为：

于是，空间点三维坐标表示为

相较于现有技术，本发明具有如下技术效果：

本发明提供的集成双目摄像头和毫米波雷达的商用车aebs系统，通过毫米波雷达传感器获取本车前方物体的雷达探测信息，通过双目摄像头获取本车前方物体的图像探测信息，进而主控制单元根据所述雷达探测信息和所述图像探测信息，确认位于本车同一车道内的前方物体，并确定所述位于本车同一车道内的前方物体的类型及与本车的相对速度和相对距离，进而纵向控制单元控制本车的制动器、油门和转向装置执行自适应巡航或自动紧急制动，可以更准确的确定前方物体，使得汽车在中低速行驶过程中更精确地实现自适应巡航功能和自动紧急制动功能。同时，实现方式简单，成本合适，系统稳定可靠。概括来说，本发明具有如下优点：

1、分辨率高、能够准确测出前车及障碍物的距离。

2、精度合适、算法更简便、运算效率高。

3、系统结构简单、适应性更强、可以在较复杂的工况下工作。

4、成本低、高精度的点云测距。

附图说明

图1是双目摄像头测距示意图。

图2是双目摄像头及毫米波雷达在车上的安装位置示意图，图中，1为毫米波雷达传感器，2为双目摄像头。

图3是简单的平视双目立体成像原理图。

图4是双目立体视觉数学模型。

具体实施方式

以下结合附图对本发明做出进一步的说明。

如图1和图2所示，本发明提供的一种集成双目摄像头和毫米波雷达的商用车aebs系统，包括毫米波雷达传感器1，左右对称安装在车辆前灯处，用于获取本车前方物体的雷达探测信息；双目摄像头2，安装在前挡风玻璃中间位置处，获取本车前方物体的图像探测信息；主控制单元，用于根据所述雷达探测信息和所述图像探测信息，确认位于本车同一车道内的前方物体，并确定所述位于本车同一车道内的前方物体的类型及与本车的相对速度和相对距离，进而纵向控制单元控制本车的制动器、油门和转向装置执行自适应巡航或自动紧急制动。

用于前车检测的双目摄像头2主要是用于测距与物体识别，与单目adas不同，双目是利用物体在两枚摄像头中的成像视差来进行测距，输出距离点云表示物体远近，同时，它能融合单目摄像头基于深度学习的物体识别能力。双目摄像头的工作原理是用一个双目相机加上一个计算单元，配成一个体积较小的本地成像以及计算系统，在本地完成所有的工作任务，通过wifi、网线或者can总线与外界进行信息交换。所述双目摄像头探测到的信息，并对获取到的信息进行处理，将处理后的信息传输给所述汽车的中央决策控制单元，所述处理后的信息包括：行驶路径上位于所述汽车的前方的最近的目标信息、所述汽车的两侧相邻的目标信息、行驶路径上位于所述汽车的后方的最近的目标信息以及所述汽车的前方的所述路况信息；其中，所述目标信息包括目标的距离、相对速度和位置信息，所述路况信息包括可行驶区域、交通标志及信号灯信息。

所述双目摄像头三维测量原理

双目立体视觉是基于视差，由三角法原理进行三维信息的获取，即由两个摄像机的图像平面和被侧物体之间构成一个三角形。一致两个摄像机之间的位置关系，便可获得两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。

其中，b为基线距离，即两摄像机的投影中心连线的距离。p为两摄像机在同一时刻观看时空物体的同一特征点，并分别在“左眼”和“右眼”上获取了点p的图像，他们的坐标分别为pleft＝(xleft,yleft)；pright＝(xright,yright)。设定两摄像机的图像在同一平面上，则特征点p的图像坐标的y坐标一定是相同的，即yleft＝yright＝y。

由三角几何关系可以得到如下关系式：

则视差为：disparity＝xleft-xright。由此可以计算出特征点p在摄像机坐标系下的三维坐标：

因此，左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点，就完全可以确定该点的三维坐标。这种方法是点对点的运算，像平面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取对应的三维坐标。

2.2双目立体视觉数学模型，如图4所示

已知平视双目立体视觉的三维测量原理基础，则有，如图4所示，设左摄像机o-xyz位于世界坐标系原点，且没有发生旋转，图像坐标系为ol-x1y1，其中，fl为有效焦距；右摄像机坐标系为or-xyz，图像坐标系为or-xryr，其中，fr为有效焦距。p点为目标点。根据摄像机的投射模型可得到如下关系式：

因为o-xyz坐标系与or-xryrzr坐标系之间的位置关系可通过空间转换矩阵mlr表示为：

同理，对于o-xyz坐标系中的空间点，两个摄像机面点之间的对应关系可以表示为：

于是，空间点三维坐标可以表示为

因此，通过计算机标定技术可获得左右计算机内参数/焦距fr,fl和空间点在左右摄像机中的图像坐标，能够重构出被测点的三维空间坐标。

将摄像头和雷达进行融合，相互配合共同构成汽车的感知系统，取长补短，实现更稳定可靠的aeb功能。

传感器融合的思路与方法：

基于多传感器信息融合的车辆aebs系统，就是根据多传感器接收到的车辆前方目标信息和本车的状态信息，利用多源信息融合技术，识别出本车前方车辆的距离和速度等状态信息，并做出相应的措施。双目摄像头和毫米波雷达分别针对观测目标收集数据，然后对各传感器的输出数据进行特征提取与模式识别处理，并将目标按类别进行准确关联，最后利用融合算法将同一目标的所有传感器数据进行整合，在智能驾驶场景下，视觉和毫米波雷达的数据融合大致有3种策略：图像级、目标级和信号级。

本发明采用信号级融合，信号级融合是对视觉和雷达传感器ecu传出的数据源进行融合，然后通过控制器对车辆进行控制。并且，信号级别的融合数据损失最小，可靠性最高。

对于视觉和毫米波雷达的融合，首先要解决的是传感器之间的空间、时间同步问题，以下是本方案采用的融合方法。

空间融合

建立精确的雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现多传感器数据的空间融合的关键。雷达与视觉传感器空间融合就是将不同传感器坐标系的测量值转换到同一个坐标系中。由于前向视觉系统以视觉为主，只需将雷达坐标系下的测量点通过坐标系转换到摄像机对应的像素坐标系下即可实现多传感器的空间同步。

根据以上转换关系，可以得到雷达坐标系和摄像机像素坐标系之间的转换关系，由此，即可完成空间上雷达检测目标匹配至视觉图像，并在此基础上，将雷达检测对应目标的运动状态信息输出。

时间融合

雷达和视觉信息在除在空间上需要进行融合，还需要传感器在时间上同步采集数据，实现时间的融合。根据毫米波雷达功能工作手册，其采样周期为50ms，即采样帧速率为20帧/秒，而摄像机采样帧速率为25帧/秒。为了保证数据的可靠性，以摄像机采样速率为基准，摄像机每采一帧图像，选取毫米波雷达上一帧缓存的数据，即完成共同采样一帧雷达与视觉融合的数据，从而保证了毫米波雷达数据和摄像机数据时间上的同步。

有了数据融合的基础，控制系统可以更好地做出相应的决策，来控制汽车的状态。