一种基于雷达和视频融合的道路目标感知方法及系统与流程

1.本发明涉及道路目标感知技术领域，尤其是涉及一种基于雷达和视频融合的道路目标感知方法及系统。


背景技术：

2.随着汽车驾驶智能化体验需求快速发展，辅助驾驶、自动驾驶、无人驾驶成为汽车智能化技术研究、应用的发展方向。智能驾驶汽车行车安全性是智能化关注的核心和焦点，与车辆行车安全相关的环境感知、任务规划、行为决策、控制执行是智能驾驶研究应用的主要技术环节。环境感知作为首要条件，既是行车安全实现的前提输入，也是安全功能实现的重要保障。感知结果的全域性、正确性、精确度、实时性与系统架构技术设计的合理性直接相关联。
3.现有技术中，经过改装的智能驾驶汽车尚不能在开放道路上行驶，所以智能驾驶的落地场景多数选择封闭环境，例如园区，但是封闭环境的主要特点是高楼、树木、人员较多，车道宽度较窄，部分有红绿灯，这对智能驾驶环境感知系统提出了新的挑战，需要既能精准检测近距离的行人，实现避障、让行和绕行，又要解决因为高楼、树木太多而影响定位的问题，同时还要识别远距离的行驶车辆、红绿灯和车道线。
4.目前的智能驾驶环境感知系统虽然采用多种传感器融合的方式，但未针对基于雷达和视频融合的感知方案，且环境感知单元传感器获取的环境信息不全面，对障碍物的检测信息不完整，影响决策控制单元的判断，致使智能驾驶车辆功能存在很大隐患。因此，需要一种基于雷达和视频融合的道路目标感知方法及系统。


技术实现要素：

5.为了解决上述提到的问题，本发明提供一种基于雷达和视频融合的道路目标感知方法及系统。
6.第一方面，本发明提供的一种基于雷达和视频融合的道路目标感知方法，采用如下的技术方案：一种基于雷达和视频融合的道路目标感知方法，包括：获取道路目标图像数据；获取道路目标信息数据；根据获取的道路目标图像数据，通过目标检测算法得到道路目标的位置信息；根据获取的道路目标图像数据和信息数据，通过数据融合算法进行道路目标的相关度计算，得到融合后所述道路目标的统一标号；将道路目标图像数据叠加至融合后所述目标的统一标号，得到所述道路目标的融合信息。
7.进一步地，所述获取道路目标图像数据，包括通过安装在汽车上的检测相机和智能相机采集道路目标的图像数据。
8.进一步地，所述道路目标信息数据，包括通过雷达传感器采集道路目标的速度、加速度、距离、角度、航向角和类型信息。
9.进一步地，所述通过目标检测算法，得到道路目标的位置信息，包括通过目标检测算法，得到所述道路目标的类别、特征以及所述道路目标在所述道路目标的图像数据中的像素位置信息。
10.进一步地，所述通过目标检测算法，得到道路目标的位置信息，还包括通过坐标转换矩阵，得到所述道路目标的类别、特征和统一坐标系下的位置信息。
11.进一步地，所述获取道路目标图像数据，还包括利用补光单元对道路目标进行补光。
12.进一步地，所述检测相机和智能相机分别设置在汽车的不同位置，且俯仰角不同。
13.第二方面，一种基于雷达和视频融合的道路目标感知系统，包括：图像获取模块，被配置为，获取道路目标图像数据；信息获取模块，被配置为，获取道路目标信息数据；位置模块，被配置为，根据获取的道路目标图像数据，通过目标检测算法得到道路目标的位置信息；计算模块，被配置为，根据获取的道路目标图像数据和信息数据，通过数据融合算法进行道路目标的相关度计算，得到融合后所述道路目标的统一标号；融合模块，被配置为，将道路目标图像数据叠加至融合后所述目标的统一标号，得到所述道路目标的融合信息。包括：第三方面，本发明提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于雷达和视频融合的道路目标感知方法。
14.第四方面，本发明提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于雷达和视频融合的道路目标感知方法。
15.综上所述，本发明具有如下的有益技术效果：本发明的技术方案能够获得完整而精确的道路目标等障碍物信息，提高避障的准确性和效率，实现车身周围及道路检测，无死角的探测到车辆周围的行人或障碍物，可以探测到车身周边的障碍物，以及精确识别道路边界、车道线和红绿灯；使用图像获取模块和激光雷达获取定位信息，解决了树木和建筑物对gps信号的干扰，实现车辆的实时准确定位。
附图说明
16.图1是本发明实施例1的一种基于雷达和视频融合的道路目标感知方法的示意图。
具体实施方式
17.以下结合附图对本发明作进一步详细说明。
18.实施例1
19.参照图1，本实施例的一种基于雷达和视频融合的道路目标感知方法，包括：获取道路目标图像数据；获取道路目标信息数据；根据获取的道路目标图像数据，
通过目标检测算法得到道路目标的位置信息；根据获取的道路目标图像数据和信息数据，通过数据融合算法进行道路目标的相关度计算，得到融合后所述道路目标的统一标号；将道路目标图像数据叠加至融合后所述目标的统一标号，得到所述道路目标的融合信息。所述获取道路目标图像数据，包括通过安装在汽车上的检测相机和智能相机采集道路目标的图像数据。所述道路目标信息数据，包括通过雷达传感器采集道路目标的速度、加速度、距离、角度、航向角和类型信息。所述通过目标检测算法，得到道路目标的位置信息，包括通过目标检测算法，得到所述道路目标的类别、特征以及所述道路目标在所述道路目标的图像数据中的像素位置信息。所述通过目标检测算法，得到道路目标的位置信息，还包括通过坐标转换矩阵，得到所述道路目标的类别、特征和统一坐标系下的位置信息。所述获取道路目标图像数据，还包括利用补光单元对道路目标进行补光。所述检测相机和智能相机分别设置在汽车的不同位置，且俯仰角不同。
20.具体地，如图1所示，本实施例通过雷达传感器、检测相机和智能相机分别获取道路目标数据，其中，雷达传感器用于采集道路目标信息数据，目标检测相机和智能相机分别用于采集道路目标图像数据，本实施例中，检测相机可以通过mipi/usb3.0接口与计算控制单元相连接，智能相机可以通过mipi/usb3.0接口与计算控制单元相连接。
21.其中，智能相机分别位于系统的前后两侧，用于道路目标的双向覆盖，雷达传感器通过以太网接口或can接口与计算控制单元相连接。
22.其中，雷达传感器用于采集道路目标的速度、加速度、距离、角度、航向角、类型信息。
23.其中，目标检测相机和智能相机用于采集道路目标的图像数据。
24.本实施例中，雷达传感器为毫米波雷达，目前采用80ghz，不限制探测波段，主要用于多目标探测；智能相机1的探测方向朝后水平向下45
°
，可识别车牌、车速、位置、车辆外观数据、车辆驾驶室环境、驾驶室人脸识别；智能相机2的方向朝前水平向下10
°
，可识别车牌、车速、位置、车辆外观数据、道路红绿灯、交通事件识别；目标检测相机1的方向朝前水平向下 5
°
，可识别车辆速度、位置、车辆外观数据，行人等移动目标的类别、速度、位置信息；目标检测相机2-n的方向朝前水平向下2
°
，可识别车辆速度、位置、车辆外形，行人等移动目标的类别、速度、位置信息；通常雷达覆盖范围较大，相机有效检测范围较小，系统通过利用多个相机，实现和雷达覆盖范围的基本一致。同时，通过在路杆前后配置智能相机，可使相对于安装路杆的前后双向覆盖。
25.在获取了道路目标图像数据之后，通过目标检测算法，得到道路目标的位置信息。具体的，通过目标检测算法，得到道路目标的类别、特征以及道路目标在道路目标的图像数据中的像素位置信息；通过检测相机和智能相机与统一坐标系的坐标转换矩阵，得到道路目标的类别、特征和统一坐标系下的位置信息。
26.计算控制单元通过数据融合算法，对雷达传感器采集的道路目标的速度、加速度、距离、角度、航向角、类型信息，以及检测相机和智能相机分别采集的道路目标的图像数据进行道路目标的相关度计算，得到融合后道路目标的身份标识号，将道路目标的图像数据叠加至融合后目标的身份标识号，最终得到道路目标的融合信息。
27.在计算控制单元中，利用道路目标的状态信息和道路目标的图像数据，通过目标检测算法，得到目标的类别(车、行人、障碍物等)、特征(颜色、大小、车辆品牌等)和在图像中的像素位置信息，通过每个相机与统一坐标系的坐标转换矩阵，得到目标的类别、特征和统一坐标系下的位置信息。利用帧间关系，得到基于图像测得的速度(vx ，vy )，航向角(β
°
)。其中，目标检测算法可用yolov4，yolop、改良版yolov4等。即相机可以测得：位置(x，y)，速度(vx ，vy)，航向角(β
°
)，类别、大小，以及雷达不具备的车牌、颜色、车辆品牌等信息。
28.实施例2
29.本实施例提供一种基于雷达和视频融合的道路目标感知系统，包括：图像获取模块，被配置为，获取道路目标图像数据；信息获取模块，被配置为，获取道路目标信息数据；位置模块，被配置为，根据获取的道路目标图像数据，通过目标检测算法得到道路目标的位置信息；计算模块，被配置为，根据获取的道路目标图像数据和信息数据，通过数据融合算法进行道路目标的相关度计算，得到融合后所述道路目标的统一标号；融合模块，被配置为，将道路目标图像数据叠加至融合后所述目标的统一标号，得到所述道路目标的融合信息。
30.一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于雷达和视频融合的道路目标感知方法。
31.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于雷达和视频融合的道路目标感知方法。
32.以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。