一种基于多源车载设备的融合感知方法及系统

本发明涉及融合感知，尤其是涉及一种基于多源车载设备的融合感知方法及系统。

背景技术：

1、随着社会经济和科学技术持续快速的发展，机动车辆迅速增加，不同智能水平的车辆逐渐进入市场，智能网联车辆和普通车辆将在很长一段时间内以不同比例混合在道路上。面对日益复杂的城市道路交通系统，提高交通管理水平和交通运行效率，保证交通安全稳定尤为重要。因此，对异构交通流运行状态的研究具有十分重要的理论意义和应用价值，而实时准确的获取交通参数信息就是研究异构交通流运行状态的基础。同时技术发展使得交通检测器性能逐渐优化，设备种类多样。

2、然而传统的信息获取方式一般都采用单一类型传感器，由于受到自身制约，单一传感器无法获取到足够全面的信息。例如，视频检测器在大雾、雨雪等光照条件较差的恶劣天气环境中的观察范围会受到影响，此外体积较大车辆的遮挡容易造成小型车辆的漏检；毫米波雷达能够穿透雾、烟、灰尘，通过捕获反射信号获取距离、速度、角度等参数，但在因高分辨率多次识别大型车辆不同位置的情况下会产生检测误差。且单一的传感器采集的数据并不具备整体性和智能性，3d环境建模使激光雷达成为核心传感器，但其无法识别图像及颜色，且在恶劣天气下性能明显降低。毫米波雷达能实现全天候感知，但其分辨率较低，且难以成像。摄像头价格低廉，能够识别交通参与者和交通标识，但却无法实现点阵建模和远距测距。因此亟需一种基于多源车载设备的融合感知方法及系统。

技术实现思路

1、为了解决上述提到的问题，本发明提供一种基于多源车载设备的融合感知方法及系统。

2、第一方面，本发明提供的一种基于多源车载设备的融合感知方法，采用如下的技术方案：

3、一种基于多源车载设备的融合感知方法，包括：

4、获取车辆周边的环境数据和车辆状态数据；

5、对获取的环境数据和车辆状态数据进行时间同步；

6、对时间同步后的环境数据进行特征提取；

7、利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果。

8、进一步地，所述获取车辆周边的环境数据和车辆状态数据，包括利用车载激光雷达、毫米波雷达和摄像头，获取车辆周边的环境数据。

9、进一步地，所述获取车辆周边的环境数据和车辆状态数据，包括利用车辆的惯导系统获取车辆行驶过程性中的速度、偏角和位置信息，将其作为车辆状态数据；

10、进一步地，所述对获取的环境数据和车辆状态数据进行时间同步，包括通过控制采样周期和采样帧率，实现共同采样一帧数据，保证时间同步。

11、进一步地，所述对时间同步后的环境数据和车辆状态数据进行特征提取，包括利用预训练cnn模型对车辆的环境数据提取特征图。

12、进一步地，所述利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果，包括将提取的特征图拼接操作后形成多尺度的特征图结构，并将特征图结构送入神经网络中。

13、进一步地，所述利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果，还包括利用神经网络根据特征图结构得出知结果。

14、第二方面，一种基于多源车载设备的融合感知系统，包括：

15、数据获取模块，被配置为，获取车辆周边的环境数据和车辆状态数据；

16、同步模块，被配置为，对获取的环境数据和车辆状态数据进行时间同步；

17、特征提取模块，被配置为，对时间同步后的环境数据进行特征提取；

18、融合感知模块，被配置为，利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果。

19、第三方面，本发明提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于多源车载设备的融合感知方法。

20、第四方面，本发明提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于多源车载设备的融合感知方法。

21、综上所述，本发明具有如下的有益技术效果：

22、本发明通过对多传感器检测到的目标进行全局跟踪，能有效实现环境感知、障碍物检测、轨迹预测、预警信息和导航等功能。设备在行驶道路感知层面能识别前方人行道、交通路侧标识、交通信号灯和道路地形路况等；能够实时、准确识别周边影响交通安全的物体，可靠、准确识别地规划出可保证规范、安全、迅速到达目的地的行驶路径。

技术特征：

1.一种基于多源车载设备的融合感知方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多源车载设备的融合感知方法，其特征在于，所述获取车辆周边的环境数据和车辆状态数据，包括利用车载激光雷达、毫米波雷达和摄像头，获取车辆周边的环境数据。

3.根据权利要求2所述的一种基于多源车载设备的融合感知方法，其特征在于，所述获取车辆周边的环境数据和车辆状态数据，包括利用车辆的惯导系统获取车辆行驶过程性中的速度、偏角和位置信息，将其作为车辆状态数据。

4.根据权利要求3所述的一种基于多源车载设备的融合感知方法，其特征在于，所述对获取的环境数据和车辆状态数据进行时间同步，包括通过控制采样周期和采样帧率，实现共同采样一帧数据，保证时间同步。

5.根据权利要求4所述的一种基于多源车载设备的融合感知方法，其特征在于，所述对时间同步后的环境数据和车辆状态数据进行特征提取，包括利用预训练cnn模型对车辆的环境数据提取特征图。

6.根据权利要求5所述的一种基于多源车载设备的融合感知方法，其特征在于，所述利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果，包括将提取的特征图拼接操作后形成多尺度的特征图结构，并将特征图结构送入神经网络中。

7.根据权利要求6所述的一种基于多源车载设备的融合感知方法，其特征在于，所述利用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果，还包括利用神经网络根据特征图结构得出知结果。

8.一种基于多源车载设备的融合感知系统，其特征在于，包括：

技术总结
本发明涉及融合感知技术领域，尤其是涉及一种基于多源车载设备的融合感知方法及系统。所述方法包括获取车辆周边的环境数据和车辆状态数据；对获取的环境数据和车辆状态数据进行时间同步；对时间同步后的环境数据进行特征提取；用融合算法对环境数据和车辆状态数据提取的特征进行融合，得到感知结果。本发明通过对多传感器检测到的目标进行全局跟踪，能有效实现环境感知、障碍物检测、轨迹预测、预警信息和导航等功能。设备在行驶道路感知层面能识别前方人行道、交通路侧标识、交通信号灯和道路地形路况等；能够实时、准确识别周边影响交通安全的物体，可靠、准确识别地规划出可保证规范、安全、迅速到达目的地的行驶路径。

技术研发人员：陈雪梅,薛杨武,肖龙,杨宏伟,赵小萱
受保护的技术使用者：北京理工大学前沿技术研究院
技术研发日：
技术公布日：2024/1/12