基于车载视觉与BCM控制的交通灯预警系统及方法与流程

本发明属于目标检测，尤其涉及一种基于车载视觉与bcm控制的交通灯预警系统及方法。

背景技术：

1、智能驾驶和无人驾驶已经逐步成为当今汽车发展的主要研究方向。对于交通灯的识别一直是智能驾驶研究中至关重要的一环，交通灯预警可以极大程度地解决司机疲劳驾驶并避免其分散精力，并且为色盲和色弱驾驶者提供的辅助决策。

2、当前的交通灯识别方案主要包含基于周边车辆状态感知、基于gps导航、基于车路通信及基于车载视觉。基于极度学习和bcm控制通过融合车载视觉方案及车身电子模块能够为用户提供成本更低、更加稳定、同时效果更佳的体验。

技术实现思路

1、本发明的目的在于提供一种基于车载视觉与bcm控制的交通灯预警系统及方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，包括：

3、影像采集模块，所述影像采集模块用于采集交通灯影像数据和导向标志影像数据；

4、车载视觉模块，所述车载视觉模块包括交通灯识别数据集、导向标志数据集、交通灯目标检测网络模块、导向标志检测网络模块和判断模块；

5、其中，将所述交通灯影像数据和交通灯识别数据集通过所述交通灯目标检测网络模块进行特征提取及交通灯检测，并生成交通灯检测数据信息；将所述导向标志影像数据和导向标志数据集通过导向标志检测网络模块进行导向标志检测，并生成导向标志检测信息；通过判断模块比对交通灯检测数据信息和导向标志检测信息是否一致，如果不一致则向bcm发送异常预警信息；

6、bcm，所述bcm接收所述异常预警信息，生成预警指令；

7、预警系统，所述预警系统接收所述预警指令，进行预警。

8、进一步地，制作所述交通灯识别数据集，所述交通灯识别数据集是将传统数据集、网络图片和交通灯影像数据相结合作为模型的训练集；制作所述导向标志数据集，所述导向标志数据集是将网络图片作为模型的训练集。

9、进一步地，所述bcm接收所述异常预警信息后，生成异常影像预警数据和异常语音预警数据。

10、进一步地，所述预警系统包括：

11、hud，根据所述预警指令，所述bcm将所述异常影像预警数据发送至hud，在hud的显示屏幕上显示交通灯与导向标志不一致的预警影像；

12、语音模块，根据所述预警指令，所述bcm将所述异常语音预警数据发送至语音模块，语音模块播放交通灯与导向标志不一致的预警提示音。

13、进一步地，所述交通灯目标检测网络模块为yolov5模型。

14、进一步地，所述yolov5模型为单阶段目标检测网络模型，采用focus+csp结构，采用fpn+pan进行特征提取用以融合不同尺度上图像特征，采用三个输出头以保证精准的回归和分类。

15、进一步地，所述导向标志检测网络模块为轻量化检测网络的ssd模型。

16、进一步地，所述ssd模型以vgg作为骨干网络，去掉了网络最后的全连接层，并替换为3×3卷积层和1×1卷积层。

17、进一步地，所述交通灯数据集和所述导向标志数据集均按3比1划分为训练集和测试集，并使用labelimg对图像进行标注，所述交通灯数据集和所述导向标志数据集中的图片均为高清图像。

18、另一方面，提供了一种基于车载视觉与bcm控制的交通灯预警方法，应用上述任一项所述的一种基于车载视觉与bcm控制的交通灯预警系统，包括：

19、采集交通灯影像数据和导向标志影像数据；

20、制作所述交通灯识别数据集和导向标志数据集；

21、将所述交通灯影像数据和交通灯识别数据集通过所述交通灯目标检测网络模块进行特征提取及交通灯检测，并生成交通灯检测数据信息；

22、将所述导向标志影像数据和导向标志数据集通过导向标志检测网络模块进行导向标志检测，并生成导向标志检测信息；

23、比对交通灯检测数据信息和导向标志检测信息是否一致，如果不一致则向bcm发送异常预警信息；

24、bcm接收所述异常预警信息，生成预警指令；

25、将所述预警指令发送至预警系统，所述预警系统接收所述预警指令后进行预警。

26、与现有技术相比，本发明的有益效果是：本发明在驾驶过程中不需要进行实时连接互联网，无需后期的消费和维护，减少使用成本，同时解决由于gps位置和信息的误差所导致的误检问题；给予用户更佳的驾驶体验，采用bcm控制的方式可以给予驾驶人员更实时和多元化的提示，给予用户实时的、准确的提醒，为用户提供精准的决策辅助，提升智能驾驶的使用体验。

技术特征：

1.一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，包括：

2.根据权利要求1所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，制作所述交通灯识别数据集，所述交通灯识别数据集是将传统数据集、网络图片和交通灯影像数据相结合作为模型的训练集；制作所述导向标志数据集，所述导向标志数据集是将网络图片作为模型的训练集。

3.根据权利要求1所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述bcm接收所述异常预警信息后，生成异常影像预警数据和异常语音预警数据。

4.根据权利要求3所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述预警系统包括：

5.根据权利要求1所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述交通灯目标检测网络模块为yolov5模型。

6.根据权利要求5所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述yolov5模型为单阶段目标检测网络模型，采用focus+csp结构，采用fpn+pan进行特征提取用以融合不同尺度上图像特征，采用三个输出头以保证精准的回归和分类。

7.根据权利要求1所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述导向标志检测网络模块为轻量化检测网络的ssd模型。

8.根据权利要求7所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述ssd模型以vgg作为骨干网络，去掉了网络最后的全连接层，并替换为3×3卷积层和1×1卷积层。

9.根据权利要求1所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，所述交通灯数据集和所述导向标志数据集均按3比1划分为训练集和测试集，并使用labelimg对图像进行标注，所述交通灯数据集和所述导向标志数据集中的图片均为高清图像。

10.一种基于车载视觉与bcm控制的交通灯预警方法，应用权利要求1至9任一项所述的一种基于车载视觉与bcm控制的交通灯预警系统，其特征在于，包括：

技术总结
本发明公开了一种基于车载视觉与BCM控制的交通灯预警系统及方法，其中，预警系统包括影像采集模块、车载视觉模块、BCM和预警系统；车载视觉模块进行特征提取、交通灯检测和导向标志检测，通过判断模块比对交通灯检测数据信息和导向标志检测信息是否一致，BCM生成预警指令，预警系统接收预警指令进行预警；本发明在驾驶过程中不需要进行实时连接互联网，无需后期的消费和维护，减少使用成本，同时解决由于GPS位置和信息的误差所导致的误检问题；给予用户更佳的驾驶体验，采用BCM控制的方式可以给予驾驶人员更实时和多元化的提示，给予用户实时的、准确的提醒，为用户提供精准的决策辅助，提升智能驾驶的使用体验。

技术研发人员：韩昊,赵文渤,王子军,魏佳勇,李志刚,孙福鑫,梁海洋,唐达,潘文涛,刘鑫瞳
受保护的技术使用者：一汽奔腾轿车有限公司
技术研发日：
技术公布日：2024/1/13