一种基于视觉图像的红绿灯检测和识别方法与流程

本发明属于智能驾驶，具体涉及到一种基于视觉图像的红绿灯检测和识别方法。

背景技术：

1、近年来，自动驾驶技术飞速发展，其中，红绿灯的检测及识别是不可或缺的一个部分。目前，主流的红绿灯识别方法可分为两大类：基于v2x的识别方法和基于视觉图像识别的方法。

2、基于v2x的识别方法，是通过信号传输来实现的，红绿灯实时发送信号状态，车辆通过解析接收到的红绿灯信号来进行识别；该方法较为安全且响应迅速，但此方法要求红绿灯和车端都安装有通信设备，对于通信设备的依赖程度过高，因此，在实际应用场景中的普及程度交底，且应用成本较高。

3、基于视觉图像识别的方法，主要是指通过摄像头获取图像，并运用算法对图像上的红绿灯进行检测识别。目前，基于视觉图像识别的方法，可分为两种：一种方法先通过高精度地图获取感兴趣区域，之后对目标区域再进行检测识别；另一种方法则是通过算法直接对整张图像进行红绿灯的检测识别。基于高精地图的方法，能使车辆更好地聚焦于它所需要辨别的红绿灯，减少漏检、误检等问题，但该方法必须有高精地图的支持，过分依赖于地图信息，并且高精地图的构建成本高昂且相当复杂；基于视觉算法的识别方法，目前只能单纯检测普通红绿灯，即只能识别红绿灯的颜色，且无法识别一个灯框中多灯发亮的情况。

技术实现思路

1、针对上述问题，本发明的主要目的在于设计一种基于视觉图像的红绿灯检测和识别方法,完全基于视觉算法来实现红绿灯的识别，解决红绿灯颜色的识别问题。

2、为了实现上述目的本发明采用如下技术方案：

3、一种基于视觉图像的红绿灯检测和识别方法，包括深度学习网络模型的搭建和基于深度学习网络模型的检测和识别，具体包括以下步骤：

4、s1：基于检测目标搭建并训练深度学习网络模型；

5、深度学习网络模型的搭建包括：

6、s101：将深度学习网络生成热图，热图上的峰值对应检测目标的中心点；

7、s102：获得检测目标的中心点后，利用深度学习网络回归检测目标的坐标及其类别；

8、s103：通过深度学习网络模型输出红绿灯信息；

9、s2：获取预设路段有关红绿灯的2d图像；

10、s3：将获取的2d图像送入搭建并训练好的深度学习网络模型进行推理；

11、s4：输出红绿灯在2d图像中的坐标及其类别。

12、作为本发明进一步的描述，所述的坐标为红绿灯外部灯框在2d图像中的坐标位置；所述的类别指输出坐标位置的红绿灯中亮着的灯的类别，具体包括灯的颜色及形状信息。

13、作为本发明进一步的描述，所述的形状信息包括圆灯、数字灯、箭头灯的一种或多种或全部。

14、作为本发明进一步的描述，所述的检测目标包括红绿灯外部灯框及红绿灯外部灯框中亮着的灯。

15、作为本发明进一步的描述，s101中，深度学习网络生成的热图包括两张；一张热图上的峰值对应红绿灯外部灯框的中心点，另一张热图上的峰值对应红绿灯外部灯框中所亮灯的中心点。

16、作为本发明进一步的描述，所述红绿灯外部灯框的热图采用椭圆高斯核函数生成，所述红绿灯外部灯框中所亮灯的热图采用圆形高斯核函数生成，并扩大圆形高斯核的半径。

17、作为本发明进一步的描述，s102中，获得检测中心的目标点为红绿灯外部灯框后，利用深度学习网络回归该灯框的宽和高以及其中亮灯的类别信息；

18、获得检测中心的目标点为红绿灯外部灯框中所亮灯后，利用深度学习网络回归该灯的宽和高以及其颜色和具体形状。

19、作为本发明进一步的描述，s103中，通过深度学习网络模型输出的红绿灯信息为两张热图融合的结果。

20、作为本发明进一步的描述，两张热图获得检测中心的目标点包括三种形式，分别为：仅获得红绿灯外部灯框、仅获得红绿灯外部灯框中所亮灯、同时获得红绿灯外部灯框以及红绿灯外部灯框中所亮灯。

21、作为本发明进一步的描述，基于获得检测中心目标点的三种形式，两张热图融合结果的输出分别为：

22、仅获得红绿灯外部灯框，则输出为红绿灯外部灯框及红绿灯外部灯框中所亮灯颜色和默认类别；

23、仅获得红绿灯外部灯框中所亮灯，则输出为红绿灯外部灯框中所亮灯位置及颜色；

24、同时获得红绿灯外部灯框以及红绿灯外部灯框中所亮灯，则输出为红绿灯外部灯框位置及红绿灯外部灯框中所亮灯颜色。

25、相对于现有技术，本发明的技术效果为：

26、本发明提供了一种基于视觉图像的红绿灯检测和识别方法，基于视觉算法实现红绿灯的识别，结合深度学习网络模型生成的两张热图，并对两张热图的推理结果进行融合，无需安装通信设备或依赖高精地图，有效提升深度学习网络模型的鲁棒性，降低模型的漏检、误检率，并能在一定程度上提高模型的检测距离，泛化性能较好。

技术特征：

1.一种基于视觉图像的红绿灯检测和识别方法，其特征在于：包括深度学习网络模型的搭建和基于深度学习网络模型的检测和识别，具体包括以下步骤：

2.根据权利要求1所述的一种基于视觉图像的红绿灯检测和识别方法，其特征在于：所述的坐标为红绿灯外部灯框在2d图像中的坐标位置；所述的类别指输出坐标位置的红绿灯中亮着的灯的类别，具体包括灯的颜色及形状信息。

3.根据权利要求2所述的一种基于视觉图像的红绿灯检测和识别方法，其特征在于：所述的形状信息包括圆灯、数字灯、箭头灯的一种或多种或全部。

4.根据权利要求1所述的一种基于视觉图像的红绿灯检测和识别方法，其特征在于：所述的检测目标包括红绿灯外部灯框及红绿灯外部灯框中亮着的灯。

5.根据权利要求4所述的一种基于视觉图像的红绿灯检测和识别方法，其特征在于：s101中，深度学习网络生成的热图包括两张；一张热图上的峰值对应红绿灯外部灯框的中心点，另一张热图上的峰值对应红绿灯外部灯框中所亮灯的中心点。

6.根据权利要求5所述的一种基于视觉图像的红绿灯检测和识别方法，其特征在于：所述红绿灯外部灯框的热图采用椭圆高斯核函数生成，所述红绿灯外部灯框中所亮灯的热图采用圆形高斯核函数生成，并扩大圆形高斯核的半径。

7.根据权利要求5所述的一种基于视觉图像的红绿灯检测和识别方法，其特征在于：s102中，获得检测中心的目标点为红绿灯外部灯框后，利用深度学习网络回归该灯框的宽和高以及其中亮灯的类别信息；

8.根据权利要求7所述的一种基于视觉图像的红绿灯检测和识别方法，其特征在于：s103中，通过深度学习网络模型输出的红绿灯信息为两张热图融合的结果。

9.根据权利要求8所述的一种基于视觉图像的红绿灯检测和识别方法，其特征在于：两张热图获得检测中心的目标点包括三种形式，分别为：仅获得红绿灯外部灯框、仅获得红绿灯外部灯框中所亮灯、同时获得红绿灯外部灯框以及红绿灯外部灯框中所亮灯。

10.根据权利要求9所述的一种基于视觉图像的红绿灯检测和识别方法，其特征在于：基于获得检测中心目标点的三种形式，两张热图融合结果的输出分别为：

技术总结
本发明公开一种基于视觉图像的红绿灯检测和识别方法，基于视觉算法实现红绿灯的识别，结合深度学习网络模型生成的两张热图，并对两张热图的推理结果进行融合，无需安装通信设备或依赖高精地图，有效提升深度学习网络模型的鲁棒性，降低模型的漏检、误检率，并能在一定程度上提高模型的检测距离，泛化性能较好。

技术研发人员：左斌,常青
受保护的技术使用者：上海友道智途科技有限公司
技术研发日：
技术公布日：2024/1/12