一种红绿灯倒计时时间识别方法及装置与流程

1.本发明属于汽车技术领域，尤其涉及一种红绿灯倒计时时间识别方法及装置。


背景技术：

2.交通信号灯的识别，包括信号灯颜色和倒计时时间的识别，在辅助驾驶与自动驾驶中扮演着极其重要的角色，交通信号灯的识别准确度和识别效率与驾驶安全有着密切的联系。
3.目前辅助驾驶系统以及自动驾驶系统中红绿灯倒计时时间的确定方法，大都依赖于高精地图集成的红绿灯倒计时功能，现有方法需要在高精地图的基础上，通过车联网技术接入交管信息平台才能获取交通信号灯的倒计时时间，在网络通讯效果欠佳或没有网络连接的情况下，难以准确而及时的获取交管信息平台的红绿灯倒计时时间，不仅影响辅助驾驶系统以及自动驾驶系统的正常运行，甚至还会危及行车安全。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种红绿灯倒计时时间识别方法及装置，在不依赖于高精地图、网络连接以及交管信息平台的前提下，准确识别红绿灯的倒计时时间，确保辅助驾驶系统以及自动驾驶系统的正常运行，有助于提高行车安全性。具体方案如下：
5.第一方面，本发明提供一种红绿灯倒计时时间识别方法，包括：
6.获取当前待识别红绿灯图片、所述当前待识别红绿灯图片对应的时间戳，以及多个历史识别结果；
7.其中，所述历史识别结果包括相应的历史倒计时时间和所述历史倒计时时间对应的时间戳；
8.将所述当前待识别红绿灯图片输入预训练的时间识别模型，得到所述当前待识别红绿灯图片对应的预测倒计时时间；
9.分别将各所述历史倒计时时间作为目标历史倒计时时间；
10.根据所述目标历史倒计时时间、所述目标历史倒计时时间对应的时间戳以及所述当前待识别红绿灯图片的时间戳，计算相应的参考倒计时时间；
11.基于各所述参考倒计时间和所述预测倒计时时间，确定当前倒计时时间。
12.可选的，所述根据所述目标历史倒计时时间、所述目标历史倒计时时间对应的时间戳以及所述当前待识别红绿灯图片的时间戳，计算相应的参考倒计时时间，包括：
13.计算所述当前待识别红绿灯图片的时间戳与所述目标历史倒计时时间对应的时间戳之差，得到间隔时长；
14.计算所述目标历史倒计时时间与所述间隔时长之差，得到参考倒计时时间。
15.可选的，所述基于各所述参考倒计时间和所述预测倒计时时间，确定当前倒计时时间，包括：
16.对各所述参考倒计时间和所述预测倒计时时间进行投票统计；
17.将各所述参考倒计时间和所述预测倒计时时间对应的倒计时时间中票数最多的倒计时时间作为当前倒计时时间。
18.可选的，所述分别将各所述历史倒计时时间作为目标历史倒计时时间，包括：
19.按照各所述历史倒计时时间对应的时间戳的时序，分别将各所述历史倒计时时间作为目标历史倒计时时间。
20.可选的，训练所述时间识别模型的过程，包括：
21.获取多帧红绿灯样本图片，所述红绿灯样本图片包括倒计时时间图像和样本标签，所述样本标签为所述倒计时时间图像对应的实际倒计时时间；
22.分别确定卷积神经网络对各所述红绿灯样本图片的输出结果，到对应的所述标签之间的误差，得到各所述红绿灯样本图片相对应的误差；
23.以各所述红绿灯样本图片相对应的误差处于预设范围内为训练目标，调整所述卷积神经网络的参数，得到所述时间识别模型。
24.可选的，所述获取多帧红绿灯样本图片，包括：
25.获取多帧红绿灯图片；
26.分别为各所述红绿灯图片添加标签；
27.按照预设预处理方法对各所述红绿灯图片进行预处理，得到处理后的红绿灯图片；
28.分别将各所述处理后的红绿灯图片转换为预设尺寸的红绿灯图片，得到相应的红绿灯样本图片。
29.可选的，所述预设处理方法包括添加高斯噪声、旋转预设角度、调节图片显示效果、擦除图片内容、按预设比例剪裁图片以及调整整图颜色中的至少一种。
30.可选的，本发明第一方面提供的红绿灯倒计时时间识别方法，还包括：
31.将各所述红绿灯样本图片中对应相同标签的红绿灯样本图片划分至相同集合，得到至少一个样本图片集。
32.第二方面，本发明提供一种红绿灯倒计时时间识别装置，包括：
33.第一获取单元，用于获取当前待识别红绿灯图片、所述当前待识别红绿灯图片对应的时间戳，以及多个历史识别结果；
34.其中，所述历史识别结果包括相应的历史倒计时时间和所述历史倒计时时间对应的时间戳；
35.识别单元，用于将所述当前待识别红绿灯图片输入预训练的时间识别模型，得到所述当前待识别红绿灯图片对应的预测倒计时时间；
36.计算单元，用于分别将各所述历史倒计时时间作为目标历史倒计时时间；根据所述目标历史倒计时时间、所述目标历史倒计时时间对应的时间戳以及所述当前待识别红绿灯图片的时间戳，计算相应的参考倒计时时间；
37.确定单元，用于基于各所述参考倒计时间和所述预测倒计时时间，确定当前倒计时时间。
38.可选的，本发明第二方面提供的红绿灯倒计时识别装置，还包括：
39.第二获取单元，用于获取多帧红绿灯样本图片，所述红绿灯样本图片包括倒计时时间图像和样本标签，所述样本标签为所述倒计时时间图像对应的实际倒计时时间；
40.训练单元，用于分别确定卷积神经网络对各所述红绿灯样本图片的输出结果，到对应的所述标签之间的误差，得到各所述红绿灯样本图片相对应的误差；
41.调节单元，用于以各所述红绿灯样本图片相对应的误差处于预设范围内为训练目标，调整所述卷积神经网络的参数，得到所述时间识别模型。
42.基于上述技术方案，在本发明实施例提供的红绿灯倒计时时间识别方法，在获取当前待识别红绿灯图片、当前待识别红绿灯图片对应的时间戳以及多个历史识别结果之后，将当前待识别红绿灯图片输入预训练的时间识别模型，得到当前待识别红绿灯图片对应的预测倒计时时间，然后分别将各历史倒计时时间作为目标历史倒计时时间，根据目标历史倒计时时间、目标历史倒计时时间对应的时间戳以及当前待识别红绿灯图片的时间戳，计算相应的参考倒计时时间，最终基于各参考倒计时间和预测倒计时时间，确定当前倒计时时间。本发明提供的识别方法基于当前待识别红绿灯图片得到预测倒计时时间，进一步结合预测倒计时时间和基于历史倒计时时间得到的参考倒计时时间确定最终的当前倒计时时间，与现有技术相比，本方法在不依赖于高精地图、网络连接以及交管信息平台的前提下，准确识别红绿灯的倒计时时间，确保辅助驾驶系统以及自动驾驶系统的正常运行，有助于提高行车安全性。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是本发明实施例提供的一种红绿灯倒计时时间识别方法的流程图；
45.图2是本发明实施例提供的一种红绿灯倒计时时间识别装置的结构框图；
46.图3是本发明实施例提供的另一种红绿灯倒计时时间识别装置的结构框图；
47.图4是本发明实施例提供的再一种红绿灯倒计时时间识别装置的结构框图。
具体实施方式
48.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.本发明提供的红绿灯倒计时时间识别方法，应用于车载控制器，该车载控制器可以是自动驾驶系统的控制器，也可以是辅助驾驶系统的控制器，同样可以是车辆上集成的其他控制器，比如整车控制器或车联网设备控制器，当然，在某些情况下，也可以应用于网络侧的服务器。
50.参见图1，图1是本发明实施例提供的红绿灯倒计时时间识别方法的流程图，本发明实施例提供的红绿灯倒计时时间识别方法的流程，可以包括：
51.s100、获取当前待识别红绿灯图片、当前待识别红绿灯图片对应的时间戳，以及多个历史识别结果。
52.为了提高时间识别结果的准确率，本方法采用当前识别结果和历史识别结果融合的方式确定最终的识别结果，因此，需要获取多个历史识别结果。对于任一历史识别结果而言，均包括有相应的历史倒计时时间和历史倒计时时间对应的时间戳。
53.可以理解的是，不同的红绿灯系统的总的倒计时时长是不同的，比如，有的是15s，有的是30s，还有的是90s等等，因此，能够获得的历史识别结果的数量往往是不同的，在实际应用中还需要结合具体的实际情况确定历史识别结果的数量。当然，也可以指定确定数量的历史识别结果，对于不存在的历史识别结果，可以进行无效处理或者在后续步骤中予以忽略。
54.进一步的，由于红绿灯的倒计时是按照预设周期重复循环的，因此，本步骤获取的历史识别结果应该与当前待识别红绿灯图片对应的倒计时时间属于同一周期内。至于是否属于同一周期的判断，可以基于系统时间确定，本发明对此不做限定。
55.当前待识别红绿灯图片的获取，可以基于车载图像采集设备实现，比如车载摄像头等，此处不再展开。至于当前待识别红绿灯图片的时间戳以及各个历史倒计时时间的时间戳，都采样系统时间统一标记。
56.s110、将当前待识别红绿灯图片输入预训练的时间识别模型，得到当前待识别红绿灯图片对应的预测倒计时时间。
57.本发明实施例提供一种时间识别模型，是经过训练神经网络模型得到的，该时间识别模型以待识别红绿灯图片为输入，以图片中包括的红绿灯倒计时时间为输出。基于此，在获取待识别红绿灯图片之后，将该待识别红绿灯图片输入该预训练的时间识别模型之中，即可得到当前待识别红绿灯图片对应的预测倒计时时间。
58.可选的，如果时间识别模型对输入图片的尺寸有要求，在将待识别红绿灯图片输入时间识别模型之前，还需要将待识别红绿灯图片转换为预设尺寸，当然，如果还有其他预处理要求，还需要根据实际情况对待识别红绿灯图片进行相应的预处理措施，此处不再一一详述。
59.至于时间识别模型的训练过程，将在后续内容中详细展开，此处暂不详述。
60.s120、分别将各历史倒计时时间作为目标历史倒计时时间，根据目标历史倒计时时间、目标历史倒计时时间对应的时间戳以及当前待识别红绿灯图片的时间戳，计算相应的参考倒计时时间。
61.如前所述，每个历史识别结果对应包括一个历史倒计时时间和该历史倒计时时间对应的时间戳，因此，作为一种可选的实现方式，可以按照各历史倒计时时间对应的时间戳的时序，分别将各历史倒计时时间作为目标历史倒计时时间，从而按照时间先后顺序依次对各个历史倒计时时间进行处理。
62.利用红绿灯倒计时是根据时间连续变化这一规则，两个倒计时时间之间的时间差，与两个倒计时时间对应的时间戳之间的时间差应该是一样的，基于此，可以基于历史倒计时时间对当前的倒计时时间进行计算，在本发明实施例中，将基于该原理计算得到的倒计时时间，定义为参考倒计时时间。
63.可选的，在确定目标历史倒计时时间之后，计算当前待识别红绿灯图片的时间戳与目标历史倒计时时间对应的时间戳之差，得到间隔时长，如前所述，该时间间隔同样是倒计时时间之间的时间间隔，基于此，进一步计算目标历史倒计时时间与间隔时长之差，即可
得到相应的参考倒计时时间。
64.在按照上述计算方法遍历所有的历史倒计时时间之后，即可得到多个参考倒计时时间。
65.s130、基于各参考倒计时间和预测倒计时时间，确定当前倒计时时间。
66.可以理解的是，在经过前述步骤得到的多个参考倒计时时间和预测倒计时时间之后，各个倒计时时间大概率是不完全相同的，因此，需要对各参考倒计时间和预测倒计时时间进行投票统计，将各参考倒计时间和预测倒计时时间对应的倒计时时间中票数最多的倒计时时间作为当前倒计时时间。
67.综上所述，本发明实施例提供的红绿灯倒计时时间识别方法，基于当前待识别红绿灯图片得到预测倒计时时间，进一步结合预测倒计时时间和基于历史倒计时时间得到的参考倒计时时间确定最终的当前倒计时时间，与现有技术相比，本方法在不依赖于高精地图、网络连接以及交管信息平台的前提下，准确识别红绿灯的倒计时时间，确保辅助驾驶系统以及自动驾驶系统的正常运行，有助于提高行车安全性。
68.下面对得到时间识别模型的过程进行展开，在实际应用中，时间识别模型的获取主要包括样本获取、模型设计和模型训练三个部分，下面逐一进行介绍。
69.就样本获取而言，可以利用搭载数据采集摄像头的车辆采集城市道路内的红绿灯图片，并分别为各帧红绿灯图片添加标签，标签的内容为红绿灯图片中的倒计时时间，当然，为了适应模型训练，标签还可以包括其他信息，在不超出本发明核心思想范围的前提下，同样属于本发明保护的范围内。
70.可以理解的是，为了提高识别模型的识别准确率，红绿灯图片的数量应足够过，以便尽可能的涵盖实际应用中可能遇到的不同类型的红绿灯。
71.在得到足够数量的红绿灯图片之后，按照预设预处理方法对各红绿灯图片进行预处理，得到处理后的红绿灯图片。
72.具体的，在实际应用中，采集的红绿灯图片可能存在种类不均衡的问题，而这种不均衡对模型识别效果有较严重的影响。因此，采用相应的数据增强处理措施，比如，对数据量较少的红绿灯图片添加高斯噪声、旋转预设角度、调节图片显示效果(对比度、亮度、透明度)等操作，并复制增强处理后的图像以扩充数据量。
73.进一步的，为了增强时间识别模型对不同场景、不同尺寸的红绿灯时间数字、不同颜色红绿灯、部分存在遮挡、部分存在截断等场景的泛化能力，还可以进一步对红绿灯图片进行擦除图片内容、按预设比例裁剪图片以及调整整图颜色等操作。
74.可选的，完成上述处理后，分别将各处理后的红绿灯图片转换为预设尺寸的红绿灯图片，得到相应的红绿灯样本图片。
75.进一步的，为了便于对样本图片的管理，还可以将各红绿灯样本图片中对应相同标签的红绿灯样本图片划分至相同集合，得到至少一个样本图片集。
76.进一步的，在得到样本图片之后，即可进行模型设计。本实施例提供的时间识别模型主要通过cnn神经网络实现，主要包括backbone和head两部分，其中，分类网络backbone采用轻量化结构，用于提取红绿灯数字图像信息，网络输出head按照红绿灯数字值定义，根据红绿灯数字类别输出最终识别结果。至于基于cnn神经网络搭建识别模型的具体实现方式，可以参考现有技术实现，此处不再展开。
77.最后，训练时间识别模型。经过前述准备，已经得到数量充足的红绿灯样本图片，每一帧红绿灯样本图片包括倒计时时间图像和样本标签，如前所述，本实施例述及的样本标签为倒计时时间图像对应的实际倒计时时间。
78.进一步的，分别确定卷积神经网络对各红绿灯样本图片的输出结果，到对应的标签之间的误差，得到各红绿灯样本图片相对应的误差，以各红绿灯样本图片相对应的误差处于预设范围内为训练目标，调整卷积神经网络的参数，最终得到时间识别模型。
79.在实际应用中，可以使用gpu服务器基于pytorch训练框架进行模型训练，共训练64个epoch，采用warm-up方式更改学习率，各类别loss经归一化后均匀加权得到模型总的loss，每隔10个epoch周期进行一次模型验证，当各个分类类别精度均达到95％以上时停止模型的迭代，对于其他未述及的具体训练过程，可参照现有技术实现，此处同样不再展开。
80.下面对本发明实施例提供的红绿灯倒计时时间识别装置进行介绍，下文描述的红绿灯倒计时时间识别装置可以认为是为实现本发明实施例提供的红绿灯倒计时时间识别方法，在中央设备中需设置的功能模块架构；下文描述内容可与上文相互参照。
81.图2为本发明实施例提供的一种红绿灯倒计时时间识别装置的结构框图，参照图2，该装置可以包括：
82.第一获取单元10，用于获取当前待识别红绿灯图片、当前待识别红绿灯图片对应的时间戳，以及多个历史识别结果；
83.其中，历史识别结果包括相应的历史倒计时时间和历史倒计时时间对应的时间戳；
84.识别单元20，用于将当前待识别红绿灯图片输入预训练的时间识别模型，得到当前待识别红绿灯图片对应的预测倒计时时间；
85.计算单元30，用于分别将各历史倒计时时间作为目标历史倒计时时间；根据目标历史倒计时时间、目标历史倒计时时间对应的时间戳以及当前待识别红绿灯图片的时间戳，计算相应的参考倒计时时间；
86.确定单元40，用于基于各参考倒计时间和预测倒计时时间，确定当前倒计时时间。
87.可选的，计算单元30，用于根据目标历史倒计时时间、目标历史倒计时时间对应的时间戳以及当前待识别红绿灯图片的时间戳，计算相应的参考倒计时时间，包括：
88.计算当前待识别红绿灯图片的时间戳与目标历史倒计时时间对应的时间戳之差，得到间隔时长；
89.计算目标历史倒计时时间与间隔时长之差，得到参考倒计时时间。
90.可选的，确定单元40，用于基于各参考倒计时间和预测倒计时时间，确定当前倒计时时间，包括：
91.对各参考倒计时间和预测倒计时时间进行投票统计；
92.将各参考倒计时间和预测倒计时时间对应的倒计时时间中票数最多的倒计时时间作为当前倒计时时间。
93.可选的，计算单元，用于分别将各历史倒计时时间作为目标历史倒计时时间，包括：
94.按照各历史倒计时时间对应的时间戳的时序，分别将各历史倒计时时间作为目标历史倒计时时间。
95.可选的，参见图3，图3是本发明实施例提供的另一种红绿灯倒计时时间识别装置的结构框图，在图2所示实施例的基础上，本装置还包括：
96.第二获取单元50，用于获取多帧红绿灯样本图片，红绿灯样本图片包括倒计时时间图像和样本标签，样本标签为倒计时时间图像对应的实际倒计时时间；
97.训练单元60，用于分别确定卷积神经网络对各红绿灯样本图片的输出结果，到对应的标签之间的误差，得到各红绿灯样本图片相对应的误差；
98.调节单元70，用于以各红绿灯样本图片相对应的误差处于预设范围内为训练目标，调整卷积神经网络的参数，得到时间识别模型。
99.可选的，第二获取单元，用于获取多帧红绿灯样本图片，包括：
100.获取多帧红绿灯图片；
101.分别为各红绿灯图片添加标签；
102.按照预设预处理方法对各红绿灯图片进行预处理，得到处理后的红绿灯图片；
103.分别将各处理后的红绿灯图片转换为预设尺寸的红绿灯图片，得到相应的红绿灯样本图片。
104.可选的，预设处理方法包括添加高斯噪声、旋转预设角度、调节图片显示效果、擦除图片内容、按预设比例剪裁图片以及调整整图颜色中的至少一种。
105.可选的，参见图4，图4是本发明实施例提供的再一种红绿灯倒计时时间识别装置的结构框图，在图3所示实施例的基础上，还包括：
106.分类单元80，用于将各红绿灯样本图片中对应相同标签的红绿灯样本图片划分至相同集合，得到至少一个样本图片集。
107.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
108.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
109.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
110.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。