信号灯识别并分组的方法、装置、电子设备及存储介质与流程

本技术涉及图像处理，尤其涉及一种信号灯识别并分组的方法、装置、电子设备及存储介质。

背景技术：

1、随着自动驾驶技术的发展，自动驾驶车辆的自动程度越来越高，出于安全和导航的考虑，自动驾驶车辆对信号灯识别的准确性要求更高。

2、在相关技术方案中，一般都是采用神经网络识别单张道路图片中的信号灯，然后用匈牙利算法或者提取特征点的方法来对多张图片的信号做匹配，由于信号灯目标较小，不易匹配，这样消耗时间长且，识别与匹配效果也较差，或者使用连续帧的图片来识别信号灯，然后再用最优匹配灯等算法来匹配信号灯，但是该种方法对信号灯的匹配分组效果也不理想，需要改进。

技术实现思路

1、为解决或部分解决相关技术中存在的问题，本技术提供一种信号灯识别并分组的方法、装置、电子设备及存储介质，能够准确识别连续帧图像中的信号灯，并对不同图像中的同一个信号灯进行匹配分组。

2、本技术第一方面提供一种信号灯识别并分组的方法，包括：

3、获取多张待识别的连续帧信号灯图像，所述信号灯图像中至少包括一个待识别信号灯；

4、将所述多张待识别的连续帧信号灯图像作为循环神经网络模型的输入，对每帧信号灯图像中的每个待识别信号灯的角点进行识别，得到每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量；

5、基于所述每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量确定所述每帧信号灯图像中每个待识别信号灯的四个角点；

6、根据所述每个待识别信号灯的四个角点和所述嵌入向量，确定所述多张待识别的连续帧信号灯图像中属于同一待识别信号灯的信号灯区域。

7、作为本技术一种可能的实施方式，在该实施方式中，所述循环神经网络模型为双向门循环单元模型，所述将所述多张待识别的连续帧信号灯图像作为循环神经网络模型的输入，对每帧信号灯图像中的每个待识别信号灯的角点进行识别，得到每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量，包括：

8、将所述多张待识别的连续帧信号灯图像输入至所述双向门循环单元模型；

9、识别各待识别信号灯图像中各待识别信号灯的角点，基于各待识别信号灯的各个角点的位置生成角点的位置热图，其中，所述角点的位置热图为4张，每张所述角点位置的热图中记录有所述多张待识别的连续帧信号灯图像中所有待识别信号灯的一个方位的角点位置；

10、基于所述角点的位置热图，生成各待识别信号灯的各个角点的嵌入向量。

11、作为本技术一种可能的实施方式，在该实施方式中，所述基于所述每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量确定所述每帧信号灯图像中每个待识别信号灯的四个角点，包括：

12、采用第一损失函数计算每帧信号灯图像中各信号灯角点的嵌入向量之间的第一向量距离，其中，所述第一损失函数为

13、

14、其中，l_pull1为第一损失函数的值，ek为第k个角点的嵌入向量，ecenter为同一待识别信号灯中四个角点的嵌入向量的平均值；

15、采用第二损失函数计算每帧信号灯图像中各信号灯角点的嵌入向量之间的第二向量距离，其中，所述第二损失函数为

16、

17、其中，l_push为第二损失函数的值，n为每帧信号灯图像中待识别信号灯的数量，ecenteri为第i个待识别信号灯的四个角点的嵌入向量的平均值，ecenterj为第j个待识别信号灯的四个角点的嵌入向量的平均值，δ为常数1；

18、根据所述第一损失函数和第二损失函数，确定每帧信号灯图像中属于同一待识别信号灯的四个角点，其中，每帧信号灯图像中同一待识别信号的四个角点的第一向量距离最近，每帧的信号灯图像中不同待识别信号灯的四个角点的第二向量距离不是最近。

19、作为本技术一种可能的实施方式，在该实施方式中，所述根据所述每个待识别信号灯的四个角点和所述嵌入向量，确定所述多张待识别的连续帧信号灯图像中属于同一待识别信号灯的信号灯区域，包括：

20、采用第三损失函数计算多张待识别的连续帧信号灯图像中各待识别信号灯的第三向量距离，其中，所述第三损失函数为

21、

22、其中，l_pull2为第三损失函数的值，x和y表示y张待识别的连续帧信号灯图像中都有x个待识别的信号灯，为第y张信号灯图像中的第x个待识别信号灯的四个角点的嵌入向量的平均值，为第1张信号灯图像中的第x个待识别信号灯的四个角点的嵌入向量的平均值；

23、基于所述第三损失函数，确定所述多张待识别的连续帧信号灯图像中属于同一待识别信号灯的信号灯区域，其中，不同信号灯图像中属于同一待识别信号灯的角点之间的第三向量距离最小。

24、作为本技术一种可能的实施方式，在该实施方式中，所述基于所述角点的位置热图，生成各待识别信号灯的各个角点的嵌入向量，包括：

25、获取所述角点的位置热图中各待识别信号灯的各个角点的像素值；

26、基于所述像素值生成各个角点的嵌入向量。

27、本技术第二方面提供了一种信号灯识别并分组的装置，包括：

28、图像获取模块，用于获取多张待识别的连续帧信号灯图像，所述信号灯图像中至少包括一个待识别信号灯；

29、模型识别模块，用于将所述多张待识别的连续帧信号灯图像作为循环神经网络模型的输入，对每帧信号灯图像中的每个待识别信号灯的角点进行识别，得到每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量；

30、信号灯识别模块，用于基于所述每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量确定所述每帧信号灯图像中每个待识别信号灯的四个角点；

31、信号灯分组模块，用于根据所述每个待识别信号灯的四个角点和所述嵌入向量，确定所述多张待识别的连续帧信号灯图像中属于同一待识别信号灯的信号灯区域。

32、作为本技术一种可能的实施方式，在该实施方式中，所述信号灯识别模块用于：

33、采用第一损失函数计算每帧信号灯图像中各信号灯角点的嵌入向量之间的第一向量距离，其中，所述第一损失函数为

34、

35、其中，l_pull1为第一损失函数的值，ek为第k个角点的嵌入向量，ecenter为同一待识别信号灯中四个角点的嵌入向量的平均值；

36、采用第二损失函数计算每帧信号灯图像中各信号灯角点的嵌入向量之间的第二向量距离，其中，所述第二损失函数为

37、

38、其中，l_push为第二损失函数的值，n为每帧信号灯图像中待识别信号灯的数量，ecenteri为第i个待识别信号灯的四个角点的嵌入向量的平均值，ecenterj为第j个待识别信号灯的四个角点的嵌入向量的平均值，δ为常数1；

39、根据所述第一损失函数和第二损失函数，确定每帧信号灯图像中属于同一待识别信号灯的四个角点，其中，每帧信号灯图像中同一待识别信号的四个角点的第一向量距离最近，每帧的信号灯图像中不同待识别信号灯的四个角点的第二向量距离不是最近。

40、作为本技术一种可能的实施方式，在该实施方式中，所述信号灯分组模块用于：

41、采用第三损失函数计算多张待识别的连续帧信号灯图像中各待识别信号灯的第三向量距离，其中，所述第三损失函数为

42、

43、其中，l_pull2为第三损失函数的值，x和y表示y张待识别的连续帧信号灯图像中都有x个待识别的信号灯，为第y张信号灯图像中的第x个待识别信号灯的四个角点的嵌入向量的平均值，为第1张信号灯图像中的第x个待识别信号灯的四个角点的嵌入向量的平均值；

44、基于所述第三损失函数，确定所述多张待识别的连续帧信号灯图像中属于同一待识别信号灯的信号灯区域，其中，不同信号灯图像中属于同一待识别信号灯的角点之间的第三向量距离最小。

45、本技术第三方面提供一种电子设备，包括：

46、处理器；以及

47、存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

48、本技术第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

49、本技术实施例通过获取多张待识别的连续帧信号灯图像，将该多张待识别的连续帧信号灯图像作为循环神经网络模型的输入，对每帧信号灯图像中的每个待识别信号灯的角点进行识别，得到每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量，然后基于每个角点的位置热图和嵌入向量，采用三个不同的损失函数，对角点进行识别，确定同一帧图像中属于同一信号灯的四个角点以及不同帧图像中属于同一信号灯的信号灯区域，能够准确识别信号灯的同时，还能够对连续帧中的信号灯进行分组，识别效果好，识别效率高。

50、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。