一种交通信号灯定位识别方法、装置及系统与流程

本发明涉及图像识别技术领域，特别涉及一种交通信号灯定位识别方法、装置及系统。

背景技术：

随着经济水平和人民生活水平的不断提高，各大中小城市中车辆不断的增加。与此同时，随之而来的交通问题也越来越备受关注。在交通违法行为识别的过程中，自动准确的识别交通信号灯的尤为重要。传统的交通信号灯识别方案主要是利用像素变化，检测特定区域的颜色值变化，来确定交通信号灯的状态。例如用户划定固定的检测区域，如果该区域出现红色，则认为红灯亮。但是，这种交通信号灯的识别方案由于天气，季节的变化，和物体热胀冷缩的特性，交通信号灯的位置会发生上下，左右的移动，系统初始化时候设定的位置很多时候不是最终检测对应的灯的位置。同时，由于光照，成像技术的原因，事实上的红灯在成像上面可能显示为更接近黄灯的颜色，造成识别的错误。这种颜色失真现象在夜晚会更加明显。

现有技术中识别交通信号灯的技术方案还有一种是利用交通信号灯的形状，如圆形，箭头等形状在特定区域进行模板匹配，并且对匹配的区域提取像素值，从而识别灯的颜色。但是，这种技术方案由于交通信号灯的形状各异，例如圆灯，箭头灯，而且图像采集的摄像头的安装位置以及交通信号灯的安装位置各有不同，导致不同位置间交通信号灯的大小不一，很难找到一个能够覆盖各种情况的通用模板。而且该方案也存在技术一中出现的光照、成像技术导致的颜色失真现象，无法精准的进行交通信号灯识别。

因此，在发明人开发交通信号灯识别的过程中，发现现有技术中至少存在如下问题：

现有技术中识别交通信号灯的技术方案识别精度不高，误判率高，且通用性差，受外界环境影响较大。

技术实现要素：

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的，本发明的技术方案是这样实现的：

一方面，本发明提供了一种交通信号灯定位识别方法，包括：

获取待检测图像及基于卷积神经网络的目标检测识别模型；

通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像的交通信号灯检测区域进行交通信号灯识别；

获取所述待检测图像中交通信号灯信息；所述交通信号灯信息包括：交通信号灯的颜色、坐标位置及置信度。

本发明还提供了一种交通信号灯定位识别装置，包括：

信息获取单元，用于获取待检测图像及基于卷积神经网络的目标检测识别模型；

识别单元，用于通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像的交通信号灯检测区域进行交通信号灯识别；

信息确定单元，用于获取所述待检测图像中交通信号灯信息；所述交通信号灯信息包括：交通信号灯的颜色、坐标位置及置信度。

本发明还提供了一种交通信号灯定位识别系统，包括：如上所述交通信号灯定位识别装置。

本发明的技术方案通过基于卷积神经网络的目标检测识别模型对所述待检测图像进行交通信号灯识别，并获取所述待检测图像中交通信号灯信息。由于所述基于卷积神经网络的目标检测识别模型能够学习到交通信号灯坐标位置及交通信号灯颜色，从而使得通过所述基于卷积神经网络的目标检测识别模型识别出来的待检测图像中的交通信号灯信息，即包含了交通信号灯的颜色、坐标位置及置信度。因此通过基于卷积神经网络的目标检测识别模型实现交通信号灯的定位识别，从而解决了现有技术中交通信号灯识别精度不高，误判率高，且通用性差，受外界环境影响较大的问题。

附图说明

图1为本发明实施例提供的一种交通信号灯定位识别方法流程图；

图2为本发明实施例提供的另一种交通信号灯定位识别方法流程图；

图3为本发明实施例提供的一种交通信号灯定位识别装置结构示意图；

图4为本发明实施例提供的一种交通信号灯定位识别系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

基于卷积神经网络的算法。其中，快速区域卷积神经网络算法是目前最先进的用于目标检测的深度学习神经网络之一。所述快速区域卷积神经网络由两部分网络构成；一部分用于生成目标可能出现的区域，另一部分用于在所述目标区域对待检测目标进行精确定位并识别。

如图1为所示为本发明实施例提供的一种交通信号灯定位识别方法流程图；该方法包括：

101：获取待检测图像及基于卷积神经网络的目标检测识别模型；

102：通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像的交通信号灯检测区域进行交通信号灯识别；

103：获取所述待检测图像中交通信号灯信息；所述交通信号灯信息包括：交通信号灯的颜色、坐标位置及置信度。

基于以上实施例，如图2所示，为本发明实施例提供的另一种交通信号灯定位识别方法流程图；该方法包括：

201：获取带标注的训练样本、待训练样本图像及配置参数；所述标注的训练样本带有交通信号灯框一个角点的坐标位置、灯框宽高值和当前灯的颜色；

202：根据配置参数，生成所述待训练样本图像的候选推荐区域，并确定所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度；该步骤具体实现过程如下：所述配置参数包括：交通信号灯框长宽比、及交通信号灯框标准信息；所述交通信号灯框标准信息包括待识别交通信号灯框坐标位置。

S21:根据所述交通信号灯框长宽比，生成所述待训练样本图像的候选推荐区域；

S22:根据所述交通信号灯框标准信息，确定所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度。该步骤具体为：

本发明技术方案采用基于区域的卷积神经网络快速检测模型Faster R-CNN的深度学习方法离线训练所述基于卷积神经网络的目标检测识别模型。例如：当交通信号灯框标准信息即训练样本中交通信号灯为三眼竖灯时，所述交通信号灯的宽高比接近1:3，可以利用这一特征对图像进行尺寸调整，确保宽高比为1:3，且大小为20x60。Faster R-CNN深度学习模型对目标尺寸的大小和宽高比没有严格的要求，能够检测到合理尺度范围的任何宽高比目标。根据交通信号灯框标准信息的先验知识，将其宽高比设为1:3，大小设为20x60,不但可以降低模型复杂度，从而能够在不牺牲检测精度的情况下提高检测效率。该模型除了能够输出灯框的位置，灯的颜色之外，还能够提供检测的置信度(0-1，0为最不确定，1为最确定)。在真实场景中，只要红绿灯灯框在20x60附近就可以检测到，并不严格要求大小为20x60。

203：根据所述带标注的训练样本与所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度，确定所述待训练样本图像的候选推荐区域的样本类型；所述样本类型包括：正样本或负样本；

204：根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度和所述待训练样本图像的候选推荐区域的样本类型，获取所述基于卷积神经网络的目标检测识别模型。其中，所述基于卷积神经网络的目标检测识别模型包括：候选推荐区域检测器和交通信号灯分类定位器；该步骤具体实现过程如下：

S41:根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度和所述待训练样本图像的候选推荐区域的样本类型，获取所述候选推荐区域检测器；

S42：根据所述候选推荐区域检测器输出的所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度和带标注的训练样本中标注的带有交通信号灯框一个角点的坐标位置、灯框宽高值和当前灯的颜色，获取所述交通信号灯分类定位器。

需要说明的是，在以下步骤S205之前，还包括：预设置待检测图像的交通信号灯检测区域；

205：通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像的交通信号灯检测区域进行交通信号灯识别；该步骤具体实现过程为：

S51:通过所述基于卷积神经网络的目标检测识别模型，确定所述待检测图像的交通信号灯检测区域内候选推荐区域；

S52:在候选推荐区域内进行交通信号灯识别，获取所述交通信号灯框一个角点的坐标位置、灯框宽高值，当前灯的颜色及其置信度；

S53:按照所述交通信号灯的坐标位置以及置信度，调整所述交通信号灯检测区域；所述调整后的交通信号灯检测区域将用于下一轮的交通信号灯识别，以便在后待检测图像的交通信号灯识别；具体的讲，就是根据所述候选推荐区域中交通信号灯框一个角点的坐标位置及其置信度动态地调整其检测区域的大小。例如：当所述候选推荐区域的置信度非常高(如在0.95-0.999之间)时，可以仅在当前坐标位置周围40x 80的区域内进行检测。当置信度处于较高水平(如在0.85-0.95之间)时，可以在当前坐标位置周围60x100的区域内进行检测。当置信度较低时(如置信度<0.85),说明当前基于卷积神经网络的目标检测识别模型对检测结果非常不确定，需要检测整个候选推荐区域(100x 140或者更大)。由于基于区域的卷积神经网络快速检测模型Faster R-CNN需要针对候选推荐区域进行卷积，且时间占比达90％左右，图像检测区域越小，速度越快。这样依据置信度动态调整检测区域能够有效的提高检测效率，同时也能确保检测的精度。

需要说明的是，利用训练好的模型(即经过以上步骤201至步骤204训练基于卷积神经网络的目标检测识别模型)对待检测图像进行定位和识别的过程之前，本发明技术方案还可以预设置待检测图像的交通信号灯检测区域；由于视频采集装置采集的待检测图像的监控面积较大，而交通信号灯的位置已经相对固定，即便有热胀冷缩效应，也不会偏离出极大的范围(比如上下左右均在交通信号灯宽度的2倍以内)。通过所述基于卷积神经网络的目标检测识别模型，确定所述待检测图像的候选推荐区域之前，所述待检测图像可以根据所述预设置待检测图像的交通信号灯检测区域确定所述基于卷积神经网络的目标检测识别模型的交通信号灯检测区域(通常为灯框宽度的5倍)。这样，以上步骤S51通过所述基于卷积神经网络的目标检测识别模型，确定所述待检测图像的候选推荐区域；此处确定的待检测图像的候选推荐区域是在基于卷积神经网络的目标检测识别模型的交通信号灯检测区域中确定的候选推荐区域。此处需要基于卷积神经网络的目标检测识别模型识别的区域大大缩小，不但可以提高检测准确性，还能缩短检测识别时间。

同时，调整交通信号灯检测区域的大小，确保红绿灯灯框的大小为20x60,从而确保模型在应用阶段和训练阶段的大小一致或接近，进而提高系统检测准确性。

206：获取所述待检测图像中交通信号灯信息；所述交通信号灯信息包括：交通信号灯的颜色、坐标位置及置信度。该步骤具体实现流程如下：

S61:获取所述待检测图像的至少一个候选推荐区域内的交通信号灯信息；

S62:获取置信度最高的候选推荐区域内的交通信号灯信息，作为待检测图像的交通信号灯信息。该步骤的具体获取流程如下：对所述待检测图像的至少一个候选推荐区域内的交通信号灯信息进行分析，剔除可能的误检。首先，当所述交通信号灯识别过程中出现多个候选推荐区域，且出现两个或者更多的候选推荐区域的交通信号灯的灯框之间有重叠，则需要计算两个或者更多的检测灯框的重叠面积比；例如为两个矩形灯框之间重叠，则所述两个灯框重叠面积比为所述两个矩形框的交集比并集；如果所述两个灯框重叠面积比大于特定阈值(如0.5)，则将置信度较低的矩形灯框进行消除，仅保留最高置信度对应矩形灯框结果；如果所述灯框的置信度小于特定阈值(如0.5)，则所述基于卷积神经网络的目标检测识别模型对所述待检测图像进行交通信号灯识别的灯框结果为非常不确定，出现误检的概率很大，此时系统将除去所述灯框对应的候选推荐区域，从而保证检测准确性。

其次，依据交通信号灯闪烁的规律进行排除不正常状况，如亮灯顺序应该为绿灯-->黄灯-->红灯-->绿灯，因为交通信号灯的闪烁中间可能存在全黑的状况，但是不会出现红灯亮了之后黄灯立即亮的情况，依据这一规则也可以排除一些明显的误检。

需要说的是，以上所述通过绿灯-->黄灯-->红灯-->绿灯状态排除的方法应该是对采集图像不同图像帧的筛选，即根据帧与帧之间的信息不同灯的颜色变化完成错误帧的筛查；而上面通过比较特定阈值排查则是针对同一个采集图像帧中不同的候选推荐区域的排查。

如图3所示，为本发明实施例提供的一种交通信号灯定位识别装置；该装置包括：

信息获取单元301，用于获取待检测图像及基于卷积神经网络的目标检测识别模型；

识别单元302，用于通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像的交通信号灯检测区域进行交通信号灯识别；

信息确定单元303，用于获取所述待检测图像中交通信号灯信息；所述交通信号灯信息包括：交通信号灯的颜色、坐标位置及置信度。

需要说明的是，该装置还包括：

参数信息获取单元，用于获取带标注的训练样本、待训练样本图像及配置参数；所述标注的训练样本带有交通信号灯框一个角点的坐标位置、灯框宽高值和当前灯的颜色；

区域生成单元，用于根据配置参数，生成所述待训练样本图像的候选推荐区域，并确定所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度；

类型确定单元，用于根据所述带标注的训练样本与所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度，确定所述待训练样本图像的候选推荐区域的样本类型；所述样本类型包括：正样本或负样本；

模型获取单元，用于根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度和所述待训练样本图像的候选推荐区域的样本类型，获取所述基于卷积神经网络的目标检测识别模型；

其中，所述配置参数包括：交通信号灯框长宽比及交通信号灯框标准信息；所述区域生成单元，具体用于根据所述交通信号灯框长宽比，生成所述待训练样本图像的候选推荐区域；根据所述交通信号灯框标准信息，确定所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度；

其中，所述基于卷积神经网络的目标检测识别模型包括：候选推荐区域检测器和交通信号灯分类定位器；所述模型获取单元，具体用于根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度和所述待训练样本图像的候选推荐区域的样本类型，获取所述候选推荐区域检测器；根据所述候选推荐区域检测器输出的所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度和带标注的训练样本中标注的带有交通信号灯框一个角点的坐标位置、灯框宽高值和当前灯的颜色，获取所述交通信号灯分类定位器。

其中，该装置还包括：

预置单元，用于预设置待检测图像的交通信号灯检测区域；

所述识别单元具体用于通过所述基于卷积神经网络的目标检测识别模型，确定所述待检测图像的交通信号灯检测区域内候选推荐区域；在候选推荐区域内进行交通信号灯识别，获取所述交通信号灯框一个角点的坐标位置、灯框宽高值，当前灯的颜色及其置信度；按照所述交通信号灯的坐标位置以及置信度，调整所述交通信号灯检测区域；所述调整后的交通信号灯检测区域将用于下一轮的交通信号灯识别，以便在后待检测图像的交通信号灯识别；

所述信息确定单元，具体用于获取所述待检测图像的至少一个候选推荐区域内的交通信号灯信息；获取置信度最高的候选推荐区域内的交通信号灯信息，作为待检测图像的交通信号灯信息。

如图4所示，为本发明实施例提供的一种交通信号灯定位识别系统；该系统包括：如上所述交通信号灯定位识别装置。

本发明的技术方案通过基于卷积神经网络的目标检测识别模型对所述待检测图像进行交通信号灯识别，并获取所述待检测图像中交通信号灯信息。由于所述基于卷积神经网络的目标检测识别模型能够学习到交通信号灯坐标位置及交通信号灯颜色，从而使得通过所述基于卷积神经网络的目标检测识别模型识别出来的待检测图像中的交通信号灯信息，即包含了交通信号灯的颜色、坐标位置及置信度。因此通过基于卷积神经网络的目标检测识别模型实现交通信号灯的定位识别，从而解决了现有技术中交通信号灯识别精度不高，误判率高，且通用性差，受外界环境影响较大的问题。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。