一种车载图像的实时交通限速标志识别方法与流程

本发明涉及智能驾驶技术领域的一种车载图像的实时交通限速标志识别方法，尤其涉及一种车载图像的实时交通限速标志识别方法。

背景技术：

近年来，随着城市化的不断发展和汽车的普及，道路交通安全问题日益突出。高级驾驶辅助系统(advanceddrivingassistantsystem，adas)是解决当前道路交通安全问题的重要措施之一，交通限速识别是adas中一个重要的功能，正逐渐成为车辆的一种标准配置。交通限速标志识别主要是通过车载摄像头获取图像，对图像进行视觉算法处理，识别交通限速标志。

基于深度学习的限速标志识别，计算量比较大，硬件成本较高，功耗大，尚未大面积普及。基于传统机器视觉的交通限速标志识别存在三大问题：

一是限速种类从限速10到限速120，有十几类，如何基于有限的硬件资源，设计算法流程，满足识别的实时性要求(一般在100ms以内)；

二是限速标志易与限重标志混淆，如何有效加以区分，降低误检；

三是hog特征和haar-like特征维度较低，分类效果较弱。

技术实现要素：

为了解决上述问题，本发明提供了基于co-hog特征和svm算法构成的三级检测，降低整体计算量和降低误检，提升了分类效果，提高了检测准确性。

本发明包括检测、识别和验证三个阶段，采用的技术方案是：

从车载图像传感器获取图像，基于所述获取图像生成多层金字塔图像；

计算所述多层金字塔图像的梯度方向，生成多层梯度方向图；

根据co-hog特征和svm算法构建形成圆形检测器，用于检测所述多层梯度方向图中的圆形目标物；

根据co-hog特征和svm算法形成交通限速标志识别器，交通限速标志识别器主要由多个不同限速速度下的子识别器构成，如图2所示；

交通限速标志识别器的不同限速速度分别为10、20、30、40、50、60、70、80、90、100、110、120。

根据co-hog特征和svm算法形成交通限速标志验证器，交通限速标志验证器主要由多个不同限速速度下的子验证器构成，如图3所示；

交通限速标志验证器的不同限速速度分别为10、20、30。

个别子识别器与子验证器有一一对应关系，如限速10的识别器与限速10的验证器是对应的，限速20的识别器与限速20的验证器是对应的，限速30的识别器与限速30的验证器是对应的。子验证器针对交通限重标志的排除，交通限重标志的数字并无交通限速标志的数字范围广，因此有些交通限速标志没有和交通限重标志重叠的数字，即个别子识别器则没有相应的子验证器，如限速100识别器、限速110识别器及限速120识别器等。

在车辆前部安装图像传感器，将图像传感器采集获得的实时图像用圆形检测器、交通限速标志识别器和交通限速标志验证器共同进行处理获得图像中交通限速标志的识别结果。

所述方法具体是：使用圆形检测器在所述多层梯度方向图的roi区域中检测圆形目标物；然后将圆形目标物的检测结果输入到各个子识别器里处理，再计算得到相似度，比较各个子识别器输出结果的相似度，取相似度最大且相似度大于预设定的第一相似阈值的子识别器输出结果作为识别结果；

然后根据子识别器和子验证器之间的对应关系将识别结果输入子验证器处理：如果子识别器有对应的子验证器，则把识别结果输入到各个子验证器里处理，再计算得到相似度，比较各个子验证器输出结果的相似度，取相似度最大且相似度大于预设定的第二相似阈值的子验证器输出结果作为识别结果；如果子识别器没有对应的子验证器或者各个子验证器输出结果的相似度均小于预设定的第二相似阈值，则子识别器的输出结果为最终的识别结果。

本发明特别地构建了三个层次的检测器/识别器，共同对实时单帧图像进行处理获得图像中交通限速标志的准确识别结果，这样能大大减少计算了计算量，同时能提高识别的准确性。

所述的图像传感器采用前置摄像头/相机，安装并朝向在车前。

所述的单帧图像的roi区域可以预先设置或者采用常规的图像处理方法检测设定。

所述根据co-hog特征和svm算法形成圆形检测器的步骤包括：获取检测器训练样本，所述检测器训练样本包括具有圆形特征的各个交通限速标志图像构成的正样本和其他不具备圆形特征的图像构成的负样本，负样本的图像可以为非交通标志的图像，例如天空、草地、人物等和交通标志完全不相关的背景图像；提取正样本和负样本的co-hog特征，再采用svm算法对所述检测器训练样本及其co-hog特征进行训练，训练后获得圆形检测器。

所述根据co-hog特征和svm算法形成交通限速标志识别器的步骤包括：

获取各个子识别器的训练样本，所述各个子识别器的训练样本包括各个不同限速速度对应的交通限速标志图像构成的正样本和其他不包含交通限速标志的图像构成的负样本，负样本的图像可以为非交通标志的图像，例如天空、草地、人物等和交通标志完全不相关的背景图像；提取正样本和负样本的co-hog特征，再采用svm算法对所述各个子识别器训练样本及其co-hog特征分别进行训练，训练后获得各个子识别器。

所述根据co-hog特征和svm算法形成交通限速标志验证器的步骤包括：

获取各个子验证器的训练样本，所述各个子验证器的训练样本包括具有圆形特征的各个交通限重标志图像构成的正样本和其他不包含交通限速标志和交通限重标志的图像构成的负样本，负样本的图像可以为非交通标志的图像，例如天空、草地、人物等和交通标志完全不相关的背景图像；提取正样本和负样本的co-hog特征，再采用svm算法对所述各个子验证器训练样本及其co-hog特征分别进行训练，训练后获得各个子验证器。

所述使用co-hog特征和svm算法对所述检测器训练样本进行训练的步骤包括：使用co-hog特征对所述检测器训练样本的输入图像进行特征提取，根据特征提取结果使用svm算法对所述检测器训练样本进行训练。

所述使用co-hog特征和svm算法对所述各个子识别器的训练样本进行训练的步骤包括：使用co-hog特征对所述各个子识别器训练样本的输入图像进行特征提取，根据特征提取结果使用svm算法对所述各个子识别器训练样本进行训练。

所述使用co-hog特征和svm算法对所述各个子验证器的训练样本进行训练的步骤包括：使用co-hog特征对所述各个子验证器训练样本的输入图像进行特征提取，根据特征提取结果使用svm算法对所述各个子验证器训练样本进行训练。

本发明包括交通限速标志圆形检测器，处理获得圆形检测识别结果；再对圆形检测结果进行识别，判断其是否属于限速标志；再对识别结果进行验证，以降低限重标志所造成的误检。

本发明的有益效果是：

本发明co-hog特征引入了共生矩阵，是一种高维度特征，更加细化地表达了图像形状的信息，分类效果更好。

本发明通过圆形检测器初选目标物，把初选结果输入到限速标志识别器，降低了计算量，同时能够有效提高限速标志识别的准确率。对于可能与限重标志混淆的限速标志，则通过限速标志验证器进行再次验证，降低了误检。

本发明提供的技术方法在保证准确率的同时具有较高的实时性，能够部署在前置摄像头系统内，结合车辆信息，为驾驶员提供必要的警示信息，减少交通事故的发生。

附图说明

图1为交通限速标志识别方法流程示意图。

图2为交通限速标志识别器的构成图。

图3为交通限速标志验证器构成图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

实施例一

图1位交通限速标志识别方法流程示意图。

车载前置摄像头获得图像信息，基于所述图像信息生成32层的金字塔图像，对所述32层的金字塔图像进行梯度方向计算，梯度方向从0到9，生成32层的梯度方向图，输入给圆形检测器，圆形检测器在32层的梯度方向图的roi区域内检测获得不具有圆形轮廓的物体对象和具有圆形轮廓的物体对象，以具有圆形轮廓的物体对象作为圆形目标物。

圆形目标物输入给各个限速子识别器，各个限速子识别器分别计算得到相似度，比较各个子识别器的相似度大小值，取相似度最大的子识别器为识别结果。然后判断比较：

如果所述识别结果的相似度小于设定相似第一相似阈值(可取为0.8)，则此圆形目标物为非限速标志；如果所述识别结果的相似度大于设定相似第一阈值，且所述相似度最大的子识别器没有的子验证器，则所述识别结果为可信限速标志目标物。

如果所述识别结果的相似度大于设定第一相似阈值(可取为0.8)，但所述相似度最大的子识别器有对应的子验证器，则把所述识别结果输入给对应的子验证器，所述对应的子验证器再计算得到相似度，如果相似度大于设定第二阈值(可取为0.8)，则所述识别结果为限重标志，如果相似度小于设定第二阈值，则所述识别结果为可信限速标志目标物。

本实施例提供的圆形检测器的具体构建过程如下：

本实施例根据co-hog特征和svm算法形成圆形检测器，用于检测单帧图像中圆形目标物。具体来说，本实施例获取圆形检测器训练样本，所述圆形检测器训练样本包括50000个具有圆形特征的限速标志牌构成的正样本和500000个背景样本构成的负样本。对于输入图像，本实施例首先采用co-hog算法进行特征提取，然后使用svm算法对550000个训练样本进行训练，根据训练结果形成圆形检测器。

本实施例根据co-hog特征和svm算法形成各个限速标志子识别器，用于识别圆形检测器的检测结果是否为此限速标志。以限速10子识别器为例，本实施例获取限速10子识别器训练样本，所述限速10子识别器训练样本包括10000个限速10标志牌构成的正样本和100000个背景样本构成的负样本。对于输入图像，本实施例首先采用co-hog算法进行特征提取，然后使用svm算法对110000个限速10子识别器训练样本进行训练，根据训练结果形成限速10子识别器。按照同样的方法，可以训练得到限速20子识别器、限速30子识别器等等。这些限速子识别器共同构成了交通限速标志识别器。

本实施例根据co-hog特征和svm算法形成各个限速标志子验证器，用于验证限速识别器的识别结果是否为此限重标志。以限速10子验证器为例，本实施例获取限速10子验证器训练样本，所述限速10子验证器训练样本包括10000个限重10标志牌构成的正样本和100000个背景样本构成的负样本。对于输入图像，本实施例首先采用co-hog算法进行特征提取，然后使用svm算法对110000个限速10子验证器训练样本进行训练，根据训练结果形成限速10子验证器。按照同样的方法，可以训练得到限速20子验证器、限速30子验证器等等。这些限速子验证器共同构成了交通限速标志验证器。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。