一种结合机器学习和计算机视觉的限速标志牌识别方法与流程

本发明涉及辅助驾驶技术领域，尤其涉及一种结合机器学习和计算机视觉的限速标志牌识别方法。

背景技术：

随着人工智能技术被不断推进各个领域，adas(高级驾驶辅助系统)技术也在汽车驾驶领域飞速发展着。汽车可以利用安装在汽车上的各类传感器在行驶过程中随时感应周围的环境，并通过传感器收集到的数据对车况路段进行算法分析，为驾驶者提供可能发生的危险信息来达到增加汽车驾驶的安全性。在辅助驾驶的技术研发中，限速牌识别算法可有效的分担驾驶员的精力疲脑。

通过对现有技术文献的检索发现，中国发明，专利号cn101508300b利用给车辆安装三个针孔摄像头，提供了一种自动识别道路限速标志的车辆智能方法。该专利的明显不足处在于(1)硬件系统的构造成本高，需要分别在前视玻璃框、发动机前罩和后视镜罩三个位置安装针孔摄像头；(2)在算法训练过程中对数据库所存放的限速标志图像模板有很多规范和要求，使模板数据库的建立更加复杂。(3)该专利在系统构造上的复杂性降低了识别的速度。

技术实现要素：

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种结合机器学习和计算机视觉的限速标志牌识别方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种结合机器学习和计算机视觉的限速标志牌识别方法，该方法包括以下步骤：

s1、通过车载摄像头获取汽车行驶的路况视频图像，并将路况视频图像上传至图形处理器；

s2、在路况视频图像中，利用机器学习的目标物体检测方法对限速标志牌进行检测，得到限速标志牌在路况视频图像中的定位坐标；

s3、对定位处的限速标志牌图像，利用机器视觉的霍夫变换方法进行圆形检测，对检测到的非圆形图片进行非交通限速标志牌的排除，对检测到的圆形图片内部的限速信息进行提取；

s4、基于对圆形图片的直方图的判断，消除不同天气因素和光线强度对亮度的影响，生成圆形图片区域内的二值化图像；

s5、利用计算机视觉的分割方法，将圆形标志牌二值化图像内部的字符进行独立分割；

s6、通过模板匹配的方法对分割后的数字进行0-9的识别；

s7、将识别到的2位或3位数值结果进行比对，从而判别识别的数字结果是否为限速标志牌，输出识别结果。

进一步地，本发明的步骤s2中的具体方法为：

s21、利用机器学习的方法对包含交通限速标识牌的图片数据库进行训练，并生成检测器；

s22、利用检测器对输入图形处理器的图片进行限速标识牌检测；

s23、当检测检测到的标志牌时，输出其在图像中的定位坐标。

进一步地，本发明的步骤s3的具体方法为：

s31、对定位出的图像做霍夫圆检测，若无圆形检测结果则判定为非限速标识牌，若检测到圆形测取半径最大的圆；

s32、删除圆形区域外的背景，仅提取出圆形标识牌的内部内容。

进一步地，本发明的步骤s31中对定位出的图像做霍夫圆检测的具体方法为：

霍夫圆检测中，分别对每个像素点是否为圆的中心点进行判断，通过投票生成累积的坐标平面，通过累积权重来定位圆；以点(a，b)为圆心，r作为半径的圆表示为：(x-a)²+(y-b)²＝r²；圆形的构造点(x，y)在坐标系中的坐标即表示为：(a+r.cosθ，b＋r.sinθ)；当这些构造点为非零像素点时，则视为该圆形存在；利用交通限速标志牌的形状特征，和霍夫变换的圆形检测对限速标志牌进行更进一步的定位。

进一步地，本发明的步骤s4的具体方法为：

s41、首先对彩色图像进行灰度化处理，获取到灰度图像，图像中每个像素由0到255的亮度值表示；

s42、考虑天气因素对图像成像的影响，利用图像直方图统计的方法来判定路况的天气情况；在灰度直方图上，若统计结果表明出现在灰度值为0-127区间内的像素点的数量大于设定阈值，则表明背景为有阳光的天气，反之则为无阳光的天气；

s43、针对不同的天气情况，对有阳光和无阳光的天气分别设定不同的二值化阈值，有阳光的天气的阈值大于无阳光天气的阈值；

s44、根据选定的阈值对圆形内部的图像内容进行图像二值化，最后生成二值化图像。

本发明产生的有益效果是：本发明的结合机器学习和计算机视觉的限速标志牌识别方法，降低了硬件成本的消耗，简化系统额构造，使得车辆能够基于车载摄像头提供的实时路况图像自动地识别道路上的限速标志。本算法可以简单利用车载摄像头和gpu为驾驶员提供限速交通标志牌的识别功能。相对于其他标志牌检测系统利用定制的摄像头，本发明仅仅利用车载摄像头和图形处理器实现在硬件成本上进行了缩减，并且使得该技术能够更广泛的被应用。相对于传统的方法对一整张画面直接做像素块扫描检测圆从而对标志牌做定位，本发明利用了机器学习的目标物体检测的方法，在算法上提升了标志牌检测的速度。相比于传统的自适应二值化方法，此方法提升了在夜间或者阴雨天气下限速标志牌的识别率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的结合机器学习和计算机视觉的限速标志牌识别算法的结构图；

图2是本发明实施例的步骤s2的流程图；

图3是本发明实施例的步骤s3的流程图；

图4是本发明实施例的步骤s4的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供了一种基于车载摄像头结合机器学习和计算机视觉的限速标志牌识别算法，所述的具体算法包括以下步骤:

s1、通过车载摄像头获取汽车行驶的路况视频图像，并将图像上传至gpu(图形处理器)；

s2、在gpu中，利用机器学习的目标物体检测方法对限速标志牌进行检测，从而得到标志牌在图像中的坐标定位；

s3、对定位处的标志牌图像利用机器视觉的霍夫变换方法进行圆形检测，对检测到的非圆形图片进行非交通限速标志牌的排除，对检测到的圆形内部内容(即限速信息)进行提取工作；

s4、考虑到天气因素(晴天或者下雨)和光线强度(白天或者黑夜)对成像画面的亮度影响，本专利利用基于对直方图的判断，提出了针对不同天气的二值化提取方法；

s5、利用计算机视觉的分割方法将圆形标志牌内部的字符进行独立分割；

s6、再通过模板匹配的方法对分割后的字符(数字)进行0-9的识别；

s7、将识别到的2位或3位数值结果进行比对，从而判别识别的数字结果是否为国家规定的限速标志牌中的一种。

车载摄像头能实时的呈现视频和音频的功能为交通事故的处理和定位提供了便捷，并且得到了普遍的应用。本发明采用对车载摄像头收集到的画面进行实时处理，可以为驾驶员提供实时的交通限速标志牌识别结果。

如实例图2所示，所述步骤s2包括以下分步骤：

s21、利用机器学习的方法对包含交通限速标识牌的图片数据库进行训练，并生成检测器。

s22、利用检测器对输入gpu的图片进行限速标识牌检测。

s23、当检测检测到的标志牌时，输出其在图像中的定位坐标。

传统的目标检测方法是对一整间画面进行像素块扫描检测圆形从而对标识牌进行定位，本发明采用机器学习的目标物体检测方法提升了目标检测的速度。机器学习的目标检测方法需要对包含交通限速标识牌的图片样本数据库进行使用前的学习和训练，并最终生成一个限速标志牌的检测器。生成的检测器会对实时输入gpu的图像进行检测，将检测到的标志牌在上对应的坐标作为输出。

如实例图3所示，所述步骤s3包括以下分步骤：

s31、对定位出的图像做霍夫圆检测，若无圆形检测结果则判定为非限速标识牌，若检测到圆形测取半径最大的圆。

其中，霍夫圆检测的基本思路是认为每个像素点都有可能是一个圆的中心点，通过投票生成累积的坐标平面，通过累积权重来定位圆。以点(a，b)为圆心，r作为半径的圆可以表示为：(x-a)²+(y-b)²＝r²；圆形的构造点(x，y)在坐标系中的坐标即表示为：(a+r.cosθ，b+r.sinθ)。当这些构造点为非零像素点时，则视为该圆形存在。

这样就可以利用交通限速标志牌的形状特征，利用霍夫变换的圆形检测对限速标志牌进行更进一步的定位。

s32、删除圆形区域外的背景，仅提取出圆形标识牌的内部内容。

由于限速标志牌的有效信息都位于圆形内部，所以仅仅提取圆形内部有效识别内容。

如实例图4，所述步骤s4包括以下分步骤：

s41、首先对彩色图像进行灰度化处理，获取到灰度图像(图像中每个像素由0到255的亮度值表示)。

s42、考虑天气因素对图像成像的影响，利用图像直方图统计的方法来判定路况的天气情况。在灰度直方图上，反映天气的背景所占像素偏多。若统计结果表明大部分像素点出现在灰度值为0-127区间内，则表明背景偏暗可能为有阳光的天气，反之则为无阳光的天气。

s43、二值化是给定灰度图像一个阈值，将小于这个阈值的像素设定为0(黑色)，大于这个阈值的像素设定为255(白色)，最后呈现出只有一张黑色和白色像素的图片。针对不同的天气情况，根据白天二值化阈值需要选择偏搞，阴雨天或者黑夜二值化阈值需要选择偏低来针对不同天气场景选择不同的图像二值化阈值。

s44、根据选定的阈值对圆形内部的图像内容进行图像二值化，最后生成二值化图像。

由于白天天气较亮于夜晚，图像在白天的直方图分布会较低于夜晚的直方图分布。同理，晴天的直方图分布值相对于阴雨天来说亮度更高。在本专利中，根据图像的统计直方图的值来判定成像的天气情况，从而给定不同天气条件下图像二值化的阈值。

数字识别，模板匹配的具体方法，公式能不能尽量补充一些

数字识别的模板匹配法其实是对图像的像素做统计并对比匹配的方法。给定的数字字符0-9的模板图像以固定尺寸m*n的保存，表示为si(m,n),(i＝0,1,2...,9)。当需要做识别的图像输入时，首先将输入图像的尺寸处理成m*n，待识别表示为t(m,n)。分别计算t与各个s之间的误差值ei：

选取一个误差阈值e0，当ei≥e0时则不考虑该误差值，最后找到最小的误差值并找到其对应的数字字符将其输出。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。