专利名称：数字类限制标志的识别方法和装置的制作方法
技术领域：
本发明涉及图象处理技术领域，，特别是涉及一种数字类限制标志的识别方法和
装置。
背景技术：
随着生产力的不断提高，车辆的不断增多，路段上基于视觉的数字类限制标志成 为驾驶员安全驾驶的保障，特别是包含数字的限制类禁令标志，如限速、限高、限重和限宽 等限制类禁令标志。大多数国家(比如中国、日本及欧洲各国等)的限制标志都是由红色 的圆环、白色的底色和黑色的字符构成。目前，基于视觉的数字类限制标志识别通常可以划 分为两个阶段候选限制标志的检测和候选限制标志的识别。 其中，候选限制标志的检测主要包括利用限制标志的颜色和形状特征，在输入的 视频图像中分割出可能的限制标志区域(即候选限制标志区域)；但是，由于光照、天气变 化等影响，采集到的颜色特征并不稳定，从而导致分割出可能的限制标志区域不准确，而导 致实际应用效果较差； 候选限制标志的识别主要包括利用神经网络、支持向量机等机器学习的方式对
可能的限制标志区域进行识别。但是，该识别需要事先准备大量学习样本(包括限制标志 样本和非限制标志样本)，识别结果的好坏与学习样本的收集、选取方式相关，并且不同国
家和地区的限制标志中数字的字体不同，因此，学习过程复杂，且学习样本还具有国家和地 域限制，不具有通用性。 在对现有技术的研究和实践过程中，本发明的发明人发现，现有的实现方式中，受 光照、天气变化的影响，不能准确的分割出候选限制标志；还需要收集大量的限制标志模板 集、选取学习样本，不能准确的识别出限制标志，其识别效率较低。
发明内容
本发明实施例提供一种数字类限制标志的识别方法和装置，不受光照、天气变化 的影响，能准确的识别出限制标志，提高识别的效率。 为解决上述技术问题，本发明实施例提供一种数字类限制标志的识别方法，所述 方法包括 对采集到的视频图像进行圆形检测，得到限制标志候选区域；
从所述限制标志候选区域中获取限制标志符号区域； 将所述限制标志符号区域与预选的标准数字类限制标志模板集中的标准数字类 限制标志模板分别进行匹配，分别计算所述限制标志符号区域与所述标准数字类限制标志 模板的相关系数，得到相关系数集； 若所述相关系数集中最大相关系数大于预设的阈值，则确定所述限制标志符号区 域为所述最大相关系数对应的标准数字类限制标志模板所代表的数字类限制标志。
相应地，本发明实施例提供一种数字类限制标志的识别装置，所述装置包括
标志候选区域确定单元，用于对采集到的视频图像进行圆形检测，得到限制标志 候选区域； 标志符号区域获取单元，用于从所述限制标志候选区域中获取限制标志符号区 域； 限制标志匹配单元，用于将所述限制标志符号区域与预选的标准数字类限制标志 模板集中的标准数字类限制标志模板分别进行匹配，分别计算所述限制标志符号区域与所 述标准数字类限制标志模板的相关系数，得到相关系数集； 标志字符识别单元，用于在判断所述相关系数集中最大系数大于预设的阈值时， 确定所述限制标志符号区域为所述最大相关系数对应的标准数字类限制标志模板所代表 的数字类限制标志。 由上述技术方案可知，本发明对限制标志的形状特征进行测量，得到限制标志候 选区域，并从该限制标志候选区域中选取限制标志符号区域，并与预选的标准数字类限制 标志模板集中的标准数字类限制标志模板分别进行匹配，分别计算所述限制标志符号区域 与所述标准数字类限制标志模板的相关系数，得到相关系数集，若所述相关系数集中最大 相关系数大于预设的阈值，则确定所述限制标志符号区域为所述最大相关系数对应的标准 数字类限制标志模板所代表的数字类限制标志。由于本发明采用对限制标志的形状特征进 行测量，不受天气、光照条件的影响，其适用性强。再者，该方案利用标准数字类限制标志模 板集的标准数字类限制标志模板来识别限制标志，与常用的机器学习方法不同，无需收集、 选取学习样本，从而省略了机器学习过程，因此，本发明所述技术方案具有计算简单、适用 范围广的特点、且识别效率高，不受地域限制的特点。
图1为本发明提供的一种数字类限制标志的识别方法的流程图； 图2为本发明提供的一种对限速类标志的图像进行二值化处理的示意图； 图3为本发明提供的一种限制标志候选区域中的白色连通区域的示意图； 图4为对图3中的白色连通区域过滤后得到白色连区域的示意图； 图5为本发明提供的一种包括限制字符"60"的比例最小的最大圆形的示意图； 图6为本发明提供的一种对圆形区域内的黑色像素进行的垂直投影和水平投影
的示意图； 图7为本发明提供的所述限速标志内的数字字符的最小矩形区域的图像； 图8为本发明中限制标志符号区域中限速字符"60"的黑色像素的垂直投影图； 图9为本发明中确定限制标志符号区域字符的分界线的示意图。 图10为分割出本发明中限制标志符号区域中第一个数字字符的示意图； 图11为本发明提供的"4"和"6"模板的特征向量的示意图； 图12为本发明提供一种数字类限制标志的识别装置的结构示意图。
具体实施例方式
下面我们将结合附图，对本发明的实施方案进行详细描述。 请参阅图l，为本发明提供的一种数字类限制标志的识别方法的流程图，所述方法
6包括 步骤101 :对采集到的视频图像进行圆形检领"得到限制标志候选区域；
步骤102 :从所述限制标志候选区域中获取限制标志符号区域； 步骤103 :将所述限制标志符号区域与预选的标准数字类限制标志模板集中的标 准数字类限制标志模板分别进行匹配，分别计算所述限制标志符号区域与所述标准数字类 限制标志模板的相关系数，得到相关系数集； 步骤104 :若所述相关系数集中最大相关系数大于预设的阈值，则确定所述限制 标志符号区域为所述最大相关系数对应的标准数字类限制标志模板所代表的数字类限制 标志。 可选的，所述方法还可以包括利用局部特征向量对所述识别出的易混淆的数字 类限制标志的数字字符进行精确识别，具体包括 从所述识别出的限制标志符号区域中分割出第一个数字字符； 对所述第一数字字符的大小进行归一化； 计算所述归一化后的第一数字字符的局部特征向量； 计算将所述第一数字字符的局部特征向量与对应的标准数字字符模板集的局部 特征向量之间的欧氏距离； 通过计算的欧氏距离对所述第一数字字符和对应的标准数字字符模板集中的每 个标准数字字符模板进行特征匹配，得到所述欧氏距离的最小值对应的标准数字字符模 板，并用该标准数字字符模板所代表的字符替换所述识别出的数字类限制标志的第一个数 字字符； 重新输出第一数字字符替换后的所述识别出的数字类限制标志。 本发明提供了一种基于限制标志的形状和基于标准限制标志模板集的限制标志
的识别方法。在该方法中，首先，对限制标志的形状特征进行检测，而不是利用限制标志的
颜色信息，因此，本发明对天气、光照条件适用性强。其次，该方法将获取的限制标志符号
区域与预设的标准数字类限制标志模板集的标准数字类限制标志模板分别进行匹配，计算
其相关系数，得到相关系数集，经过判断，识别出所述限制标志符号区域中的数字类限制标
志，与常用的机器学习方法不同，无需收集、选取学习样本，从而省略了机器学习过程，因
此，具有计算简单、适用范围广的特点、且识别效率高，不受地域限制的特点。 进一步，本发明中还提供了利用限制标志字符的局部特征向量对所述识别出的限
制标志字符进行精确识别的技术方案，从而能准确的识别类似的限制标志，进一步提高了
限制标志的识别率，降低误识别率。 在该步骤101中，为避免天气、光照条件对颜色特征的影响，本发明与常见的先提 取视频图像感兴趣的颜色区域，然后再在感兴趣的颜色区域中检测圆形限制标志候选区域 方法不同，本发明直接利用限制标志的圆形形状特征在视频图像中检测限制标志的候选区 域；具体可以通过边缘检测、霍夫变换对采集到的视频图像中的限制标志的圆形形状进行 检测，得到限制标志候选区域，但并不限于此，还可以通过其他的检测方式，本实施例不作 限制。 其中，所述通过边缘检测的方式包括计算所述视频图像对应的灰度图像中各个 像素点的灰度对数值；判断每一个像素点的左右相邻像素点的灰度对数值之差的绝对值或上下相邻像素点的灰度对数值之差的绝对值是否大于预设的边缘阈值，并将大于边缘阈值
的像素点确定为边缘点；对所述边缘点的边缘轮廓进行细化，得到边缘图。 本发明检测圆形的方式主要是通过边缘检测和Hough变换方法，具体为 1、所述边缘检测方法，与传统的索贝尔(sobel)、坎尼(canny)等算子提取图像边
缘方法不同，本发明主要是通过计算视频图像对应的灰度图像中的各个像素点的相邻像素
灰度对数差进行边缘检测的。 为了便于描述，下面以像素点a0的像素为例，来说明本发明的边缘检测方法，如 表1所示，以像素点a0的上下、左右的四个像素点为例。
表1
a3
ala0a2
a4 在该图1中，A， (i = 1，2，3，4)为例，分别为视频图像上对应的像素点的灰度值； 其边缘检测过程为 1)分别计算各个像素点的灰度对数值log(a》，(i = 1，2，3，4)。 2)通过比较a。点的左右、上下两点的对数值之差的绝对值来确定a。是否为边缘
点；如果所述左右或上下两点之间的对数值之差的绝对值大于预设的边缘阈值，则确定该
a。是边缘点，否则，a。不是边缘点。从而得到边缘初步提取结果，其具体的公式为 Ax = 11og(a2)-log(a》I Ay = I log(a4)_log(a3) 如果A x与A y大于预设的边缘阈值，确定该a。是边缘点，即
/(￡0 = 10,其它 其中，在该公式中，A x为a。点左右像素点对数值之差的绝对值；A y是a。点的上 下像素点的对数值之差的绝对值；f (a。)为边缘点集。
3)对边缘提取结果进行细化，得到边缘图； 在本发明中，采用基于图像像素的八邻域进行分析的细化算法对前一步得到的图 像场景中的各物体的边缘轮廓进行细化，得到单个像素宽的边缘。其中，基于图像像素的八 邻域进行分析的细化算法，对于本领域技术人员来说，已经是熟知技术，在此不再赘述。
2、所述Hough检测方法，目前应用最为广泛的方法之一，该方法对于检测圆形等 简单形状的物体有较好的效果。本发明采用的Hough检测方法对限制标志的圆形等进行检 测，圆形的半径R的取值范围为0^<1 <1 2);对于长度在一定范围内的每个半径值R，得 到其对应的圆心(x。， y。)。该检测方法可靠性高，对噪声、变形、部分区域残缺、边缘不连续 等有较好的适应性，同时，该检测方法基于统计机制，抗噪声的鲁棒性强。该检测方法对于 本领域技术人员也是公知技术，其具体的实现过程，在此不再赘述。
此外，对限制标志的圆形的检测方法也可以采用除上述两种方法以外的其他方 法，也可以是其他的检测方法，本发明不作限制。 在步骤102中，在获得所述限制标志的候选区域(比如该限制标志的候选圆形区 域等)后，本发明利用限制标志的白底黑字的特点，利用二值化和投影的方法获取候选的 字符区域，具体包括 根据二值化阈值对所述限制标志候选区域进行二值化处理，得到二值化的限制标
志候选区域；在该二值化的限制标志候选区域中，像素灰度值高于二值化阈值的像素用白
色像素表示，否则用黑色像素表示；对二值化的限制标志候选区域进行检测，得到白色连通
区域集合；对所述白色连通区域集合进行过滤，得到白色区域；利用最大包括圆的方法从
所述白色区域中获取候选限制标志符号区域；确定所述候选限制标志符号区域中符号的最
小外接矩形区域为限制标志符号区域。 下面以限速类标志为例来说明。 1)对所述限制标志候选区域中图像进行二值化处理，现有对图像进行二值化处理 的方法很多，比如基于期望值阈值的方法，灰度直方图法，最大类间方差法(0tsu)等。本 发明以利用最大类间方差法方法来计算限制标志图像内部的二值化阈值为例，即先利用最 大类间方差法方法来计算限制标志图像内部的二值化阈值，然后利用得到的二值化阈值， 对图像进行二值化处理 其中，T是利用Otsu方法计算得到的二值化阈值。f (x，y)表示坐标位置为(x，y) 的像素的灰度值，g(x， y)表示二值化后坐标位置为(x， y)的像素的像素值。f (x， y) 二值 化后，限制标志中的符号和圆环用黑色像素0表示，限制标志的色底色用白色像素1表示， 在该实施例中，以限速类标志为60的图像为例，其对限速类标志的图像进行二值化处理的 示意图详见图2。当然，反之也成立，本实施例不作限制。
2、确定限制标志中的字符区域
1)获取限制标志内的白色连通区域 其中，获取限制标志内的白色连通区域有多种方法，本实施例以利用现有的区域 增长算法，实现对限制标志候选区域中的白色连通区域的检测，其检测结果如图3所示，图 3为本发明提供的一种限制标志候选区域中的白色连通区域的示意图，从该检测结果中，可 以得到7个不同的白色连通区域，其白色连通区域如该图3中的①至⑦所示，分别将7个区 域内的点的信息存放在数组Array[i]， (i = 1，…，7)中。 2)对所述白色连通区域进行过滤，得到白色区域；具体包括计算所述白色连通 区域集合中每个白色连通区域的面积；判断每个白色连通区域的面积是否大于预设面积阈 值，确定面积最大且大于预设面积阈值的白色连通区域为白色区域。 也就是说，先计算7个白色连通区域的面积，再通过比较7个区域面积大小对检测 到的白色连通区域进行过滤，留下面积最大且大于预设面积阈值AreaThre的白色连通区 域，得到如图4所示的白色区域。图4为对图3中的白色连通区域过滤后得到白色连区域 的示意图，其计算的公式为 SArea(i) = Area(i). HeightXArea(i). Width(i = 1， ...，7)
9
其中 Area(i). Height = max(Array[i]. Row)_min(Array[i]. Row)
Area (i). Width = max(Array[i]. Col)_min(Array[i]. Col) 其中，在该公式中，SAMaa)表示第i个白色连通区域的面积，Area(i). Height表示第i个区域的高，Area(i). Width表示第i个区域的宽，Array [i]. Row表示第i个区域的行坐标，Array[i]. Col表示第i个区域的列坐标。 在如图4所示的白色区域中，中间白色区域(即图3中的区域⑤)及其内部区域为筛选后的结果。 3)对所述白色区域利用包含圆的方法获取限制标志的字符区域；具体包括确定所述白色区域的中心和半径；以所述白色区域的中心为圆心，统计所述半径在二分之一半径至半径范围内的圆上的黑色像素点的个数；计算该圆上所述黑色像素点的个数与圆的周长之比，得到所述白色区域内包括黑色字符像素的比例最小的最大圆形，所述最大圆形的区域作为候选限制标志符号区域。 目前，常用的圆形限制标志区域内字符区域的方法多为直接利用水平、垂直投影的方法，该方法简单、易行，但对于字符有磨损，或字符容与圆环粘连的情况处理效果不是很好。另外对于限高、限宽、限重类的标志，由于圆环内的字母t，m字体很小，很容易被忽略掉，这类标志容易被误识别成限速类的标志。为此，本实施例采用了最大包含圆的方法获取限制标志的字符区域。 首先，为了克服由于相机拍摄角度不同，限速标志发生形变等造成的影响，本实施
例中，确定筛选后的白色区域的中心及区域半径，其公式为
Ce她r = (min(爿 rqy[5].i ow) +会x Aea(5).//e/g/^， min(爿m^[5].Co/) +会x Aea(5) JF诚/ )
Radius = max (Area (5). Height, Area (5). Width) 其次，在白色区域内搜索包含黑色数字字符像素的比例最小的最大圆形。 也就是说，以步骤2)中确定的区域中心为圆心0(x。， y。)，分别统计半径长度r在
(l及"d^,i ^f/—范围内的每个圆上的黑色像素点的个数。从左至右、从上到下扫描图像。
如果满足(r_l)2< (x-x。)2+(y-y。)2< (1~+1)2，则说明黑色像素点(x，y)在半径为r的圆上。
圆上黑色像素点的个数
计算圆上黑色像素点的个数与圆的周长之比Rate=^-， rX (l-Rate)
2x兀xr 。
取最大值的圆即为包含黑色字符像素点的比例最小的最大圆形。 如图5所示，为包括限制字符"60"的比例最小的最大圆形的示意图，该圆形即为求得的包含字符"60"的比例最小的最大圆形(x。， y。)r。。 在该实施例中，还可以仅以优化所述限制标志的字符区域，具体还可以包括
4)确定包含限速标志内的数字字符的最小矩形区域。 将步骤3)中得到的圆形外的区域置为白色，并对整个区域内进行水平、垂直投影，根据投影结果计算出包含字符的最小矩形区域。 如图6所示，通过对圆形区域内的黑色像素进行的垂直投影得到的左右边界即为字符区域的水平区域的范围[Wl， w2];通过水平投影得到的最长的投影区域的范围即为字 符区域的竖直范围:[h"2]。 利用水平区域范围和竖直区域的范围得到包含字符的最小矩形区域[Wl， w2] X [^，hj，并将该区域所对应的灰度图像规格化为20X40大小，得到如图7所示的所述 限速标志内的数字字符的最小矩形区域的图像。 也就是说，本发明主要是对采集到的视频图像中圆形的数字类限制标志进行识 别，而并非对圆形的非数字类限制标志的识别。二者的区别主要在于 二值化后的数字类限制标志中的符号区域被近似成圆形的白色连通区域(环内)
包围，而二值化的非数字类限制标志内的白色连通区域由于被斜线分开，不能近似成圆形，
因此，本发明对圆形的数字类限制标志进行识别的过程中，需要在白色连通区域集合内找
最大的白色连通区域，并用最大包括圆的方法获取候选限制标志符号区域，其具体的过程
详见上述，在此不再赘述。 在步骤103和步骤104中，是基于标准数字类限制标志模板集的候选字符区域初 步识别，所述模板匹配技术作为一种传统的图像识别技术，具有成本低、设备简单的特点， 并且随着模式识别技术的发展而日趋完善。但是，模板匹配方法也存在着很大的局限性，由 于识别算法简单、受外界环境影响较大等原因，识别率不高一直是模板匹配的瓶颈，本发明 中针对模板匹配方法采用对易混字符进行二次识别的方法来提高字符的识别率。其具体的 识别过程包括 将所述限制标志符号区域与预选的标准数字类限制标志模板集中的标准数字类
限制标志模板分别进行匹配，计算所述限制标志符号区域与所述标准数字类限制标志模板
的相关系数，得到相关系数集；若所述相关系数集中最大相关系数大于预设的阈值，则确定
所述限制标志符号区域为所述最大相关系数对应的标准数字类限制标志模板所代表的数
字类限制标志。其具体的识别过程 1 、限制标志模板(下述简称模板)的选取 对每一类限制标志对应的字符，都选取n幅质量较好的作为模板。将这n幅模板 规一化为20X40的标准大小的灰度图像，得到n幅标准参考图fi(x，y)。因此，每类限制标 志字符都对应有n幅灰度图像。将这n幅灰度图像对齐后叠加，再进行归一化；得到的模糊 图形F(x， y)，将F(x， y)作为该类限制标志对应的标准模板。
2、计算所述限制标志符号区域中的待识别字符与标准模板集中的模板的相关系 利用归一化相关性度量公式来计算相关系数，其公式为<formula>formula see original document page 11</formula>
其中I(i， j)和Tn(i， j)分别是输入的待识别的数字字符图像和第m个模板，了和l分别是输入字符图像所有灰度的均值和第m个模板的均值，w和h分别为图像的长和宽， S(I， TJ是匹配函数，其值在O 1之间，代表待识别图像与模板图像的匹配程度。使用该 公式计算相关性，可以避免由于明暗和对比度变化导致图像和模板的"能量"不一致而带来 的匹配误差，进一步提高了匹配准确度。 输出初步识别结果通过比较待识别字符与标准模板的相关系数，若最大相关系 数大于预先设置的阈值，则将结果输出，判定出属于哪一类限制标志，即识别出所述限制标 志符号区域中的限制标志字符，比如限速字符是60、80等。如果需要，还可以对所述限制标 志进行的精确识别。 也就是说，如果需要对所述限制标志进行的精确识别，所述方法还可以包括利用
限制标志字符的局部特征向量对所述识别出的易混淆的限制标志字符进行精确识别，具体
实现过程包括从所述识别出的限制标志符号区域中分割出第一个数字字符；对所述第一
数字字符的大小进行归一化；计算所述归一化后的第一数字字符的局部特征向量；计算将
所述第一数字字符的局部特征向量与对应的标准数字字符模板集的局部特征向量之间的
欧氏距离；通过计算的欧氏距离对所述第一数字字符和对应的标准数字字符模板集中的
每个标准数字字符模板进行特征匹配，得到所述欧氏距离的最小值对应的标准数字字符模
板，并用该标准数字字符模板所代表的字符替换所述识别出的数字类限制标志的第一个数
字字符；重新输出第一数字字符替换后的所述识别出的数字类限制标志。
当外界的环境条件稍差时，模板匹配方法会受到较大的影响。尤其是相似的数字
字符，由于外形比较近似，用模板匹配方法计算的整体数字字符的相似度十分接近，当输入
的场景图片效果不佳时很容易出现错误识别。因此，确定相似的数字字符，对相似字符进行
进一步的识别是提高整个系统识别率的关键。 为此，本发明提出采用基于局部特征向量的方法对易错误识别的限制标志数字字 符进行精确识别 事先建立易混淆数字字符的对应关系，如"4"和"6"，"3"和"8"，并对相似数字字 符的特征区域进行确认，找到相似数字字符之间差别最大的区域作为区分该对易混数字字 符的局部特征。 在精确识别时，首先，构建待精确识别的易混字符的局部特征向量，计算该局部特 征向量与相似字符对的模板局部特征向量之间的距离；其次，根据计算的距离，决定该易混 字符是相似字符对中的哪个字符。为例便于本领域技术人员的理解，下面以区分易混限速字符"40"和"60"为例，说
明精确识别限速字符"60"的具体步骤 1、限制标志符号区域中的字符二次分割 对限制标志符号区域(即字符矩形区域)内的黑色像素进行垂直投影，如图8所 示，找到第一个谷点(投影值为0的点)，作为字符的分界线；如图9所示。其中，图8为本 发明中限制标志符号区域中限速字符"60"的黑色像素的垂直投影图；图9为本发明中确定 限制标志符号区域字符的分界线的示意图。 2、利用投影结果确定"6"，"0"两个字符的分界线，分割出前一个字符"6"。具体 如图IO所示；图IO为分割出本发明中限制标志符号区域中一个字符的示意图。
3、将分割出的字符"6"的灰度图像归一化为20X20大小。
12
4、对分割出的字符进行识别，即字符"4"和"6"的最大区别在于字符下半部分区域白色像素的分布不同。本发明即根据字符"4"和"6"的这一特征对待测字符进行精确识别 1)分别选取字符"4"和"6"的标准模板(其选取过程详见上述)，利用最大类间方差法Otsu方法得到标准模板的二值图像Gi(x，y)， (i = 4，6)。 2)对于待测字符的二值化图像从下至上搜索字符下半部分区域白色像素点，遇到
第一个黑色像素点即该列搜索终止。统计每一列白色像素点的个数和作为该列的特征值，
20个特征值按照从左到右的顺序组成的特征向量作为字符X的特征{Xl，…，xj。 同理，对标准模板的二值图像执行上述操作，可得到"4"和"6"模板的特征向量，
具体图11所示，为本发明提供的"4"和"6"模板的特征向量的示意图。 3)将待识别字符与标准模板进行匹配； 本发明根据计算得到的字符的特征向量，采用最小近邻法，通过计算待识别的字符与标准模板的特征向量之间的欧氏距离对二者进行特征匹配 其中，X二 {Xl，…，xj为待识别字符对应的特征向量；
Z, ^X;,…,X^为第i个模板对应的特征向量； 通过比较得出距离的最小值，该组模板所对应字符的即为识别结果。
4)输出最终识别结果。 本发明提供了一种基于限制标志的形状和基于标准限制标志模板集的限制标志的识别方法。由于本发明采用对限制标志的形状特征进行测量，不受天气、光照条件的影响，其适用性强。再者，就是该方方案利用标准数字类限制标志模板集来识别限制标志，与常用的机器学习方法不同，无需收集、选取学习样本，从而省略了机器学习过程，因此，本发明所述技术方案具有计算简单、适用范围广的特点、且识别效率高，不受地域限制的特点。
进一步，本发明中还提出了利用最大包含圆的方式获取数字类限制标志的字符区域的过程，该过程不易受噪声和相机视角的影响。此外，本发明不但提供了对限制标志区域进行识别的技术方案，还提供了对类似限制标志可以作精确识别的技术方案，从而能准确的识别限制标志，进一步提高识别率，降低误识别率。 基于上述方法的实现过程，本发明还提供一种数字类限制标志的识别装置，其结构示意图如图12所示，所述装置包括标志候选区域确定单元121、标志符号区域获取单元122、限制标志匹配单元123、标志字符识别单元124，其中，所述标志候选区域确定单元121，用于对采集到的视频图像进行圆形检测，得到限制标志候选区域；所述标志符号区域获取单元122，用于从所述标志候选区域确定单元121得到的限制标志候选区域中获取限制标志符号区域；所述限制标志匹配单元123，用于将所述标志符号区域获取单元122获取的限制标志符号区域与预选的标准数字类限制标志模板集中的标准数字类限制标志模板分别进行匹配，分别计算所述限制标志符号区域与所述标准数字类限制标志模板的相关系数，得到相关系数集；所述标志字符识别单元124，用于在判断所述相关系数集中最大系数大于预设的阈值时，确定所述限制标志符号区域为所述最大相关系数对应的标准数字类限制标志模板所代表的数字类限制标志。 可选的，所述标志候选区域确定单元，具体用于通过边缘检测或霍夫检测对采集 到的视频图像中的限制标志的圆形形状进行检测，得到限制标志候选区域。其边缘检测或 霍夫检测的过程详见上述，在此不再赘述。 可选的，所述标志符号区域获取单元包括二值化处理单元、区域检测单元、区域 过滤单元、候选字符区域获取单元和限制标志符号区域确定单元；其中，二值化处理单元， 用于用于根据二值化阈值对所述限制标志候选区域进行二值化处理，得到二值化的限制标 志候选区域；在该二值化的限制标志候选区域中，像素灰度值高于二值化阈值的像素用白 色像素表示，否则用黑色像素表示；区域检测单元，用于对二值化的限制标志候选区域进行 检测，得到白色连通区域集合；区域过滤单元，用于对所述白色连通区域集合进行过滤，得 到白色区域；候选符号区域获取单元，用于利用最大包括圆的方法从所述白色区域中获取 候选限制标志符号区域；限制标志符号区域确定单元，用于确定所述候选限制标志符号区 域中符号的最小外接矩形区域为限制标志符号区域。 可选的，所述区域检测单元包括区域面积计算单元和白色区域确定单元，其中， 区域面积计算单元，用于计算所述白色连通区域集合中每个白色连通区域的面积；白色区 域确定单元，用于确定面积最大且大于预设面积阈值的白色连通区域为白色区域。
可选的，所述候选符号区域获取单元包括确定单元、黑色像素点数确定单元、计 算单元和候选字符区域确定单元，其中，确定单元，用于确定所述白色区域的中心和半径；
黑色像素点数确定单元，用于以所述白色区域的中心为圆心，分别统计所述半径在二分之 一半径至半径范围内的每个圆上的黑色像素点的个数；计算单元，用于计算每个圆上所述
黑色像素点的个数与该圆的周长之比，得到该比例最小的最大圆形；候选字符区域确定单 元，用于将所述最大圆形的区域作为候选限制标志符号区域。 可选的，所述装置还可以包括精确字符识别单元，用于利用局部特征向量对所述 识别出的易混淆的数字类限制标志的数字字符进行精确识别。所述精确字符识别单元体包 括字符分割单元、归一化单元、特征向量计算单元、距离计算单元、特征匹配单元和精确字 符输出单元，其中，字符分割单元，用于从所述识别出的限制标志符号区域中分割出第一个 数字字符；归一化单元，用于对所述第一数字字符的大小进行归一化；特征向量计算单元， 用于计算所述归一化后的第一数字字符的局部特征向量；特征匹配单元，用于计算所述第 一数字字符的局部特征向量与标准数字模板的局部特征向量之间的欧氏距离；特征匹配单 元，用于通过计算的欧氏距离对所述第一数字字符和标准数字字符模板进行特征匹配，得 到所述欧氏距离的最小值对应的标准数字字符模板上的对应第一数字字符；并用该对应第 一数字字符替换所述识别出的数字类限制标志的第一个数字字符；精确字符输出单元，用 于重新输出第一数字字符替换后的所述识别出的数字类限制标志。 所述数字类限制标志的识别装置集成在采集卡、计算机中或置于车上的相机中； 或者车载导航系统中；或者独立部署，但不限于此。 所述装置中，各个单元的功能和作用的实现过程详见上述方法中对应的实现过 程，具体详见上述，在此不在赘述。 由此可见，本发明仅利用图像灰度信息而不利用限速标志的颜色信息(红色的圆 形)检测限速标志，因此对天气、光照条件适用性强。其次，本发明方法采用标准限速标志模板集识别限速标志，与常用的机器学习方法不同，无需收集、选取学习样本，并省略了学
习过程，因此具有计算简单、适用范围广的特点。本发明中提出的利用最大包含圆的方法获
取数字类限制标志的字符区域的方法，不易受噪声和相机视角的影响。本发明还提出的通
过粗细两次对识别限制标志的字符进行识别，从而能准确的识别出限制标志字符。 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助
软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更
佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的
部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/
RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，
或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人
员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应
视为本发明的保护范围。
1权利要求
一种数字类限制标志的识别方法，其特征在于，包括对采集到的视频图像进行圆形检测，得到限制标志候选区域；从所述限制标志候选区域中获取限制标志符号区域；将所述限制标志符号区域与预选的标准数字类限制标志模板集中的标准数字类限制标志模板分别进行匹配，分别计算所述限制标志符号区域与所述标准数字类限制标志模板的相关系数，得到相关系数集；若所述相关系数集中最大相关系数大于预设的阈值，则确定所述限制标志符号区域为所述最大相关系数对应的标准数字类限制标志模板所代表的数字类限制标志。
2. 根据权利要求1所述的方法，其特征在于，所述从所述限制标志候选区域中获取限 制标志符号区域具体包括根据二值化阈值对所述限制标志候选区域进行二值化处理，得到二值化的限制标志候 选区域；在该二值化的限制标志候选区域中，像素灰度值高于二值化阈值的像素用白色像 素表示，否则用黑色像素表示；对二值化的限制标志候选区域进行检测，得到白色连通区域集合；对所述白色连通区域集合进行过滤，得到白色区域；利用最大包括圆的方法从所述白色区域中获取候选限制标志符号区域； 确定所述候选限制标志符号区域中符号的最小外接矩形区域为限制标志符号区域。
3. 根据权利要求2所述的方法，其特征在于，所述对所述白色连通区域集合进行过滤， 得到白色区域具体包括计算所述白色连通区域集合中每个白色连通区域的面积； 确定面积最大且大于预设面积阈值的白色连通区域为白色区域。
4. 根据权利要求2所述的方法，其特征在于，所述利用最大包括圆的方法从所述白色 区域中获取候选限制标志符号区域具体包括确定所述白色区域的中心和半径；以所述白色区域的中心为圆心，分别统计所述半径在二分之一半径至半径范围内的每 个圆上的黑色像素点的个数；计算每个圆上所述黑色像素点的个数与该圆的周长之比，得到该比例最小的最大圆形，所述最大圆形的区域作为候选限制标志符号区域。
5. 根据权利要求1至4任一项所述的方法，其特征在于，还包括利用局部特征向量对所述识别出的易混淆的数字类限制标志的数字字符进行精确识 别，具体包括从所述识别出的限制标志符号区域中分割出第一个数字字符； 对所述第一数字字符的大小进行归一化； 计算所述归一化后的第一数字字符的局部特征向量；计算将所述第一数字字符的局部特征向量与对应的标准数字字符模板集的局部特征 向量之间的欧氏距离；通过计算的欧氏距离对所述第一数字字符和对应的标准数字字符模板集中的每个标 准数字字符模板进行特征匹配，得到所述欧氏距离的最小值对应的标准数字字符模板，并 用该标准数字字符模板所代表的字符替换所述识别出的数字类限制标志的第一个数字字重新输出第一数字字符替换后的所述识别出的数字类限制标志。
6. —种数字类限制标志的识别装置，其特征在于，包括标志候选区域确定单元，用于对采集到的视频图像中的圆形进行检测，得到限制标志 候选区域；标志符号区域获取单元，用于从所述限制标志候选区域中获取限制标志符号区域； 限制标志匹配单元，用于将所述限制标志符号区域与预选的标准数字类限制标志模板集中的标准数字类限制标志模板分别进行匹配，计算所述限制标志符号区域与所述标准数字类限制标志模板的相关系数，得到相关系数集；标志字符识别单元，用于在判断所述相关系数集中最大系数大于预设的阈值时，确定所述限制标志符号区域为所述最大相关系数对应的标准数字类限制标志模板所代表的数字类限制标志。
7. 根据权利要求6所述的装置，其特征在于，所述标志符号区域获取单元包括 二值化处理单元，用于根据二值化阈值对所述限制标志候选区域进行二值化处理，得到二值化的限制标志候选区域；在该二值化的限制标志候选区域中，像素灰度值高于二值 化阈值的像素用白色像素表示，否则用黑色像素表示；区域检测单元，用于对二值化的限制标志候选区域进行检测，得到白色连通区域集合.区域过滤单元，用于对所述白色连通区域集合进行过滤，得到白色区域； 候选符号区域获取单元，用于利用最大包括圆的方法从所述白色区域中获取候选限制 标志符号区域；限制标志符号区域确定单元，用于确定所述候选限制标志符号区域中符号的最小外接 矩形区域为限制标志符号区域。
8. 根据权利要求7所述的装置，其特征在于，所述区域检测单元包括 区域面积计算单元，用于计算所述白色连通区域集合中每个白色连通区域的面积； 白色区域确定单元，用于确定面积最大且大于预设面积阈值的白色连通区域为白色区域。
9. 根据权利要求8所述的装置，其特征在于，所述候选符号区域获取单元包括 确定单元，用于确定所述白色区域的中心和半径；黑色像素点数确定单元，用于以所述白色区域的中心为圆心，分别统计所述半径在二 分之一半径至半径范围内的每个圆上的黑色像素点的个数；计算单元，用于计算每个圆上所述黑色像素点的个数与该圆的周长之比，得到该比例 最小的最大圆形；候选字符区域确定单元，用于将所述最大圆形的区域作为候选限制标志符号区域。
10. 根据权利要求6至9任一项所述的装置，其特征在于，还包括精确字符识别单元，用于利用局部特征向量对所述识别出的易混淆的数字类限制标志 的数字字符进行精确识别，具体包括字符分割单元，用于从所述识别出的限制标志符号区域中分割出第一个数字字符； 归一化单元，用于对所述第一数字字符的大小进行归一化；特征向量计算单元，用于计算所述归一化后的第一数字字符的局部特征向量； 距离计算单元，用于计算所述第一数字字符的局部特征向量与对应的标准数字字符模板集的局部特征向量之间的欧氏距离；特征匹配单元，用于通过计算的欧氏距离对所述第一数字字符和对应的标准数字字符模板集中的每个标准数字字符模板进行特征匹配，得到所述欧氏距离的最小值对应的标准数字字符模板；并用该标准数字字符模板所代表的字符替换所述识别出的数字类限制标志的第一个数字字符；精确字符输出单元，用于重新输出第一数字字符替换后的所述识别出的数字类限制标
全文摘要
本发明涉及一种数字类限制标志的识别方法及装置，所述方法包括对采集到的视频图像进行圆形检测，得到限制标志候选区域；从所述限制标志候选区域中获取限制标志符号区域；将限制标志符号区域与预选的标准数字类限制标志模板集中的标准数字类限制标志模板分别进行匹配，分别计算所述限制标志符号区域与所述标准数字类限制标志模板的相关系数，得到相关系数集；若所述相关系数大于预设的阈值，则确定所述限制标志符号区域为所述最大相关系数对应的标准数字类限制标志模板所代表的数字类限制标志。本发明所述技术方案不受光照、天气变化的影响，能准确的识别出限制标志，提高识别的效率。
文档编号G06K9/00GK101706873SQ200910220319
公开日2010年5月12日 申请日期2009年11月27日 优先权日2009年11月27日
发明者刘威, 刘玉洁, 袁淮 申请人:东软集团股份有限公司