车牌检测方法及装置制造方法
【专利摘要】本发明公开了一种车牌检测方法及装置，获取车辆图像；通过车牌粗检分类器对所述车辆图像进行检测，得到粗检窗口区域；计算所述粗检窗口区域的平均边缘密度，保留平均边缘密度大于预定密度的窗口区域，则该窗口区域为车牌粗检区域；通过车牌精检分类器对所述车牌粗检区域进行检测，得到精检窗口区域，并对所述精检窗口区域进行融合，完成车牌检测；该方法能够快速、准确的完成车牌检测。
【专利说明】车牌检测方法及装置
【技术领域】
[0001] 本发明涉及图像处理【技术领域】，特别是涉及一种车牌检测方法及装置。
【背景技术】
[0002] 近年来，车牌识别设备已经被广泛应用于停车场、城市道路等区域进行车辆号牌 的自动抓拍和识别。
[0003] 车牌识别一般分为车牌检测，字符分割与识别以及车牌投票这三步；其中，车牌检 测，即从视频中检测到车牌，是非常重要的一步，也是最耗时的一步。许多应用场景又都有 时间的需求；例如城市道路等对车辆进行自动抓拍和识别的设备，就需要在车辆在具有一 定速度运动的情况下，还能够快速、准确的检测到车牌，就会对时间的要求很高，是一个难 题。
[0004] 因此，如何快速、准确的检测到车牌，是本领域技术人员需要解决的问题。
【发明内容】
[0005] 本发明的目的是提供一种车牌检测方法，该方法能够快速、准确的完成车牌检测； 本发明的另一目的是提供一种车牌检测装置。
[0006] 为解决上述技术问题，本发明提供一种车牌检测方法，包括：
[0007] 获取车辆图像；
[0008] 通过车牌粗检分类器对所述车辆图像进行检测，得到粗检窗口区域；
[0009] 计算所述粗检窗口区域的平均边缘密度，保留平均边缘密度大于预定密度的窗口 区域，则该窗口区域为车牌粗检区域；
[0010] 通过车牌精检分类器对所述车牌粗检区域进行检测，得到精检窗口区域，并对所 述精检窗口区域进行融合，完成车牌检测。
[0011] 其中，所述车牌粗检分类器的训练方法包括：
[0012] 获取摄像机在设定时段和天气条件下所拍摄的多个车辆图像，以车牌图像作为正 样本，以非车牌图像作为负样本；
[0013] 使用二值化固定窗口梯度BING算法对每一幅车辆图像的正样本和负样本进行训 练，获得车牌粗检分类器。
[0014] 其中，所述车牌精检分类器的训练方法包括：
[0015] 获取摄像机在设定时段和天气条件下所拍摄的多个车辆图像，以车牌图像作为正 样本，以非车牌图像作为负样本；
[0016] 使用方向梯度直方图HOG特征对每一幅车辆图像的正样本和负样本进行表征，形 成方向梯度直方图HOG特征向量；
[0017] 利用支持向量机SVM算法对得到的方向梯度直方图HOG特征进行训练，获得车牌 精检分类器。
[0018] 其中，所述正样本和负样本还可以分为：蓝色车牌和黑色车牌正样本，蓝色车牌和 黑色车牌负样本，黄色车牌和白色车牌正样本和黄色车牌和白色车牌负样本。
[0019] 其中，所述通过车牌粗检分类器对所述车辆图像进行检测，得到粗检窗口区域包 括：
[0020] 通过车牌粗检分类器对所述车辆图像进行检测，并得到粗检窗口区域的得分；
[0021] 将所述粗检窗口区域的得分按分数从高到低进行排序，并选取前预定数量的粗检 窗口区域。
[0022] 其中，所述计算所述粗检窗口区域的平均边缘密度，保留平均边缘密度大于预定 密度的窗口区域包括：
[0023] 将所述车辆图像转化为灰度图，并计算所述灰度图像的边缘密度积分图；
[0024] 通过所述灰度图像的边缘密度积分图，计算所述粗检窗口区域的平均边缘密度， 保留平均边缘密度大于预定密度的窗口区域，则该窗口区域为车牌粗检区域。
[0025] 其中，所述通过所述灰度图像的边缘密度积分图，计算所述粗检窗口区域的平均 边缘密度还包括将所述粗检窗口区域按照预定比例进行扩大。
[0026] 其中，所述保留平均边缘密度大于预定密度的窗口区域还包括：将所述窗口区域 分为预定个数的区域，并计算出预定个数的区域的平均边缘密度的偏差，当偏差在阈值内 则该窗口区域为车牌粗检区域。
[0027] 其中，所述通过车牌精检分类器对所述车牌粗检区域进行检测，得到精检窗口区 域，并对所述精检窗口区域进行融合包括：
[0028] 通过车牌精检分类器对所述车牌粗检区域进行检测，并得到精检窗口区域的置信 度；
[0029] 通过比较所述精检窗口区域的重合度；
[0030] 当所述重合度达到预定值，则为同一个车牌类，选取置信度最高的精检窗口区域 为车牌区域；当所述重合度达不到预定值，则为不同车牌类，在各个不同车牌类中选取各类 中置信度最高的精检窗口区域为该类的车牌区域。
[0031] 本发明提供一种的车牌检测装置，包括：获取模块，粗检模块，判断模块，精检模 块，其中，
[0032] 获取模块，用于获取车辆区域；
[0033] 粗检模块，用于通过车牌粗检分类器对所述车辆图像进行检测，得到粗检窗口区 域；
[0034] 判断模块，用于计算所述粗检窗口区域的平均边缘密度，保留平均边缘密度大于 预定密度的窗口区域，则该窗口区域为车牌粗检区域；
[0035] 精检模块，用于通过车牌精检分类器对所述车牌粗检区域进行检测，得到精检窗 口区域，并对所述精检窗口区域进行融合，完成车牌检测。
[0036] 本发明所提供的车牌检测方法，获取车辆图像；通过车牌粗检分类器对所述车辆 图像进行检测，得到粗检窗口区域；计算所述粗检窗口区域的平均边缘密度，保留平均边缘 密度大于预定密度的窗口区域，则该窗口区域为车牌粗检区域；通过车牌精检分类器对所 述车牌粗检区域进行检测，得到精检窗口区域，并对所述精检窗口区域进行融合，完成车牌 检测；通过车牌粗检分类器对车辆图像进行初次检测，快速获得粗检窗口区域；对得到的 粗检窗口区域利用平均边缘密度进行筛选，删除其中的非车牌区域，减少了精检的工作量 即加快了精检的速度；最后的通过车牌精检分类器对车牌粗检区域进行检测，提高了车牌 检测的准确度。
【专利附图】
【附图说明】
[0037] 为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有 技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。
[0038] 图1为本发明实施例提供的车牌检测方法的流程图；
[0039] 图2为本发明实施例提供的车牌粗检分类器的训练方法的流程图；
[0040] 图3为本发明实施例提供的车牌精检分类器的训练方法的流程图；
[0041] 图4为本发明实施例提供的得到粗检窗口区域的方法的流程图；
[0042] 图5为本发明实施例提供的得到车牌粗检区域的方法的流程图；
[0043]图6为本发明实施例提供的对车牌粗检区域进行检测得到精检窗口区域，并对所 述精检窗口区域进行融合的方法的流程图；
[0044]图7为本发明实施例提供的车牌检测装置的结构框图；
[0045]图8为本发明实施例提供的粗检模块的结构框图；
[0046] 图9为本发明实施例提供的判断模块的结构框图；
[0047]图10为本发明实施例提供的精检模块的结构框图。
【具体实施方式】
[0048] 本发明的目的是提供一种车牌检测方法，该方法能够快速、准确的完成车牌检测； 本发明的另一目的是提供一种车牌检测装置。
[0049]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050] 基于视频流的车牌检测方法有很多，包括基于线模板的二值化图像中的角检测算 法，利用遗传算法检测车牌，还有基于哈尔小波Haar特征的级联的演算Adaboost检测等； 虽然全图进行Haar检测能准确检测到车牌，但是运算量大，如果应用在嵌入式设备中，速 度达不到要求。另外Haar检测对角度要求高，如果车牌角度超过了 30度检测效果不好。
[0051] 在一帧图像中搜索到车牌的位置，可以认为是进行对象检测的过程。传统的对象 检测方法是用训练样本中标记好的含有物体的窗口作为正样本，然后使用不包含物体的窗 口作为负样本进行分类器训练。每类物体都要训练一个特定的分类器。
[0052] 测试的时候，使用多尺寸，多尺度窗口遍历测试样本进行分类，从而检测出物体的 位置以及类别。后续的改进包括使用级联的思想，例如AdaBoost算法，只有通过了全部的 层数才认为是检测对象，一般的负样本会在检测的前几层就被拒绝，不需要进行下面的检 测。还有利用物体的显著特征，例如边缘密度等进行前期的过滤。
[0053] 近些年，一种新的计算窗口的类物性（objectnessmeasure)的方法被提出，即通 过提取出含有物体的窗口，然后判断窗口是否含有物体。通过这个方法可以迅速找到疑似 包含物体的窗口，然后再对这些窗口进行进一步的检测
[0054] 本发明可以是使用视频流模式，对采集到得每帧图像进行车牌检测，视频流模式 的好处是当前帧如果检测失败可以在下一帧对车牌继续进行检测，因此对单帧检测的检测 率的要求可以降低。并利用二值化固定窗口区域BING算法的快速搜索特性以及利用基于 方向梯度直方图HOG特征训练的支持向量机车牌精检分类器的精确检测的准确性，提出了 一种车牌检测方法。该方法能快速检测到车牌和检测率高，并且适合硬件实施。
[0055] 其中，方向梯度直方图H0G(Histogramoforientedgradients)刻画图像的局部 梯度幅值和方向特征。HOG允许块之间相互重叠，因此对光照变化和小量的偏移并不敏感， 能有效地刻画出边缘特征。对于角度大的车标检测效果好。通过HOG特征向量建立HOG模 型，通过HOG模型进行多尺度检测，对图像中每个能通过HOG验证的区域，都用一个方框区 域显示，提取通过HOG模型检测的区域例如方框区域。
[0056] 其中，二值化固定窗口区域BING算法为MingmingCheng等在IEEECVPR2014提 出了一种新的计算的方法，即BING(BinarizedNormedGradients,二值化的固定窗口的梯 度），该方法可以用于快速计算搜索窗口的类物性，然后通过得分判断搜索窗口是否包含需 要检测的物体。
[0057] 请参考图1，图1为本发明实施例提供的车牌检测方法的流程图；该车牌检测方法 可以包括：
[0058] 步骤slOO、获取车辆图像；
[0059] 这里获取车辆图像，可以是由普通摄像头采集的，也可以是高清、超高清等其他摄 像头采集；也可以是其他能够进行图像采集的设备进行采集所获得的图像。
[0060] 步骤SllO、通过车牌粗检分类器对所述车辆图像进行检测，得到粗检窗口区域；
[0061] 其中，将车辆图像利用车牌粗检分类器进行检测，能够通过检测的即为包含车牌 的粗检窗口区域；
[0062] 其中，车牌粗检分类器是通过BING算法训练成的，因此通过该车牌粗检分类器对 所述车辆图像进行检测可以快速计算搜索窗口的类物性，然后通过判断搜索窗口是否包含 需要检测的物体，即通过检测，没有则被排除。
[0063] 步骤S120、计算所述粗检窗口区域的平均边缘密度，保留平均边缘密度大于预定 密度的窗口区域，则该窗口区域为车牌粗检区域；
[0064] 其中，由于通过车牌粗检分类器对所述车辆图像进行检测，速度快，但可能存在一 定的误检和漏检，因此将得到的粗检窗口区域计算他们的平均边缘密度数值，由于车牌的 一个特征就是车牌区域的边缘密度大，因此利用一个预定密度就能排除不是车牌的区域， 其中，预定密度可以是经过大量的试验得到；保留平均边缘密度大于预定密度的窗口区域， 则该窗口区域为车牌粗检区域；删除平均边缘密度大于预定密度的窗口区域。
[0065] 这样就大大提高了窗口区域为车牌区域的概率，减少了利用车牌精检分类器对所 述车牌粗检区域进行检测的数量，加快了检测速度。
[0066] 步骤S130、通过车牌精检分类器对所述车牌粗检区域进行检测，得到精检窗口区 域，并对所述精检窗口区域进行融合，完成车牌检测。
[0067] 其中，经过上面几步的筛选，大大减少了需要进行车牌精确检测的区域，通过车牌 精检分类器对所述车牌粗检区域进行检测，可以得到零个到多个精检窗口区域也可以理解 为确定包含车牌的区域，对这些区域进行融合，例如可以利用重合度进行融合，完成车牌检 测，最终得到准确的车牌区域。
[0068] 其中，车牌精检分类器是利用基于HOG特征的经过支持向量机训练得到的车牌分 类器，其中，支持向量机（SupportVectorMachine，简称SVM)是一种快速的模式识别方法。 SVM训练的样本集可以表示为：(X1,y)，（x2,y2),…，（xn,yn)。
[0069]其中=Xi G Rd，Rd是训练样本集。Yi G {-1，1}，Yi = 1表不Xi G CO1;Yi = -1表 示XiG〇2,O1和O2是两种不同的分类。
[0070] 对于线性分类，决策函数为g(x) = ?Tx+b，其中《是分类面的梯度，而b是偏置。 wTx+b = 1和wix+b = -I的分类间隔为
【权利要求】
1. 一种车牌检测方法，其特征在于，包括： 获取车辆图像； 通过车牌粗检分类器对所述车辆图像进行检测，得到粗检窗口区域； 计算所述粗检窗口区域的平均边缘密度，保留平均边缘密度大于预定密度的窗口区 域，则该窗口区域为车牌粗检区域； 通过车牌精检分类器对所述车牌粗检区域进行检测，得到精检窗口区域，并对所述精 检窗口区域进行融合，完成车牌检测。
2. 如权利要求1所述的车牌检测方法，其特征在于，所述车牌粗检分类器的训练方法 包括： 获取摄像机在设定时段和天气条件下所拍摄的多个车辆图像，以车牌图像作为正样 本，以非车牌图像作为负样本； 使用二值化固定窗口梯度BING算法对每一幅车辆图像的正样本和负样本进行训练， 获得车牌粗检分类器。
3. 如权利要求1所述的车牌检测方法，其特征在于，所述车牌精检分类器的训练方法 包括： 获取摄像机在设定时段和天气条件下所拍摄的多个车辆图像，以车牌图像作为正样 本，以非车牌图像作为负样本； 使用方向梯度直方图HOG特征对每一幅车辆图像的正样本和负样本进行表征，形成方 向梯度直方图HOG特征向量； 利用支持向量机SVM算法对得到的方向梯度直方图HOG特征进行训练，获得车牌精检 分类器。
4. 如权利要求2或3所述的车牌检测方法，其特征在于，所述正样本和负样本还可以分 为：蓝色车牌和黑色车牌正样本，蓝色车牌和黑色车牌负样本，黄色车牌和白色车牌正样本 和黄色车牌和白色车牌负样本。
5. 如权利要求1所述的车牌检测方法，其特征在于，所述通过车牌粗检分类器对所述 车辆图像进行检测，得到粗检窗口区域包括： 通过车牌粗检分类器对所述车辆图像进行检测，并得到粗检窗口区域的得分； 将所述粗检窗口区域的得分按分数从高到低进行排序，并选取前预定数量的粗检窗口 区域。
6. 如权利要求1所述的车牌检测方法，其特征在于，所述计算所述粗检窗口区域的平 均边缘密度，保留平均边缘密度大于预定密度的窗口区域包括： 将所述车辆图像转化为灰度图，并计算所述灰度图像的边缘密度积分图； 通过所述灰度图像的边缘密度积分图，计算所述粗检窗口区域的平均边缘密度，保留 平均边缘密度大于预定密度的窗口区域，则该窗口区域为车牌粗检区域。
7. 如权利要求6所述的车牌检测方法，其特征在于，所述通过所述灰度图像的边缘密 度积分图，计算所述粗检窗口区域的平均边缘密度还包括将所述粗检窗口区域按照预定比 例进行扩大。
8. 如权利要求1或6所述的车牌检测方法，其特征在于，所述保留平均边缘密度大于预 定密度的窗口区域还包括：将所述窗口区域分为预定个数的区域，并计算出预定个数的区 域的平均边缘密度的偏差，当偏差在阈值内则该窗口区域为车牌粗检区域。
9. 如权利要求1所述的车牌检测方法，其特征在于，所述通过车牌精检分类器对所述 车牌粗检区域进行检测，得到精检窗口区域，并对所述精检窗口区域进行融合包括： 通过车牌精检分类器对所述车牌粗检区域进行检测，并得到精检窗口区域的置信度； 通过比较所述精检窗口区域的重合度； 当所述重合度达到预定值，则为同一个车牌类，选取置信度最高的精检窗口区域为车 牌区域；当所述重合度达不到预定值，则为不同车牌类，在各个不同车牌类中选取各类中置 信度最高的精检窗口区域为该类的车牌区域。
10. -种车牌检测装置，其特征在于，包括：获取模块，粗检模块，判断模块，精检模块， 其中， 获取模块，用于获取车辆区域； 粗检模块，用于通过车牌粗检分类器对所述车辆图像进行检测，得到粗检窗口区域； 判断模块，用于计算所述粗检窗口区域的平均边缘密度，保留平均边缘密度大于预定 密度的窗口区域，则该窗口区域为车牌粗检区域； 精检模块，用于通过车牌精检分类器对所述车牌粗检区域进行检测，得到精检窗口区 域，并对所述精检窗口区域进行融合，完成车牌检测。
【文档编号】G06K9/00GK104318225SQ201410663854
【公开日】2015年1月28日 申请日期:2014年11月19日 优先权日:2014年11月19日
【发明者】唐健, 李昕, 李锐 申请人:深圳市捷顺科技实业股份有限公司