一种车牌识别方法及车牌识别设备的制作方法
【专利摘要】本申请公开了一种车牌识别方法及车牌识别设备，根据原始车牌分类器检测现场的无车场景，收集现场的静态负样本；将静态负样本添加到车牌识别设备的原始训练集中，得到第一训练集，根据第一训练集训练第一车牌分类器；根据第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将动态负样本添加到第一训练集中，得到第二训练集，根据第二训练集训练第二车牌分类器，并根据第二车牌分类器进行车牌识别。这样，利用第二训练集训练的第二车牌分类器能够去除静态负样本和动态负样本，此时现场可能出现的绝大部分负样本都能够被第二车牌分类器拒绝，从而达到对车牌的精确识别，减少车牌识别设备的误检率。
【专利说明】—种车牌识别方法及车牌识别设备
【技术领域】
[0001]本申请涉及图像识别【技术领域】，特别是涉及一种车牌识别方法及车牌识别设备。
【背景技术】
[0002]为了保证良好的交通秩序或社会治安，基于车牌识别技术的车牌识别设备等产品被广泛应用于交叉路口、物业小区、商业楼宇及政府机构等位置。车牌识别技术一般分为车牌检测、字符分割识别及车牌投票这三大步骤。车牌检测，即从视频中检测车牌并确定其在每一帧图像中的位置，是车牌识别技术中比较关键和耗时的一步。
[0003]目前，车牌识别设备通常都是在实验室进行训练。通常情况下，车辆正面只有一个车牌，并且在路口、岗亭或卡口，车辆都是依次通行的，通过使用摄像机在各个时段和天气条件下在各个位置拍摄并储存大量视频，在这些视频的图像中，人工截取出每辆车的车牌图像作为正样本，人工截取出其中的非车牌图像作为负样本，然后通过正、负样本训练得到车牌识别设备。
[0004]然而，在实际应用中，现场环境和应用情况千变万化，车牌识别设备在实验室训练时由于负样本的数量和种类有限，无法兼顾所有的应用场景和工作时段，因而车牌识别设备在现场使用的时候会存在一定的误检，即把一些非车牌图像错误地识别成车牌。误检包括静态的误检和动态的误检。静态的误检是指现场的场景中一些背景，例如路边的栅栏，广告牌上的电话号码等，这些背景图案与实际的车牌很相似，车牌识别设备很容易把这些背景错误地识别成车牌，比如路边的栅栏与“111111”很相似，容易被识别成“省份L11111”，另外一些字符如“1”、“L”、“T”等也容易被错误地识别成“H”或“Y”。动态的误检是指移动的物体，例如汽车引擎的通风口、车身上的广告等，这些物体偶尔会出现，由于比较类似车牌，也会造成一定的误检，如果车牌识别设备应用在快递公司出入口，公交公司停车场等场所时，由于大量的车身上都具有广告和电话号码等，就容易出现大量误检，导致车牌识别出错。
【发明内容】
[0005]有鉴于此，本申请提供一种车牌识别方法及车牌识别设备，以实现对车牌的精确识别，减少车牌识别设备的误检率。
[0006]为了实现上述目的，本申请实施例提供的技术方案如下:
[0007]—种车牌识别方法，应用于布置在现场的车牌识别设备中，所述车牌识别设备中包括根据原始训练集训练的原始车牌分类器，所述车牌识别方法包括:
[0008]根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本；所述静态负样本为所述现场的无车场景中被所述原始车牌分类器误检为车牌区域的背景图像；
[0009]将所述静态负样本添加到所述车牌识别设备的所述原始训练集中，得到第一训练集，根据所述第一训练集训练第一车牌分类器；
[0010]根据所述第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将所述动态负样本添加到所述第一训练集中，得到第二训练集，根据所述第二训练集训练第二车牌分类器，并根据所述第二车牌分类器进行车牌识别；所述动态负样本为所述现场的有车场景中被所述第一车牌分类器误检为车牌区域的运动图像。
[0011]优选地，所述根据所述第一训练集训练第一车牌分类器，包括:
[0012]使用Haar特征对所述第一训练集里的每一个正样本进行表征，形成正样本Haar特征向量；
[0013]使用Haar特征对所述第一训练集里的每一个负样本进行表征，形成负样本Haar特征向量；
[0014]利用Adaboost算法对所述正样本Haar特征向量和所述负样本Haar特征向量进行训练，获得第一车牌分类器。
[0015]优选地，所述根据所述第一车牌分类器检测现场的有车场景，收集现场的动态负样本，包括:
[0016]获取所述车牌识别设备检测现场的有车场景得到的视频图像，提取所述视频图像中的疑似车牌区域，根据所述第一车牌分类器检测所述疑似车牌区域中的车牌区域；
[0017]从所述车牌区域中分割出多个字符，根据支持向量机SVM训练的车牌字符识别模型对多个所述字符进行识别，并判断每个所述字符的识别置信度；
[0018]根据每个所述字符的识别置信度判断所述车牌区域是否有效，如果无效，将所述车牌区域作为所述现场的动态负样本。
[0019]优选地，所述根据每个所述字符的识别置信度判断所述车牌区域是否有效，包括:
[0020]判断所述字符的个数是否为7个；
[0021]如果是，判断每个所述字符的识别置信度是否大于或等于第一阈值；
[0022]如果是，判断7个所述字符的识别置信度的和是否大于或等于第二阈值；
[0023]如果是，则判定所述车牌区域有效，否则无效。
[0024]优选地，所述将所述动态负样本添加到所述第一训练集中，包括:
[0025]按照预设的时间间隔统计所述第一车牌分类器检测现场的有车场景的误检率，并判断所述误检率是否大于第三阈值；
[0026]如果是，判断收集到的所述动态负样本的个数是否大于或等于第四阈值；
[0027]如果是，将所述动态负样本添加到所述第一训练集中。
[0028]优选地，在所述根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本后，还包括:
[0029]识别所述静态负样本中的简单静态负样本和困难静态负样本，并将所述简单静态负样本添加到所述车牌识别设备的所述原始训练集中；
[0030]判断所述困难静态负样本所在的图像区域是否满足屏蔽要求；
[0031]如果满足，屏蔽所述困难静态负样本所在的图像区域，如果不满足，根据所述困难静态负样本训练第三车牌分类器，所述第三车牌分类器用于判断所述第二车牌分类器识别出的车牌是否为有效车牌。
[0032]优选地，在所述根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本后，还包括:
[0033]识别所述静态负样本中的简单静态负样本和困难静态负样本，并将所述简单静态负样本添加到所述车牌识别设备的所述原始训练集中；
[0034]判断所述困难静态负样本所在的图像区域是否满足屏蔽要求；
[0035]如果满足，屏蔽所述困难静态负样本所在的图像区域，如果不满足，在预设的时间段内判断所述困难静态负样本所在的图像区域是否发生移动，如果不发生移动，则将所述困难静态负样本添加到所述车牌识别设备的所述原始训练集中。
[0036]本申请还提供一种车牌识别设备，用于布置在现场进行车牌识别，所述车牌识别设备中包括根据原始训练集训练的原始车牌分类器，所述车牌识别设备还包括:
[0037]静态负样本收集模块，用于根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本；所述静态负样本为所述现场的无车场景中被所述原始车牌分类器误检为车牌区域的背景图像；
[0038]第一车牌分类器模块，用于将所述静态负样本添加到所述车牌识别设备的所述原始训练集中，得到第一训练集，根据所述第一训练集训练第一车牌分类器；
[0039]第二车牌分类器模块，用于根据所述第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将所述动态负样本添加到所述第一训练集中，得到第二训练集，根据所述第二训练集训练第二车牌分类器，并根据所述第二车牌分类器进行车牌识别；所述动态负样本为所述现场的有车场景中被所述第一车牌分类器误检为车牌区域的运动图像。
[0040]优选地，所述第一车牌分类器模块，包括:
[0041]正样本特征向量单元，用于使用Haar特征对所述第一训练集里的每一个正样本进行表征，形成正样本Haar特征向量；
[0042]负样本特征向量单元，用于使用Haar特征对所述第一训练集里的每一个负样本进行表征，形成负样本Haar特征向量；
[0043]训练单元，用于利用Adaboost算法对所述正样本Haar特征向量和所述负样本Haar特征向量进行训练，获得第一车牌分类器。
[0044]优选地，所述第二车牌分类器模块，包括:
[0045]检测单元，用于获取所述车牌识别设备检测现场的有车场景得到的视频图像，提取所述视频图像中的疑似车牌区域，根据所述第一车牌分类器检测所述疑似车牌区域中的车牌区域；
[0046]识别单元，用于从所述车牌区域中分割出多个字符，根据支持向量机SVM训练的车牌字符识别模型对多个所述字符进行识别，并判断每个所述字符的识别置信度；
[0047]动态负样本单元，用于根据每个所述字符的识别置信度判断所述车牌区域是否有效，如果无效，将所述车牌区域作为所述现场的动态负样本。
[0048]优选地,所述动态负样本单元,包括:
[0049]第一判断子单元，用于判断所述字符的个数是否为7个；
[0050]第二判断子单元，用于如果是，判断每个所述字符的识别置信度是否大于或等于第一阈值；
[0051]第三判断子单元，用于如果是，判断7个所述字符的识别置信度的和是否大于或等于第二阈值；
[0052]判定子单元，用于如果是，则判定所述车牌区域有效，否则无效。
[0053]优选地，所述第二车牌分类器模块，包括:
[0054]统计单元，用于按照预设的时间间隔统计所述第一车牌分类器检测现场的有车场景的误检率，并判断所述误检率是否大于第三阈值；
[0055]判断单元，用于如果是，判断收集到的所述动态负样本的个数是否大于或等于第四阈值；
[0056]添加单元，用于如果是，将所述动态负样本添加到所述第一训练集中。
[0057]优选地，所述静态负样本收集模块，包括:
[0058]识别单元，用于识别所述静态负样本中的简单静态负样本和困难静态负样本，并将所述简单静态负样本添加到所述车牌识别设备的所述原始训练集中；
[0059]判断单元，用于判断所述困难静态负样本所在的图像区域是否满足屏蔽要求；
[0060]屏蔽单元，用于如果满足，屏蔽所述困难静态负样本所在的图像区域，如果不满足，根据所述困难静态负样本训练第三车牌分类器，所述第三车牌分类器用于判断所述第二车牌分类器识别出的车牌是否为有效车牌。
[0061 ] 优选地，所述静态负样本收集模块，包括:
[0062]识别单元，用于识别所述静态负样本中的简单静态负样本和困难静态负样本，并将所述简单静态负样本添加到所述车牌识别设备的所述原始训练集中；
[0063]判断单元，用于判断所述困难静态负样本所在的图像区域是否满足屏蔽要求；
[0064]屏蔽单元，用于如果满足，屏蔽所述困难静态负样本所在的图像区域，如果不满足，在预设的时间段内判断所述困难静态负样本所在的图像区域是否发生移动，如果不发生移动，则将所述困难静态负样本添加到所述车牌识别设备的所述原始训练集中。
[0065]由以上本申请提供的技术方案，车牌识别方法应用于布置在现场的车牌识别设备中，所述车牌识别设备中包括根据原始训练集训练的原始车牌分类器，所述车牌识别方法根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本；所述静态负样本为所述现场的无车场景中被所述原始车牌分类器误检为车牌区域的背景图像；将所述静态负样本添加到所述车牌识别设备的所述原始训练集中，得到第一训练集，根据所述第一训练集训练第一车牌分类器；根据所述第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将所述动态负样本添加到所述第一训练集中，得到第二训练集，根据所述第二训练集训练第二车牌分类器，并根据所述第二车牌分类器进行车牌识别；所述动态负样本为所述现场的有车场景中被所述第一车牌分类器误检为车牌区域的运动图像。这样，先收集现场的静态负样本并添加到原始训练集，得到第一训练集，利用第一训练集训练第一车牌分类器去除静态负样本，然后再使用第一车牌分类器收集动态负样本并添加到第一训练集，得到第二训练集，利用第二训练集训练第二车牌分类器就可以去除收集到的静态负样本和动态负样本，此时第二训练集中已经包含了现场可能出现的绝大部分负样本，这些负样本能够被第二车牌分类器拒绝，从而达到对车牌的精确识别，减少车牌识别设备的误检率。
【专利附图】
【附图说明】
[0066]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0067]图1为本申请提供的一种车牌识别方法的流程示意图；
[0068]图2为本申请提供的另一种车牌识别方法的流程示意图；
[0069]图3为本申请提供的又一种车牌识别方法的流程示意图；
[0070]图4为本申请提供的一种车牌识别设备的结构示意图。
【具体实施方式】
[0071]为了使本【技术领域】的人员更好地理解本申请中的技术方案，下面将结合附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0072]下面结合附图，对本申请的实施方案进行详细描述。
[0073]图1为本申请提供的一种车牌识别方法的流程示意图。
[0074]请参照图1所示，本申请实施例提供一种车牌识别方法，应用于布置在现场的车牌识别设备中，所述车牌识别设备中包括根据原始训练集训练的原始车牌分类器，所述车牌识别方法包括:
[0075]SlOO:根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本；
[0076]所述静态负样本为所述现场的无车场景中被所述原始车牌分类器误检为车牌区域的背景图像；
[0077]在本申请实施例中，在现场安装车牌识别设备后，首先使用原始车牌分类器检测现场无车场景，收集导致原始车牌分类器误检的图像，作为错分负样本，即静态负样本。
[0078]车牌识别设备安装在现场的时候，要把实验室训练车牌分类器的原始正样本和原始负样本一起保存在现场的计算机内。开启车牌识别器后，在确保现场无车的情况下按照白昼、黑夜、阴天、晴天、强光、弱光等不同环境对现场进行视频流车牌检测，如果能检测到车牌，就表示现场场景中的某些背景被识别成车牌了，此时保留这些错误的样本，即现场的静态负样本。
[0079]S200:将所述静态负样本添加到所述车牌识别设备的所述原始训练集中，得到第一训练集，根据所述第一训练集训练第一车牌分类器；
[0080]在本申请实施例中，将现场的静态负样本添加到原始训练集，得到第一训练集，根据新的训练集即第一训练集训练新的车牌分类器即第一车牌分类器，从而用新的第一车牌分类器替代旧的原始车牌分类器进行车牌检测，就可以不受静态负样本的影响，实现对静态负样本的正确识别。
[0081]S300:根据所述第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将所述动态负样本添加到所述第一训练集中，得到第二训练集，根据所述第二训练集训练第二车牌分类器，并根据所述第二车牌分类器进行车牌识别。
[0082]所述动态负样本为所述现场的有车场景中被所述第一车牌分类器误检为车牌区域的运动图像。
[0083]在本申请实施例中，用新的第一车牌分类器替代旧的原始车牌分类器后，在第一车牌分类器的使用过程中收集现场的动态负样本，并把收集的动态负样本添加到第一训练集中，得到第二训练集，重新根据第二训练集训练第二车牌分类器，并根据第二车牌分类器进行车牌识别，就可以不受现场的静态负样本和已经收集到的动态负样本的影响，实现对静态负样本和收集到的动态负样本的正确识别，减少误检率。
[0084]进一步的，在第二车牌分类器的使用过程中，本申请还可以继续收集动态负样本，并将收集的动态负样本继续添加进第二训练集中得到第三训练集，并且根据第三训练集训练第三车牌分类器，根据第三车牌分类器进行车牌识别，依次类推。该方法无需人工干预，经过多次迭代后能有效减少车牌识别设备的误检，后续的迭代方法与步骤300类似，属于同一原理的重复运用，此处不再赘述。
[0085]由以上本申请提供的技术方案，车牌识别方法应用于布置在现场的车牌识别设备中，所述车牌识别设备中包括根据原始训练集训练的原始车牌分类器，所述车牌识别方法根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本；所述静态负样本为所述现场的无车场景中被所述原始车牌分类器误检为车牌区域的背景图像；将所述静态负样本添加到所述车牌识别设备的所述原始训练集中，得到第一训练集，根据所述第一训练集训练第一车牌分类器；根据所述第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将所述动态负样本添加到所述第一训练集中，得到第二训练集，根据所述第二训练集训练第二车牌分类器，并根据所述第二车牌分类器进行车牌识别；所述动态负样本为所述现场的有车场景中被所述第一车牌分类器误检为车牌区域的运动图像。这样，先收集现场的静态负样本并添加到原始训练集，得到第一训练集，利用第一训练集训练第一车牌分类器去除静态负样本，然后再使用第一车牌分类器收集动态负样本并添加到第一训练集，得到第二训练集，利用第二训练集训练第二车牌分类器就可以去除收集到的静态负样本和动态负样本，此时第二训练集中已经包含了现场可能出现的绝大部分负样本，这些负样本能够被第二车牌分类器拒绝，从而达到对车牌的精确识别，减少车牌识别设备的误检率。
[0086]上述实施例提供了一种车牌识别方法，其中，根据所述第一训练集训练第一车牌分类器的方法，本实施例将结合附图进行说明:
[0087]图2为本申请提供的另一种车牌识别方法的流程示意图。
[0088]请参照图2所示,本申请实施例提供的方法,包括:
[0089]S201:使用Haar特征对所述第一训练集里的每一个正样本进行表征，形成正样本Haar特征向量；
[0090]S202:使用Haar特征对所述第一训练集里的每一个负样本进行表征，形成负样本Haar特征向量；
[0091]S203:利用Adaboost算法对所述正样本Haar特征向量和所述负样本Haar特征向量进行训练，获得第一车牌分类器。
[0092]原始训练集中包括原始正样本和原始负样本，将静态负样本加入原始训练集中后，得到的第一训练集中同样包括正样本和负样本，其中的负样本是指原始负样本与静态负样本的和。
[0093]基于视频的车牌检测方法有很多，包括基于线模板的二值化图像中的角检测算法，利用遗传算法检测车牌等等。
[0094]在本申请实施例中，优选采用基于Haar特征的Adaboost算法训练第一车牌分类器，使用Haar特征对每一幅车牌的正、负样本进行表征,形成Haar特征向量。最后使用级联的Adaboost算法对Haar特征进行训练，获得第一车牌分类器。
[0095]Haar特征是一种矩形特征，矩形特征对一些简单的图形结构例如边缘，线段比较敏感，但只能描述特定走向，因此比较粗略。但是对于一个检测器，里面包含几十万个不同的矩形特征，再通过使用Adaboost算法进行训练，就可以得到一个强分类器，即第一车牌分类器。
[0096]每个Haar的特征模板都是由两个或多个全等的矩形相邻组合而成，特征模板内有白色和黑色两种矩形，并将此模板定义为白色矩形像素和减去黑色矩形像素和。特征模板在子窗口内都可以以任意尺寸任意放置，每一种形态称为一个特征，找出子窗口所有特征，是进行弱分类训练的基础。
[0097]使用积分图可以加快Haar特征的计算。为了避免一个方框的所有点的边缘值相加的重复计算，在算法中使用了积分图。积分图上的每个点(x，y)包含了从点(0，0)到点(x，y)所有的像素的边缘值。通过使用积分图可以快速得到一个矩形特征中的所有黑色像素的灰度值的和以及所有白色像素的灰度值之和，然后再做一次减法运算即得到一个Haar特征值。
[0098]Adaboost算法是一种自适应的boosting算法,其基本思想是当分类器对某些样本正确分类时，则减少这些样本的权值。当错误分类时，则增加这些样本的权值，让学习算法在后续的学习中集中对比较难的训练样本进行学习，最终得到一个识别准确率理想的分类器。每一层的训练采用最小允许检测率和最大允许误检率作为强分类器迭代停止依据，当每一层的强分类器的和都达到训练前的设定值时，该级训练即完成。下一层强分类器的训练负样本将从该层中被错误分类的负样本中产生。选择需要使用的Haar特征的类型，载入正样本和负样本。设置虚警率，分类器的层数就可以开始训练。训练过程中每一层训练完毕会测试看是否已经达到了虚警率，如果达到，训练结束。否则一直进行训练直到达到了需要训练的层数。
[0099]Adaboost训练流程为:给定一系列的训练样本,初始化每个样本的权重,把权重归一化为一个概率分布，对每个Haar特征训练一个弱分类器，计算对应所有特征的弱分类器的加权和错误率，选取拥有最小错误率的最佳的弱分类器。
[0100]训练一个弱分类器(特征f)就是在当前权重分布的情况下，确定f的最优阈值，使得这个弱分类器(特征f)对所有训练样本的分类误差最低。选取一个最佳弱分类器就是选择那个对所有训练样本的分类误差在所有弱分类器中最低的那个弱分类器(特征)。
[0101]第一车牌分类器对待一幅待检测图像时，相当于让所有弱分类器投票，每个弱分类器的权重都不一样，再对投票结果按照弱分类器的错误率加权求和，如果超过了阈值表示当前的样本通过了第一车牌分类器的检测。第一车牌分类器的误检率随着弱分类器数量增多和弱分类器误检率的降低而迅速降低。
[0102]在本申请实施例中，将现场的静态负样本添加到原始训练集，根据得到的第一训练集训练新的第一车牌分类器，训练流程可以为:
[0103]1、使用Haar特征对所述第一训练集里的每一个正样本进行表征，形成正样本Haar特征向量。
[0104]2、使用Haar特征对所述第一训练集里的每一个负样本进行表征，形成负样本Haar特征向量。
[0105]3、利用Adaboost算法对I和2中得到的所述正样本Haar特征向量和所述负样本Haar特征向量进行训练，获得第一车牌分类器。
[0106]本发明使用通过Adaboost算法训练的基于Haar特征的第一车牌分类器进行车牌检测。实践证明，通过Adaboost算法训练的基于Haar特征的第一车牌分类器具有较高的检测率和较低的误检率，并且配合积分图使用，实时性也不存在问题。
[0107]进一步的，在上述实施例的基础上，根据所述第一车牌分类器检测现场的有车场景，收集现场的动态负样本的方法，本实施例将结合附图进行说明:
[0108]图3为本申请提供的又一种车牌识别方法的流程示意图。
[0109]请参照图3所示,本申请实施例提供的方法,包括:
[0110]301:获取所述车牌识别设备检测现场的有车场景得到的视频图像，提取所述视频图像中的疑似车牌区域，根据所述第一车牌分类器检测所述疑似车牌区域中的车牌区域；
[0111]本申请提出的车牌识别方法是粗检加精检的车牌检测策略，即先通过一系列方法，找到疑似包含车牌的区域，然后再使用通过Adaboost算法训练的基于Haar特征的第一车牌分类器对疑似包含车牌的疑似车牌区域进行检测，找到车牌区域。粗检的方法很多，例如提取全图的边缘，寻找边缘密度大的区域。或者寻找全图显著区域等。粗检的细节不在本发明讨论范围。
[0112]302:从所述车牌区域中分割出多个字符，根据支持向量机SVM训练的车牌字符识别模型对多个所述字符进行识别，并判断每个所述字符的识别置信度；
[0113]303:根据每个所述字符的识别置信度判断所述车牌区域是否有效，如果无效，将所述车牌区域作为所述现场的动态负样本。
[0114]在实际使用过程中，对粗检得到的疑似包含车牌区域使用第一车牌分类器进行检测，然后对检测得到的车牌区域进行分割与识别，如果分割与识别的结果不能满足有效车牌的要求，则把该样本作为动态负样本。
[0115]由于车牌分类器存在一定的漏检和误检，因此检测的结果可能是O个，I个或者多个车牌区域。对检测到的车牌区域进行分割与识别，本发明的字符识别使用的是通过支持向量机训练出来的车牌字符识别模型，然后使用该模型对单个字符进行识别。每个被识别出来的字符都含有一个置信度，最后根据分割和识别的结果判断检测到得目标是否有效:
[0116]1、车牌必须包含7个字符；
[0117]2、每个字符的置信度必须达到各自的阈值(预设的第一阈值)；
[0118]3、7个字符的置信度加起来的总和也必须达到一个阈值(预设的第二阈值)。
[0119]满足以上三个条件的车牌区域即判定为有效车牌，检测出来的车牌区域如果不能满足以上三个条件，就被判定为无效车牌，即动态负样本。
[0120]另外，在本申请实施例提供的上述方法的基础上，在将动态负样本添加到第一训练集中时，可以包括:
[0121]按照预设的时间间隔统计所述第一车牌分类器检测现场的有车场景的误检率，并判断所述误检率是否大于预设的第三阈值；如果是，判断收集到的所述动态负样本的个数是否大于或等于预设的第四阈值；如果是，将所述动态负样本添加到所述第一训练集中。
[0122]在本申请实施例中，车牌识别设备还可以以一定的时间间隔检查当前系统的误检率。如果误检率大于预设的第三阈值，检查收集到的负样本个数是否满足训练要求(预设的第四阈值)，如果不满足，则继续收集动态负样本，如果收集到足够的动态负样本，则把收集的动态负样本添加到第一训练集中，训练第二车牌分类器，并可以持续迭代，用新训练的车牌分类器取代旧的车牌分类器，以进一步降低误检率。
[0123]需要强调的是，本申请实施例中，训练第二车牌分类器使用的第二训练集以及后续迭代过程中的训练集始终包括实验室的原始车牌分类器使用的原始负样本，现场的静态负样本以及现场的动态负样本。
[0124]从以上流程可以看出，车牌分类器的训练可以是一个迭代的过程，当达到了重新训练的条件的时候就可以训练一个新的车牌分类器。如果在一定的时间间隔内，车牌识别的效果不好，当达到了满足训练的条件的时候，可以继续进行下一次训练，经过若干次训练后，就能获得一个效果很好，能满足现场环境的新的车牌分类器，而一旦误检率达到了要求，就不需要再进行车牌分类器训练，可以停止迭代。
[0125]另外，在本申请实施例中，在所述根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本后，还可以包括:
[0126]识别所述静态负样本中的简单静态负样本和困难静态负样本，并将所述简单静态负样本添加到所述车牌识别设备的所述原始训练集中；
[0127]判断所述困难静态负样本所在的图像区域是否满足屏蔽要求；如果满足，屏蔽所述困难静态负样本所在的图像区域；
[0128]如果不满足，根据所述困难静态负样本训练第三车牌分类器，所述第三车牌分类器用于判断所述第二车牌分类器识别出的车牌是否为有效车牌。
[0129]或者，如果不满足，在预设的时间段内判断所述困难静态负样本所在的图像区域是否发生移动，如果不发生移动，则将所述困难静态负样本添加到所述车牌识别设备的所述原始训练集中。
[0130]现场的静态背景会与原始的负样本一起被训练的工程随机挑选。对于现场场景中的简单背景负样本，会被轻易找到一个弱分类器过滤掉，或者在前几层的强分类器就过滤掉。复杂的或者困难的背景的负样本会被一直保留，并且得到权重越来越大，即越来越受关注，很有可能会在较后面的层被过滤掉。
[0131]训练结束后使用新的车牌分类器对现场在无车的情况下进行检测。会有一些负样本非常接近车牌，这些负样本即使到了很后的层也无法去除，就必须使用别的方法去除。例如:
[0132]1.如果困难的负样本不是出现的图像的中心，或者车辆不会经过，可以把困难的负样本出现的区域屏蔽，即车牌分类器不对该区域进行检测。
[0133]2.如果困难的负样本出现的区域不可以屏蔽，可以专门针对该负样本训练一个分类器，一旦车牌分类器检测到一个车牌就使用该分类器检测判断是否不是车牌。
[0134]3.可以根据车牌的特性，例如移动性，如果检测到得车牌从第一次被检测到，并且在一定时间内不移动，就认为这个车牌不是有效车牌。例如栅栏有可能无法有效去除，可能识别到得结果全是“1”，“Y”，“T”，“L”等字符，再配合位移信息，也可以认为车牌无效。
[0135]这样就可以确保新的车牌分类器几乎不会在现场无车的情况下把背景检测成车牌，使用新的车牌分类器进行车牌检测。
[0136]针对现场不能去除的困难静态样本，本发明提出通过添加屏蔽区域，训练特殊分类器以及结合位移信息等方法进行去除。动态误检由于不可预知，去除比较困难，但是如果能有效去除静态误检，并尽可能减少动态误检，就能达到较低的误检率。
[0137]上述实施例为本申请提供的方法实施例，对应上述方法实施例，本申请还提供一种车牌识别设备。
[0138]图4为本申请提供的一种车牌识别设备的结构示意图。
[0139]请参照图4所示，本申请实施例提供的车牌识别设备，用于布置在现场进行车牌识别，所述车牌识别设备中包括根据原始训练集训练的原始车牌分类器，所述车牌识别设备还包括:
[0140]静态负样本收集模块1，用于根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本；所述静态负样本为所述现场的无车场景中被所述原始车牌分类器误检为车牌区域的背景图像；
[0141]第一车牌分类器模块2，用于将所述静态负样本添加到所述车牌识别设备的所述原始训练集中，得到第一训练集，根据所述第一训练集训练第一车牌分类器；
[0142]第二车牌分类器模块3，用于根据所述第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将所述动态负样本添加到所述第一训练集中，得到第二训练集，根据所述第二训练集训练第二车牌分类器，并根据所述第二车牌分类器进行车牌识别；所述动态负样本为所述现场的有车场景中被所述第一车牌分类器误检为车牌区域的运动图像。
[0143]对应于上述方法实施例，本实施例提供的车牌识别设备所采用的车牌识别方法和识别原理与上述方法实施例类似，此处不再赘述。
[0144]同时，在上述实施例的基础上，在本申请实施例中，
[0145]所述第一车牌分类器模块2，可以包括:
[0146]正样本特征向量单元，用于使用Haar特征对所述第一训练集里的每一个正样本进行表征，形成正样本Haar特征向量；
[0147]负样本特征向量单元，用于使用Haar特征对所述第一训练集里的每一个负样本进行表征，形成负样本Haar特征向量；
[0148]训练单元,用于利用Adaboost算法对所述正样本Haar特征向量和所述负样本Haar特征向量进行训练，获得第一车牌分类器。
[0149]所述第二车牌分类器模块3，可以包括:
[0150]检测单元，用于获取所述车牌识别设备检测现场的有车场景得到的视频图像，提取所述视频图像中的疑似车牌区域，根据所述第一车牌分类器检测所述疑似车牌区域中的车牌区域；
[0151]识别单元，用于从所述车牌区域中分割出多个字符，根据支持向量机SVM训练的车牌字符识别模型对多个所述字符进行识别，并判断每个所述字符的识别置信度；
[0152]动态负样本单元，用于根据每个所述字符的识别置信度判断所述车牌区域是否有效，如果无效，将所述车牌区域作为所述现场的动态负样本。
[0153]所述动态负样本单元，可以包括:
[0154]第一判断子单元，用于判断所述字符的个数是否为7个；
[0155]第二判断子单元，用于如果是，判断每个所述字符的识别置信度是否大于或等于第一阈值；
[0156]第三判断子单元，用于如果是，判断7个所述字符的识别置信度的和是否大于或等于第二阈值；
[0157]判定子单元，用于如果是，则判定所述车牌区域有效，否则无效。
[0158]所述第二车牌分类器模块3，可以包括:
[0159]统计单元，用于按照预设的时间间隔统计所述第一车牌分类器检测现场的有车场景的误检率，并判断所述误检率是否大于第三阈值；
[0160]判断单元，用于如果是，判断收集到的所述动态负样本的个数是否大于或等于第四阈值；
[0161]添加单元，用于如果是，将所述动态负样本添加到所述第一训练集中。
[0162]所述静态负样本收集模块I，包括:
[0163]识别单元，用于识别所述静态负样本中的简单静态负样本和困难静态负样本，并将所述简单静态负样本添加到所述车牌识别设备的所述原始训练集中；
[0164]判断单元，用于判断所述困难静态负样本所在的图像区域是否满足屏蔽要求；
[0165]屏蔽单元，用于如果满足，屏蔽所述困难静态负样本所在的图像区域，如果不满足，根据所述困难静态负样本训练第三车牌分类器，所述第三车牌分类器用于判断所述第二车牌分类器识别出的车牌是否为有效车牌。
[0166]所述静态负样本收集模块I，包括:
[0167]识别单元，用于识别所述静态负样本中的简单静态负样本和困难静态负样本，并将所述简单静态负样本添加到所述车牌识别设备的所述原始训练集中；
[0168]判断单元，用于判断所述困难静态负样本所在的图像区域是否满足屏蔽要求；
[0169]屏蔽单元，用于如果满足，屏蔽所述困难静态负样本所在的图像区域，如果不满足，在预设的时间段内判断所述困难静态负样本所在的图像区域是否发生移动，如果不发生移动，则将所述困难静态负样本添加到所述车牌识别设备的所述原始训练集中。
[0170]对应于上述方法实施例，本实施例提供的车牌识别设备所采用的车牌识别方法和识别原理与上述方法实施例类似，此处不再赘述。
[0171]由以上本申请提供的技术方案，车牌识别方法应用于布置在现场的车牌识别设备中，所述车牌识别设备中包括根据原始训练集训练的原始车牌分类器，所述车牌识别方法根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本；所述静态负样本为所述现场的无车场景中被所述原始车牌分类器误检为车牌区域的背景图像；将所述静态负样本添加到所述车牌识别设备的所述原始训练集中，得到第一训练集，根据所述第一训练集训练第一车牌分类器；根据所述第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将所述动态负样本添加到所述第一训练集中，得到第二训练集，根据所述第二训练集训练第二车牌分类器，并根据所述第二车牌分类器进行车牌识别；所述动态负样本为所述现场的有车场景中被所述第一车牌分类器误检为车牌区域的运动图像。这样，先收集现场的静态负样本并添加到原始训练集，得到第一训练集，利用第一训练集训练第一车牌分类器去除静态负样本，然后再使用第一车牌分类器收集动态负样本并添加到第一训练集，得到第二训练集，利用第二训练集训练第二车牌分类器就可以去除收集到的静态负样本和动态负样本，此时第二训练集中已经包含了现场可能出现的绝大部分负样本，这些负样本能够被第二车牌分类器拒绝，从而达到对车牌的精确识别，减少车牌识别设备的误检率。
[0172]需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0173]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0174]以上对本发明所提供的一种车牌识别方法及车牌识别设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【权利要求】
1.一种车牌识别方法，应用于布置在现场的车牌识别设备中，所述车牌识别设备中包括根据原始训练集训练的原始车牌分类器，其特征在于，所述车牌识别方法包括: 根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本；所述静态负样本为所述现场的无车场景中被所述原始车牌分类器误检为车牌区域的背景图像； 将所述静态负样本添加到所述车牌识别设备的所述原始训练集中，得到第一训练集，根据所述第一训练集训练第一车牌分类器； 根据所述第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将所述动态负样本添加到所述第一训练集中，得到第二训练集，根据所述第二训练集训练第二车牌分类器，并根据所述第二车牌分类器进行车牌识别；所述动态负样本为所述现场的有车场景中被所述第一车牌分类器误检为车牌区域的运动图像。
2.根据权利要求1所述的车牌识别方法，其特征在于，所述根据所述第一训练集训练第一车牌分类器，包括: 使用Haar特征对所述第一训练集里的每一个正样本进行表征,形成正样本Haar特征向量; 使用Haar特征对所述第一训练集里的每一个负样本进行表征,形成负样本Haar特征向量; 利用Adaboost算法对所述正样本Haar特征向量和所述负样本Haar特征向量进行训练，获得第一车牌分类器。
3.根据权利要求1所述的车牌识别方法，其特征在于，所述根据所述第一车牌分类器检测现场的有车场景，收集现场的动态负样本，包括: 获取所述车牌识别设备检测现场的有车场景得到的视频图像，提取所述视频图像中的疑似车牌区域，根据所述第一车牌分类器检测所述疑似车牌区域中的车牌区域； 从所述车牌区域中分割出多个字符，根据支持向量机SVM训练的车牌字符识别模型对多个所述字符进行识别，并判断每个所述字符的识别置信度； 根据每个所述字符的识别置信度判断所述车牌区域是否有效，如果无效，将所述车牌区域作为所述现场的动态负样本。
4.根据权利要求3所述的车牌识别方法，其特征在于，所述根据每个所述字符的识别置信度判断所述车牌区域是否有效，包括: 判断所述字符的个数是否为7个； 如果是，判断每个所述字符的识别置信度是否大于或等于第一阈值； 如果是，判断7个所述字符的识别置信度的和是否大于或等于第二阈值； 如果是，则判定所述车牌区域有效，否则无效。
5.根据权利要求1所述的车牌识别方法，其特征在于，所述将所述动态负样本添加到所述第一训练集中，包括: 按照预设的时间间隔统计所述第一车牌分类器检测现场的有车场景的误检率，并判断所述误检率是否大于第三阈值； 如果是，判断收集到的所述动态负样本的个数是否大于或等于第四阈值； 如果是，将所述动态负样本添加到所述第一训练集中。
6.根据权利要求1所述的车牌识别方法，其特征在于，在所述根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本后，还包括: 识别所述静态负样本中的简单静态负样本和困难静态负样本，并将所述简单静态负样本添加到所述车牌识别设备的所述原始训练集中； 判断所述困难静态负样本所在的图像区域是否满足屏蔽要求； 如果满足，屏蔽所述困难静态负样本所在的图像区域，如果不满足，根据所述困难静态负样本训练第三车牌分类器，所述第三车牌分类器用于判断所述第二车牌分类器识别出的车牌是否为有效车牌。
7.根据权利要求1所述的车牌识别方法，其特征在于，在所述根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本后，还包括: 识别所述静态负样本中的简单静态负样本和困难静态负样本，并将所述简单静态负样本添加到所述车牌识别设备的所述原始训练集中； 判断所述困难静态负样本所在的图像区域是否满足屏蔽要求； 如果满足，屏蔽所述困难静态负样本所在的图像区域，如果不满足，在预设的时间段内判断所述困难静态负样本所在的图像区域是否发生移动，如果不发生移动，则将所述困难静态负样本添加到所述车牌识别设备的所述原始训练集中。
8.一种车牌识别设备，用于布置在现场进行车牌识别，所述车牌识别设备中包括根据原始训练集训练的原始车牌分类器，其特征在于，所述车牌识别设备还包括: 静态负样本收集模块，用于根据所述原始车牌分类器检测现场的无车场景，收集现场的静态负样本；所述静态负样本为所述现场的无车场景中被所述原始车牌分类器误检为车牌区域的背景图像； 第一车牌分类器模块，用于将所述静态负样本添加到所述车牌识别设备的所述原始训练集中，得到第一训练集，根据所述第一训练集训练第一车牌分类器； 第二车牌分类器模块，用于根据所述第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将所述动态负样本添加到所述第一训练集中，得到第二训练集，根据所述第二训练集训练第二车牌分类器，并根据所述第二车牌分类器进行车牌识别；所述动态负样本为所述现场的有车场景中被所述第一车牌分类器误检为车牌区域的运动图像。
9.根据权利要求8所述的车牌识别设备，其特征在于，所述第一车牌分类器模块，包括: 正样本特征向量单元，用于使用Haar特征对所述第一训练集里的每一个正样本进行表征，形成正样本Haar特征向量； 负样本特征向量单元，用于使用Haar特征对所述第一训练集里的每一个负样本进行表征，形成负样本Haar特征向量； 训练单元，用于利用Adaboost算法对所述正样本Haar特征向量和所述负样本Haar特征向量进行训练，获得第一车牌分类器。
10.根据权利要求8所述的车牌识别设备，其特征在于，所述第二车牌分类器模块，包括: 检测单元，用于获取所述车牌识别设备检测现场的有车场景得到的视频图像，提取所述视频图像中的疑似车牌区域，根据所述第一车牌分类器检测所述疑似车牌区域中的车牌区域； 识别单元，用于从所述车牌区域中分割出多个字符，根据支持向量机SVM训练的车牌字符识别模型对多个所述字符进行识别，并判断每个所述字符的识别置信度； 动态负样本单元，用于根据每个所述字符的识别置信度判断所述车牌区域是否有效，如果无效，将所述车牌区域作为所述现场的动态负样本。
11.根据权利要求10所述的车牌识别设备，其特征在于，所述动态负样本单元，包括: 第一判断子单元，用于判断所述字符的个数是否为7个； 第二判断子单元，用于如果是，判断每个所述字符的识别置信度是否大于或等于第一阈值； 第三判断子单元，用于如果是，判断7个所述字符的识别置信度的和是否大于或等于第二阈值； 判定子单元，用于如果是，则判定所述车牌区域有效，否则无效。
12.根据权利要求8所述的车牌识别设备，其特征在于，所述第二车牌分类器模块，包括: 统计单元，用于按照预设的时间间隔统计所述第一车牌分类器检测现场的有车场景的误检率，并判断所述误检率是否大于第三阈值； 判断单元，用于如果是，判断收集到的所述动态负样本的个数是否大于或等于第四阈值； 添加单元，用于如果是，将所述动态负样本添加到所述第一训练集中。
13.根据权利要求8所述的车牌识别设备，其特征在于，所述静态负样本收集模块，包括: 识别单元，用于识别所述静态负样本中的简单静态负样本和困难静态负样本，并将所述简单静态负样本添加到所述车牌识别设备的所述原始训练集中； 判断单元，用于判断所述困难静态负样本所在的图像区域是否满足屏蔽要求； 屏蔽单元，用于如果满足，屏蔽所述困难静态负样本所在的图像区域，如果不满足，根据所述困难静态负样本训练第三车牌分类器，所述第三车牌分类器用于判断所述第二车牌分类器识别出的车牌是否为有效车牌。
14.根据权利要求8所述的车牌识别设备，其特征在于，所述静态负样本收集模块，包括: 识别单元，用于识别所述静态负样本中的简单静态负样本和困难静态负样本，并将所述简单静态负样本添加到所述车牌识别设备的所述原始训练集中； 判断单元，用于判断所述困难静态负样本所在的图像区域是否满足屏蔽要求； 屏蔽单元，用于如果满足，屏蔽所述困难静态负样本所在的图像区域，如果不满足，在预设的时间段内判断所述困难静态负样本所在的图像区域是否发生移动，如果不发生移动，则将所述困难静态负样本添加到所述车牌识别设备的所述原始训练集中。
【文档编号】G06K9/46GK104361366SQ201410742690
【公开日】2015年2月18日 申请日期:2014年12月8日 优先权日:2014年12月8日
【发明者】唐健, 李昕, 李锐, 邹振宇 申请人:深圳市捷顺科技实业股份有限公司