复杂光照下的车牌识别方法及系统的制作方法
【专利摘要】本发明提供了一种复杂光照下的车牌识别方法及系统，其中的方法包括：通过对车牌进行定位和多候选位置的字符分割，通过预先构建的概率图模型、关联势函数和交互势函数得到分割候选位置中每个字符分割位置的概率值，再根据概率值得到字符的最优分割位置。通过本发明能够解决在复杂光照环境下的车牌识别问题，提高车牌的识别率。
【专利说明】复杂光照下的车牌识别方法及系统
【技术领域】
[0001]本发明涉及图像处理【技术领域】，更为具体地，涉及一种复杂光照下的车牌识别方法及系统。
【背景技术】
[0002]随着经济的发展和车辆的普及，交通管理的方式逐步趋向于智能化、安全化和自动化，正因如此，基于多媒体和人工智能技术的智能交通及电子警察系统在世界范围内得到了广泛的应用。在这些应用中，75%以上的系统是以车牌识别为中心的，例如:超速系统，闯红灯系统，卡口系统，路径识别系统等均需要对整个交通流截面上通过的车辆进行车牌识别。
[0003]车牌识别是指从静态或动态视频图像中获取图像在一定区域内存在的车牌区域，并进一步识别出车牌区域中的字符。现有的车牌识别方法在复杂的光照环境下都存在一定的缺陷。
[0004]申请号为201010297917.4的中国专利申请公开了一种基于高清图像的车牌定位与识别方法，在该专利申请中，基于边缘检测的方法虽然能够快速有效的从复杂场景中提取出车牌并对其进行识别，但此种方法在车牌定位时的抗干扰效果并不理想；而申请号为201110341353.4的中国专利申请公开了 一种车牌识别方法及其识别系统，在该专利申请中，利用图像的纹理和颜色对车牌进行定位，然后利用传统模板匹配的OCR对定位的车牌进行识别，此种对车牌进行定位与识别的方法对光照条件的要求比较苛刻并且抗干扰能力很差，当字符分割稍有偏差或字符图像有噪声干扰等因素存在时，往往会导致算法的准确率迅速下降。
[0005]申请号为200910242053.3的中国专利申请公开了一种基于视频的车辆超速监控方法及系统，在该专利申请中，基于垂直投影的车牌分割容易受光照条件及车牌左右边框和二三字符间的间隔点干扰；基于连通域的车牌分割对于去除噪声干扰要求很高，车牌上下边界的铆钉及光照条件都可能导致字符粘连；基于神经网络的识别方法，对分割字符完整性及清晰度要求比较苛刻。
[0006]上述专利申请中的车牌识别方法由于很难适应于复杂的光照环境，因此对于在复杂光照环境下的车牌识别率极低。
【发明内容】
[0007]鉴于上述问题，本发明的目的是提供一种复杂光照下的车牌识别方法及系统，以解决在复杂光照环境下的车牌识别问题。
[0008]根据本发明的一个方面，提供一种复杂光照下的车牌识别方法，包括:
[0009]SllO:预先根据车牌的字符结构构建概率图模型；
[0010]S120:预先根据车牌的每个字符的分割结果构建交互势函数；
[0011]S130:预先根据车牌的每个字符的分割结果和识别结果构建关联势函数；[0012]S140:对车牌进行定位与字符分割；
[0013]S150:通过字符分割，获得至少一个分割候选字符序列，通过交互势函数获得分割候选字符序列中相邻字符间距离的关系；
[0014]S160:对分割候选字符序列进行识别，获得与分割候选字符序列相对应的识别结果，通过关联势函数获得分割候选字符序列中字符分割位置与识别结果之间的关系；
[0015]S170:根据概率图模型、相邻字符间距离的关系和字符分割位置与识别结果之间的关系，获得候选字符序列的每个字符分割位置的概率值；
[0016]S180:根据每个字符分割位置的概率值获得分割候选字符序列的概率值,将分割候选字符序列中概率值最大的字符序列作为车牌的识别结果。
[0017]其中，对车牌进行定位的过程包括:通过Haar-1ike特征对车牌图像进行检测构成弱分类器；通过Adaboost将弱分类器叠加构成强分类器；将强分类器串联成级联分类器，完成车牌的定位；其中，在对车牌进行字符分割之前，还包括:对车牌图像进行倾斜校正，其中，当车牌边缘图像的水平投影值之和最大时，视为所述车牌图像被倾斜矫正至水平位置。
[0018]其中，在对车牌进行字符分割的过程中，
[0019]当车牌图像上下部分光照不均时，获取车牌图像的垂直梯度图，然后利用车牌图像的字符上下边界与梯度水平投影的变化确定字符上下边界的候选位置；
[0020]当车牌图像曝光过度时，在车牌图像的二值图范围内确定车牌图像垂直方向投影的波谷点，然后根据粘连字符中前一个字符的右边界候选位置确定下一个字符的左边界候选位置；
[0021]当车牌图像曝光不足时，确定车牌图像在垂直方向投影为O的边界作为字符的左右候选位置。
[0022]另一方面，本发明还提供一种复杂光照下的车牌识别系统，包括:
[0023]概率图模型构建单元，用于预先根据车牌的字符结构构建概率图模型；
[0024]交互势函数构建单元，用于预先根据车牌的每个字符的分割结果构建交互势函数；
[0025]关联势函数构建单元，用于预先根据车牌的每个字符的分割结果和识别结果构建关联势函数；
[0026]车牌定位与分割单元，用于对车牌进行定位与字符分割；
[0027]交互势函数应用单元，用于通过字符分割，获得至少一个分割候选字符序列，通过交互势函数构建单元构建的交互势函数，获得分割候选字符序列中相邻字符间距离的关系;
[0028]关联势函数应用单元，用于对分割候选字符序列进行识别，获得与分割候选字符序列相对应的识别结果，通过关联势函数构建单元构建的关联势函数，获得分割候选字符序列中字符分割位置与识别结果之间的关系；
[0029]概率值获取单元，用于根据概率图模型、相邻字符间距离的关系和字符分割位置与识别结果之间的关系，获得候选字符序列的每个字符分割位置的概率值；
[0030]车牌识别结果选取单元，用于根据概率值获取单元获得的每个字符分割位置的概率值，获得分割候选字符序列的概率值，将分割候选字符序列中概率值最大的字符序列作为车牌的识别结果。
[0031]利用上述根据本发明的复杂光照下的车牌识别方法及系统能够解决在复杂光照环境下的车牌识别问题，从而提高车牌的识别率。
[0032]为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
【专利附图】
【附图说明】
[0033]通过参考以下结合附图的说明及权利要求书的内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中:
[0034]图1为根据本发明实施例的复杂光照下的车牌识别方法流程示意图；
[0035]图2为根据本发明实施例的车牌识别效果图；
[0036]图3为根据本发明实施例的复杂光照下的车牌识别系统方框示意图；
[0037]图4为根据本发明实施例的概率图模型的示意图；
[0038]图5为根据本发明实施例的相邻结点之间的信息传递示意图。
[0039]在所有附图中相同的标号指示相似或相应的特征或功能。
【具体实施方式】
[0040]以下将结合附图对本发明的具体实施例进行详细描述。
[0041]针对前述现有技术中的车牌识别方法在复杂光照环境下的车牌识别率低的问题，本发明通过对车牌进行定位和多候选位置的字符分割，并通过概率图模型将字符识别的结果整合，再通过BP流程得到最佳的分割和识别结果，解决了复杂光照环境下的车牌识别问题。
[0042]图1示出了根据本发明实施例的复杂光照下的车牌识别方法流程示意图。
[0043]如图1所示，本发明的复杂光照下的车牌识别方法包括:
[0044]SllO:预先根据车牌的字符结构构建概率图模型；
[0045]S120:预先根据车牌的每个字符的分割结果构建交互势函数；
[0046]S130:预先根据车牌的每个字符的分割结果和识别结果构建关联势函数；
[0047]S140:对车牌进行定位与字符分割；
[0048]S150:通过字符分割获得至少一个分割候选字符序列，通过交互势函数获得分割候选字符序列中相邻字符间距离的关系；
[0049]S160:对分割候选字符序列进行识别，获得与分割候选字符序列相对应的识别结果，通过关联势函数获得分割候选字符序列中字符分割位置与识别结果之间的关系；
[0050]S170:根据所述概率图模型、相邻字符间距离的关系和字符分割位置与识别结果之间的关系，获得候选字符序列的每个字符分割位置的概率值；
[0051]S180:根据每个字符分割位置的概率值获得分割候选字符序列的概率值,将分割候选字符序列中概率值最大的字符序列作为车牌的识别结果。
[0052]需要说明的是，由于车牌在色偏的影响以及弱光环境下的检测率不高，因此本发明在步骤S140中，采用Adaboost和Harr特征训练分类器定位车牌，提高车牌因色偏的影响以及弱光环境下的检测率。
[0053]其中，对车牌进行定位的过程包括:通过Haar-1ike特征对车牌图像进行检测构成弱分类器，然后通过Adaboost将弱分类器叠加构成强分类器，再将强分类器串联成级联分类器，完成车牌的定位。
[0054]需要说明的是Haar-1ike特征是由若干个矩形组成，其特征值是指矩形内所有像素灰度值之和的差值。以15x48像素的图像区域计算，在此区域图像中，Haar-1ike特征多达十几万种，通过将这十几万种的特征进行分类量化以区分出车牌图像和非车牌图像。
[0055]由于弱分类器只是一个最基本的Haar-1ike特征,在多达十几万种的Haar-1ike特征中不足以区分出车牌和非车牌，因此还需要通过AdaBoost将大量分类能力一般的弱分类器叠加构成分类能力强的强分类器，然后再将若干强分类器串联成为级联分类器完成对车牌图像的搜索检测，从而实现对车牌的定位。其中，级联分类器的级数依赖于系统对错误率和识别速度的要求。
[0056]目前常用的Haar-1ike特征分为以下四类:线性特征、边缘特征、点特征和对角线特征，标准的Haar-1ike特征有14种，通过对车牌样本与非车牌样本的差异性分析，其中有若干倾斜特征并不适合于车牌的检测，因此在本发明的具体实施例中设计了若干类针对倾斜的Haar-1ike特征。其中，由于车牌图像含有大量的边缘特征，Haar-1ike特征值分别在灰度图、水平方向梯度图和垂直方向梯度图上计算，梯度提取采用Sobel算子；而针对于车牌的结构特征，设置多个矩形构成的Haar-1ike特征用以描述车牌字符边缘的分布特性。
[0057]由于车牌图像通常在车运动的情况下采集，因此采集到的车牌图像通常会有倾斜的现象。为了不影响字符分割的效果，在对车牌进行字符分割之前，还包括对所定位的车牌图像进行倾斜校正，其中，当所定位的车牌边缘图像的水平投影值之和最大时，就视为定位的车牌图像被矫正至水平。
[0058]在本发明的一个示例中，对于倾斜的Haar-1ike特征，也就是倾斜的车牌图像，在[-20,20]度区间范围内旋转车牌边缘图像，当车牌边缘图像的水平投影值之和最大时，停止旋转，完成对车牌图像的倾斜校正，此时就将倾斜的车牌图像矫正至水平。
[0059]完成车牌定位后，对定位的车牌进行字符分割。由于拍摄车牌图像时的光照环境，特别是车牌在强光下曝光过度和弱光下曝光不足时，对车牌字符的分割会造成极大影响。为了减少复杂光照对字符分割的影响，在本发明的实施例中，对单个车牌字符提供多个分割候选位置，从而得到多个分割候选字符序列。也就是说，在对所定位的车牌进行字符分割后，可以获得至少一个分割候选字符序列。
[0060]在对车牌字符进行分割时，车牌图像的上下部分光照不均会影响车牌图像的上下边定位，当车牌图像曝光过度时易出现字符粘连，而车牌图像曝光不足时又易出现字符断裂。为了减少复杂光照对字符分割的影响，在对定位的车牌进行字符分割的过程中，当车牌图像上下部分光照不均时，通过Sobel流程获取车牌图像的垂直梯度图，然后利用车牌图像的字符上下边界与梯度水平投影的变化确定字符上下边界的候选位置；当车牌图像曝光过度时，在车牌图像的二值图范围内确定车牌图像垂直方向投影的波谷点，然后根据粘连字符中前一个字符的右边界候选位置确定下一个字符的左边界候选位置；当车牌图像曝光不足时，确定车牌图像在垂直方向投影为O的边界作为字符的左右候选位置。[0061]对定位的车牌进行字符分割，获得多个分割候选字符序列后，将多个分割候选字符序列输入到预先构建的交互势函数中，以得到每个分割候选字符序列中相邻字符间距离的关系，也就是说，通过预先构建的交互势函数获得分割候选字符序列中相邻字符间距离的关系。需要说明的是，分割候选字符序列中相邻字符间距离的关系，即代表分割候选字符序列中每个相邻字符分割位置之间的关系。
[0062]在通过交互势函数获得字符分割位置之间的关系后，分别对每个分割候选字符序列进行识别，以得到与分割候选字符序列相对应的识别结果，将每个分割候选字符序列和其对应的识别结果输入预先构建的关联势函数中，以得到每个分割候选字符序列中字符分割位置和识别结果之间的关系，也就是说，通过关联势函数获得多个分割候选字符序列中字符分割位置与识别结果之间的关系。
[0063]另外，本发明采用神经网络作为字符识别器对分割后的车牌字符进行识别，通过调整训练样本中不同光照下字符样本的比例，使其对复杂光照环境下的字符识别有良好的
鲁棒性。
[0064]根据预先构建的概率图模型将字符的分割位置与对应的识别结果统一成一个整体。也就是说，根据相邻字符间距离的关系和字符分割位置与识别结果之间的关系，通过预先构建的概率图模型获得所述候选字符序列的每个字符分割位置的概率值。
[0065]需要说明的是，概率图模型是根据车牌的字符结构构建的，而根据国家的不同，车牌字符的结构也会有所不同，但大多数国家的车牌结构都是固定的。因此需要根据不同国家的车牌字符结构构建对应的概率图模型。
[0066]图4为根据本发明实施例的概率图模型的示意图。如图4所示，其中，在构建概率图模型的过程中，也就是说，在步骤SllO中，以车牌字符的分割位置为概率图模型中的随机变量，即隐含结点，用C=[Cl，…，c7]表示；以对应的车牌字符分割后的识别结果为概率图模型的观测值，即观测结点，用R=Lr1,…，r7]表示；
[0067]因此，隐含结点C= [C1,…，C7]和观测结点R=Lr1,…，r7]的联合概率如下:
[0068]
【权利要求】
1.一种复杂光照下的车牌识别方法，包括: SllO:预先根据车牌的字符结构构建概率图模型； S120:预先根据车牌的每个字符的分割结果构建交互势函数； S130:预先根据车牌的每个字符的分割结果和识别结果构建关联势函数； S140:对车牌进行定位与字符分割； S150:通过字符分割获得至少一个分割候选字符序列，通过所述交互势函数获得所述分割候选字符序列中相邻字符间距离的关系； S160:对所述分割候选字符序列进行识别，获得与所述分割候选字符序列相对应的识别结果，通过所述关联势函数获得所述分割候选字符序列中字符分割位置与识别结果之间的关系； S170:根据所述概率图模型、所述相邻字符间距离的关系和所述字符分割位置与识别结果之间的关系，获得所述候选字符序列的每个字符分割位置的概率值； S180:根据每个字符分割位置的概率值获得所述分割候选字符序列的概率值，将所述分割候选字符序列中概率值最大的字符序列作为车牌的识别结果。
2.如权利要求1所述的复杂光照下的车牌识别方法，其中，对车牌进行定位的过程包括: 通过Haar-1ike特征对车牌图像进行检测构成弱分类器；` 通过Adaboost将所述弱分类器叠加构成强分类器； 将所述强分类器串联成级联分类器，完成车牌的定位； 其中，在对车牌进行字符分割之前，还包括: 对车牌图像进行倾斜校正，其中，当车牌边缘图像的水平投影值之和最大时，视为所述车牌图像被倾斜矫正至水平位置。
3.如权利要求2所述的复杂光照下的车牌识别方法，其中，在对车牌进行字符分割的过程中， 当所述车牌图像上下部分光照不均时，获取所述车牌图像的垂直梯度图，然后利用所述车牌图像的字符上下边界与梯度水平投影的变化确定所述字符上下边界的候选位置；当所述车牌图像曝光过度时，在所述车牌图像的二值图范围内确定所述车牌图像垂直方向投影的波谷点，然后根据粘连字符中前一个字符的右边界候选位置确定下一个字符的左边界候选位置； 当所述车牌图像曝光不足时，确定所述车牌图像在垂直方向投影为O的边界作为所述字符的左右候选位置。
4.如权利要求1所述的复杂光照下的车牌识别方法，其中，在步骤SllO中，以所述字符的分割位置为所述概率图模型的隐含结点，用C = [c1；…，C7]表示；以对应的所述字符分割后的识别评价为所述概率图模型的观测结点，用R = Lr1,...，!>]表示；隐含结点C =[C1,..., C7]和观测结点R = Jr1,..., r7]的联合概率如下:P(c, r)Hci, ci) ]^[ 4)(ci, η)}6N(i)i 其中.)代表交互势函数，表示各隐含结点之间的联系#(.)代表关联势函数，表示隐含结点与观测结点之间的联系； 其中，在步骤S170和步骤S180中 将所述车牌图像的字符分割转化成对最大后验概率P (c，r)的估计，寻找最优的隐含结点C= [Cl，…，c7]，使其满足:
C = aigmaxc.P (C = C* | R)。
5.如权利要求1所述的复杂光照下的车牌识别方法，其中，在步骤S130中， 通过log-sigmoid激活函数将置信度范围映射到[0，1]区间，分割所述关联势函数定义为U=A其中δ表示神经网络输出的分类结果。 其中，在步骤S120中， 根据高斯概率分布对所述车牌图像的字符之间的距离进行的评价，将所述交互势函数定义为:
6.如权利要求5所述的复杂光照下的车牌识别方法，其中，通过如下公式如图5所示完成步骤S150、步骤S160和步骤S170:
7.一种复杂光照下的车牌识别系统，包括: 概率图模型构建单元，用于预先根据车牌的字符结构构建概率图模型； 交互势函数构建单元，用于预先根据车牌的每个字符的分割结果构建交互势函数；关联势函数构建单元，用于预先根据车牌的每个字符的分割结果和识别结果构建关联势函数； 车牌定位与分割单元，用于对车牌进行定位与字符分割； 交互势函数应用单元，用于通过字符分割，获得至少一个分割候选字符序列，通过所述交互势函数构建单元构建的交互势函数，获得所述分割候选字符序列中相邻字符间距离的关系;关联势函数应用单元，用于对所述分割候选字符序列进行识别，获得与所述分割候选字符序列相对应的识别结果，通过所述关联势函数构建单元构建的关联势函数，获得所述分割候选字符序列中字符分割位置与识别结果之间的关系；概率值获取单元，用于根据所述概率图模型、所述相邻字符间距离的关系和所述字符分割位置与识别结果之间的关系，获得所述候选字符序列的每个字符分割位置的概率值；车牌识别结果选取单元，用于根据概率值获取单元获得的每个字符分割位置的概率值，获得所述分割候选字符序列的概率值，将所述分割候选字符序列中概率值最大的字符序列作为车牌的识别结果。
8.如权利要求7所述的复杂光照下的车牌识别系统，其中，所述车牌定位与分割单元还包括车牌倾斜校正单元，用于在对车牌进行字符分割之前，对车牌图像进行倾斜校正，其中，当车牌边缘图像的水平`投影值之和最大时，视为所述车牌图像被倾斜矫正至水平位置。
【文档编号】G06K9/00GK103530600SQ201310224358
【公开日】2014年1月22日 申请日期:2013年6月6日 优先权日:2013年6月6日
【发明者】邹博, 周宇弘, 李锋, 邹达, 高飞 申请人:东软集团股份有限公司