一种基于深度神经网络的车牌识别方法
【专利摘要】车牌识别技术是文字模式识别技术在交通领域的一种具体应用。目前国内已有的车牌识别系统还存在全天候识别率不稳定的问题。在采集车辆图像的时候，会受到环境光线变化的影响，车牌本身也会出现污点、褪色、倾斜以及运动产生的图像模糊失真，所以这些情况下的车牌定位算法和识别算法实现起来困难。深度神经网络应用于图像识别，提升了准确性，而且避免了人工抽取特征。卷积神经网络模型是深度神经网络的一种体系结构，其与图像处理有着密切的关系，本发明将卷积神经网络应用于车牌识别中，使其对断裂、倾斜等非正常字符具有较高的识别率。实验表明该算法对相似字符的区分能力较强，并具有较高的鲁棒性。
【专利说明】-种基于深度神经网络的车牌识别方法
【技术领域】
[0001] 本发明涉及基于深度神经网络的车牌识别技术。
【背景技术】
[0002] 车牌识别技术是文字模式识别技术在交通领域的一种具体应用，它主要包括图像 抓拍、图像处理、车牌定位、字符分割、字符识别等一系列步骤。目前国内已有的车牌识别系 统普遍存在全天候识别率不稳定等问题，在采集车辆图像的时候，会受到环境光线变化的 影响，车牌本身也会出现污点、褪色、倾斜以及运动产生的图像模糊失真，所以这些情况下 的车牌定位算法和识别算法实现起来困难，目前使用最多的识别方法为改进的BP神经网 络方法。BP算法是一种局部搜索的优化算法，但它要求解复杂的非线性函数的全局极值，因 此算法可能陷入局部极值；网络的逼近、推广能力与学习样本的代表性密切相关，而从问题 中选取典型样本实例组成训练集是一个很困难的问题；网络结构的选择尚无一种统一而完 整的理论指导，一般只能由经验选定；网络的泛化能力与训练能力的矛盾，一般情况下，训 练能力差时，预测能力也差，并且在一定程度上，随着训练能力地提高，预测能力也提高，但 当达到一定极限时，随着训练能力的提高，预测能力反而下降，即出现所谓"过拟合"现象， 这是由于网络学习了过多的样本细节，而不能反映样本内含的规律。
【发明内容】
[0003] 本发明要解决的技术问题是提供一种新的基于深度神经网络的车牌识别技术，避 免了特征提取，利用这种方法，大大提高了系统的识别速度，提高了识别准确度。
[0004] 字符识别是车牌识别系统中的最后一步，也是最重要的一步。通常，人们是利用传 统的BP神经网络算法对字符进行训练然后识别，相比于其他一些经典的识别算法，其识别 准确率更高，性能更稳定。但它也有自身的一些缺点，比如训练时间长、效率低下、容易陷入 局部极小值、出现过分拟合等等。传统的BP神经网络一般都采用三层网络模型，这是非常 浅的一种模型，而这种模型是靠人工经验来抽取样本的特征，并且不能表示复杂的特征，这 就导致了它的计算能力有限，从而不能识别复杂的物体。车牌是一种背景复杂的图像，如何 从中识别出有效的字符非常考验一个算法的适应性。理论结果表明，为了学习能代表高度 抽象的复杂类型的图像，人们需要学习深度体系结构，它是由多个等级的非线性操作组合 成的，例如带多个隐藏层的神经网络、含有多个子公式的复杂命题公式。
[0005] 本发明计划将原始的图像输入逐渐转为更高层次的表示，它表示了原始输入的越 来越抽象的函数、物体边缘、局部形状、部分对象等等。当人们试着去解决一个特殊的人工 智能的任务时（例如机器视觉或者语言处理），他们常常会有一个本能，如何将问题分解为 多个子问题和多个表示层。例如，以机器视觉的目前发展水平来说，它涉及一系列从像素开 始的模块，以线性或者核函数分类器结束，并伴随着中间模块的变化和学习，首先提取几何 变化很小的低层特征（例如Gabor filters边缘检测），逐渐的变换它们（为了使对比度改 变量和对比度翻转量不变，有时需要用卷积和池化），然后测出最频繁的模式。从一幅自然 图像中提取有用信息的常用方式是将原始像素逐渐的转化为更抽象的表示，从边缘检测 开始，接着检测局部形状，直到识别与图像的部分物体和子物体有关联的类，最后将捕获到 的所有信息聚集起来理解这幅图像的场景。
[0006] 深度体系结构有几大网络模型，其中的卷积神经网络是专门为解决图像问题而设 计的模型，它的权值共享网络结构使之更类似于生物神经网络，这样的结构不但降低了网 络模型的复杂度，而且减少了权值的数量，这种网络结构对平移、比例缩放、倾斜或者其他 形式的变形具有高度不变性。卷积神经网络可以将图像直接作为网络的输入，避免了传统 识别算法中复杂的特征提取和数据重建过程。基于这些优点，使它在图像识别中有着得天 独厚的优势。
[0007] 在获取车牌图像的过程中，由于存在光照不均匀、车牌倾斜、车牌污染、运动模糊 等等不利因素导致预处理的效果不明显，影响识别准确率。由于卷积神经网络对平移、比例 缩放、倾斜或者共他形式的变形具有高度不变性，所以本发明中采用卷积神经网络作为深 度体系结构的模型，利用它对车牌图像进行识别将大大提高识别的准确率。
【专利附图】
【附图说明】
[0008] 图1车牌的深度体系表示图。
[0009] 图2字符的卷积神经网络结构图。
[0010] 图3卷积和池化图。
[0011] 图4字符的卷积特征图。
[0012] 图5字符的池化示意图。
[0013] 图6卷积神经网络训练流程图
【具体实施方式】
[0014] 结合附图及实施例，进一步对本发明提出的基于深度神经网络的车牌识别技术方 案进行描述，更加清楚地说明其特征和优势。
[0015] 一、字符识别网络结构
[0016] 本发明中采用的深度神经网络具有7层，每层具有多个特征映射图，每个特征映 射图具有多个神经元，并且每个特征映射图通过一种卷积滤波器提取输入的一种特征。 [0017] 输入的图像（大小为32*16)通过卷积运算得到一个卷积层C1，它由6个（这里的 6是个经验值）特征映射图组成。滤波器的大小为5*5,特征图中每个神经元与输入中5*5 的邻域相连。这样C1层中特征图的大小就为28*12。C1有156个可训练参数（每个滤波 器5*5 = 25个单元参数和一个偏置参数，一共6个滤波器，共（5*5+1) *6 = 156个参数）， 共156* (28*12) = 52416个连接。接着对C1进行池化处理（对图像进行池化，可以减少数 据处理量，同时保留有用信息），得到S2层。S2层由6个14*6大小的特征图构成，S2的特 征图中的每个单元与C1中相对应特征图的2*2邻域相连接。每个单元的2*2感受野并不 重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4 (行和列各1/2)。S2层有30 个可训练参数和2520个连接。C3层也是一个卷积层，它同样通过5x5的卷积核去卷积层 S2,然后得到只有10*2个神经元的特征映射图，但是它有16 (这里的16是个经验值）种 不同的卷积核，所以就存在16个特征映射图。需要注意的一点是：C3中的每个特征映射图 与S2中的所有6个或者其中几个特征映射图连接，表示本层的特征map是上一层提取到的 特征map的不同组合。S4层也是个子采样层，由16个5*1大小的特征图构成。征图中的每 个单元与C3中相应特征图的2*2邻域相连接，跟C1和S2之间的连接一样。S4层有80个 可训练参数和400个连接。将S4的输出组织成一维向量（80个输入神经元）作为一个输 入层F5与F6层进行全连接，F6层是一个隐含层，选取了 200个神经元，即共有16200条连 接。最后F7为输出层，由34个神经元构成，对应34个输出（24个英文字母和10个数字）。 F5、F6、F7三层构成了传统的BP神经网络，之前的4层相当于对图像进行了卷积特征提取。 [0018]二、卷积
[0019] 在卷积网络中最常用的操作有两种，一种是卷积，另一种是池化。在泛函分析 中，卷积是通过两个函数f和g生成第三个函数的一种数学算子，表征函数f与经过翻 转和平移的g的重叠部分的累积。如果将参加卷积的一个函数看作区间的指示函数， 卷积还可以被看作是"移动平均"的推广。当f[n]为有限长度N，g[n]为有限长度Μ 的信号，计算卷积f[n]*g[n]主要的方法有直接计算法，它的做法是利用卷积的定义
【权利要求】
1. 一种新的基于深度神经网络的车牌识别方法，其特征在于，将车牌图像输入卷积网 络中，从而避免了人工特征提取。 利用深度神经网络进行车牌识别，大大增强了系统的适应度，提高了识别准确度。
2. 如权利要求1所述的方法中，本发明提出的新的基于深度神经网络的车牌识别方法 描述如下： 本发明中采用的深度神经网络具有7层，每层具有多个特征映射图，每个特征映射图 具有多个神经元，并且每个特征映射图通过一种卷积滤波器提取输入的一种特征。 步骤1:输入的图像（大小为32*16)通过卷积运算得到一个卷积层C1，它由6个（这 里的6是个经验值）特征映射图组成。滤波器的大小为5*5,特征图中每个神经元与输入 中5*5的邻域相连。这样C1层中特征图的大小就为28*12。C1有156个可训练参数（每 个滤波器5*5 = 25个单元参数和一个偏置参数，一共6个滤波器，共（5*5+1) *6 = 156个 参数），共 156* (28*12) = 52416 个连接。 步骤2 :对C1进行池化处理（对图像进行池化，可以减少数据处理量，同时保留有用信 息），将卷积技术应用在车牌图像识别中，用一个可训练的滤波器fx去卷积输入的车牌图像 (第一阶段卷积输入的图像，后面的阶段卷积特征映射图），然后加一个偏置b x，得到卷积特 征层Cx，即Ρ(?>υ+?3χ)，F为sigmode型函数。举例说明，有一个5*5大小的图像1，一个3*3 大小的滤波器，得到一个3*3的特征矩阵。 步骤3 :得到S2层。S2层由6个14*6大小的特征图构成，S2的特征图中的每个单元 与C1中相对应特征图的2*2邻域相连接。每个单元的2*2感受野并不重叠，因此S2中每个 特征图的大小是C1中特征图大小的1/4 (行和列各1/2)。S2层有30个可训练参数和2520 个连接。C3层也是一个卷积层，它同样通过5x5的卷积核去卷积层S2,然后得到只有10*2 个神经元的特征映射图，但是它有16(这里的16是个经验值）种不同的卷积核，所以就存 在16个特征映射图。需要注意的一点是：C3中的每个特征映射图与S2中的所有6个或者 其中几个特征映射图连接，表示本层的特征图是上一层提取到的特征图的不同组合。S4层 也是个子采样层，由16个5*1大小的特征图构成。征图中的每个单元与C3中相应特征图 的2*2邻域相连接，跟C1和S2之间的连接一样。S4层有80个可训练参数和400个连接。 将S4的输出组织成一维向量（80个输入神经元）作为一个输入层F5与F6层进行全连接， F6层是一个隐含层，选取了 200个神经元，即共有16200条连接。最后F7为输出层，由34 个神经元构成，对应34个输出（24个英文字母和10个数字）。F5、F6、F7三层构成了传统 的BP神经网络，之前的4层相当于对图像进行了卷积特征提取。
【文档编号】G06K9/66GK104299006SQ201410357166
【公开日】2015年1月21日 申请日期:2014年7月23日 优先权日:2014年7月23日
【发明者】巩微 申请人:中国传媒大学