车牌识别方法、装置、计算机设备及计算机可读存储介质与流程

本发明涉及车牌识别技术领域，尤其涉及一种车牌识别方法、装置、计算机设备及计算机可读存储介质。

背景技术：

智能交通系统(its)对人们生活有越发重要的影响。智能交通系统充分利用先进技术改善交通的安全性和便利性。智能交通系统应用广泛，比如，随着人们安全意识的增强，私人区域会使用its对进出的车辆实现监控；交通部门利用its对违规车辆实现监控等等。车牌是车辆的唯一识别符，智能交通系统的使用和推广必须依赖于车牌的识别。车牌识别主要包含三个步骤：车牌定位，字符分割，字符识别。每一个内容都备受人们深入研究。

目前比较热门的车牌定位方法有：1)采用字符特征和颜色特征对车牌进行定位；2)采用数学形态学对车牌进行定位；3)采用边缘检测实现车牌的定位。以上算法都可以很好对车牌进行定位，不足之处是只适用于特定的环境，比如要求检测的环境光线好，车牌不倾斜，车牌无磨损等等。在较复杂的环境下，以上算法无法准确定位到车牌。

技术实现要素：

本申请实施例的目的在于提出一种车牌识别方法、装置，其主要目的在于基于级联分类器实现车牌的定位的算法，能较好地适应环境变化，有较高的准确度和速度。

为了解决上述技术问题，本申请实施例提供一种车牌识别方法，采用了如下所述的技术方案：一种车牌识别方法，该方法包括：

实时采集车辆的车牌图像，获得第一车牌图像；

对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像；

加载级联分类器模型；

调用级联分类器模型根据预设规则分类所述第二车牌图像的，输出有效区域，得到第三车牌图像；

调用端到端字符识别模型处理所述第三车牌图像，得到概率值和预测值；选取概率值最大时对应的预测值作为最终识别结果。

进一步的，所述对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像的步骤具体包括：

对所述第一车牌图像感兴趣区域的进行提取，得到目标区域图像；

对目标区域图像做运动特征目标检测，得到运动特征目标图像；

对运动特征目标图像进行高斯模糊降噪处理，调整高斯参数，选择合适的高斯核，平滑图像，得到高斯模糊降噪图像；

对高斯模糊降噪图像进行阈值化，匹配hsv的范围，保存匹配颜色，得到第二车牌图像。

进一步地，

所述调用端到端字符识别模型处理所述第三车牌图像之前，还包括：

调用左右回归模型处理所述第三车牌图像，得到精确定位的第三车牌图像；所述左右回归模型依次由第一卷积层、第一激活函数层、第一最大值池化层、第二卷积层、第二激活函数层、第三卷积层、第三激活函数层、平滑层和输出层连接而成。

进一步地，每一级联分类器的算法为：

1)使用haar-like特征做检测；

2)使用积分图对应用到检测器的特征进行快速计算；

3)使用adaboost学习算法从巨大的haar-like特征中挑选出少量至关重要的特征。

为了解决上述技术问题，本申请实施例还提供一种车牌识别装置，采用了如下所述的技术方案：一种车牌识别装置，包括：采集模块、提取及预处理模块、加载模块、第一调用模块及第二调用模块，其中

所述采集模块，用于实时采集车辆的车牌图像，获得第一车牌图像；

所述提取及预处理模块，用于对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像；

所述加载模块，用于加载级联分类器模型；

所述第一调用模块，用于调用级联分类器模型根据预设规则分类所述第二车牌图像的，输出有效区域，得到第三车牌图像；

所述第二调用模块，用于调用端到端字符识别模型处理所述第三车牌图像，得到概率值和预测值；选取概率值最大时对应的预测值作为最终识别结果。

进一步的，所述提取及预处理模块包括提取子模块、检测子模块、平滑子模块及匹配子模块，其中：

所述提取子模块，用于对所述第一车牌图像感兴趣区域的进行提取，得到目标区域图像；

所述检测子模块，用于对目标区域图像做运动特征目标检测，得到运动特征目标图像；

所述平滑子模块，用于对运动特征目标图像进行高斯模糊降噪处理，调整高斯参数，选择合适的高斯核，平滑图像，得到高斯模糊降噪图像；及

所述匹配子模块，用于对高斯模糊降噪图像进行阈值化，匹配hsv的范围，保存匹配颜色，得到第二车牌图像。

进一步地，所述装置还包括第三调用模块，所述第三调用模块，用于调用左右回归模型处理所述第三车牌图像，得到精确定位的第三车牌图像；所述左右回归模型依次由第一卷积层、第一激活函数层、第一最大值池化层、第二卷积层、第二激活函数层、第三卷积层、第三激活函数层、平滑层和输出层连接而成。

进一步地，每一级联分类器的算法为：

1)使用haar-like特征做检测；

2)使用积分图对应用到检测器的特征进行快速计算；

3)使用adaboost学习算法从巨大的haar-like特征中挑选出少量至关重要的特征。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现以上车牌识别方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以上车牌识别方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：本发明采用级联分类器模型，调整分类器的参数，可以使得每一层都通过几乎全部的车牌样本，而拒绝大量的非车牌样本，从而在有可能存在车牌的区域花费较多时间，降低总体计算时间,提高了车牌定位算法准确率低。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2根据本申请的车牌识别方法的一个实施例的流程图；

图3是本发明的一特征模板；

图4是本发明一积分图计算。

图5是图2中步骤s220的一种具体实施方式的流程图；

图6是根据本申请的车牌识别装置的一个实施例的结构示意图；

图7是图6所示提取及预处理模块一种具体实施方式的结构示意图；

图8是根据本申请的计算机设备的一个实施例的结构示意图。

附图标记：

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(movingpictureexpertsgroupaudiolayeriii，动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的车牌识别方法一般由服务器/终端设备执行，相应地，车牌识别装置一般设置于服务器/终端设备中。

请参考图2，示出了根据本申请的车牌识别方法的一个实施例的流程图。所述的车牌识别方法，包括以下步骤：

步骤210，实时采集车辆的车牌图像，获得第一车牌图像；

在本实施例中，通过安装摄像头等拍摄车辆的车牌图像。

步骤220，对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像；

在本实施例中，在第一车牌图像上选取合适的坐标区域作为目标区域，比如[0,0,120,120]，分别对应的是[左，上，宽，高]。选取感兴趣区域作为目标区域可以减少计算量，提高效率。用帧间差分法在选取的目标区域上检测运动目标。用高斯模糊对图像去噪，调整高斯参数，选择合适的高斯核，平滑图像。为下一步阈值化图像做准备。为了进一步较少计算量，对图像进行阈值化，匹配hsv的范围，不在范围内的设置为纯黑，否则在范围内的颜色。

步骤s230，加载级联分类器模型；

在本实施例中，级联分类器将很多个强分类器由简单到复杂排列，通过训练，使得每个强分类器均有很高的检测率，降低错误识别率。级联分类器每一层都是一个强分类器，这些分类器形成一种多层分类结构。调整分类器的参数，可以使得每一层都通过几乎全部的车牌样本，而拒绝大量的非车牌样本，从而在有可能存在车牌的区域花费较多时间，降低总体计算时间。

级联分类器的检测过程如下：输入图片，将图片划分为多块，也就是划分为一个个的子窗口，每个子窗口大小为20*20左右，对每个子窗口进行检测。最后输出大量的子窗口图像，这些子窗口图像经过筛选式级联分类器会不断地被每个节点筛选，抛弃或通过。检测过程的整体结构就是一个退化的决策树结构。只有被前一层的分类器判别为车牌图像的子窗口，才会被传到下一个分类器，出发其进行处理；如果被判断为非车牌，就结束对该子窗口的检测，检测下一个子窗口。这样的级联方式，提高了车牌定位算法准确率低。

步骤s240，调用级联分类器模型根据预设规则分类所述第二车牌图像的，输出有效区域，得到第三车牌图像；

在本实施例中，级联分类器算法如下：1)使用haar-like特征做检测；2)使用积分图对应用到检测器的特征进行快速计算；3)使用adaboost学习算法从巨大的haar-like特征中挑选出少量至关重要的特征；4)以一种级联的方式组合分类器，提高准确率。

特征模板内有白色和黑色两种矩阵，并定义该模板的特征为黑色矩阵像素和减去白色矩阵像素和。通过改变特征模板的大小和位置，可在图像子窗口中穷举出大量的特征。

加载级联分类器模型，级联分类器算法如下：1)使用haar-like特征做检测；2)使用积分图对应用到检测器的特征进行快速计算；3)使用adaboost学习算法从巨大的haar-like特征中挑选出少量至关重要的特征；4)以一种级联的方式组合分类器，提高准确率。特征模板内有白色和黑色两种矩阵，并定义该模板的特征为黑色矩阵像素和减去白色矩阵像素和。通过改变特征模板的大小和位置，可在图像子窗口中穷举出大量的特征。

请参见图3，a和b是矩阵特征，c是三矩阵特征，d是四矩阵特征，对于一个矩形，只要确定其左上顶点a(x1，y1)和右下顶点b(x2，y2)两个坐标，这个矩形就能够被确定的。如果矩形还满足下面两个条件(被称为(s,t)条件，满足(s,t)条件的矩形被称为条件矩形)：1.x方向边长必须能被自然数s整除；2.y方向边长必须能够被自然数t整除。在m*m子窗口中，满足(s,t)条件的所有矩形的数量为：

依据上述公式能够推断出一个子窗口中的特征总数量，m×m子窗口中特征总数量等于所选特征模板的特征数量之和。因此，给定一个m×m大小的子窗口，可以计算该子窗口包含的矩阵特征数量。

利用积分图计算矩形特征值，以图3中的b为例，如图4所示，此特征模板的特征值为区域a的像素值-区域b的像素值，由上述区域的积分图运算，区域a的像素值＝ii(5)+ii(1)-ii(2)-ii(4)，区域b的像素值＝ii(6)+ii(12)-ii(23)-ii(5)，所以此特征模板的特征值为[ii(5)-ii(4)]+[ii(3)-ii(2)]-[ii(2)-ii(1)]-[ii(6)-ii(5)]，可知，矩形特征的特征值计算只于此特征端点的积分图有关，与坐标位置无关。所以通过计算特征矩形端点的积分图，再进行简单的加减运算，就可以得到特征值。正因为如此，特征的计算速度大大提高，也提高了目标的检测速度。

训练一个弱分类器h(x,f,p,θ)的过程实际上就是在寻找特征f的最优阈值使得弱分类器对所有样本的判断误差最低。级联分类器包括训练体系和检测体系。级联分类器训练过程如下：

1.预先选定每一层的最大可接受误检率fpr,和每一层最小可接受的检测率trp；

2.设定系统整体的可接受误检率fprtarget；

3.初始化，fpr＝1，trp＝1；

4.循环，如果当前fpr>fprtarget,添加一层adaboost分类器，如果该分类器训练过程中没有达到该层最大误检率就继续添加新特征，添加新特征时减低阈值，使分类器的检测率大于给定值，然后更新tpr＝tpri*tpr，fpr＝fpri*fpr；

每一级分类器使用的训练集是上一级分类器判定正确的样本，而其中的错分的被当作负样本。这使得下一级的分类器更关注哪些更难区分的样本。

步骤s250，调用端到端字符识别模型处理所述第三车牌图像，得到概率值和预测值；选取概率值最大时对应的预测值作为最终识别结果。

本实施例中，本发明采用级联分类器模型，调整分类器的参数，可以使得每一层都通过几乎全部的车牌样本，而拒绝大量的非车牌样本，从而在有可能存在车牌的区域花费较多时间，降低总体计算时间,提高了车牌定位算法准确率低。

图5为本发明提供步骤s220，所述对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像的具体实施方式的流程图，步骤s220包括：

步骤s221，对所述第一车牌图像感兴趣区域的进行提取，得到目标区域图像；

步骤s222，对目标区域图像做运动特征目标检测，得到运动特征目标图像；

步骤s223，对运动特征目标图像进行高斯模糊降噪处理，调整高斯参数，选择合适的高斯核，平滑图像，得到高斯模糊降噪图像；

步骤s224，对高斯模糊降噪图像进行阈值化，匹配hsv的范围，保存匹配颜色，得到第二车牌图像。

在本实施例的一些可选的实现方式中，基于上述图2所示实施例，本实施例中，该车牌识别方法在所述调用端到端字符识别模型处理所述第三车牌图像之前包括以下步骤：

调用左右回归模型处理所述第三车牌图像，得到精确定位的第三车牌图像；所述左右回归模型依次由第一卷积层、第一激活函数层、第一最大值池化层、第二卷积层、第二激活函数层、第三卷积层、第三激活函数层、平滑层和输出层连接而成。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)等非易失性存储介质，或随机存储记忆体(randomaccessmemory，ram)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图6，作为对上述图2所示方法的实现，本申请提供了一种车牌识别装置的一个实施例的结构示意图，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例所述的车牌识别装置600包括：采集模块610、提取及预处理模块620、加载模块630、第一调用模块640及第二调用模块650。其中：

所述采集模块610，用于实时采集车辆的车牌图像，获得第一车牌图像；

所述提取及预处理模块620，用于对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像；

所述加载模块630，用于加载级联分类器模型；

所述第一调用模块640，用于调用级联分类器模型根据预设规则分类所述第二车牌图像的，输出有效区域，得到第三车牌图像；

所述第二调用模块650，用于调用端到端字符识别模型处理所述第三车牌图像，得到概率值和预测值；选取概率值最大时对应的预测值作为最终识别结果。

请参考图7，为提取及预处理模块一种具体实施方式的结构示意图，所述提取及预处理模块620包括提取子模块621、检测子模块622、平滑子模块623及匹配子模块624，其中：

所述提取子模块621，用于对所述第一车牌图像感兴趣区域的进行提取，得到目标区域图像；

所述检测子模块622，用于对目标区域图像做运动特征目标检测，得到运动特征目标图像；

所述平滑子模块623，用于对运动特征目标图像进行高斯模糊降噪处理，调整高斯参数，选择合适的高斯核，平滑图像，得到高斯模糊降噪图像；及

所述匹配子模块624，用于对高斯模糊降噪图像进行阈值化，匹配hsv的范围，保存匹配颜色，得到第二车牌图像。

在本实施例的一些可选的实现方式中，上述装置600还包括：第三调用模块：

所述第三调用模块，用于调用左右回归模型处理所述第三车牌图像，得到精确定位的第三车牌图像；所述左右回归模型依次由第一卷积层、第一激活函数层、第一最大值池化层、第二卷积层、第二激活函数层、第三卷积层、第三激活函数层、平滑层和输出层连接而成。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图8，图8为本实施例计算机设备基本结构框图。

所述计算机设备8包括通过系统总线相互通信连接存储器81、处理器82、网络接口83。需要指出的是，图中仅示出了具有组件81-83的计算机设备8，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(applicationspecificintegratedcircuit，asic)、可编程门阵列(field－programmablegatearray，fpga)、数字处理器(digitalsignalprocessor，dsp)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器81至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或d表单生成存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器81可以是所述计算机设备8的内部存储单元，例如该计算机设备8的硬盘或内存。在另一些实施例中，所述存储器81也可以是所述计算机设备8的外部存储设备，例如该计算机设备8上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。当然，所述存储器81还可以既包括所述计算机设备8的内部存储单元也包括其外部存储设备。本实施例中，所述存储器81通常用于存储安装于所述计算机设备8的操作系统和各类应用软件，例如车牌识别方法的程序代码等。此外，所述存储器81还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器82在一些实施例中可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器82通常用于控制所述计算机设备8的总体操作。本实施例中，所述处理器82用于运行所述存储器81中存储的程序代码或者处理数据，例如运行所述车牌识别方法的程序代码。

所述网络接口83可包括无线网络接口或有线网络接口，该网络接口83通常用于在所述计算机设备8与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有表单生成程序，所述表单生成程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的车牌识别方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。