基于深度学习网络共享的车牌识别方法与流程

本发明涉及车牌识别技术和机器学习技术领域，具体为一种基于深度学习网络共享的车牌识别方法。

背景技术：

车牌号的准确快速识别具有非常重要的现实意义。车牌信息是车辆的唯一标识之一，被广泛应用到需要进行车辆监控的各个领域，例如，高速路卡口、车辆违章抓拍和小区和商场出入口监控等。车牌识别方法的研究也具有一定的理论价值。车牌作为牌照的一类，车牌识别方法能够被扩展应用到其它类别牌照的识别中。

深度学习作为快速兴起的一种机器学习方法，被广泛应用到计算机视觉、语音识别、自动驾驶等各个领域，尤其是在计算机视觉领域中具有非常出色的表现，在很多问题上优于传统的机器学习和图像处理方法。近年来，针对于深度学习的硬件的发展也促进了深度学习的应用，例如英伟达公司的TX2、华为公司的麒麟970和英特尔公司的Knights Mill等。车牌识别作为计算机视觉中一项重要研究领域对于深度学习方法的研究和应用也是未来发展趋势。

传统的车牌识别方法通常包括定位、矫正、分割和识别等步骤。定位通常是找出图像中完整车牌所在的区域。车牌在图像中相对于图像的垂直和水平方向有一定的倾斜角度或者车牌有一定的畸变会影响车牌分割和识别的准确度，车牌矫正能够很大程度上去除这些影响。车牌分割是获取到车牌每一个字符的图像。车牌识别是对单个的字符图像进行分类，然后把识别结果进行综合从而得到车牌识别结果。随着深度学习的出现，近些年来有一些使用深度学习的方法对图像处理的方法进行了一定程度的改进和替代。主要表现为，车牌识别中某一个或者某几个步骤被深度学习方法替代，

现有的基于深度学习车牌识别方法还存在一些问题：（1）对于识别方法的处理图像有一定的大小限制；（2）直接利用字符信息进行车牌定位和检测需要对全图进行字符检测，在背景复杂或者背景图像中含有一些字符的场景中会更加容易出现误检从而增加计算复杂度；（3）对于算法中深度学习网络中的参数共享还不够充分，即，车牌识别方法的不同过程充分共享网络结构和网络参数。本文将针对这三个问题提出一种基于深度学习的方法。

技术实现要素：

本发明为了弥补现有技术的不足，提供了一种结构简单、使用方便的基于深度学习网络共享的车牌识别方法，对处理图像的大小无限制，充分融合了图像中车牌和字符信息，并设计了能够共享网络深度学习网络的结构和参数的方法。

本发明是通过如下技术方案实现的：

本发明的基于深度学习网络共享的车牌识别方法，其特征在于：包括以下步骤：

步骤一：待处理图像输入到车牌检测深度学习网络中，输出为各个类型车牌阈值图；

步骤二：待处理图像输入到字符检测深度学习网络中，输出为字符检测阈值图；

步骤三：根据车牌检测阈值图和车牌检测阈值图，综合判定得到最优的车牌类型及车牌号码识别结果。

步骤一与步骤二中的深度学习网络共享网络层，共享的网络层为深度学习网络的底层网络，即车牌检测深度学习网络与字符检测深度学习网络从数据输入层到接下来的卷积层和非线性激活层都进行网络结构和网络参数的共享，只有到最后一个卷积层时车牌检测网络和字符检测网络才有各自卷积层结构或卷积层参数，当只有卷积层参数不同的情况下，车牌区域阈值图的生成以及字符阈值图区域的生成共享同一个深度学习网络结构。

步骤一与步骤二中的深度学习网络，对于源图像的输入无图像的大小限制，但是不能为空，对于图像尺寸过小难以进行满足网络中卷积操作的图像大小要求的图像能够进行直接排除或进行放大后仍然能够进行处理。

车牌阈值图标注方法，对于一张图像，生成一张车牌阈值图，没有车牌的区域为无车牌的类型值，整个车牌区域的像素值标记为车牌的类型值，不同类型的车牌标记不同的类型值，不同的类型值范围互不重叠。

字符阈值图标注方法，对于一张图像，生成一张车牌字符阈值图，没有车牌的区域为无车牌的类型值，整个字符所在区域或者字符所在区域的中心位置有字符的类型值，不同字符具有不同的类型值，类型值在不同类型值范围互不重叠。

共享网络训练时阈值图的标注方法为，字符阈值图和车牌阈值图中替换掉字符阈值图中存在字符类型值为无车牌类型值的阈值图。

共享网络的训练方法，对于共享网络顶层添加一层专门用于网络训练的图像卷积层作为网络输出层，共享网络训练阈值图作为标记图像进行训练，输入为源图像，输出为阈值图像，代价函数根据阈值图与网络输出阈值图计算用于优化网络。

代价函数为标准阈值图与网络生成阈值图之间的欧氏距离。

对于车牌阈值网络，需要固定共享网络的参数，在共享网络后加入一个卷积层来组成生成车牌阈值图的网络，训练方法与共享网络的训练方法相同。

对于字符阈值网络，需要固定共享网络的参数，在共享网络后加入一个卷积层来组成车牌字符阈值图的网络，训练方法与共享网络的训练方法相同。

对于车牌阈值图和字符阈值图的融合主要包括：对于在经过网络计算生成的车牌阈值图中表现为没有车牌代表的类型值的区域的字符进行排除，对于经过网络计算生成的字符阈值图中表现为没有字符的区域的车牌进行排除，对于既属于存在车牌，又存在字符的联通区域作为最终目标区域，进行结果判定处理。

对于最终目标区域结果判定处理包括，对车牌阈值部分进行取值矫正，对每一个像素的值都取与它最相近的车牌类型值，然后对每一个车牌类型值相同的连通域取得其最小外接矩形框，然后对这些外接矩形框进行非极大值抑制处理，获得最后的车牌外接矩形框，对该区域的每一类车牌类型值的像素个数进行统计处理，从而得到该区域内每一类车牌类型的像素个数与整个目标区域的像素个数的比值，取得取值最大的车牌类型值来判定车牌的类型。

对于最终目标区域结果判定处理包括，对于字符阈值部分进行取值矫正，对每一个像素的值都取与它最相近的字符类型值，然后对每一个字符类型值相同的连通域取得其最小外接矩形框，然后对这些外接矩形框进行非极大值抑制处理，获得最后的字符外接矩形框，该框所对应的类型值即为字符识别的结果，把这些单个字符的识别结果，按照从上到下从左到右的顺序进行排列，得到区域中字符识别结果和字符排列位置。

根据车牌类型识别结果和区域中字符识别的结果和字符排列位置，对车牌颜色、类型等信息进行判定，对字符识别结果的进行修正。

本发明的有益效果是，（1）对于识别方法的处理图像无图像大小限制，在图像不为空的情况下即可进行处理；（2）融合了车牌信息和字符信息同时进行车牌识别，更容易排除误检，增加准确率，减少后续判断的计算复杂程度；（3）对于深度学习网络进行了最大限度的共享网络结构和共享网络参数，减少了训练和应用的复杂度；（4）能够输出车牌号的同时，输出车牌的颜色和类型信息；（5）网络中没有对字符分割矫正等要求，对于污损、模糊、缺损和倾斜等类型的的字符，按照本只要在训练时加入该种类型的样本，就能够在识别时具有一定的鲁棒性。

附图说明

附图1为本发明工作流程图；附图2 为实施例深度学习网络共享结构的示意图。 附图3为实施例中目标矩形框获取的示意图。

具体实施方式

附图为本发明的一种具体实施例。

本发明的基于深度学习网络共享的车牌识别方法，步骤如下。

步骤101：待处理图像输入到车牌检测深度学习网络中，输出为各个类型车牌阈值图；

步骤102：待处理图像输入到字符检测深度学习网络中，输出为字符检测阈值图；

步骤103：根据车牌检测阈值图和字符检测阈值图，综合判定得到最优的车牌类型及车牌号码识别结果。

车牌检测和字符检测所使用的深度学习网络如图2中所示，201为数据输入层为数据源图像，图像为三通道的彩色图像；202为卷积核大小为7*7像素，卷积核个数为16个的卷积层接着一个ReLu层；ReLu层为防止网络在训练时出现梯度爆炸等不收敛的情况，具体操作如公式1中所示：

（1）。

203为卷积核大小为5*5像素，卷积核个数为16的卷积层接着一个ReLu层；204卷积核大小为3*3像素，卷积核个数为32的卷积层接着一个ReLu层；205卷积核大小为3*3相熟，卷积核个数为64的卷积层接着一个ReLu层；接下来网络分为两个分支；209卷积核大小为1*1像素，卷积核个数为64的卷积层；206为卷积核大小为1*1像素，卷积核个数为64的卷积层；207为输出的车牌阈值图；208为输出的字符阈值图；车牌阈值图和字符阈值图的生成共享网络结构，只有最后一层卷积层参数不同。

该网络结构对于源图像的输入无图像的大小限制，但是不能为空，但是对于图像尺寸过小难以进行满足网络中卷积操作的图像大小要求，图1中共享网络最小不能小于11*11像素值的图像大小，由于车牌中要通常要包含5个以上的字符，一般需要车牌识别的图像都会比最小要求大。

车牌阈值图标注方法，对于一张图像，生成一张车牌阈值图，没有车牌的区域为无车牌的类型值，整个车牌区域的像素值标记为车牌的类型值，不同类型的车牌标记不同的类型值，不同的类型值范围互不重叠。

字符阈值图标注方法，对于一张图像，生成一张车牌字符阈值图，没有车牌的区域为无车牌的类型值，整个字符所在区域或者字符所在区域的中心位置有字符的类型值，不同字符具有不同的类型值，类型值在不同类型值范围互不重叠。

共享网络训练时阈值图的标注方法为，字符阈值图和车牌阈值图中替换掉字符阈值图中存在字符类型值为无车牌类型值的阈值图。

共享网络的训练方法，使用图2中的网络结构进行训练，共享网络训练阈值图作为标记图像进行训练，输入为源图像，输出为阈值图像，代价函数根据阈值图与网络输出阈值图计算用于优化网络。

代价函数为标准阈值图与网络生成阈值图之间的欧氏距离。

对于车牌阈值网络，需要固定共享网络部分的参数，在共享网络后加入一个卷积层来组成生成车牌阈值图的网络，训练方法与共享网络的训练方法相同。

对于字符阈值网络，需要固定共享网络部分的参数，在共享网络后加入一个卷积层来组成车牌字符阈值图的网络，训练方法与共享网络的训练方法相同。

对于最终目标区域结果判定处理如图3，输入301为生成的阈值图，车牌阈值图或字符阈值图；302对车牌阈值部分进行取值矫正，矫正具体操作为：对每一个像素的值都取与它最相近的车牌类型值；303为对每一个车牌类型值相同的连通域取得其最小外接矩形框；304为对这些外接矩形框进行非极大值抑制处理，获得最后的车牌目标矩形框或者字符目标矩形框。

对于车牌阈值图和字符阈值图的融合主要包括：对于在经过网络计算生成的车牌阈值图中表现为没有车牌代表的类型值的区域的字符进行排除，对于经过网络计算生成的字符阈值图中表现为没有字符的区域的车牌进行排除，对于既属于存在车牌，又存在字符的联通区域作为最终目标区域，进行结果判定处理。具体计算方法为，根据图1中的301步骤、302步骤获取的图像，分别求得车牌阈值图中间结果和字符阈值图中间结果，对这两种结果中值相同的连通域进行标记，例如标记为R1，R2….Rn，对每一个连通域R，判定是否既有车牌类型值和字符类型值，如果都有则在图像中保留该连通域。

对于车牌目标矩形框的处理为：对该区域的每一类车牌类型值的像素个数进行统计处理，从而得到该区域内每一类车牌类型的像素个数与整个目标区域的像素个数的比值，取得取值最大的车牌类型值来判定车牌的类型。

对字符目标矩形框的处理为：取得该框所对应的类型值即为字符识别的结果，把这些单个字符的识别结果，按照从上到下从左到右的顺序进行排列，得到区域中字符识别结果和字符排列位置。

根据车牌类型识别结果和区域中字符识别的结果和字符排列位置，对车牌颜色、类型等信息进行判定，对字符识别结果的进行修正，主要是当字符识别结果超出车牌类型应有的字符长度时，对识别结果进行截断。

此外，本发明实施例是用流程图和/或方框图来了描述的，计算机程序指令实现流程图和/或方框图，除了可提供方法、系统（装置）或计算机程序产品外，还可提供计算机程序指令到计算机嵌入式处理机或者其他可编程数据处理设备中，使其产生流程图和/或方框图中的功能。