一种车牌识别方法、存储介质及电子设备与流程

本发明涉及车牌识别领域，尤其涉及一种车牌识别方法、存储介质及电子设备。

背景技术：

传统车牌识别算法主要结合纹理、边缘检测、垂直投影、小波变换和模版匹配的方法来进行车牌识别，基于深度学习的车牌识别算法主要针对车牌识别过程中的每个模块都用深度学习模型实现。

目前在车牌识别算法在实际应用中还存在较多难点，传统的车牌识别方法对容易受到噪声的干扰，对光照变化大，车牌模糊的情况识别效果较差，开发成本高，部署周期长；基于深度学习的车牌识别算法由于每个模块都是独立存在在计算法时会存在大量冗余的计算，系统资源占用高，识别速度较低，在前端设备比较难部署。

技术实现要素：

有鉴于此，本发明实施例提供了一种车牌识别方法、存储介质及电子设备，能够大大提高车牌识别的效率。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供了一种车牌识别方法，所述方法包括：检测待识别图像中是否存在具有车牌的车辆；确定所述待识别图像中存在具有车牌的车辆时，获取所述车辆的车牌所在区域的图像；将所述图像输入已训练后的用于车牌内的字符识别的第一神经网络模型，得到所述图像的各字符的位置和标签；根据所述各字符的位置以设定排序方式对所述各字符进行排序，得到排序后的所述各字符；根据所述各字符的标签和排序后的所述各字符，确定所述车辆的车牌号码。

其中，所述将所述图像输入已训练后的用于车牌内的字符识别的第一神经网络模型，得到所述图像的各字符的位置和标签之前，还包括：获取第一训练样本图像；根据所述第一训练样本图像获取所述第一训练样本图像中车辆的车牌所在区域的图像；对所述图像的尺寸进行归一化处理，得到满足预设尺寸的第一归一化图像；将所述第一归一化图像进行六个卷积层的卷积处理，得到所述第一归一化图像在第2卷积层、第4卷积层和第6卷积层中的特征图；基于所述特征图，确定所述第一训练样本图像的各字符的位置和标签。

其中，所述对所述图像的尺寸进行归一化处理，得到满足预设尺寸的第一归一化图像之前，还包括：对所述图像进行字符标注。

其中，所述检测待识别图像中是否存在具有车牌的车辆，包括：获取基于图像采集装置对预设监控区域采集的待识别图像；将所述待识别图像输入已训练后的用于车辆识别的第二神经网络模型，得到所述待识别图像中是否存在具有车牌的车辆的识别结果。

其中，所述将所述待识别图像输入已训练后的用于车辆识别的第二神经网络模型，得到所述待识别图像中是否存在具有车牌的车辆的识别结果之前，还包括：获取第二训练样本图像；对所述第二训练样本图像的尺寸进行归一化处理，得到满足预设尺寸的第二归一化图像；将所述第二归一化图像依次先后进行六个卷积层和五个卷积层的卷积处理，得到所述第二归一化图像的特征图；基于所述特征图确定所述第二训练样本图像中是否存在具有车牌的车辆的识别结果。

其中，还包括：在所述待识别图像中存在具有车牌的车辆时，对所述待识别图像进行车型识别，获取所述车辆的车型。

其中，还包括：在所述待识别图像中存在具有车牌的车辆时，对所述待识别图像进行车牌颜色和/或车牌类型识别，获取所述车辆的车牌颜色和/或车牌类型。

其中，还包括：获取所述车辆的高度和/或宽度；确定所述车辆的高度和/或宽度不满足预设通行条件时，发出提醒消息。

本发明实施例还提供了一种计算机存储介质，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现车牌识别方法中任一项所述的方法。

本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令；所述处理器用于调用并执行所述一条或多条计算机指令，从而实现车牌识别方法任一项所述的方法。

本发明实施例提供的一种车牌识别方法、存储介质及电子设备，所述方法包括：检测待识别图像中是否存在具有车牌的车辆；确定所述待识别图像中存在具有车牌的车辆时，获取所述车辆的车牌所在区域的图像；将所述图像输入已训练后的用于车牌内的字符识别的第一神经网络模型，得到所述图像的各字符的位置和标签；根据所述各字符的位置以设定排序方式对所述各字符进行排序，得到排序后的所述各字符；根据所述各字符的标签和排序后的所述各字符，确定所述车辆的车牌号码；如此，通过预先判断待识别图像是由具有车辆，在进一步确认车牌所在区域，再得到车牌各字符的位置和标签，解决了传统车牌识别算法流程中车牌精定位，字符切割，字符识别逻辑复杂的问题，同时解决了采用深度学习车牌识别算法中需要多个模型串联过多的耗费系统资源的问题，能够大大提高车牌识别的效率。

附图说明

图1为本发明一实施例提供的一种车牌识别方法的流程示意图；

图2为本发明另一实施例提供的一种车牌识别方法的流程示意图；

图3为本发明一实施例提供的一级检测模块的结构示意图；

图4为本发明一实施例提供的二级检测模块的结构示意图；

图5为本发明一实施例提供的一级检测图像标注方式的示意图；

图6为本发明一实施例提供的二级检测图像标注方式的示意图；

图7为本发明一实施例提供的计算机设备的结构示意图。

具体实施方式

以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，本发明实施例提供了一种车牌识别方法，所述方法包括：

步骤101：检测待识别图像中是否存在具有车牌的车辆；

步骤102：确定所述待识别图像中存在具有车牌的车辆时，获取所述车辆的车牌所在区域的图像；

这里，通过对待识别图像首先采用一级检测器对图像中的车辆和该车辆上的车牌进行检测，进一步地，判断其是否是车辆，如果是车辆并且车辆目标上存在车牌区域则对该车牌区域进行车牌字符检测，否则直接结束。

步骤103：将所述图像输入已训练后的用于车牌内的字符识别的第一神经网络模型，得到所述图像的各字符的位置和标签；

这里，标签可以包括车身，车牌，背景。

步骤104：根据所述各字符的位置以设定排序方式对所述各字符进行排序，得到排序后的所述各字符；

步骤105：根据所述各字符的标签和排序后的所述各字符，确定所述车辆的车牌号码。

本发明上述实施例中，通过检测待识别图像中是否存在具有车牌的车辆；确定所述待识别图像中存在具有车牌的车辆时，获取所述车辆的车牌所在区域的图像；将所述图像输入已训练后的用于车牌内的字符识别的第一神经网络模型，得到所述图像的各字符的位置和标签；根据所述各字符的位置以设定排序方式对所述各字符进行排序，得到排序后的所述各字符；根据所述各字符的标签和排序后的所述各字符，确定所述车辆的车牌号码；如此，通过预先判断待识别图像是由具有车辆，在进一步确认车牌所在区域，再得到车牌各字符的位置和标签，解决了传统车牌识别算法流程中车牌精定位，字符切割，字符识别逻辑复杂的问题，同时解决了采用深度学习车牌识别算法中需要多个模型串联过多的耗费系统资源的问题，能够大大提高车牌识别的效率。

在一实施方式中，所述将所述图像输入已训练后的用于车牌内的字符识别的第一神经网络模型，得到所述图像的各字符的位置和标签之前，还包括：获取第一训练样本图像；根据所述第一训练样本图像获取所述第一训练样本图像中车辆的车牌所在区域的图像；对所述图像的尺寸进行归一化处理，得到满足预设尺寸的第一归一化图像；将所述第一归一化图像进行六个卷积层的卷积处理，得到所述第一归一化图像在第2卷积层、第4卷积层和第6卷积层中的特征图；基于所述特征图，确定所述第一训练样本图像的各字符的位置和标签。

这里，输入图像被归一化成300×300的大小后输入一级检测模块中，首先经过6层卷积层提取特征，在此过程中不断对图像进行下采样和逐元素相加的运算。经过6层卷积操作以后再使其经过5层卷积层进行上采样和逐元素相加操作，这样便可获得图像的高层特征，通过使前层卷积层的特征与后层卷积生成的特征图进行相加操作，能够让后层的卷积操作能够有效的利用前层卷积的底层特征信息。对图像进行特征提取操作后，选择卷积层8，9，10，11的特征图进行目标位置和类别信息的预测。

在一实施方式中，所述对所述图像的尺寸进行归一化处理，得到满足预设尺寸的第一归一化图像之前，还包括：对所述图像进行字符标注。

在一实施方式中，所述检测待识别图像中是否存在具有车牌的车辆，包括：获取基于图像采集装置对预设监控区域采集的待识别图像；将所述待识别图像输入已训练后的用于车辆识别的第二神经网络模型，得到所述待识别图像中是否存在具有车牌的车辆的识别结果。

在一实施方式中，所述将所述待识别图像输入已训练后的用于车辆识别的第二神经网络模型，得到所述待识别图像中是否存在具有车牌的车辆的识别结果之前，还包括：获取第二训练样本图像；对所述第二训练样本图像的尺寸进行归一化处理，得到满足预设尺寸的第二归一化图像；将所述第二归一化图像依次先后进行六个卷积层和五个卷积层的卷积处理，得到所述第二归一化图像的特征图；基于所述特征图确定所述第二训练样本图像中是否存在具有车牌的车辆的识别结果。

在一实施方式中，还包括：在所述待识别图像中存在具有车牌的车辆时，对所述待识别图像进行车型识别，获取所述车辆的车型。

在一实施方式中，还包括：在所述待识别图像中存在具有车牌的车辆时，对所述待识别图像进行车牌颜色和/或车牌类型识别，获取所述车辆的车牌颜色和/或车牌类型。

这里，获取车辆的标签时，可以包括车牌颜色，车牌类型等等。

在一实施方式中，还包括：获取所述车辆的高度和/或宽度；确定所述车辆的高度和/或宽度不满足预设通行条件时，发出提醒消息。

这里，例如设置一般的小轿车的宽度和高度分别为一个范围，若识别出物体不不满足预设通行条件时，发出提醒消息，这样能够快速提高识别速度。

请参阅图2，下面以一个更详尽的例子对本申请实施例的车牌识别方法作进一步详细的说明。该车牌识别方法包括如下步骤：

s1：输入图像；

s2：一极检测：

这里，对输入的图像首先采用一级检测器对图像中的车辆和该车辆上的车牌进行检测。

s3：是否有车辆并有车牌区域；

这里，对一级检测后的目标判断其是否是车辆，如果是车辆并且车辆目标上存在车牌区域则对改车牌区域进行车牌字符二级检测，否则进入步骤s6。

s4：二级检测；

这里，对一级检测检测出的车牌区域进行二级检测，检出车牌字符的位置和类别。

s5：输出车牌字符号码；

这里，根据二级检测输出的车牌字符位置对车牌号码进行整合，输出排序好的车牌字符。对于单层牌依据坐标从左到右进行排序，对于双层牌，按照顶部的2个字符从左到右加上底部的5个字符从左到右进行排序。

s6：结束。

这里，请参阅图3，输入图像被归一化成300×300的大小后输入一级检测模块中，首先经过6层卷积层提取特征，在此过程中不断对图像进行下采样和逐元素相加的运算。经过6层卷积操作以后再使其经过5层卷积层进行上采样和逐元素相加操作，这样便可获得图像的高层特征，通过使前层卷积层的特征与后层卷积生成的特征图进行相加操作，能够让后层的卷积操作能够有效的利用前层卷积的底层特征信息。对图像进行特征提取操作后，选择卷积层8，9，10，11的特征图进行目标位置和类别信息的预测。

进一步地，请参阅图4，对图像进行一级检测后获取车身图区域内的车牌区域图片归一化成60*150输入到二级检测模块中。经过连续6层卷积层对输入图像提取特征，然后将卷积层2，4，6层输出的特征来预测图像中车牌字符的位置和类别信息。

这里，基于深度学习的车辆车牌检测模型需要设置3个标签(车身，车牌，背景)，对输入的图片做标注，标注的规则为车身和车牌的最小外接矩形，常见的标注方式如图5。

这里，详细的车牌字符标注方式如图6所示。车牌字符识别模型需要设置69个标签，根据常见的六种车牌(单层蓝牌，单层黄牌，双层黄牌，新能源车牌，港澳牌，警牌)可以得到常见车牌的69个字符，分别为：“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”、“9”、“a”、“b”、“c”、“d”、“e”、“f”、“g”、“h”、“j”、“k”、“l”、“m”、“n”、“p”、“q”、“r”、“s”、“t”、“u”、“v”、“w”、“x”、“y”、“z”、“港”、“澳”、“川”、“浙”、“鄂”、“甘”、“赣”、“挂”、“贵”、“桂”、“黑”、“沪”、“吉”、“冀”、“津”、“晋”、“京”、“辽”、“鲁”、“蒙”、“闽”、“宁”、“青”、“琼”、“陕”、“苏”、“皖”、“湘”、“新”、“学”、“渝”、“豫”、“粤”、“云”、“藏”。在一级检测检测到车牌后，对检测的车牌区域做字符标注，标注的方式为每个字符的最小外接矩形。

本申请上述实施例通过使用两个不同的卷积神经网络的方法直接可以直接对车辆进行车牌字符检测和识别，解决了用传统算法进行车牌识别过车繁琐和识别率低的问题，提高了车牌识别的准确率和开发效率。

在另一实施方式中，如图7所示，还提供了一种电子设备，包括：至少一个处理器210和用于存储能够在处理器210上运行的计算机程序的存储器211；其中，图7中示意的处理器210并非用于指代处理器的个数为一个，而是仅用于指代处理器相对其他器件的位置关系，在实际应用中，处理器的个数可以为一个或多个；同样，图7中示意的存储器211也是同样的含义，即仅用于指代存储器相对其他器件的位置关系，在实际应用中，存储器的个数可以为一个或多个。

其中，所述处理器210用于运行所述计算机程序时，执行如下步骤：

检测待识别图像中是否存在具有车牌的车辆；确定所述待识别图像中存在具有车牌的车辆时，获取所述车辆的车牌所在区域的图像；将所述图像输入已训练后的用于车牌内的字符识别的第一神经网络模型，得到所述图像的各字符的位置和标签；根据所述各字符的位置以设定排序方式对所述各字符进行排序，得到排序后的所述各字符；根据所述各字符的标签和排序后的所述各字符，确定所述车辆的车牌号码。

在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：

获取第一训练样本图像；根据所述第一训练样本图像获取所述第一训练样本图像中车辆的车牌所在区域的图像；对所述图像的尺寸进行归一化处理，得到满足预设尺寸的第一归一化图像；将所述第一归一化图像进行六个卷积层的卷积处理，得到所述第一归一化图像在第2卷积层、第4卷积层和第6卷积层中的特征图；基于所述特征图，确定所述第一训练样本图像的各字符的位置和标签。

在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：

对所述图像进行字符标注。

在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：

获取基于图像采集装置对预设监控区域采集的待识别图像；将所述待识别图像输入已训练后的用于车辆识别的第二神经网络模型，得到所述待识别图像中是否存在具有车牌的车辆的识别结果。

在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：

获取第二训练样本图像；对所述第二训练样本图像的尺寸进行归一化处理，得到满足预设尺寸的第二归一化图像；将所述第二归一化图像依次先后进行六个卷积层和五个卷积层的卷积处理，得到所述第二归一化图像的特征图；基于所述特征图确定所述第二训练样本图像中是否存在具有车牌的车辆的识别结果。

在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：

在所述待识别图像中存在具有车牌的车辆时，对所述待识别图像进行车型识别，获取所述车辆的车型。

在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：

在所述待识别图像中存在具有车牌的车辆时，对所述待识别图像进行车牌颜色和/或车牌类型识别，获取所述车辆的车牌颜色和/或车牌类型。

在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：

获取所述车辆的高度和/或宽度；确定所述车辆的高度和/或宽度不满足预设通行条件时，发出提醒消息。

该计算机设备还可以包括：至少一个网络接口212。发送端中的各个组件通过总线系统213耦合在一起。可理解，总线系统213用于实现这些组件之间的连接通信。总线系统213除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统213。

其中，存储器211可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，readonlymemory)、可编程只读存储器(prom，programmableread-onlymemory)、可擦除可编程只读存储器(eprom，erasableprogrammableread-onlymemory)、电可擦除可编程只读存储器(eeprom，electricallyerasableprogrammableread-onlymemory)、磁性随机存取存储器(fram，ferromagneticrandomaccessmemory)、快闪存储器(flashmemory)、磁表面存储器、光盘、或只读光盘(cd-rom，compactdiscread-onlymemory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，randomaccessmemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，staticrandomaccessmemory)、同步静态随机存取存储器(ssram，synchronousstaticrandomaccessmemory)、动态随机存取存储器(dram，dynamicrandomaccessmemory)、同步动态随机存取存储器(sdram，synchronousdynamicrandomaccessmemory)、双倍数据速率同步动态随机存取存储器(ddrsdram，doubledataratesynchronousdynamicrandomaccessmemory)、增强型同步动态随机存取存储器(esdram，enhancedsynchronousdynamicrandomaccessmemory)、同步连接动态随机存取存储器(sldram，synclinkdynamicrandomaccessmemory)、直接内存总线随机存取存储器(drram，directrambusrandomaccessmemory)。本发明实施例描述的存储器211旨在包括但不限于这些和任意其它适合类型的存储器。

本发明实施例中的存储器211用于存储各种类型的数据以支持发送端的操作。这些数据的示例包括：用于在发送端上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序，用于实现各种应用业务。这里，实现本发明实施例方法的程序可以包含在应用程序中。

本实施例还提供了一种计算机存储介质，例如包括存储有计算机程序的存储器211，上述计算机程序可由发送端中的处理器210执行，以完成前述方法所述步骤。计算机存储介质可以是fram、rom、prom、eprom、eeprom、flashmemory、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如智能手机、平板电脑、笔记本电脑等。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。