一种车牌字符识别方法和装置与流程

本发明涉及图像处理技术领域，具体而言，涉及一种车牌字符识别方法和装置。

背景技术：

目前，车牌识别，是以数字图像处理以及计算机视觉和识别等技术为基础，对拍摄的车辆图像进行分析，从而得到每辆汽车的车牌号码的技术，随着城市交通的发展，车牌识别的技术已经在查处车辆违章和高速公路收费等方面得到广泛应用。

相关技术中进行车牌识别的过程包括：获取车牌的字符图像，对获取到的字符图像进行二值化，然后对二值化后的字符图像进行处理，以对车牌上的字符进行识别。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

由于在对字符图像进行识别之前需要对字符图像进行图像二值化，造成图像二值化后的字符图像丢失了很多的图像信息，而且，图像二值化本身还会导致字符图像与周围背景噪声图像发生粘连，使得字符的识别变的困难，降低了车牌字符的识别率。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供一种车牌字符识别方法和装置，以提高车牌字符的识别率。

第一方面，本发明实施例提供了一种车牌字符识别方法，包括：

获取待识别的彩色车牌字符图像；

对获取到的所述彩色车牌字符图像进行图像处理；

通过预先训练的车牌识别模型对图像处理后的所述彩色车牌字符图像中的字符进行识别，得到所述彩色车牌字符图像中的字符分别与所述车牌识别模型中各预设字符的相似度，其中，所述车牌识别模型是通过深度学习网络预先训练得到的；

确定相似度最大的预设字符与彩色车牌字符图像中的字符相一致。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中：对获取到的所述彩色车牌字符图像进行图像处理，包括：

获取所述彩色车牌字符图像中三个图像通道的像素值；

根据获取到的所述三个图像通道的像素值分别减去预先得到的所述三个图像通道的图像均值，得到所述彩色车牌字符图像的差值图像；

对所述彩色车牌字符图像的差值图像进行镜像操作，得到所述彩色车牌字符图像的镜像图像；

将所述彩色车牌字符图像和相应的镜像图像进行水平拼接；

对水平拼接后的图像进行直方图均衡处理，得到所述图像处理后的彩色车牌字符图像。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中：所述方法还包括：通过深度学习网络训练车牌识别模型，包括：

获取车牌中所有字符的彩色字符图像；

对获取到的所有字符的彩色字符图像进行预处理，得到待训练字符图像；

通过预先设置的深度学习网络对得到的待训练字符图像进行训练，得到深度学习网络的当前输出结果；

通过损失函数计算得到的深度学习网络的当前输出结果与标定类别信息之间的本次输出结果差值；

判断得到的本次输出结果差值与上次输出结果差值的差是否小于预设数值，其中，所述上次输出结果差值是深度学习网络的上次输出结果与标定类别信息之间的计算结果；

如果是，则根据得到的深度学习网络的输出结果生成车牌识别模型。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中：对获取到的所有字符的彩色字符图像进行预处理，得到待训练字符图像，包括：

将所述所有字符的彩色字符图像中的字符进行平面内倾斜和纵深倾斜，得到所述所有字符的彩色字符图像的倾斜图像；

将作为预处理图像的所述所有字符的彩色字符图像和所述倾斜图像进行镜像操作，得到所述预处理图像的镜像图像；

将所述预处理图像和所述预处理图像的镜像图像进行水平拼接；

对水平拼接后的图像进行直方图均衡处理，得到待训练字符图像。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中：对获取到的所有字符的彩色字符图像进行预处理，得到待训练字符图像，还包括：

分别获取所述待训练字符图像中三个图像通道的像素值和像素数量；

通过获取到的所述待训练字符图像中三个图像通道的像素值和像素数量，计算所述三个图像通道的图像均值，并对计算得到的所述三个图像通道的图像均值进行缓存。

第二方面，本发明实施例还提供一种车牌字符识别装置，包括：

图像获取模块，用于获取待识别的彩色车牌字符图像；

图像处理模块，用于对获取到的所述彩色车牌字符图像进行图像处理；

字符识别模块，用于通过预先训练的车牌识别模型对图像处理后的所述彩色车牌字符图像中的字符进行识别，得到所述彩色车牌字符图像中的字符分别与所述车牌识别模型中各预设字符的相似度，其中，所述车牌识别模型是通过深度学习网络预先训练得到的；

确定模块，用于确定相似度最大的预设字符与彩色车牌字符图像中的字符相一致。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中：所述图像处理模块，包括：

像素值获取单元，用于获取所述彩色车牌字符图像中三个图像通道的像素值；

差值图像处理单元，用于根据获取到的所述三个图像通道的像素值分别减去预先得到的所述三个图像通道的图像均值，得到所述彩色车牌字符图像的差值图像；

镜像单元，用于对所述彩色车牌字符图像的差值图像进行镜像操作，得到所述彩色车牌字符图像的镜像图像；

拼接单元，用于将所述彩色车牌字符图像和相应的镜像图像进行水平拼接；

处理单元，用于对水平拼接后的图像进行直方图均衡处理，得到所述图像处理后的彩色车牌字符图像。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中：所述装置还包括：

字符获取模块，用于获取车牌中所有字符的彩色字符图像；

预处理模块，用于对获取到的所有字符的彩色字符图像进行预处理，得到待训练字符图像；

训练模块，用于通过预先设置的深度学习网络对得到的待训练字符图像进行训练，得到深度学习网络的当前输出结果；

计算模块，用于通过损失函数计算得到的深度学习网络的当前输出结果与标定类别信息之间的本次输出结果差值；

判断模块，用于判断得到的本次输出结果差值与上次输出结果差值的差是否小于预设数值，其中，所述上次输出结果差值是深度学习网络的上次输出结果与标定类别信息之间的计算结果；

模型生成模块，用于如果所述判断模块判断结果为是时，根据得到的深度学习网络的输出结果生成车牌识别模型。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中：所述预处理模块，包括：

倾斜单元，用于将所述所有字符的彩色字符图像中的字符进行平面内倾斜和纵深倾斜，得到所述所有字符的彩色字符图像的倾斜图像；

镜像操作单元，用于将作为预处理图像的所述所有字符的彩色字符图像和所述倾斜图像进行镜像操作，得到所述预处理图像的镜像图像；

预处理图像拼接单元，用于将所述预处理图像和所述预处理图像的镜像图像进行水平拼接；

直方图均衡处理单元，用于对水平拼接后的图像进行直方图均衡处理，得到待训练字符图像。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中：所述预处理模块，还包括：

第一像素处理单元，用于分别获取所述待训练字符图像中三个图像通道的像素值和像素数量；

第二像素处理单元，用于通过获取到的所述待训练字符图像中三个图像通道的像素值和像素数量，计算所述三个图像通道的图像均值，并对计算得到的所述三个图像通道的图像均值进行缓存。

本发明实施例提供的一种车牌字符识别方法和装置，通过对彩色车牌字符图像进行处理和识别，与现有技术中需要先对字符图像进行二值化后再对二值化后的字符图像进行识别的过程相比，无需进行字符图像的二值化，可以保证在车牌识别的过程中被识别的彩色车牌字符图像具有更多的图像信息，且不会造成字符图像与周围背景噪声图像发生粘连，使得对彩色车牌字符图像的识别变得简单，提高了车牌字符的识别率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例1所提供的一种车牌字符识别方法的流程图；

图2示出了本发明实施例1所提供的一种车牌字符识别方法，通过深度学习网络训练车牌识别模型具体方法的流程图；

图3示出了本发明实施例2所提供的一种车牌字符识别装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，由于在对字符图像进行识别之前需要对字符图像进行图像二值化，造成图像二值化后的字符图像丢失了很多的图像信息，而且，图像二值化本身还会导致字符图像与周围背景噪声图像发生粘连，使得字符的识别变的困难，降低了车牌字符的识别率。基于此，本申请提供一种车牌字符识别方法和装置。

实施例1

为便于对本实施例进行理解，首先对本发明实施例所公开的一种车牌字符识别方法进行详细介绍。

本实施例所公开的一种车牌字符识别方法，执行主体是计算设备，该计算设备，用于直接通过对彩色车牌字符图像进行处理和识别，来确定彩色车牌字符图像中的字符。

计算设备，可以采用现有的任何型号的计算机或者服务器，确定彩色车牌字符图像中的字符，这里不再一一赘述。

参见图1，本实施例提供一种车牌字符识别方法，该方法包括以下步骤100至步骤106。

在本发明实施例中，在通过步骤100获取待识别的彩色车牌字符图像之前，首先需要通过以下步骤200至步骤210建立车牌识别模型。

参见图2，通过深度学习网络训练车牌识别模型，包括以下步骤200至步骤210：

步骤200、获取车牌中所有字符的彩色字符图像。

其中，上述车牌中所有字符，包括但不限于：车牌号码中常见的10个数字、25个字母(没有字母I)、32个省级行政区的汉字简称的图像。

计算设备会通过现有车牌识别技术以及人工标定两种方式来获取上述车牌中所有字符中各个字符的彩色图像。为了保证图像识别的准确率，应尽可能多的获取各字符在不同情况下的彩色图像，比如可以收集同一字符在不同颜色车牌(蓝色车牌、白色车牌、黑色车牌和黄色车牌)、在不同时段(上午、中午和晚上)以及不同天气情况(晴朗、多云、下雨)下的彩色字符图像。

步骤202、对获取到的所有字符的彩色字符图像进行预处理，得到待训练字符图像。

步骤204、通过预先设置的深度学习网络对得到的待训练字符图像进行训练，得到深度学习网络的当前输出结果。

具体地，通过预先设置了初始化参数(一般通过高斯分布进行初始化)的深度学习网络对收集到的字符图像进行训练，将该深度学习网络的输出结果与第一步的字符图像的标定信息直接的差异逐层返回到整个网络中，更新整个网络的参数，然后继续将字符图像输入到网络中进行训练，多次循环进行训练直至网络的输出和字符图像的标定信息之间的差异逐步缩小至不再产生明显的波动为止。

其中，上述深度学习网络可以采用现有的任意深度学习网络，该深度学习网络包括卷积层、池化层、全连接层、非线性层、损失计算层等。

卷积层通过图像处理中常见的卷积运算使得图像的特征信号增强并降低噪音，卷积层中的每个神经元与输入图像中的一个较小局部区域内的像素进行运算，通过卷积运算获得图像的特征；池化层利用图像的局部区域所表达的特征信息接近的原理通过抽样的方式减少特征数量，调试增强学习到特征的平移不变性，具体包括最大化采样、平均值采样和随机采样，常用的是最大化采样；非线性层通过一些非线性函数，对输入的特征进行非线性的变换，使得输出特征有较强的表达能力；全连接层可以把输入的特征投影到一个更好的子空间以利于属性预测，它的每个神经元都与上一层的所有神经元相连接，如上述内容包含67个类别，那么全连接层输出的神经元个数也就是67，即每个节点输出字符图像属于该结点的概率。

在本实施例中，每个节点输出字符图像属于该结点的概率由该字符图像与该节点对应的预设字符的相似度进行表示。

上述输出结果是一个长度和字符类别数目一样的数组，数组中的每个数代表当前字符图像属于某个预设字符的概率，即当前字符图像与某个预设字符的相似度。

在通过上述步骤204得到深度学习网络的当前输出结果之后，继续通过以下步骤206的操作得到本次输出结果差值。

步骤206、通过损失函数计算得到的深度学习网络的当前输出结果与标定类别信息之间的本次输出结果差值。

在上述步骤206中，损失函数可以采用现有的任何可以计算得到的深度学习网络的当前输出结果与标定类别信息之间的本次输出结果差值进行计算，这里不再一一赘述。

上述标定类别信息指的是训练集中彩色字符图像的标定信息，如训练集中的一张彩色字符图像被人工标定为数字1，那么这张图像的标定信息就是数字1。

步骤208、判断得到的本次输出结果差值与上次输出结果差值的差是否小于预设数值，如果是，则执行步骤210，如果否，则执行步骤204；其中，上次输出结果差值是深度学习网络的上次输出结果与标定类别信息之间的计算结果。

在上述步骤206至步骤208中，上述深度学习网络的损失计算层主要是计算输出的结果与人工标定结果之间的误差。在全连接层输出的概率与事先人工标定的信息进行比较，计算输出结果与真实标定结果之间的差异，这个差异通过损失函数来计算得出，然后网络会将这个差异逐层返回到整个网络的每个参数中，更新每个参数，使得这个差异变小。然后再次进行网络的前向传导，输出识别结果，再次与真实标定结果进行比较，如此往复，直至整个网络的输出结果与真实标定信息之间的差异逐步变小至不再产生明显的波动。

步骤210、根据得到的深度学习网络的输出结果生成车牌识别模型。

相关技术中，采用传统的机器学习方法来建立车牌字符识别模型，并在建立车牌字符识别模型过程中采用人工设计的特征，人工设计的特征主要依靠设计者的先验知识，往往通过人工经验调整参数，会导致建立的模型不能有效识别真实图像中的车牌。所以，为了保证建立的车牌识别模型的字符识别率，上述对获取到的所有字符的彩色字符图像进行预处理，得到待训练字符图像，包括以下步骤(1)至步骤(4)：

(1)将所有字符的彩色字符图像中的字符进行平面内倾斜和纵深倾斜，得到所有字符的彩色字符图像的倾斜图像；

(2)将作为预处理图像的所有字符的彩色字符图像和倾斜图像进行镜像操作，得到预处理图像的镜像图像；

(3)将预处理图像和预处理图像的镜像图像进行水平拼接；

(4)对水平拼接后的图像进行直方图均衡处理，得到待训练字符图像。

在上述步骤(1)中，所有字符的彩色字符图像中的字符进行平面内倾斜和纵深倾斜，是由于在实际场景中所安装的摄像机角度各有不同，经常会出现所拍摄的车牌在图像中并不是保持水平的，而是有一定的倾斜角度，此处在预处理中的随机小角度旋转就是为了模拟现实中的此类场景，一般旋转角度为5度以内，这个是经验数值。

在上述步骤(4)中，直方图均衡，是解决强顺光和强逆光场景中的彩色字符图像的对比度较低导致图像无法识别的，通过直方图均衡操作，彩色字符图像中的三个图像通道可以更好地在直方图上分布，增强图像的对比度。

除了上述的预处理操作之外，计算设备还可以对彩色字符图像进行随机取图像局部区域操作；该随机取图像局部区域操作，主要是为了解决实际情况中的车牌字符在进行切分的时候出现的切分不准确而出现残缺图像的情况，故在训练解决人为的模拟一些残缺图像的情况。该随机取图像局部区域操作可以进一步增加建立的车牌识别模型中预设字符的数量，提高车牌识别模型的性能，而深度学习训练得到的车牌识别模型的性能与训练集中预设字符的数量规模在同样的网络结构下基本是成线性正比关系，进一步提高字符识别性能。

上述进行图像水平拼接至特定尺寸的操作和直方图均衡操作的执行顺序可以互换，不必非得按照步骤(1)至步骤(4)中所描述的流程执行。

通过以上步骤(1)至步骤(4)的描述可以看出，将所有字符的彩色字符图像中的字符进行平面内倾斜和纵深倾斜，得到所有字符的彩色字符图像的倾斜图像，并将所有字符的彩色字符图像和得到的倾斜图像作为预处理图像，使车牌识别模型中的字符数量增加一倍，从而可以在通过车牌识别模型中的预设字符进行字符识别时，利用车牌识别模型中字符数量的优势，提高车牌识别模型的字符识别率；而且，通过将预处理图像和预处理图像的镜像图像进行水平拼接，得到待训练字符图像，可以构成一张宽高比例成为1比1的图像，解决了现有技术中由于我国的机动车号牌有固定的宽高标准，每个字符图像的宽高比例基本在1：2左右，而目前的深度学习网络中多数处理的图像都是宽高比例为1比1，如果强行将字符图像归一化到深度学习网络所要求的图像尺寸，则会造成图像严重变形和失真，大量的有用信息被错误使用的问题，水平拼接后得到的待训练字符图像符合目前主流深度学习网络的训练图像标准，这样做一方面可以利用现有成熟的深度学习网络结构，还可以在识别模糊图像时候为网络提供比单张图像更加丰富的图像信息，进一步提高了字符识别性能。

为了保证生成的车牌识别模型可以顺利的对彩色车牌字符图像进行识别，上述对获取到的所有字符的彩色字符图像进行预处理，得到待训练字符图像，还包括以下步骤(1)至步骤(2)：

(1)分别获取待训练字符图像中三个图像通道的像素值和像素数量；

(2)通过获取到的待训练字符图像中三个图像通道的像素值和像素数量，计算三个图像通道的图像均值，并对计算得到的三个图像通道的图像均值进行缓存。

上述图像通道，是指在RGB色彩模式中任一图像中单独的红色、绿色、蓝色部分的像素值之和。也就是说，一幅完整的图像，是由红色绿色蓝色三个图像通道组成的。他们共同作用产生了完整的图像。

上述三个图像通道，包括任一图像中红色像素值之和、绿色像素值之和以及蓝色像素值之和。

在建立车牌识别模型之后，可以通过以下步骤100至步骤106对待识别的彩色车牌字符图像进行识别。

步骤100、获取待识别的彩色车牌字符图像。

具体地，上述待识别的彩色车牌字符图像的获取过程包括如下步骤(1)至(2)：

(1)从与计算设备连接的监控设备中获取监控设备所拍摄到的彩色车牌图像；

(2)对获取到彩色车牌图像进行车牌定位和字符切分操作，得到待识别的彩色车牌字符图像。

上述步骤(1)中，监控设备，设置在卡口、电警、收费站和停车场等场景中。

上述步骤(2)中，可以采用现有的任何能够对彩色车牌图像进行车牌定位和字符切分的算法，来对彩色车牌图像进行操作，这里不再一一赘述。

步骤102、对获取到的彩色车牌字符图像进行图像处理。

步骤104、通过预先训练的车牌识别模型对图像处理后的彩色车牌字符图像中的字符进行识别，得到彩色车牌字符图像中的字符分别与车牌识别模型中各预设字符的相似度。

在步骤104中，上述车牌识别模型是通过深度学习网络预先训练得到的。

在通过预先训练的车牌识别模型对图像处理后的彩色车牌字符图像中的字符进行识别的过程中，车牌识别模型的最终输出层包含有多个节点，每个节点对应一个预设的字符，而每个节点输出的是该待识别彩色车牌字符图像属于某个预设字符的概率，如：第一个输出节点表示该字符图像为数字0的概率，第二个输出节点为该字符图像属于数字1的概率，以此类推，并且所有输出节点的概率的和为1。

上述节点输出的概率，表示彩色车牌字符图像中的字符与该节点对应的预设字符的相似度。

上述预设字符，包括但不限于：车牌号码中常见的10个数字、25个英文字母(没有字母I)以及32个省级行政区的汉字简称。

步骤106、确定相似度最大的预设字符与彩色车牌字符图像中的字符相一致。

在上述步骤106中，从所有输出节点输出的概率值中寻找概率最大的一个节点，确定该概率值最大的节点对应的预设字符就是彩色车牌字符图像中的字符。

综上所述，本实施例提供的一种车牌字符识别方法和装置，通过对彩色车牌字符图像进行处理和识别，与现有技术中需要先对字符图像进行二值化后再对二值化后的字符图像进行识别的过程相比，无需进行字符图像的二值化，可以保证在车牌识别的过程中被识别的彩色车牌字符图像具有更多的图像信息，不会造成字符图像与周围背景噪声图像发生粘连，使得对彩色车牌字符图像的识别变得简单，提高了车牌字符的识别率。

相关技术中，在获取包含车牌的高清图像之后，需要对整张图像进行多种图像处理，由于目前安防监控相机的分辨率大多都在720p以上，这样就使得相关技术中所需要做的图像处理的效率较为低下。为了提高图像的处理效率，上述对获取到的彩色车牌字符图像进行图像处理，包括以下步骤(1)至步骤(5)：

(1)获取彩色车牌字符图像中三个图像通道的像素值；

(2)根据获取到的三个图像通道的像素值分别减去预先得到的三个图像通道的图像均值，得到彩色车牌字符图像的差值图像；

(3)对彩色车牌字符图像的差值图像进行镜像操作，得到彩色车牌字符图像的镜像图像；

(4)将彩色车牌字符图像和相应的镜像图像进行水平拼接；

(5)对水平拼接后的图像进行直方图均衡处理，得到图像处理后的彩色车牌字符图像。

上述进行图像水平拼接至特定尺寸的操作和直方图均衡操作的执行顺序可以互换，不必非得按照步骤(1)至步骤(5)中所描述的流程执行。

综上所述，在得到字符图像后，才对得到的字符图像进行差值、水平拼接以及直方图均衡等预处理操作，无需对整张车牌图像进行图像处理操作，可以提高图像的处理效率；而且，通过将彩色字符图像和相应的镜像图像进行水平拼接，得到图像处理后的彩色车牌字符图像，可以构成一张宽高比例成为1比1的图像，解决了现有技术中由于我国的机动车号牌有固定的宽高标准，每个字符图像的宽高比例基本在1：2左右，而目前的深度学习网络中多数处理的图像都是宽高比例为1比1，如果强行将字符图像归一化到深度学习网络所要求的图像尺寸，则会造成图像严重变形和失真，大量的有用信息被错误使用的问题，水平拼接后得到的待训练字符图像符合目前主流深度学习网络的训练图像标准，这样做一方面可以利用现有成熟的深度学习网络结构，还可以在识别模糊图像时候为网络提供比单张图像更加丰富的图像信息，进一步提高了字符识别性能。

实施例2

参见图3，本实施例提供一种车牌字符识别装置，用于执行上述的车牌字符识别方法，包括：

图像获取模块300，用于获取待识别的彩色车牌字符图像；

图像处理模块302，用于对获取到的彩色车牌字符图像进行图像处理；

字符识别模块304，用于通过预先训练的车牌识别模型对图像处理后的彩色车牌字符图像中的字符进行识别，得到彩色车牌字符图像中的字符分别与车牌识别模型中各预设字符的相似度，其中，车牌识别模型是通过深度学习网络预先训练得到的；

确定模块306，用于确定相似度最大的预设字符与彩色车牌字符图像中的字符相一致。

相关技术中，在获取包含车牌的高清图像之后，需要对整张图像进行多种图像处理，由于目前安防监控相机的分辨率大多都在720p以上，这样就使得相关技术中所需要做的图像处理的效率较为低下。为了提高图像的处理效率，上述图像处理模块302，包括：

像素值获取单元，用于获取彩色车牌字符图像中三个图像通道的像素值；

差值图像处理单元，用于根据获取到的三个图像通道的像素值分别减去预先得到的三个图像通道的图像均值，得到彩色车牌字符图像的差值图像；

镜像单元，用于对彩色车牌字符图像的差值图像进行镜像操作，得到彩色车牌字符图像的镜像图像；

拼接单元，用于将彩色车牌字符图像和相应的镜像图像进行水平拼接；

处理单元，用于对水平拼接后的图像进行直方图均衡处理，得到图像处理后的彩色车牌字符图像。

综上所述，在得到字符图像后，才对得到的字符图像进行差值、水平拼接以及直方图均衡等预处理操作，无需对整张车牌图像进行图像处理操作，可以提高图像的处理效率；而且，通过将将彩色字符图像和相应的镜像图像进行水平拼接，得到图像处理后的彩色车牌字符图像，可以构成一张宽高比例成为1比1的图像，解决了现有技术中由于我国的机动车号牌有固定的宽高标准，每个字符图像的宽高比例基本在1：2左右，而目前的深度学习网络中多数处理的图像都是宽高比例为1比1，如果强行将字符图像归一化到深度学习网络所要求的图像尺寸，则会造成图像严重变形和失真，大量的有用信息被错误使用的问题，水平拼接后得到的待训练字符图像符合目前主流深度学习网络的训练图像标准，这样做一方面可以利用现有成熟的深度学习网络结构，还可以在识别模糊图像时候为网络提供比单张图像更加丰富的图像信息，进一步提高了字符识别性能。

上述车牌字符识别装置还包括：

字符获取模块，用于获取车牌中所有字符的彩色字符图像；

预处理模块，用于对获取到的所有字符的彩色字符图像进行预处理，得到待训练字符图像；

训练模块，用于通过预先设置的深度学习网络对得到的待训练字符图像进行训练，得到深度学习网络的当前输出结果；

计算模块，用于通过损失函数计算得到的深度学习网络的当前输出结果与标定类别信息之间的本次输出结果差值；

判断模块，用于判断得到的本次输出结果差值与上次输出结果差值的差是否小于预设数值，其中，上次输出结果差值是深度学习网络的上次输出结果与标定类别信息之间的计算结果；

模型生成模块，用于如果判断模块判断结果为是时，根据得到的深度学习网络的输出结果生成车牌识别模型。

相关技术中，采用传统的机器学习方法来建立车牌字符识别模型，并在建立车牌字符识别模型过程中采用人工设计的特征，人工设计的特征主要依靠设计者的先验知识，往往通过人工经验调整参数，会导致建立的模型不能有效识别真实图像中的车牌。所以，为了保证建立的车牌识别模型的字符识别率，上述预处理模块，包括：

倾斜单元，用于将所有字符的彩色字符图像中的字符进行平面内倾斜和纵深倾斜，得到所有字符的彩色字符图像的倾斜图像；

镜像操作单元，用于将作为预处理图像的所有字符的彩色字符图像和倾斜图像进行镜像操作，得到预处理图像的镜像图像；

预处理图像拼接单元，用于将预处理图像和预处理图像的镜像图像进行水平拼接；

直方图均衡处理单元，用于对水平拼接后的图像进行直方图均衡处理，得到待训练字符图像。

为了保证生成的车牌识别模型可以顺利的对彩色车牌字符图像进行识别，上述预处理模块，还包括：

第一像素处理单元，用于分别获取待训练字符图像中三个图像通道的像素值和像素数量；

第二像素处理单元，用于通过获取到的待训练字符图像中三个图像通道的像素值和像素数量，计算三个图像通道的图像均值，并对计算得到的三个图像通道的图像均值进行缓存。

通过以上描述可以看出，将所有字符的彩色字符图像中的字符进行平面内倾斜和纵深倾斜，得到所有字符的彩色字符图像的倾斜图像，并将所有字符的彩色字符图像和得到的倾斜图像作为预处理图像，使车牌识别模型中的字符数量增加一倍，从而可以在通过车牌识别模型中的预设字符进行字符识别时，利用车牌识别模型中字符数量的优势，提高车牌识别模型的字符识别率；而且，通过将预处理图像和预处理图像的镜像图像进行水平拼接，得到待训练字符图像，可以构成一张宽高比例成为1比1的图像，解决了现有技术中由于我国的机动车号牌有固定的宽高标准，每个字符图像的宽高比例基本在1：2左右，而目前的深度学习网络中多数处理的图像都是宽高比例为1比1，如果强行将字符图像归一化到深度学习网络所要求的图像尺寸，则会造成图像严重变形和失真，大量的有用信息被错误使用的问题，水平拼接后得到的待训练字符图像符合目前主流深度学习网络的训练图像标准，这样做一方面可以利用现有成熟的深度学习网络结构，还可以在识别模糊图像时候为网络提供比单张图像更加丰富的图像信息，进一步提高了字符识别性能。

本发明实施例所提供的进行一种车牌字符识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。