一种基于深度学习的车牌识别方法及装置与流程

本发明涉及图像处理技术领域，具体而言，涉及一种基于深度学习的车牌识别方法及装置。

背景技术：

在视频监控领域，通常需要在监控视频中进行车牌识别，以对车辆进行跟踪等。已知的方法中，可以基于监控视频的识别方案投票处理。具体的，在监控视频中采样得到视频图像，进而通过对所有的视频图像进行车牌识别，最终采纳所有的识别结果进行投票处理，得到车牌识别结果。

然而，上述方法中，由于可能存在运动模糊和散焦模糊的视频图像，这将导致车牌识别准确性较低。因此，为了提高车牌识别的准确性，亟需一种车牌识别方法。

技术实现要素：

本发明提供了一种基于深度学习的车牌识别方法及装置，以提高车牌识别的准确性。具体的技术方案如下。

第一方面，本发明实施例提供一种基于深度学习的车牌识别方法，所述方法包括：

在包含目标车牌的监控视频中，基于预设采样周期进行采样，得到包含所述目标车牌的多张视频图像；

将所述多张视频图像进行灰度转换，得到多张灰度视频图像；并将所述多张灰度视频图像归一化至预设大小，得到多张目标视频图像；

通过预设的x方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的x边缘图像；通过预设的y方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的y边缘图像；并根据各所述x边缘图像和对应的各所述y边缘图像，计算各所述目标视频图像对应的梯度图像；

将各所述梯度图像的像素值进行归一化，得到各归一化梯度图像，针对每张所述归一化梯度图像，对该归一化梯度图像进行直方图统计，得到该归一化梯度图像中各像素值的统计数量，并计算所述各统计数量占该归一化梯度图像总像素点数量的概率值，构建包含各所述概率值的该归一化梯度图像对应的梯度概率直方图；

获取预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板，并针对每张所述归一化梯度图像，计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离，以及该归一化梯度图像对应的梯度概率直方图与所述模糊车牌图像梯度概率直方图分布模板的第二余弦距离，根据所述第一余弦距离和所述第二余弦距离的大小，确定该归一化梯度图像对应的清晰度置信度；所述清晰车牌图像梯度概率直方图分布模板根据预先获取的清晰图像计算得到，所述模糊车牌图像梯度概率直方图分布模板根据预先获取的模糊图像计算得到；

将清晰度置信度大于预设置信度阈值的归一化梯度图像对应的视频图像输入预先训练得到的卷积神经网络中，得到各所述视频图像对应的车牌识别结果；并根据各所述视频图像对应的车牌识别结果，以及各所述视频图像对应归一化梯度图像的清晰度置信度，得到所述目标车牌的最终识别结果；所述车牌识别结果包含预设位数个字符。

可选的，所述根据各所述x边缘图像和对应的各所述y边缘图像，计算各所述目标视频图像对应的梯度图像的步骤包括：

根据以下公式，计算任一目标视频图像对应的梯度图像中任一点的像素值g（x，y）：

gx为所述任一目标视频图像对应的x边缘图像中任一点的像素值，gy为所述任一目标视频图像对应的y边缘图像中该点的像素值；

所述将各所述梯度图像的像素值进行归一化，得到各归一化梯度图像的步骤包括：

根据以下公式，对各所述梯度图像的像素值进行更新：

。

可选的，所述计算所述各统计数量占该归一化梯度图像总像素点数量的概率值的步骤包括：

根据以下公式，计算任一统计数量bi占该归一化梯度图像总像素点数量的概率值pi：

bj为该归一化梯度图像中像素值为j的像素点数量。

可选的，所述计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离的步骤包括：

根据以下公式，计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离：

xi为该归一化梯度图像对应的梯度概率直方图中像素值i对应的概率值，yi为所述清晰车牌图像梯度概率直方图分布模板中像素值i对应的概率值。

可选的，所述根据所述第一余弦距离和所述第二余弦距离的大小，确定该归一化梯度图像对应的清晰度置信度的步骤包括：

当所述第一余弦距离大于所述第二余弦距离时，确定该归一化梯度图像对应的清晰度置信度为所述第一余弦距离；

当所述第一余弦距离不大于所述第二余弦距离时，确定该归一化梯度图像对应的清晰度置信度为0。

可选的，所述根据各所述视频图像对应的车牌识别结果，以及各所述视频图像对应归一化梯度图像的清晰度置信度，得到所述目标车牌的最终识别结果的步骤包括：

按照所述车牌识别结果的排列顺序，针对所述目标车牌中第h个字符，当所述视频图像中部分图像第h个字符首选识别结果均为k，且各部分图像的首选后验概率sk与对应归一化梯度图像的清晰度置信度乘积之和最大时，确定所述目标车牌第h个字符的最终识别结果为k。

可选的，所述清晰车牌图像梯度概率直方图分布模板和所述模糊车牌图像梯度概率直方图分布模板的构建过程包括：

获取样本视频图像，将清晰度大于预设阈值的样本视频图像确定为清晰图像，将清晰度不大于所述预设阈值的样本视频图像确定为模糊图像；

计算各所述清晰图像对应的梯度概率直方图，以及各所述模糊图像对应的梯度概率直方图；

计算各所述清晰图像对应的梯度概率直方图中各同一像素值对应概率值的第一平均值，构建得到包含各所述第一平均值的清晰车牌图像梯度概率直方图分布模板；计算各所述模糊图像对应的梯度概率直方图中各同一像素值对应概率值的第二平均值，构建得到包含各所述第二平均值的模糊车牌图像梯度概率直方图分布模板。

可选的，所述卷积神经网络采用梯度反向传播算法进行训练，所述卷积神经网络的损失函数为：

其中，t为字符类别总数量，m为一个车牌中包含的字符位数，当得到分类结果正确时，yj的取值为1，否则为0；sj为所述卷积神经网络输出的首选后验概率：

ak为所述卷积神经网络估计得到的识别为字符k的距离，aj为所述卷积神经网络估计得到的识别为字符j的距离。

第二方面，本发明实施例提供一种基于深度学习的车牌识别装置，所述装置包括：

视频采样模块，用于在包含目标车牌的监控视频中，基于预设采样周期进行采样，得到包含所述目标车牌的多张视频图像；

灰度转换模块，用于将所述多张视频图像进行灰度转换，得到多张灰度视频图像；并将所述多张灰度视频图像归一化至预设大小，得到多张目标视频图像；

滤波运算模块，用于通过预设的x方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的x边缘图像；通过预设的y方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的y边缘图像；并根据各所述x边缘图像和对应的各所述y边缘图像，计算各所述目标视频图像对应的梯度图像；

直方图统计模块，用于将各所述梯度图像的像素值进行归一化，得到各归一化梯度图像，针对每张所述归一化梯度图像，对该归一化梯度图像进行直方图统计，得到该归一化梯度图像中各像素值的统计数量，并计算所述各统计数量占该归一化梯度图像总像素点数量的概率值，构建包含各所述概率值的该归一化梯度图像对应的梯度概率直方图；

清晰度计算模块，用于获取预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板，并针对每张所述归一化梯度图像，计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离，以及该归一化梯度图像对应的梯度概率直方图与所述模糊车牌图像梯度概率直方图分布模板的第二余弦距离，根据所述第一余弦距离和所述第二余弦距离的大小，确定该归一化梯度图像对应的清晰度置信度；所述清晰车牌图像梯度概率直方图分布模板根据预先获取的清晰图像计算得到，所述模糊车牌图像梯度概率直方图分布模板根据预先获取的模糊图像计算得到；

车牌识别模块，用于将清晰度置信度大于预设置信度阈值的归一化梯度图像对应的视频图像输入预先训练得到的卷积神经网络中，得到各所述视频图像对应的车牌识别结果；并根据各所述视频图像对应的车牌识别结果，以及各所述视频图像对应归一化梯度图像的清晰度置信度，得到所述目标车牌的最终识别结果；所述车牌识别结果包含预设位数个字符。

可选的，所述滤波运算模块，具体用于根据以下公式，计算任一目标视频图像对应的梯度图像中任一点的像素值g（x，y）：

gx为所述任一目标视频图像对应的x边缘图像中任一点的像素值，gy为所述任一目标视频图像对应的y边缘图像中该点的像素值；

所述直方图统计模块，具体用于根据以下公式，对各所述梯度图像的像素值进行更新：

。

可选的，所述直方图统计模块，具体用于根据以下公式，计算任一统计数量bi占该归一化梯度图像总像素点数量的概率值pi：

bj为该归一化梯度图像中像素值为j的像素点数量。

可选的，所述清晰度计算模块，具体用于根据以下公式，计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离：

xi为该归一化梯度图像对应的梯度概率直方图中像素值i对应的概率值，yi为所述清晰车牌图像梯度概率直方图分布模板中像素值i对应的概率值。

可选的，所述清晰度计算模块，具体用于当所述第一余弦距离大于所述第二余弦距离时，确定该归一化梯度图像对应的清晰度置信度为所述第一余弦距离；当所述第一余弦距离不大于所述第二余弦距离时，确定该归一化梯度图像对应的清晰度置信度为0。

可选的，所述车牌识别模块，具体用于按照所述车牌识别结果的排列顺序，针对所述目标车牌中第h个字符，当所述视频图像中部分图像第h个字符首选识别结果均为k，且各部分图像的首选后验概率sk与对应归一化梯度图像的清晰度置信度乘积之和最大时，确定所述目标车牌第h个字符的最终识别结果为k。

可选的，所述装置还包括：

图像获取模块，用于获取样本视频图像，将清晰度大于预设阈值的样本视频图像确定为清晰图像，将清晰度不大于所述预设阈值的样本视频图像确定为模糊图像；

直方图计算模块，用于计算各所述清晰图像对应的梯度概率直方图，以及各所述模糊图像对应的梯度概率直方图；

直方图分布模块构建模块，用于计算各所述清晰图像对应的梯度概率直方图中各同一像素值对应概率值的第一平均值，构建得到包含各所述第一平均值的清晰车牌图像梯度概率直方图分布模板；计算各所述模糊图像对应的梯度概率直方图中各同一像素值对应概率值的第二平均值，构建得到包含各所述第二平均值的模糊车牌图像梯度概率直方图分布模板。

可选的，所述卷积神经网络采用梯度反向传播算法进行训练，所述卷积神经网络的损失函数为：

其中，t为字符类别总数量，m为一个车牌中包含的字符位数，当得到分类结果正确时，yj的取值为1，否则为0。对于t这个连加是数学的一种表达，因为对于每个位置的字符，这个连加里面只有一个y是1，其余全是0；上述损失函数是对m个字符的loss的连加。sj为卷积神经网络输出的首选后验概率：

ak为所述卷积神经网络估计得到的识别为字符k的距离，aj为所述卷积神经网络估计得到的识别为字符j的距离。

由上述内容可知，本发明实施例提供的基于深度学习的车牌识别方法及装置，可以在包含目标车牌的监控视频中，基于预设采样周期进行采样，得到包含目标车牌的多张视频图像；将多张视频图像进行灰度转换，得到多张灰度视频图像；并将多张灰度视频图像归一化至预设大小，得到多张目标视频图像；通过预设的x方向滤波器分别对各目标视频图像进行卷积运算，得到各目标视频图像对应的x边缘图像；通过预设的y方向滤波器分别对各目标视频图像进行卷积运算，得到各目标视频图像对应的y边缘图像；并根据各x边缘图像和对应的各y边缘图像，计算各目标视频图像对应的梯度图像；将各梯度图像的像素值进行归一化，得到各归一化梯度图像，针对每张归一化梯度图像，对该归一化梯度图像进行直方图统计，得到该归一化梯度图像中各像素值的统计数量，并计算各统计数量占该归一化梯度图像总像素点数量的概率值，构建包含各概率值的该归一化梯度图像对应的梯度概率直方图；获取预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板，并针对每张归一化梯度图像，计算该归一化梯度图像对应的梯度概率直方图与清晰车牌图像梯度概率直方图分布模板的第一余弦距离，以及该归一化梯度图像对应的梯度概率直方图与模糊车牌图像梯度概率直方图分布模板的第二余弦距离，根据第一余弦距离和第二余弦距离的大小，确定该归一化梯度图像对应的清晰度置信度；清晰车牌图像梯度概率直方图分布模板根据预先获取的清晰图像计算得到，模糊车牌图像梯度概率直方图分布模板根据预先获取的模糊图像计算得到；将清晰度置信度大于预设置信度阈值的归一化梯度图像对应的视频图像输入预先训练得到的卷积神经网络中，得到各视频图像对应的车牌识别结果；并根据各视频图像对应的车牌识别结果，以及各视频图像对应归一化梯度图像的清晰度置信度，得到目标车牌的最终识别结果；车牌识别结果包含预设位数个字符，因此能够在采样得到视频图像后，计算每张视频图像对应的梯度概率直方图，并与预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板进行对比，确定视频图像的清晰度置信度，进而可以仅对清晰度置信度较大的视频图像进行车牌识别，也就是说，可以在所有的视频图像中去除模糊图像，仅利用清晰图像进行车牌识别，因此可以提高车牌识别的准确性。并且，在根据多张视频图像确定最终的车牌识别结果时，可以结合各视频图像对应的清晰度置信度进行计算，从而可以进一步提高车牌识别的准确性。本实施例中的卷积神经网络输出的车牌识别结果包含的字符位数与车牌数目一致，从而可以避免多识别或少识别字符的情况，提高车牌识别的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

在采样得到视频图像后，计算每张视频图像对应的梯度概率直方图，并与预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板进行对比，确定视频图像的清晰度置信度，进而可以仅对清晰度置信度较大的视频图像进行车牌识别，也就是说，可以在所有的视频图像中去除模糊图像，仅利用清晰图像进行车牌识别，因此可以提高车牌识别的准确性。并且，在根据多张视频图像确定最终的车牌识别结果时，可以结合各视频图像对应的清晰度置信度进行计算，从而可以进一步提高车牌识别的准确性。本实施例中的卷积神经网络输出的车牌识别结果包含的字符位数与车牌数目一致，从而可以避免多识别或少识别字符的情况，提高车牌识别的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于深度学习的车牌识别方法的一种流程示意图。

图2为本发明实施例中x方向滤波器和y方向滤波器的一种示意图。

图3为本发明实施例提供的基于深度学习的车牌识别方法的另一种流程示意图。

图4为本发明实施例提供的基于深度学习的车牌识别装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种基于深度学习的车牌识别方法及装置，能够提高车牌识别的准确性。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的基于深度学习的车牌识别方法的一种流程示意图。该方法应用于电子设备。该方法具体包括以下步骤。

s110：在包含目标车牌的监控视频中，基于预设采样周期进行采样，得到包含目标车牌的多张视频图像。

在本发明实施例中，可以调用车牌识别系统的前景检测和跟踪功能，识别出包含同一辆车的监控视频，上述同一辆车的车牌可以称为目标车牌。上述监控视频可以为在小区出入口、高速卡口等场景中采集的监控视频。

上述预设采样周期例如可以为100毫秒、500毫秒、1秒等，或者可以根据不同的场景设定，本发明实施例对此不做限定。

s120：将多张视频图像进行灰度转换，得到多张灰度视频图像；并将多张灰度视频图像归一化至预设大小，得到多张目标视频图像。

在本发明实施例中，上述采样得到的视频图像为彩色图像。为了计算各视频图像的梯度概率直方图，可以将视频图像进行灰度转换，也即将视频图像转换为图像像素值为0-255的图像，称为灰度视频图像。

得到各灰度视频图像后，还可以将各灰度视频图像大小进行归一化，例如，可以将各灰度视频图像均归一化至32*240像素，归一化后的图像可以称为目标视频图像。如此，可以避免因为各灰度视频图像大小不同所带来的梯度差异，进而减小根据梯度概率直方图计算车牌识别结果时对车牌识别结果的影响，提高车牌识别的准确性。

s130：通过预设的x方向滤波器分别对各目标视频图像进行卷积运算，得到各目标视频图像对应的x边缘图像；通过预设的y方向滤波器分别对各目标视频图像进行卷积运算，得到各目标视频图像对应的y边缘图像；并根据各x边缘图像和对应的各y边缘图像，计算各目标视频图像对应的梯度图像。

在本发明实施例中，可以用sobel算法计算各目标视频图像的梯度概率直方图。具体的，可以首先计算各目标视频图像的x边缘图像和y边缘图像。例如，假设输入目标视频图像为i，则其对应的x边缘图像gx和y边缘图像gy分别为：

gx=sx*i，gy=sy*i

其中，*为卷积操作；sx为x方向滤波器，sy为y方向滤波器。在一种示例中，sx和sy如图2所示。

在一种实现方式中，根据各x边缘图像和对应的各y边缘图像，计算各目标视频图像对应的梯度图像时，可以根据以下公式，计算任一目标视频图像对应的梯度图像中任一点的像素值g（x，y）：

gx为任一目标视频图像对应的x边缘图像中任一点的像素值，gy为该目标视频图像对应的y边缘图像中该点的像素值。

s140：将各梯度图像的像素值进行归一化，得到各归一化梯度图像，针对每张归一化梯度图像，对该归一化梯度图像进行直方图统计，得到该归一化梯度图像中各像素值的统计数量，并计算各统计数量占该归一化梯度图像总像素点数量的概率值，构建包含各概率值的该归一化梯度图像对应的梯度概率直方图。

在一种实现方式中，将各梯度图像的像素值进行归一化，得到各归一化梯度图像时，具体可以根据以下公式，对各梯度图像的像素值进行更新：

对各梯度图像的像素值进行归一化可以降低梯度方差过大导致的匹配不准确的问题，另外也可以降低后续进行直方图统计的计算复杂度，提高算法效率。

得到各归一化梯度图像后，可以进一步对各归一化梯度图像进行直方图统计，得到各归一化梯度图像中各像素值的统计数量。也就是说，针对每张归一化梯度图像，可以得到256个统计数量，可以表示为像素值0的数量b1，像素值1的数量b2，以此类推，像素值255的数量b255。

在一种实现方式中，针对每张归一化梯度图像，计算各统计数量占该归一化梯度图像总像素点数量的概率值时，具体可以根据以下公式，计算任一统计数量bi占该归一化梯度图像总像素点数量的概率值pi：

bj为该归一化梯度图像中像素值为j的像素点数量。

s150：获取预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板，并针对每张归一化梯度图像，计算该归一化梯度图像对应的梯度概率直方图与清晰车牌图像梯度概率直方图分布模板的第一余弦距离，以及该归一化梯度图像对应的梯度概率直方图与模糊车牌图像梯度概率直方图分布模板的第二余弦距离，根据第一余弦距离和第二余弦距离的大小，确定该归一化梯度图像对应的清晰度置信度；清晰车牌图像梯度概率直方图分布模板根据预先获取的清晰图像计算得到，模糊车牌图像梯度概率直方图分布模板根据预先获取的模糊图像计算得到。

在本发明实施例中，可以预先采集车牌图像，人工分为清晰和模糊两类。按照上述方式进行梯度概率直方图计算，得到的概率直方图进行平均得到清晰车牌图像梯度概率直方图分布模板binc和模糊车牌图像梯度概率直方图分布模板binb。

具体的，如图3所示，清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板的构建过程可以包括以下步骤。

s310：获取样本视频图像，将清晰度大于预设阈值的样本视频图像确定为清晰图像，将清晰度不大于预设阈值的样本视频图像确定为模糊图像。

上述样本视频图像可以为监控设备采集的包含车牌的图像。由电子设备进行图像分类时，预设阈值可以根据经验值进行确定，本发明实施例不对其具体取值作限定。或者，也可以由人工进行图像分类，这都是可以的，本发明实施例不对图像分类方法作限定。

s320：计算各清晰图像对应的梯度概率直方图，以及各模糊图像对应的梯度概率直方图。

具体的，可以根据和上述步骤s120-s140类似的步骤计算各清晰图像对应的梯度概率直方图，以及各模糊图像对应的梯度概率直方图，在此不做赘述。

s330：计算各清晰图像对应的梯度概率直方图中各同一像素值对应概率值的第一平均值，构建得到包含各第一平均值的清晰车牌图像梯度概率直方图分布模板；计算各模糊图像对应的梯度概率直方图中各同一像素值对应概率值的第二平均值，构建得到包含各第二平均值的模糊车牌图像梯度概率直方图分布模板。

计算得到清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板，在进行车牌识别时，可以对待识别图像进行清晰度划分，从而仅根据清晰图像进行车牌识别，提高车牌识别的精确性。

在一种实现方式中，针对每张归一化梯度图像，计算该归一化梯度图像对应的梯度概率直方图与清晰车牌图像梯度概率直方图分布模板的第一余弦距离时，具体可以根据以下公式，计算该归一化梯度图像对应的梯度概率直方图与清晰车牌图像梯度概率直方图分布模板的第一余弦距离：

xi为该归一化梯度图像对应的梯度概率直方图中像素值i对应的概率值，yi为清晰车牌图像梯度概率直方图分布模板中像素值i对应的概率值。

类似的，计算归一化梯度图像对应的梯度概率直方图与模糊车牌图像梯度概率直方图分布模板的第二余弦距离时，也可以根据上述公式进行计算，此时，上述公式中的yi即为模糊车牌图像梯度概率直方图分布模板中像素值i对应的概率值。

根据第一余弦距离和第二余弦距离的大小，确定该归一化梯度图像对应的清晰度置信度时，当第一余弦距离大于第二余弦距离时，确定该归一化梯度图像对应的清晰度置信度为第一余弦距离；当第一余弦距离不大于第二余弦距离时，确定该归一化梯度图像对应的清晰度置信度为0。

该置信度描述了当前视频图像的清晰度的可信程度，可以用于进行清晰和模糊图像的分类，也同时可以用于后续识别结果的加权融合。

s160：将清晰度置信度大于预设置信度阈值的归一化梯度图像对应的视频图像输入预先训练得到的卷积神经网络中，得到各视频图像对应的车牌识别结果；并根据各视频图像对应的车牌识别结果，以及各视频图像对应归一化梯度图像的清晰度置信度，得到目标车牌的最终识别结果；车牌识别结果包含预设位数个字符。

在本发明实施例中，可以预先训练得到用于对车牌进行识别的卷积神经网络。例如，可以构建以googlenet为主干网络的卷积神经网络，以标注了车牌结果的车牌图像为训练样本，采用梯度反向传播算法进行训练得到卷积神经网络。

其中，卷积神经网络的损失函数可以为：

其中，t为字符类别总数量，m为一个车牌中包含的字符位数，当得到分类结果正确时，yj的取值为1，否则为0；sj为卷积神经网络输出的首选后验概率：

ak为卷积神经网络估计得到的识别为字符k的距离，aj为卷积神经网络估计得到的识别为字符j的距离。

在进行车牌识别时，可以将清晰度置信度大于预设置信度阈值的归一化梯度图像对应的视频图像输入训练得到的卷积神经网络中，得到各视频图像对应的车牌识别结果。该卷积神经网络为等长字符串识别，其输出的结果包含预设位数个字符，如7。

根据各视频图像对应的车牌识别结果，以及各视频图像对应归一化梯度图像的清晰度置信度，得到目标车牌的最终识别结果时，具体的，可以按照车牌识别结果的排列顺序，针对目标车牌中第h个字符，当视频图像中部分图像第h个字符首选识别结果均为k，且各部分图像的首选后验概率sk与对应归一化梯度图像的清晰度置信度乘积之和最大时，确定目标车牌第h个字符的最终识别结果为k。其中，各视频图像的首选后验概率由卷积神经网络输出。

也就是说，假设经过图像质量分类之后，m张视频图像进入识别流程的车牌图像对应的清晰度置信度为conf1-confm，对应的识别结果序列为resi={c1,c2,…,ct},0<=i<=m，假设字符类别数为n，则车牌图像中第j个字符的加权融合的识别结果为：

cj=k，max(scorek),0<=k<=n,scorek为识别首选结果为字符类别k的所有清晰图像的首选后验概率与清晰度置信度乘积之和。

由上述内容可知，本发明实施例提供的基于深度学习的车牌识别方法，能够在采样得到视频图像后，计算每张视频图像对应的梯度概率直方图，并与预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板进行对比，确定视频图像的清晰度置信度，进而可以仅对清晰度置信度较大的视频图像进行车牌识别，也就是说，可以在所有的视频图像中去除模糊图像，仅利用清晰图像进行车牌识别，因此可以提高车牌识别的准确性。并且，在根据多张视频图像确定最终的车牌识别结果时，可以结合各视频图像对应的清晰度置信度进行计算，从而可以进一步提高车牌识别的准确性。本实施例中的卷积神经网络输出的车牌识别结果包含的字符位数与车牌数目一致，从而可以避免多识别或少识别字符的情况，提高车牌识别的准确性。

如图4所示，本发明实施例提供的一种基于深度学习的车牌识别装置，可以包括：

视频采样模块410，用于在包含目标车牌的监控视频中，基于预设采样周期进行采样，得到包含所述目标车牌的多张视频图像；

灰度转换模块420，用于将所述多张视频图像进行灰度转换，得到多张灰度视频图像；并将所述多张灰度视频图像归一化至预设大小，得到多张目标视频图像；

滤波运算模块430，用于通过预设的x方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的x边缘图像；通过预设的y方向滤波器分别对各所述目标视频图像进行卷积运算，得到各所述目标视频图像对应的y边缘图像；并根据各所述x边缘图像和对应的各所述y边缘图像，计算各所述目标视频图像对应的梯度图像；

直方图统计模块440，用于将各所述梯度图像的像素值进行归一化，得到各归一化梯度图像，针对每张所述归一化梯度图像，对该归一化梯度图像进行直方图统计，得到该归一化梯度图像中各像素值的统计数量，并计算所述各统计数量占该归一化梯度图像总像素点数量的概率值，构建包含各所述概率值的该归一化梯度图像对应的梯度概率直方图；

清晰度计算模块450，用于获取预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板，并针对每张所述归一化梯度图像，计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离，以及该归一化梯度图像对应的梯度概率直方图与所述模糊车牌图像梯度概率直方图分布模板的第二余弦距离，根据所述第一余弦距离和所述第二余弦距离的大小，确定该归一化梯度图像对应的清晰度置信度；所述清晰车牌图像梯度概率直方图分布模板根据预先获取的清晰图像计算得到，所述模糊车牌图像梯度概率直方图分布模板根据预先获取的模糊图像计算得到；

车牌识别模块460，用于将清晰度置信度大于预设置信度阈值的归一化梯度图像对应的视频图像输入预先训练得到的卷积神经网络中，得到各所述视频图像对应的车牌识别结果；并根据各所述视频图像对应的车牌识别结果，以及各所述视频图像对应归一化梯度图像的清晰度置信度，得到所述目标车牌的最终识别结果；所述车牌识别结果包含预设位数个字符。

可选的，所述滤波运算模块430，具体用于根据以下公式，计算任一目标视频图像对应的梯度图像中任一点的像素值g（x，y）：

gx为所述任一目标视频图像对应的x边缘图像中任一点的像素值，gy为所述任一目标视频图像对应的y边缘图像中该点的像素值；

所述直方图统计模块440，具体用于根据以下公式，对各所述梯度图像的像素值进行更新：

。

可选的，所述直方图统计模块440，具体用于根据以下公式，计算任一统计数量bi占该归一化梯度图像总像素点数量的概率值pi：

bj为该归一化梯度图像中像素值为j的像素点数量。

可选的，所述清晰度计算模块450，具体用于根据以下公式，计算该归一化梯度图像对应的梯度概率直方图与所述清晰车牌图像梯度概率直方图分布模板的第一余弦距离：

xi为该归一化梯度图像对应的梯度概率直方图中像素值i对应的概率值，yi为所述清晰车牌图像梯度概率直方图分布模板中像素值i对应的概率值。

可选的，所述清晰度计算模块450，具体用于当所述第一余弦距离大于所述第二余弦距离时，确定该归一化梯度图像对应的清晰度置信度为所述第一余弦距离；当所述第一余弦距离不大于所述第二余弦距离时，确定该归一化梯度图像对应的清晰度置信度为0。

可选的，所述车牌识别模块460，具体用于按照所述车牌识别结果的排列顺序，针对所述目标车牌中第h个字符，当所述视频图像中部分图像第h个字符首选识别结果均为k，且各部分图像的首选后验概率sk与对应归一化梯度图像的清晰度置信度乘积之和最大时，确定所述目标车牌第h个字符的最终识别结果为k。

可选的，所述装置还包括：

图像获取模块，用于获取样本视频图像，将清晰度大于预设阈值的样本视频图像确定为清晰图像，将清晰度不大于所述预设阈值的样本视频图像确定为模糊图像；

直方图计算模块，用于计算各所述清晰图像对应的梯度概率直方图，以及各所述模糊图像对应的梯度概率直方图；

直方图分布模块构建模块，用于计算各所述清晰图像对应的梯度概率直方图中各同一像素值对应概率值的第一平均值，构建得到包含各所述第一平均值的清晰车牌图像梯度概率直方图分布模板；计算各所述模糊图像对应的梯度概率直方图中各同一像素值对应概率值的第二平均值，构建得到包含各所述第二平均值的模糊车牌图像梯度概率直方图分布模板。

可选的，所述卷积神经网络采用梯度反向传播算法进行训练，所述卷积神经网络的损失函数为：

其中，t为字符类别总数量，m为一个车牌中包含的字符位数，当得到分类结果正确时，yj的取值为1，否则为0；sj为所述卷积神经网络输出的首选后验概率：

ak为所述卷积神经网络估计得到的识别为字符k的距离，aj为所述卷积神经网络估计得到的识别为字符j的距离。

由上述内容可知，本发明实施例提供的基于深度学习的车牌识别装置，能够在采样得到视频图像后，计算每张视频图像对应的梯度概率直方图，并与预先计算得到的清晰车牌图像梯度概率直方图分布模板和模糊车牌图像梯度概率直方图分布模板进行对比，确定视频图像的清晰度置信度，进而可以仅对清晰度置信度较大的视频图像进行车牌识别，也就是说，可以在所有的视频图像中去除模糊图像，仅利用清晰图像进行车牌识别，因此可以提高车牌识别的准确性。并且，在根据多张视频图像确定最终的车牌识别结果时，可以结合各视频图像对应的清晰度置信度进行计算，从而可以进一步提高车牌识别的准确性。本实施例中的卷积神经网络输出的车牌识别结果包含的字符位数与车牌数目一致，从而可以避免多识别或少识别字符的情况，提高车牌识别的准确性。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。