一种车牌识别方法及装置、用户设备与流程

本发明涉及图像处理和人工智能领域，尤其涉及一种车牌识别方法及装置、用户设备。

背景技术：

卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络避免了对图像的复杂前期预处理，可以直接输入原始图像，基本结构分为两层，卷积层和池化层。卷积层通过多个可训练的滤波器组对前一层输出进行非线性卷积，产生特征映射图；池化层对特征映射图中每组的四个像素进行池化运算，对空间或特征类型进行聚合。能够识别提取具有位移、缩放及其他形式扭曲不变性的特征。

图像识别效果较好的卷积神经网络可调参数规模较大，内存复杂度和计算复杂度均较高，不利于将网络应用到移动或嵌入式设备当中；同时,分布式并行运算等加速手段对于移动或嵌入式设备是不现实的。卷积神经网络在车牌识别领域已经有较多运用，但是利用卷积神经网络识别车牌并且能将系统做到具备精确的分类效果同时网络的规模适中，可以嵌入到手机等移动设备，是当前需要解决的问题。

技术实现要素：

本发明实施例公开了一种车牌识别方法及装置、用户设备，具备精准的分类效果同时网络的规模适中，能嵌入到移动设备。

本发明实施例第一方面公开一种车牌识别方法，包括：

获取车辆图像，并将所述车辆图像输入车辆检索卷积神经网络搜索所述车辆图像是否存在车辆；

如果所述车辆图像存在车辆，则在所述车辆图像上采集车牌图像，并将所述车牌图像输入车牌检索卷积神经网络搜索所述车牌图像是否存在车牌；

如果所述车牌图像存在车牌，则将所述车牌图像输入张量神经网络检测所述车牌图像是否异常；

如果没有异常，则在所述车牌图像上采集识别图像，并将所述识别图像输入判断神经网络判断所述识别图像上的地区编号、字母和数字，并输出地区编号图像、字母图像和数字图像；

分别将所述地区编号图像、所述字母图像和所述数字图像输入地区编号识别卷积神经网络、字母识别卷积神经网络和数字识别卷积神经网络进行地区编号、字母和数字的识别，并分别输出地区编号、字母和数字；

根据输出的地区编号、字母和数字，按“地区编号字母数字”的格式输出车牌号识别结果。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法中，所述获取车辆图像，并将所述车辆图像输入车辆检索卷积神经网络搜索所述车辆图像是否存在车辆的步骤包括：

获取视频流数据中的车辆图像，所述车辆图像以张量模式表示；

根据空间转换网络和卷积神经网络将所述车辆图像进行多次几何空间变换校正、卷积处理和池化处理，得到第一特征映射图；

将第一特征映射图向量化输出列向量，并连接多个全连接层得到全连接层的权值矩阵；

将所述全连接层的权值矩阵进行张量列分解，提取第一特征向量；

将第一特征向量输入所述卷积神经网络的输出层进行分类预测并优化可调参数，搜索是否存在车辆。

作为一种可选的实施方式，在本发明实施例第一方面中，在所述方法中，所述将车牌图像输入车牌检索卷积神经网络搜索所述车牌图像是否存在车牌的步骤包括：

根据空间转换网络和卷积神经网络将所述车牌图像进行多次几何空间变换校正、卷积处理和池化处理，得到第二特征映射图；

将第二特征映射图向量化输出列向量，并连接多个全连接层得到全连接层的权值矩阵；

将所述全连接层的权值矩阵进行张量列分解，提取第二特征向量；

将第二特征向量输入所述卷积神经网络的输出层进行分类预测并优化可调参数，搜索是否存在车牌。

作为一种可选的实施方式，在本发明实施例第一方面中，所述优化可调参数的步骤具体为根据误差方向传播算法(Back-propagation，BP)优化网络中所有可调参数，即对空间转换矩阵、权值和偏移的更新，是根据后一层反传回来的误差进行局部梯度计算进行的。

作为一种可选的实施方式，在本发明实施例第一方面中，在所述方法中，所述将车牌图像输入张量神经网络检测所述车牌图像是否异常的步骤包括：

将所述车牌图像直接输入训练好的张量神经网络中得到其对应的直接概率密度比；

再将所述直接概率密度比与完成张量神经网络的训练后得到的临界直接概率密度比进行比较，如果所述直接概率密度比大于所述临界直接概率密度比，则为正常图像，否则为异常图像。

本发明实施例第二方面公开一种车牌识别装置，包括：

数据采集模块，用于在视频流图像中采集车辆图像；在所述车辆图像中采集车牌图像；以及在所述车牌图像中采集识别图像；

车辆搜索模块，用于将所述车辆图像输入车辆检索卷积神经网络搜索所述车辆图像是否存在车辆；

车牌搜索模块，用于将所述车牌图像输入车牌检索卷积神经网络搜索所述车牌图像是否存在车牌；

异常监测模块，用于将所述车牌图像输入张量神经网络检查所述车牌图像是否异常；

车牌识别模块，用于将所述识别图像输入判断神经网络判断所述识别图像上的地区编号、字母和数字，并输出地区编号图像、字母图像和数字图像；然后分别将所述地区编号图像、所述字母图像和所述数字图像输入地区编号识别卷积神经网络、字母识别卷积神经网络和数字识别卷积神经网络进行地区编号、字母和数字的识别，并分别输出地区编号、字母和数字；再根据输出的地区编号、字母和数字，按“地区编号字母数字”的格式输出车牌号识别结果。

作为一种可选的实施方式，在本发明实施例第二方面中，所述车辆搜索模块包括：

车辆图像处理单元，用于根据空间转换网络和卷积神经网络将所述车辆图像进行多次几何空间变换校正、卷积处理和池化处理，得到第一特征映射图；

权值矩阵获取单元，用于将第一特征映射图向量化输出列向量，并连接多个全连接层得到全连接层的权值矩阵；

张量分解单元，用于将所述全连接层的权值矩阵进行张量列分解，提取第一特征向量；

分类预测单元，用于将第一特征向量输入所述卷积神经网络的输出层进行分类预测并优化可调参数，搜索是否存在车辆。

作为一种可选的实施方式，在本发明实施例第二方面中，所述车牌搜索模块包括：

车牌图像处理单元，用于根据空间转换网络和卷积神经网络将所述车牌图像进行多次几何空间变换校正、卷积处理和池化处理，得到第二特征映射图；

权值矩阵获取单元，用于将第二特征映射图向量化输出列向量，并连接多个全连接层得到全连接层的权值矩阵；

张量分解单元，用于将所述全连接层的权值矩阵进行张量列分解，提取第二特征向量；

分类预测单元，用于将第二特征向量输入所述卷积神经网络的输出层进行分类预测并优化可调参数，搜索是否存在车牌。

作为一种可选的实施方式，在本发明实施例第二方面中，所述异常监测模块包括：

张量神经网络单元，用于根据输入的车牌图像获取与之对应的直接概率密度比；

比较单元，用于将所述直接概率密度比与完成张量神经网络的训练后得到的临界直接概率密度比进行比较，如果所述直接概率密度比大于所述临界直接概率密度比，则为正常图像，否则为异常图像。

本发明实施例第三方面公开一种用户设备，包括本发明实施例第二方面公开的所述车牌识别装置。

与现有技术相比，本发明实施例具备以下有益效果：

本发明实施例中，获取车辆图像后，将车辆图像输入车辆检索卷积神经网络搜索所述车辆图像是否存在车辆；如果车辆图像存在车辆，则在车辆图像上采集车牌图像，并将车牌图像输入车牌检索卷积神经网络搜索该车牌图像是否存在车牌；然后将车牌图像输入张量神经网络检测该车牌图像是否异常；如果没有异常，则在该车牌图像上采集识别图像，并将采集的识别图像输入判断神经网络判断该识别图像上的地区编号、字母和数字，并输出地区编号图像、字母图像和数字图像；再分别将地区编号图像、字母图像和数字图像输入地区编号识别卷积神经网络、字母识别卷积神经网络和数字识别卷积神经网络进行地区编号、字母和数字的识别，并分别输出地区编号、字母和数字；最后根据输出的地区编号、字母和数字，按“地区编号字母数字”的格式输出车牌号识别结果。可见，实施本发明实施例提供的车牌识别方法具备精确的分类效果同时网络的规模适中，能嵌入到移动设备。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种车牌识别方法的流程示意图；

图2是本发明实施例公开的另一种车牌识别方法的流程示意图；

图3是本发明实施例中对传统卷积神经网络改进的示意图；

图4是本发明实施例中权值参数规模和r值的关系示意图；

图5是本发明实施例公开的一种车牌识别装置的结构示意图；

图6是本发明实施例公开的另一种车牌识别装置的结构示意图；

图7是本发明实施例公开的一种用户设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种车牌识别方法及装置、用户设备，实现了具备精确的分类效果的同时网络规模适中，能嵌入到移动设备。以下进行结合附图进行详细描述。

实施例一

请参阅图1，图1是本发明实施例公开的一种车牌识别方法的流程示意图。如图1所示，该车牌识别方法可以包括以下步骤：

101、获取车辆图像，并将车辆图像输入车辆检索卷积神经网络搜索车辆图像是否存在车辆；

电子摄像头等移动或嵌入式设备采集彩色视频流数据，数据以张量模式存储表示。首先从视频流数据中，以特定的步长在视频流图像上从左上角至右下角的顺序进行遍历，获取车辆图像，车辆图像经预处理得到预处理后的车辆图像，预处理后的车辆图像进入车辆检索卷积神经网络，检查是否存在车辆。具体的，首先根据空间转换网络和卷积神经网络将车辆图像进行多次几何空间变换校正、卷积处理和池化处理，即先几何空间变换校正，然后卷积处理，再池化处理，然后又从几何空间变换校正开始处理，如此循环多次，得到第一特征映射图；然后将第一特征映射图向量化输出列向量，并连接多个全连接层得到全连接层的权值矩阵；再将全连接层的权值矩阵进行张量列分解，提取第一特征向量；最后将第一特征向量输入卷积神经网络的输出层进行分类预测并优化可调参数，搜索是否存在车辆。其中，优化可调参数的步骤具体为根据误差方向传播算法优化网络中所有可调参数，即对空间转换矩阵、网络中的权值以及偏移的更新，是根据后一层反传回来的误差进行局部梯度计算进行的。

102、如果车辆图像存在车辆，则在车辆图像上采集车牌图像，并将车牌图像输入车牌检索卷积神经网络搜索车牌图像是否存在车牌；

如果车辆图像经过车辆检索卷积神经网络搜索后存在车辆，则在该车辆图像上采集车牌图像，具体的，以特定的步长在车辆图像上从左上角至右下角的顺序进行遍历采集车牌图像，车牌图像经预处理得到预处理后的车牌图像，预处理后的车牌图像进入车牌检索卷积神经网络，检查是否存在车牌。具体的，首先根据空间转换网络和卷积神经网络将车牌图像进行多次几何空间变换校正、卷积处理和池化处理，即先几何空间变换校正，然后卷积处理，再池化处理，然后又从几何空间变换校正开始处理，如此循环多次，得到第二特征映射图；然后将第二特征映射图向量化输出列向量，并连接多个全连接层得到全连接层的权值矩阵；再将全连接层的权值矩阵进行张量列分解，提取第二特征向量；最后将第二特征向量输入卷积神经网络的输出层进行分类预测并优化可调参数，搜索是否存在车牌。其中，优化可调参数的步骤具体为根据误差方向传播算法优化网络中所有可调参数，即对空间转换矩阵、网络中的权值以及偏移的更新，是根据后一层反传回来的误差进行局部梯度计算进行的。

103、将车牌图像输入张量神经网络检测车牌图像是否异常；

如果车牌图像经过车牌检索卷积神经网络搜索后存在车牌，则将车牌图像输入张量神经网络检测车牌图像是否异常。具体的，先将车牌图像直接输入训练好的张量神经网络中得到其对应的直接概率密度比；再将直接概率密度比与完成张量神经网络的训练后得到的临界直接概率密度比进行比较，如果直接概率密度比大于临界直接概率密度比，则为正常图像，否则为异常图像。

104、如果没有异常，则在车牌图像上采集识别图像，并将识别图像输入判断神经网络判断该识别图像上的地区编号、字母和数字，并输出地区编号图像、字母图像和数字图像；

如果车牌图像没有异常，则在车牌图像上采集识别图像，具体的，以特定的步长在车牌图像上从左上角至右下角的顺序进行遍历，采集识别图像。再将识别图像输入判断神经网络判断该识别图像上的地区编号、字母和数字，并输出地区编号图像、字母图像和数字图像。具体的，识别图像经过预处理得到预处理后的识别图像，预处理后的识别图像进入一个简单的判断神经网络进行判断，该判断神经网络的输出共四类，分别为地区编号、字母、数字和其他。若判断结果为其他，则放弃当前识别图像，判断下一张识别图像；判断结果若为地区编号，识别图像进入车牌识别阶段的地区编号识别；判断结果若为字母，识别图像进入车牌识别阶段的字母识别；判断结果若为数字，识别图像则进入车牌识别阶段的数字识别。

105、分别将地区编号图像、字母图像和数字图像输入地区编号识别卷积神经网络、字母识别卷积神经网络和数字识别卷积神经网络进行地区编号、字母和数字的识别，并分别输出地区编号、字母和数字；

车牌号识别阶段，由三个并行的卷积神经网络组成，分别是，地区编号识别卷积神经网络，字母识别卷积神经网络以及数字识别卷积神经网络。

地区编号识别：对地区编号图像进行预处理，产生预处理后的地区编号图像，预处理后的地区编号图像进入地区编号识别卷积神经网络进行地区编号的识别。

字母识别：对字母图像进行预处理，产生预处理后的字母图像，预处理后的字母图像进入字母识别卷积神经网络进行字母的识别。

数字识别：对数字图像进行预处理，产生预处理后的数字图像，预处理后的字母图像进入数字识别卷积神经网络进行数字的识别。

106、根据输出的地区编号、字母和数字，按“地区编号字母数字”的格式输出车牌号识别结果；

最后根据三个卷积神经网络的输出，按“地区编号字母数字”的格式输出车牌号识别结果。

需要说明的是，本实施例中对各类图像的预处理，可以是平滑处理、去噪处理、光照归一化处理、增强处理等等，根据具体的需要进行预处理，此处不做限制。

在图1所描述的方法，获取车辆图像后，将车辆图像输入车辆检索卷积神经网络搜索所述车辆图像是否存在车辆；如果车辆图像存在车辆，则在车辆图像上采集车牌图像，并将车牌图像输入车牌检索卷积神经网络搜索该车牌图像是否存在车牌；然后将车牌图像输入张量神经网络检测该车牌图像是否异常；如果没有异常，则在该车牌图像上采集识别图像，并将采集的识别图像输入判断神经网络判断该识别图像上的地区编号、字母和数字，并输出地区编号图像、字母图像和数字图像；再分别将地区编号图像、字母图像和数字图像输入地区编号识别卷积神经网络、字母识别卷积神经网络和数字识别卷积神经网络进行地区编号、字母和数字的识别，并分别输出地区编号、字母和数字；最后根据输出的地区编号、字母和数字，按“地区编号字母数字”的格式输出车牌号识别结果。可见，实施本发明实施例提供的车牌识别方法在卷积神经网络中引入空间转换网络和张量分解，从分类准确率和网络规模的角度，改进传统的卷积网络，并通过多个卷积神经网络多阶段式的对车牌进行识别，具备精确的分类效果同时网络的规模适中，能嵌入到移动设备。

实施例二

请参阅图2，图2是本发明实施例公开的另一种车牌识别方法的流程示意图。如图2所示，该车牌识别方法可以包括以下步骤：

201、采集视频流数据；

电子摄像头等移动或嵌入式设备采集彩色视频流数据，数据以张量模式存储表示。

202、从视频流图像上采集车辆图像；

从视频流数据中，以特定的步长在视频流图像上从左上角至右下角的顺序进行遍历，获取车辆图像。

203、车辆图像的预处理；

车辆图像经预处理得到预处理后的车辆图像，此处的预处理，可以是平滑处理、去噪处理、光照归一化处理、增强处理等等，根据具体的需要进行任意组合的预处理，此处不做限制。

204、车辆检索卷积神经网络搜索是否存在车辆；

预处理后的车辆图像进入车辆检索卷积神经网络，检查是否存在车辆。本实施例中的卷积神经网络是引入了空间转换网络和张量分解的卷积神经网络，从分类准确率和网络规模的角度改进了传统的卷积网络。具体的，首先根据空间转换网络和卷积神经网络将车辆图像进行多次几何空间变换校正、卷积处理和池化处理，即先几何空间变换校正，然后卷积处理，再池化处理，然后又从几何空间变换校正开始处理，如此循环多次，得到第一特征映射图；然后将第一特征映射图向量化输出列向量，并连接多个全连接层得到全连接层的权值矩阵；再将全连接层的权值矩阵进行张量列分解，提取第一特征向量；最后将第一特征向量输入卷积神经网络的输出层进行分类预测并优化可调参数，搜索是否存在车辆。其中，优化可调参数的步骤具体为根据误差方向传播算法优化网络中所有可调参数，即对空间转换矩阵、权利中的权值以及偏移的更新，是根据后一层反传回来的误差进行局部梯度计算进行的。

车辆图像以张量模式表示并直接输入卷积神经网络的输入模块。下面参照图3对传统卷积神经网络的改进举例说明：

图像以张量模式表示并直接输入网络的输入模块。具体的：

以MNIST手写数字灰度图为例，规模28×28，为方便后续步骤说明，所有样本都经过45°逆时针旋转噪声。所以在本实施例中Z⁽⁰⁾的规模为28×28×1，其中Z^(l)是以三阶张量，表示第l层的输出图，也是第l+1的输入图。第一阶代表Z^(l)的高，第二阶表示Z^(l)的宽，第三阶表示Z^(l)的图层。

图像进入空间变换网络进行几何空间变换校正。具体的：

输入图像Z⁽⁰⁾进入定位网络模块学习变换矩阵θ，该定位网络是一个小型的回归神经网络，即卷积神经网络或者全连接网络均可，此处不做限定。输出变换矩阵θ的各个元素θ_ij，变换矩阵θ的规模依赖于输入的规模，例如，输入是二维矩阵，变换矩阵θ的规模为2×3，若是三维矩阵，变换矩阵θ的规模为3×4，以此类推。

将输出图像Z⁽¹⁾上的坐标系坐标(x^t,y^t)，其中，“t”是target的缩写，表示目标图像Z⁽¹⁾，即输出图像，通过变换矩阵θ映射到输入图像上的坐标系坐标(x^s,y^s)，其中，“s”是source的缩写，表示源图像Z⁽⁰⁾，即输入图像，生成抽样网格。目标图像与源图像的关系如下：

定义抽样核的类型，本发明定义的抽样核k()，该抽样核k()决定图像插值类型，比如本实施例中定义的抽样核所决定的图像插值类型为双线性插值函数，此处并不限于双线性插值函数；对源图像上在抽样网格内(x^s,y^s)处的像素进行插值，并将插值计算得到的像素值传递到输出图像Z⁽¹⁾上的坐标(x^t,y^t)处最后得到输出图像Z⁽¹⁾。

其中，公式中V_i^c的表示目标图像矩阵V^c第i个元素的坐标值(x^t,y^t)，同理和是源图像U^c第i个元素的坐标值(x^s,y^s)，H,W分别表示源图像的高和宽，W′和H′分别表示目标图像的高和宽。

输入图像Z⁽⁰⁾从空间变换网络出来更名为校正图像Z⁽¹⁾，校正图像进入卷积模块和池化模块，分别进行卷积处理和池化处理。具体的：

本实施例中，前馈卷积均为有效卷积运算，步长为1；第2，5层为卷积层，其中Kernel^(l)表示第l层的所有卷积核，第一二阶表示卷积核的高和宽，第三阶表示图层，第四阶表示卷积核的个数。本例的3，6层表示池化层，常用的池化类型有最大池化和均值池化。

经过多次“几何空间变换→卷积→池化”后，将最后的特征映射图Z⁽⁶⁾向量化输出列向量，即最后的特征映射图Z⁽⁶⁾的重新排列为列向量。具体的：本实施例中，最后的特征映射图为Z⁽⁶⁾，规模为4×4×3，所以向量化后的规模为48×1。

然后全连接层的权值矩阵进行张量列分解，以TT-format表示，将全连接层的运算模式由原来的向量模式转化为张量模式。具体的：

本实施例中，全连接层Z⁽⁷⁾的节点规模为48×1，输出层Z⁽⁸⁾的节点规模为10×1，所以全连接层权值矩阵的规模为10×48，本实施例中选择的重构方案为2×5和6×8，设置TT-rank为(1,r,1)，将权值矩阵映射到(2×6)×(5×8)的矩阵(二阶张量)，在进行张量列分解得到权值矩阵的TT-format表示，不同r值对应不同规模的TT-format表示，如图4所示，原始权值矩阵表示时的规模为10×48＝480，而TT-format表示时，随着权值参数的规模与r值成正比，选择合适的r值能够起到缩减网络参数规模的效果。

将全连接层的输入映射到全连接层权值矩阵张量列分解时映射到的高阶张量的同阶张量中，如本实施例中全连接层的权值矩阵张量列分解时，将矩阵映射到12×40的矩阵(二阶张量)上再进行张量列分解，全连接层的输入映射到矩阵(二阶张量)中去。所以全连接层的输出也是为同阶张量(二阶张量)，此时应将输出映射到向量输出，为了能够与下一个全连接层进行全连接或为了让输出层的结果便于解读。

再根据误差方向传播算法优化网络中所有可调参数。具体的：

定义损失函数(Loss function)为L，常用的损失函数有交叉熵损失函数，平方差损失函数等。本实例中，以字母L表示损失函数，其具体形式并不限定，根据实际需要进行选择。

首先计算输出层(本例中的第8层)的误差其中分别表示输出层第k个节点的误差，净输入，输出，期望输出，表示损失函数L对求偏导数。

本例中的输出层也是全连接层。故将输出层的误差向量映射回同阶张量中去，通过TT-format表示的全连接矩阵，将误差反向传递到下一层，由于输出层的误差向量通过TT-format表示的全连接权值后，传递下来的误差是同阶张量的形式，所以需要映射回向量模式，得到堆叠层的误差向量，即：

其中tensor(x)表示将向量x映射到同阶张量，表示TT-format表示的全连接权值，由于本示例中，全连接权值矩阵是映射到二阶张量(矩阵)中在张量列分解的，所以第8层的TT-format表示的全连接权值为vec(X)表示将高阶张量X映射为向量，“ο”表示逐元乘法(point-wise multiplication)，f′(x)表示函数f(x)对x的导函数。所以TT-format表示的全连接权值的更新为：

b^(8)new＝b⁽⁸⁾+Δb⁽⁸⁾，

其中，η表示学习率，一般取0.001，表示第l层TT-format表示的全连接权值，“T”表示转置，b^(l)表示第l层的偏移参数向量。

将第7层堆叠层的误差向量映射回图模式，即第6层池化层的输出，即δ⁽⁶⁾＝ToMap(δ⁽⁷⁾)，其中ToMap(x)表示将向量x映射回图模式。

将第6层池化层的误差图根据池化类型上采样(upsample)传递到第5层卷积层去，upsample是池化逆运算，如果是均匀池化(mean-pooling)则把pooling层的误差平均到其4个输入上，如果是最大池化(max-pooling)则把误差全部反向传播到其4个输入上。本实例中的池化层均采用最大池化层，本实施例中选择池化类型并不限制于最大池化层。

δ⁽⁵⁾＝upsample(δ⁽⁶⁾)；

则第5层卷积层的卷积核权值参数更新为：

i＝1,2，....numel(A⁽⁴⁾,3)；

Kernel^(5)new＝Kernel⁽⁵⁾+ΔKernel⁽⁵⁾，

b^(5)new＝b⁽⁵⁾+Δb⁽⁵⁾；

其中，A^(l)表示第l层的卷积净输入，numel(A^(l),3)表示第l层的卷积净输入的图层数，rot₉₀(X)表示将矩阵X的元素顺时针方向旋转90度，Z^(l)表示第l层的输出图，也是第l+1的输入图，第一二阶代表Z^(l)的高和宽，第三阶表示Z^(l)的图层；‘valid’表示卷积类型为有效卷积。

将第5层卷积层的误差图通过全卷积运算(full convolution)传递到第4层空间转换层：

其中numel(Kernel^(l),4)表示第l层是卷积层，该层的卷积核个数；convn表示卷积运算；rot₁₈₀(X)表示将矩阵X的元素顺时针旋转180度；‘full’表示卷积类型为全卷积。

第4层为空间变换层，需要调节的参数为变换矩阵θ的元素，具体的：

其中θ_xθ_y对应变换矩阵θ的第一行和第二行元素。定位网络中的参数按照传统的误差方向传播算法更新参数即可，此处不做赘述。

以上是在传统卷积神经网络中引入空间转换网络和张量分解的举例，同样适用在车牌检索卷积神经网络，以及识别卷积神经网络中。

205、判断是否存在车辆；

搜索是否存在车辆，如果是，则执行步骤207，如果否，则执行步骤206。

206、判断是否遍历当前静态图像；

如果搜索当前车辆图像中不存在车辆，则再判断是否遍历了当前静态图像，如果是，则执行步骤201，如果否，则执行步骤202。

207、采集车牌图像；

如果车辆图像经过车辆检索卷积神经网络搜索后存在车辆，则在该车辆图像上采集车牌图像，具体的，以特定的步长在车辆图像上从左上角至右下角的顺序进行遍历采集车牌图像。

208、车牌图像的预处理；

车牌图像经预处理得到预处理后的车牌图像，此处的预处理，可以是平滑处理、去噪处理、光照归一化处理、增强处理等等，根据具体的需要进行预处理，此处不做限制。

209、车牌检索卷积神经网络搜索是否存在车牌；

预处理后的车牌图像进入车牌检索卷积神经网络，检查是否存在车牌。本实施例中的卷积神经网络是引入了空间转换网络和张量分解的卷积神经网络，从分类准确率和网络规模的角度改进了传统的卷积网络。具体的，首先根据空间转换网络和卷积神经网络将车牌图像进行多次几何空间变换校正、卷积处理和池化处理，即先几何空间变换校正，然后卷积处理，再池化处理，然后又从几何空间变换校正开始处理，如此循环多次，得到第二特征映射图；然后将第二特征映射图向量化输出列向量，并连接多个全连接层得到全连接层的权值矩阵；再将全连接层的权值矩阵进行张量列分解，提取第二特征向量；最后将第二特征向量输入卷积神经网络的输出层进行分类预测并优化可调参数，搜索是否存在车牌。其中，优化可调参数的步骤具体为根据误差方向传播算法优化网络中所有可调参数，即对空间转换矩阵、网络中的权值以及偏移的更新，是根据后一层反传回来的误差进行局部梯度计算进行的。

210、判断是否存在车牌；

搜索是否存在车牌，如果是，则执行步骤213，如果否，则执行步骤211。

211、判断是否遍历当前静态图像；

如果搜索车牌图像中不存在车牌，则再判断是否遍历了当前静态图像，如果是，则执行步骤207，如果否则执行步骤212。

212、下一张车辆图像；

搜索下一张车辆图像中是否存在车牌。

213、将车牌图像输入张量神经网络进行检测；

如果搜索车牌图像中存在车牌，则将车牌图像输入张量神经网络进行检测。具体的：车牌图像进入异常检测张量神经网络检查当前车牌图像是否异常，若异常，舍弃当前车牌图像并输出异常警告信息，检测下一张车牌图像；若正常，当前车牌图像进入车牌识别步骤。

本实施例中的异常检测是基于张量网络和概率密度比的异常检测，具体训练过程如下：

前提条件是：假设存在含有少量异常的样本集

首先将样本集划分为标准集standard{}和评价集review{}，标准集standard{}和评价集review{}的样本量一致，其中standard{}包含样本集中所有样本均为正常样本，评价集review{}含有所有的异常样本和部分从standard{}抽样复制过来的正常样本，具体地，假设样本集含有15正常3异常的样本，即18个样本中存在3个异常样本，则有standard{15}，review{(3)+12}，其中review{}中的12是从standard{}内15个样本中随机抽样得到的12个样本；

然后将standard{}和review{}内的样本随机一对一匹配，得到数据对每个数据对样本按照standard，review的顺序输入到张量神经网络中训练映射函数f(x),其输出为输入x对应的直接概率密度比；完成张量神经网络的训练后，将评价集review{}内的样本输入到训练好的张量神经网络中得到对应的直接概率密度比p，结合异常在样本集中的比例ρ得到临界直接概率密度比的临界值p_criti_ca^l；

再将新样本直接输入训练好的张量神经网络中得到其对应的直接概率密度比p_new，若p_new≥p_critical判断为正常样本，否则视为异常样本。

214、判断是否异常；

判断车牌图像是否异常，如果异常，则执行步骤215，直接输出异常信息，否则执行216。

215、输出异常信息；

216、采集识别图像；

如果车牌图像没有异常，则在车牌图像上采集识别图像，具体的，以特定的步长在车牌图像上从左上角至右下角的顺序进行遍历，采集识别图像。

217、将识别图像输入判断神经网络进行判断；

将识别图像输入判断神经网络判断该识别图像上的地区编号、字母和数字，并输出地区编号图像、字母图像和数字图像。具体的，识别图像经过预处理得到预处理后的识别图像，预处理后的识别图像进入一个简单的判断神经网络进行判断，该判断神经网络的输出共四类，分别为地区编号、字母、数字和其他。若判断结果为其他，则放弃当前识别图像，判断下一张识别图像；判断结果若为地区编号，识别图像进入车牌识别阶段的地区编号识别；判断结果若为字母，识别图像进入车牌识别阶段的字母识别；判断结果若为数字，识别图像则进入车牌识别阶段的数字识别。

218、放弃该识别图像；

如果识别结果是其他，则放弃该识别图像。

219、地区编号图像的预处理；

如果识别结果是地区编号，则将地区编号图像进行预处理，产生预处理后的地区编号图像。

220、地区编号识别卷积神经网络识别；

将预处理后的地区编号图像进入地区编号识别卷积神经网络进行地区编号的识别。

221、字母图像的预处理；

如果识别结果是字母，则将字母图像进行预处理，产生预处理后的字母图像。

222、字母识别卷积神经网络识别；

将预处理后的字母图像进入字母识别卷积神经网络进行字母的识别。

223、数字图像的预处理；

如果识别结果是数字，则将数字图像进行预处理，产生预处理后的数字图像。

224、数字识别卷积神经网络识别；

将预处理后的字母图像进入数字识别卷积神经网络进行数字的识别。

225、输出识别结果；

最后根据三个卷积神经网络的输出，按“地区编号字母数字”的格式输出车牌号识别结果。

其中，实施图2所描述的方法中，在卷积神经网络中的全连接层引入张量分解后，网络更名为张量神经网络，其全连接层的前馈传递、误差反向传播以及权值的存储更新都发生变化；在此基础上本实施例中再引入空间转换网络到张量神经网络中，具体地，在每个卷积层之前嵌入空间转换模块，对卷积输入进行有效空间几何变换校正，有效缓解卷积层对输入图像或特征映射图较大的变换不具有空间不变性的局限，提高卷积输出空间不变性，进而使提取的特征更具代表性，提高输出层的分类准确度。进一步，全连接层的运算采用张量的模式进行，有效缓解全连接带来的空间信息遗失的局限。并且，车牌识别系统采用多个卷积网络，多阶段策略实现车牌识别，将车牌识别的复杂过程分解为多个简单的子过程，即车辆检测，车牌检测，车牌号识别，车牌号识别又包括地区编号识别，字母识别和数字识别，有效提高了车牌识别的效率。再者，在车牌识别前增加基于直接概率密度比和张量神经网络的异常检测，有效准确识别异常数据，过滤异常数据，减少不必要的运算，提高系统的效率。

实施例三

请参阅图5，图5是本发明实施例公开的一种车牌识别装置的结构示意图。如图5所示，该车牌识别装置可以包括：

数据采集模块301，用于在视频流图像中采集车辆图像，具体的，以特定的步长在视频流图像上从左上角至右下角的顺序进行遍历，获取车辆图像；在车辆图像中采集车牌图像，具体的，以特定的步长在车辆图像上从左上角至右下角的顺序进行遍历采集车牌图像；以及在车牌图像中采集识别图像，具体的，以特定的步长在车牌图像上从左上角至右下角的顺序进行遍历，采集识别图像。

车辆搜索模块302，用于将数据采集模块301采集的车辆图像输入车辆检索卷积神经网络搜索该车辆图像是否存在车辆；具体的，首先根据空间转换网络和卷积神经网络将车辆图像进行多次几何空间变换校正、卷积处理和池化处理，即先几何空间变换校正，然后卷积处理，再池化处理，然后又从几何空间变换校正开始处理，如此循环多次，得到第一特征映射图；然后将第一特征映射图向量化输出列向量，并连接多个全连接层得到全连接层的权值矩阵；再将全连接层的权值矩阵进行张量列分解，提取第一特征向量；最后将第一特征向量输入卷积神经网络的输出层进行分类预测并优化可调参数，搜索是否存在车辆。其中，优化可调参数的步骤具体为根据误差方向传播算法优化网络中所有可调参数，即对空间转换矩阵、网络中的权值和偏移的更新，是根据后一层反传回来的误差进行局部梯度计算进行的。

车牌搜索模块303，用于将数据采集模块301采集的车牌图像输入车牌检索卷积神经网络搜索该车牌图像是否存在车牌；具体的，首先根据空间转换网络和卷积神经网络将车牌图像进行多次几何空间变换校正、卷积处理和池化处理，即先几何空间变换校正，然后卷积处理，再池化处理，然后又从几何空间变换校正开始处理，如此循环多次，得到第二特征映射图；然后将第二特征映射图向量化输出列向量，并连接多个全连接层得到全连接层的权值矩阵；再将全连接层的权值矩阵进行张量列分解，提取第二特征向量；最后将第二特征向量输入卷积神经网络的输出层进行分类预测并优化可调参数，搜索是否存在车牌。其中，优化可调参数的步骤具体为根据误差方向传播算法优化网络中所有可调参数，即对空间转换矩阵、网络中的权值和偏移的更新，是根据后一层反传回来的误差进行局部梯度计算进行的。

异常监测模块，用于将车牌图像输入张量神经网络检查该车牌图像是否异常；具体的，先将车牌图像直接输入训练好的张量神经网络中得到其对应的直接概率密度比；再将直接概率密度比与完成张量神经网络的训练后得到的临界直接概率密度比进行比较，如果直接概率密度比大于临界直接概率密度比，则为正常图像，否则为异常图像。

车牌识别模块，用于将数据采集模块301采集的识别图像输入判断神经网络判断该识别图像上的地区编号、字母和数字，并输出地区编号图像、字母图像和数字图像；具体的，以特定的步长在车牌图像上从左上角至右下角的顺序进行遍历，采集识别图像。再将识别图像输入判断神经网络判断该识别图像上的地区编号、字母和数字，并输出地区编号图像、字母图像和数字图像。具体的，识别图像经过预处理得到预处理后的识别图像，预处理后的识别图像进入一个简单的判断神经网络进行判断，该判断神经网络的输出共四类，分别为地区编号、字母、数字和其他。若判断结果为其他，则放弃当前识别图像，判断下一张识别图像；判断结果若为地区编号，识别图像进入车牌识别阶段的地区编号识别；判断结果若为字母，识别图像进入车牌识别阶段的字母识别；判断结果若为数字，识别图像则进入车牌识别阶段的数字识别。然后分别将地区编号图像、字母图像和数字图像输入地区编号识别卷积神经网络、字母识别卷积神经网络和数字识别卷积神经网络进行地区编号、字母和数字的识别，并分别输出地区编号、字母和数字；再根据输出的地区编号、字母和数字，按“地区编号字母数字”的格式输出车牌号识别结果。

其中，实施图5所描述的车牌识别装置，在卷积神经网络中引入空间转换网络和张量分解，从分类准确率和网络规模的角度，改进传统的卷积网络，并通过多个卷积神经网络多阶段式的对车牌进行识别，具备精确的分类效果同时网络的规模适中，能嵌入到移动设备。

实施例四

请参阅图6，图6是本发明实施例公开的另一种车牌识别装置的结构示意图。其中，图6所示的车牌识别装置是由于图5所示的车牌识别装置进行优化得到的。

进一步的，图6所示的车牌识别装置中，车辆搜索模块302包括：

车辆图像处理单元3021，用于根据空间转换网络和卷积神经网络将车辆图像进行多次几何空间变换校正、卷积处理和池化处理，得到第一特征映射图；具体的，首先根据空间转换网络和卷积神经网络将车辆图像进行多次几何空间变换校正、卷积处理和池化处理，即先几何空间变换校正，然后卷积处理，再池化处理，然后又从几何空间变换校正开始处理，如此循环多次，得到第一特征映射图。

权值矩阵获取单元3022，用于将第一特征映射图向量化输出列向量，并连接多个全连接层得到全连接层的权值矩阵；

张量分解单元3023，用于将全连接层的权值矩阵进行张量列分解，提取第一特征向量；

分类预测单元3024，用于将第一特征向量输入所述卷积神经网络的输出层进行分类预测并优化可调参数，搜索是否存在车辆。

进一步的，车牌搜索模块303包括：

车牌图像处理单元3031，用于根据空间转换网络和卷积神经网络将车牌图像进行多次几何空间变换校正、卷积处理和池化处理，得到第二特征映射图；具体的，首先根据空间转换网络和卷积神经网络将车牌图像进行多次几何空间变换校正、卷积处理和池化处理，即先几何空间变换校正，然后卷积处理，再池化处理，然后又从几何空间变换校正开始处理，如此循环多次，得到第二特征映射图。

权值矩阵获取单元3032，用于将第二特征映射图向量化输出列向量，并连接多个全连接层得到全连接层的权值矩阵；

张量分解单元3033，用于将全连接层的权值矩阵进行张量列分解，提取第二特征向量；

分类预测单元3034，用于将第二特征向量输入卷积神经网络的输出层进行分类预测并优化可调参数，搜索是否存在车牌。

进一步的，异常监测模块304包括：

张量神经网络单元3041，用于根据输入的车牌图像获取与之对应的直接概率密度比；

比较单元3042，用于将直接概率密度比与完成张量神经网络的训练后得到的临界直接概率密度比进行比较，如果直接概率密度比大于临界直接概率密度比，则为正常图像，否则为异常图像。

其中，实施图6所描述的车牌识别装置，在卷积神经网络中的全连接层引入张量分解后，网络更名为张量神经网络，其全连接层的前馈传递、误差反向传播以及权值的存储更新都发生变化；在此基础上本实施例中再引入空间转换网络到张量神经网络中，具体地，在每个卷积层之前嵌入空间转换模块，对卷积输入进行有效空间几何变换校正，有效缓解卷积层对输入图像或特征映射图较大的变换不具有空间不变性的局限，提高卷积输出空间不变性，进而使提取的特征更具代表性，提高输出层的分类准确度。进一步，全连接层的运算采用张量的模式进行，有效缓解全连接带来的空间信息遗失的局限。并且，车牌识别系统采用多个卷积网络，多阶段策略实现车牌识别，将车牌识别的复杂过程分解为多个简单的子过程，即车辆检测，车牌检测，车牌号识别，车牌号识别又包括地区编号识别，字母识别和数字识别，有效提高了车牌识别的效率。再者，在车牌识别前增加基于直接概率密度比和张量神经网络的异常检测，有效准确识别异常数据，过滤异常数据，减少不必要的运算，提高系统的效率。

实施例五

请参阅图7，图7是本发明实施例公开的一种用户设备的结构示意图。其中，图7所示的用户设备包括图5～图6任意一种车牌识别装置。实施图7所示的用户设备，在卷积神经网络中引入空间转换网络和张量分解，从分类准确率和网络规模的角度，改进传统的卷积网络，并通过多个卷积神经网络多阶段式的对车牌进行识别，具备精确的分类效果同时网络的规模适中，能嵌入到移动设备。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种车牌识别方法及装置、用户设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。