一种车牌异常检测方法、装置、计算机设备和存储介质与流程

1.本公开涉及计算机视觉和智慧交通技术领域，具体而言，涉及一种车牌异常检测方法、装置、计算机设备和存储介质。


背景技术：

2.以往的交通管理主要依赖于人工，特别是在一些违章的检测识别中，比较依赖于人对于监控视频的观察，这种检测方式效率低。现今主要是依赖于图像分类的方法来检测车辆违章情况，但是图像分类对于各类车牌异常(比如车牌损坏或者涂改、遮挡等现象)情况无法完全穷举，因此，无法定义车牌异常的种类；另外，对于各类车牌异常情况，由于实际场景中出现的比例较小，因此，每种类别可参考的训练样本较少，导致分类模型的训练精度较低。


技术实现要素：

3.本公开实施例至少提供一种车牌异常检测方法、装置、计算机设备和存储介质。
4.第一方面，本公开实施例提供了一种车牌异常检测方法，包括：
5.获取车牌图像；
6.对所述车牌图像进行编码和解码处理，得到车牌重构图像；
7.基于所述车牌图像和所述车牌重构图像，确定图像重构误差；
8.基于所述图像重构误差，确定所述车牌图像中车牌的异常检测结果。
9.该方面，图像重构误差能够表征车牌图像与其还原后的车牌重构图像之间的误差信息，误差越大，说明车牌图像还原效果不好，也即说明了车牌图像中车牌存在异常的概率越大。因此，利用图像重构误差判断车牌是否异常，能够提高确定出的异常检测结果的准确性。
10.一种可选的实施方式中，所述基于所述车牌图像和所述车牌重构图像，确定图像重构误差，包括：
11.确定所述车牌图像中的至少部分第一像素点中的每个第一像素点，与所述车牌重构图像中对应第二像素点之间的像素差异信息；
12.基于所述至少部分第一像素点中的每个第一像素点对应的图像差异信息，确定每个第一像素点对应的目标差异信息；
13.基于所述至少部分第一像素点中的每个第一像素点对应的目标差异信息，确定所述图像重构误差。
14.该实施方式中确定出了车牌图像中的第一像素点与其对应的第二像素点之间的像素差异信息，较为细致化分析车牌图像中第一像素点与其还原后的第二像素点之间的差异；之后，根据至少部分第一像素点中的每个第一像素点对应的图像差异信息，能够得到表示图像整体差异的每个第一像素点对应的目标差异信息，进而从图像整体角度较为完全的找出车牌图像和还原后的车牌重构图像之间的差异，确定出较为准确的图像重构误差。
15.一种可选的实施方式中，所述基于所述图像重构误差，确定所述车牌图像中车牌的异常检测结果，包括：
16.基于所述图像重构误差和预设的异常检测阈值，确定所述车牌图像中车牌的异常检测结果。
17.该实施方式，利用根据经验或者训练数据预先设置的较为准确的异常检测阈值，与计算得到的较为准确的图像重构误差进行对比，能够提高确定出的异常检测结果的准确性。
18.一种可选的实施方式中，所述基于所述图像重构误差和预设的异常检测阈值，确定所述车牌图像中车牌的异常检测结果，包括：
19.在所述图像重构误差小于所述异常检测阈值的情况下，确定所述车牌图像中车牌的异常检测结果为车牌正常；
20.在所述图像重构误差大于或等于所述异常检测阈值的情况下，确定所述车牌图像中车牌的异常检测结果为车牌异常。
21.该实施方式，由于图像重构误差较为准确、以及确定的异常检测阈值较为准确，因此，在图像重构误差小于异常检测阈值的情况下，能够提高确定出的车牌正常情况的准确性。在图像重构误差大于或等于异常检测阈值的情况下，能够提高确定出的车牌异常情况的准确性。
22.一种可选的实施方式中，还包括确定所述异常检测阈值的步骤：
23.利用训练好的目标神经网络对多张包含正常车牌的第二样本图像进行编码和解码处理，得到第一样本重构误差；
24.基于所述第一样本重构误差，确定所述异常检测阈值。
25.该实施方式，利用训练好的目标神经网络模型能够还原出较高相似度的第二样本图像对应的重构图像，之后，对比第二样本图像和第二样本图像对应的重构图像，能够得到较为准确的第一样本重构误差；之后，基于较为准确的第一样本重构误差确定出的异常检测阈值同样具有较高的准确性。
26.一种可选的实施方式中，所述基于确定的所述第一样本重构误差，确定所述异常检测阈值，包括：
27.利用训练好的目标神经网络对多张包含异常车牌的第三样本图像进行编码和解码处理，得到第二样本重构误差；
28.基于所述第一样本重构误差和所述第二样本重构误差，确定所述异常检测阈值。
29.该实施方式，第一样本重构误差是对包含正常车牌的第二样本图像进行还原、并与第二样本图像对比后得到的，第二样本重构误差是对包含异常车牌的第三样本图像进行还原、并与第三样本图像对比后得到的，因此，结合第一样本重构误差和第二样本重构误差能够确定出较为准确的介于正常车牌图像和异常车牌图像之间的重构误差，基于此能够较为准确地确定上述异常检测阈值。
30.一种可选的实施方式中，所述基于所述第一样本重构误差和所述第二样本重构误差，确定所述异常检测阈值，包括：
31.基于所述第一样本重构误差和所述第二样本重构误差，确定异常检测阈值范围；
32.基于所述异常检测阈值范围，确定所述异常检测阈值。
33.该实施方式，结合第一样本重构误差和第二样本重构误差，能够找到介于第一样本重构误差和第二样本重构误差之间的重构误差范围，即异常检测阈值范围，在该范围内，能够准确确定出介于正常车牌图像和异常车牌图像之间的重构误差，基于此能够较为准确地确定上述异常检测阈值。
34.一种可选的实施方式中，所述基于所述第一样本重构误差和所述第二样本重构误差，确定所述异常检测阈值，包括：
35.获取所述第一样本重构误差对应的第一权重信息和所述第二样本重构误差对应的第二权重信息；
36.基于所述第一样本重构误差、所述第一权重信息、所述第二样本重构误差和所述第二权重信息，确定所述异常检测阈值。
37.该实施方式，分别利用正常车牌图像对应的第一样本重构误差和异常车牌图像对应的第二样本重构误差，对应的权重信息，即第一权重信息和第二权重信息，能够计算得到较为准确的异常检测阈值。
38.一种可选的实施方式中，所述对所述车牌图像进行编码和解码处理，得到车牌重构图像，包括：
39.利用训练好的目标神经网络，对所述车牌图像进行编码和解码处理，得到车牌重构图像；所述目标神经网络为基于包含正常车牌的第一样本图像训练得到的。
40.该实施方式中，由于目标神经网络是基于包含正常车牌的第一样本图像训练得到的，正常车牌，比如未损坏、未被涂改或未被遮挡的车牌。因此，该目标神经网络对于包含正常车牌的车牌图像具有还原精度较高的还原能力，因此，可以得到较为准确的车牌图像还原后车牌重构图像。示例性的，如果车牌图像中的车牌存在异常情况(无论存在怎样的异常情况)，则目标神经网络不能较好的还原该车牌图像，即得到的车牌重构图像与原车牌图像存在较大误差，因此，能够判定该车牌图像中的车牌存在异常。与现有技术中利用有限的车牌异常类别进行图像分类相比，无需考虑车牌异常类别，利用与正常车牌的差异，能够检测出存在异常情况的车牌。另外，目标神经网络是利用包含正常车牌的车牌图像进行训练得到的，无需考虑训练样本较少的问题，大量的第一样本图像能够训练出检测精度较高的神经网络。
41.一种可选的实施方式中，所述获取车牌图像，包括：
42.获取拍摄设备拍摄到的待检测图像；
43.对所述待检测图像进行车辆识别，基于车辆识别结果，从所述待检测图像中筛选包含车辆的所述车辆原始图像，以及，从所述车辆原始图像中截取包括车辆的子图像；
44.对所述子图像进行车牌识别，基于车辆识别结果，从所述子图像中截取包括车牌的车牌图像。
45.该实施方式，对子图像进行识别，能够降低设备算力，进而降低设备维护成本；同时，由于子图像的图像面积小于车辆原始图像，减少了识别内容，因此对子图像进行车牌识别，能够提升车牌识别速度，进而提高车牌识别效率。
46.第二方面，本公开实施例还提供一种车牌异常检测装置，包括：
47.图像获取模块，用于获取车牌图像；
48.图像重构模块，用于对所述车牌图像进行编码和解码处理，得到车牌重构图像；
49.误差确定模块，用于基于所述车牌图像和所述车牌重构图像，确定图像重构误差；
50.结果确定模块，用于基于所述图像重构误差，确定所述车牌图像中车牌的异常检测结果。
51.一种可选的实施方式中，所述误差确定模块，用于确定所述车牌图像中的至少部分第一像素点中的每个第一像素点，与所述车牌重构图像中对应第二像素点之间的像素差异信息；基于所述至少部分第一像素点中的每个第一像素点对应的图像差异信息，确定每个第一像素点对应的目标差异信息；基于所述至少部分第一像素点中的每个第一像素点对应的目标差异信息，确定所述图像重构误差。
52.一种可选的实施方式中，所述结果确定模块，用于基于所述图像重构误差和预设的异常检测阈值，确定所述车牌图像中车牌的异常检测结果。
53.一种可选的实施方式中，所述结果确定模块，用于在所述图像重构误差小于所述异常检测阈值的情况下，确定所述车牌图像中车牌的异常检测结果为车牌正常；在所述图像重构误差大于或等于所述异常检测阈值的情况下，确定所述车牌图像中车牌的异常检测结果为车牌异常。
54.一种可选的实施方式中，所述车牌异常检测装置还包括阈值确定模块，用于利用训练好的目标神经网络对多张包含正常车牌的第二样本图像进行编码和解码处理，得到第一样本重构误差；基于所述第一样本重构误差，确定所述异常检测阈值。
55.一种可选的实施方式中，所述阈值确定模块，用于利用训练好的目标神经网络对多张包含异常车牌的第三样本图像进行编码和解码处理，得到第二样本重构误差；基于所述第一样本重构误差和所述第二样本重构误差，确定所述异常检测阈值。
56.一种可选的实施方式中，所述阈值确定模块，用于基于所述第一样本重构误差和所述第二样本重构误差，确定异常检测阈值范围；基于所述异常检测阈值范围，确定所述异常检测阈值。
57.一种可选的实施方式中，所述阈值确定模块，用于获取所述第一样本重构误差对应的第一权重信息和所述第二样本重构误差对应的第二权重信息；基于所述第一样本重构误差、所述第一权重信息、所述第二样本重构误差和所述第二权重信息，确定所述异常检测阈值。
58.一种可选的实施方式中，所述图像重构模块，用于利用训练好的目标神经网络，对所述车牌图像进行编码和解码处理，得到车牌重构图像；所述目标神经网络为基于包含正常车牌的第一样本图像训练得到的。
59.一种可选的实施方式中，所述图像获取模块，用于获取拍摄设备拍摄到的待检测图像；对所述待检测图像进行车辆识别，基于车辆识别结果，从所述待检测图像中筛选包含车辆的所述车辆原始图像，以及，从所述车辆原始图像中截取包括车辆的子图像；对所述子图像进行车牌识别，基于车辆识别结果，从所述子图像中截取包括车牌的车牌图像。
60.第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能车牌异常检测方法的步骤。
61.第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介
质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的车牌异常检测方法的步骤。
62.关于上述车牌异常检测装置、计算机设备和存储介质的效果描述参见上述车牌异常检测方法的说明，这里不再赘述。
63.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
64.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
65.图1示出了本公开实施例所提供的一种车牌异常检测方法的流程图；
66.图2示出了本公开实施例所提供的一种自编码器对应的网络结构示意图；
67.图3示出了本公开实施例所提供的车牌图像与车牌重构图像的展示示意图；
68.图4示出了本公开实施例所提供的一种车牌异常检测装置的示意图；
69.图5示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
70.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
71.另外，本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
72.在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
73.经研究发现，以往的交通管理主要依赖于人工，特别是在一些违章的检测识别中，比较依赖于人对于监控视频的观察，这种检测方式效率低。现今主要是依赖于图像分类的方法来检测车辆违章情况，但是图像分类对于各类车牌异常(比如车牌损坏或者涂改、遮挡等现象)情况无法完全穷举，因此，无法定义车牌异常的种类；另外，对于各类车牌异常情况，由于实际场景中出现的比例较小，因此，每种类别可参考的训练样本较少，导致分类模
型的训练精度降低。
74.基于上述研究，本公开提供了一种车牌异常检测方法，由于目标神经网络是基于包含正常车牌的第一样本图像训练得到的，正常车牌，比如未损坏、未被涂改或未被遮挡的车牌。因此，该目标神经网络对于包含正常车牌的车牌图像具有较高精确的还原能力，可以通过车牌图像还原后的图像，即车牌重构图像，与车牌图像的对比结果，即图像重构误差，来确定车牌是否异常，提高确定的异常出检测结果的准确性。示例性的，如果车牌图像中的车牌存在异常情况(无论存在怎样的异常情况)，则目标神经网络不能较好的还原该车牌图像，即得到的车牌重构图像与原车牌图像存在较大误差，因此，能够判定该车牌图像中的车牌存在异常。与现有技术中利用有限的车牌异常类别进行图像分类相比，无需考虑车牌异常类别，利用与正常车牌的差异，能够检测出存在异常情况的车牌。另外，目标神经网络是利用包含正常车牌的车牌图像进行训练得到的，无需考虑训练样本较少的问题，大量的第一样本图像能够训练出检测精度较高的神经网络。
75.针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
76.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
77.下面对本公开实施例中所涉及到的特殊名词做详细说明：
78.1、自编码器，(autoencoder,ae)是一类在半监督学习和非监督学习中使用的人工神经网络(artificial neural networks,anns)，其功能是通过将输入信息作为学习目标，对输入信息进行表征学习(representation learning)。自编码器包含编码器(encoder)和解码器(decoder)两部分。按学习范式，自编码器可以被分为收缩自编码器(undercompleteautoencoder)、正则自编码器(regularized autoencoder)和变分自编码器(variationalautoencoder,vae)，其中前两者是判别模型、后者是生成模型。按构筑类型，自编码器可以是前馈结构或递归结构的神经网络。自编码器具有一般意义上表征学习算法的功能，被应用于降维(dimensionality reduction)和异常值检测(anomaly detection)。包含卷积层构筑的自编码器可被应用于计算机视觉问题，包括图像降噪(image denoising)、神经风格迁移(neural style transfer)等。
79.2、图像的尺寸和分辨率，图像的尺寸
×
图片的分辨率＝图像的像素。图像的尺寸包括图像的长度和宽度，长度单位为英寸，宽度单位为英寸。图像分辨率是指单位面积内的像素数量，即像素密度，单位dpi(dots per inch，像素点/英寸)。
80.3、稀疏自编码器，sparse autoencoder，sae，是一种无监督机器学习算法，通过计算自编码的输出与原输入的误差，不断调节自编码器的参数，最终训练出模型。自编码器可以用于压缩输入信息，提取有用的输入特征。
81.4、降噪自编码器，denoisingautoencoder，dae，是一个能够对“损坏”的原始数据编码、解码，然后还能恢复真正的原始数据的自编码器。
82.为便于对本实施例进行理解，首先对本公开实施例所公开的一种车牌异常检测方法进行详细介绍，本公开实施例所提供的车牌异常检测方法的执行主体一般为具有一定计算能力的计算机设备。在一些可能的实现方式中，该车牌异常检测方法可以通过处理器调
用存储器中存储的计算机可读指令的方式来实现。
83.下面以执行主体为计算机设备为例对本公开实施例提供的车牌异常检测方法加以说明。
84.参见图1所示，为本公开实施例提供的一种车牌异常检测方法的流程图，所述方法包括步骤s101～s104，其中：
85.s101：获取车牌图像。
86.本步骤中，车牌图像可以包括仅包含车牌的图像，或，除了包含车牌之外，还包含其它背景或其它对象的图像。该车牌图像可以是从视频流中筛选出的车牌或者车辆图像，或者是从视频流中筛选出的车辆图像中截取到的仅包含车牌的图像。
87.视频流可以根据任务需要，获取不同场景下的视频流，其中，不同场景，例如，龙门架、天桥场景、移动车载执法场景等，本公开实施例不进行具体限定。
88.s102：对车牌图像进行编码和解码处理，得到车牌重构图像。
89.这里，可以利用预先训练好的目标神经网络对车辆图像进行编码和解码处理，预先训练好的目标神经网络，例如可以是训练好的自编码器，自编码器包括编码器和解码器，其中编码器用于对车牌图像进行编码，解码器用于对编码后的车牌图像进行解码，得到并输出车牌重构图像。
90.具体实施时，目标神经网络输入一张车牌图像，首先，利用编码器对该车牌图像进行编码处理，具体的，对车牌图像执行卷积操作，提取该车牌图像的关键特征，以达到降维(即降低维数)的目的。之后，针对该关键特征进行解码处理，具体的，可以按照车牌图像的尺寸和分辨率，执行反向卷积操作，还原图像特征，输出车牌重构图像，并且所输出的所述车牌重构图像的尺寸和分辨率优选为与车牌图像的尺寸和分辨率相同或者相对应。
91.或者，也可以直接执行反向卷积操作，还原图像特征，输出车牌重构图像，此时，该车牌重构图像的尺寸和分辨率相同不一定与车牌图像的尺寸和分辨率相同。比如，还原后的车牌重构图像的长度为车牌图像的长度的m倍，m取正整数，还原后的车牌重构图像的宽度为车牌图像的宽度的m倍，还原后的车牌重构图像的分辨率为车牌图像的分辨率的m倍。
92.s103：基于车牌图像和车牌重构图像，确定图像重构误差。
93.这里，目标神经网络还原车牌图像的条件，可以包括按照车牌图像的尺寸和分辨率，还原车牌重构图像。因此，车牌图像与车牌重构图像具有相同的尺寸和分辨率，即车牌图像与车牌重构图像的长度和宽度相同，单位面积的像素点个数相同。
94.确定图像重构误差，具体的：在一些实施例中，可以计算车牌图像中每个第一像素点与车牌重构图像中对应的第二像素点之间的第一差值，基于多个第一差值，确定图像重构误差。
95.基于多个第一差值，确定图像重构误差，具体的，可以确定每个第一差值的绝对值，之后，确定多个第一差值绝对值对应的平均差值，将平均差值作为图像重构误差。或者，也可以确定每个第一差值平方后的方差值，之后，确定多个方差值对应的均方差值(即方差值的平均值)，将均方差值作为图像重构误差。
96.在另一些实施例中，可以确定车牌图像中部分第一像素点与车牌重构图像中对应的部分第二像素点之间的第二差值，基于多个第二差值，确定图像重构误差。这里，基于第二差值确定图像重构误差的步骤可以参见上述基于第一差值确定图像重构误差的步骤，重
复部分在此不再赘述。
97.这里，在车牌图像不仅包括车牌的情况下，部分第一像素点可以为仅包括车牌的图像对应的像素点。或者，在车牌图像仅包括车牌的情况下，部分第一像素点可以为车牌图像关键部分对应的像素点，其中，关键部分比如包括车牌号或车牌颜色等，该关键部分可以根据具体应用场景进行设定，本公开实施例不进行具体限定。
98.在另一些实施例中，如果还原后的车牌重构图像的尺寸和分辨率与车牌图像的尺寸不同，示例性的，还原后的车牌重构图像的尺寸中长度和宽度分别为车牌图像的尺寸中长度和宽度的m倍，则可以确定车牌重构图像中的以m为一个单元的重构子图像，比如，长度为m英寸，宽度为m英寸，确定该单位面积图像中至少一个第二像素点对应的像素均值，之后，计算该像素均值与车牌图像中对应位置的一个第一像素点的像素值之间的第三差值，确定多个重构子图像中第二像素点对应的像素均值与多个第一像素点之间的第三差值，确定图像重构误差。这里，基于第三差值确定图像重构误差的步骤可以参见上述基于第一差值确定图像重构误差的步骤，重复部分在此不再赘述。
99.示例性的，还原后的车牌重构图像的分辨率为车牌图像的分辨率的m倍，以一英寸单位面积的车牌重构图像和车牌图像为例，计算车牌图像中每个单元图像对应的第一像素点的像素均值与车牌重构图像中每个单元图像对应的第二像素点的像素均值之间的第四差值，具体的，确定位置a单位面积的车牌重构图像中第二像素点的像素均值a2，确定位置a单位面积的车牌重构图像中第一像素点的像素均值a1，|a
1-a2|即为位置a处单元图像对应的第一像素点的像素均值与车牌重构图像中位置a处单元图像对应的第二像素点的像素均值之间的第四差值。确定多个单元图像中第二像素点对应的像素均值与其对应的多个单元图像中第一像素点对应的限速均值之间的第四差值，确定图像重构误差。这里，基于第四差值确定图像重构误差的步骤可以参见上述基于第一差值确定图像重构误差的步骤，重复部分在此不再赘述。
100.s104：基于图像重构误差，确定车牌图像中车牌的异常检测结果。
101.具体实施时，可以基于图像重构误差和预设的异常检测阈值，确定车牌图像中车牌的异常检测结果。
102.这里，异常检测阈值可以是基于经验或者训练数据预先设置的较为准确的阈值，例如，利用目标神经网络，基于历史统计的正常车牌图像对应的图像重构误差，和/或，异常重构图像对应的图像重构误差，确定异常检测阈值。利用异常检测阈值与计算得到的较为准确的图像重构误差进行对比，能够提高确定出的异常检测结果的准确性。
103.确定车牌图像中车牌的异常检测结果，示例性的，在图像重构误差小于异常检测阈值的情况下，可以确定车牌图像中车牌的异常检测结果为车牌正常；在图像重构误差大于或等于异常检测阈值的情况下，确定车牌图像中车牌的异常检测结果为车牌异常。
104.由于图像重构误差较为准确、以及基于经验值确定的异常检测阈值较为准确，因此，在图像重构误差小于异常检测阈值的情况下，能够提高确定出的车牌正常情况的准确性。在图像重构误差大于或等于异常检测阈值的情况下，能够提高确定出的车牌异常情况的准确性。
105.确定异常检测误差的可以包括以下多种方式：
106.方式一、可以利用训练好的目标神经网络对多张包含正常车牌的第二样本图像进
行编码和解码处理，得到第一样本重构误差；基于第一样本重构误差，确定异常检测阈值。
107.由于训练好的目标神经网络是基于包含正常车牌的第一样本图像训练得到的，因此，对包含正常车牌的第二样本图像进行编码和解码处理(编码、解码的处理步骤可以参见上述对车牌图像的处理过程，重复部分在此不再赘述)，能够得到还原精度较高的第二样本重构图像，进而能够得到数值较小的第一重构子误差(相比于还原包含异常车牌的图像，得到的误差数据较小)，这里，计算第一重构子误差的过程可以参照上述计算图像重构误差的计算过程，也可以利用下文中的公式1进行计算，重复部分在此不再赘述。
108.对多张包含正常车牌的第二样本图像进行编码和解码处理，能够得到多张第二样本图像对应的第一重构子误差，基于多张第二样本图像对应的第一重构子误差，确定第一样本重构误差。具体的，可以从得到的多个第一重构子误差中随机选择取一个误差值，作为第一样本重构误差。或者，可以对多个第一重构子误差进行处理，将处理后的结果作为第一样本重构误差，例如，可以计算多个第一重构子误差的均值，将第一重构子误差均值作为第一样本重构误差。只要不脱离本公开的范围，即基于多个第一重构子误差，确定第一样本重构误差，本领域技术人员可以对多个第一重构子误差做出多种处理，以得到第一样本重构误差，这些处理方式都应落在本公开的范围内。
109.基于第一样本重构误差，确定异常检测阈值，具体的，可以将第一样本重构误差直接作为异常检测阈值；或者，对第一样本重构误差进行处理，确定异常检测阈值，具体处理方式包括：获取第一样本重构误差对应的第一权重信息，基于第一样本重构误差和第一权重信息，确定异常检测阈值。
110.这里，第一样本重构误差对应的第一权重信息可表征第一样本重构误差这一参考因素，在确定异常检测阈值过程中可被参考的重要程度。示例性的，已知第一样本重构误差a，第一权重信息b，则可以确定异常检测阈值c＝a
×
b。第一权重信息可以根据经验设定，本公开实施例不进行具体限定。
111.方式二、在方式一的基础上，还可以利用训练好的目标神经网络对多张包含异常车牌的第三样本图像进行编码和解码处理，得到第二样本重构误差；基于第一样本重构误差和第二样本重构误差，确定异常检测阈值。
112.由于训练好的目标神经网络是基于包含正常车牌的第一样本图像训练得到的，因此，对包含异常车牌的第三样本图像进行编码和解码处理(编码、解码的处理步骤可以参见上述对车牌图像的处理过程，重复部分在此不再赘述)，得到还原精度不高的第三样本重构图像，以及得到较大的第二重构子误差(相比于还原包含正常车牌的图像，得到的误差数据较大)，这里，计算第二重构子误差的过程可以参照上述计算图像重构误差的计算过程，也可以利用下文中的公式1进行计算，重复部分在此不再赘述。
113.对多张包含异常车牌的第三样本图像进行编码和解码处理，能够得到多张第三样本图像对应的第二重构子误差，基于多张第三样本图像对应的第二重构子误差，确定第二样本重构误差。具体的，可以从得到的多个第二重构子误差中随机选择取一个误差值，作为第二样本重构误差。或者，可以对多个第二重构子误差进行处理，将处理后的结果作为第二样本重构误差，例如，可以计算多个第二重构子误差的均值，将第二重构子误差均值作为第二样本重构误差。只要不脱离本公开的范围，即基于多个第二重构子误差，确定第二样本重构误差，本领域技术人员可以对多个第二重构子误差做出多种处理，以得到第二样本重构
误差，这些处理方式都应落在本公开的范围内。
114.第一样本重构误差是对包含正常车牌的第二样本图像进行还原、并与第二样本图像对比后得到的，第二样本重构误差是对包含异常车牌的第三样本图像进行还原、并与第三样本图像对比后得到的，因此，结合第一样本重构误差和第二样本重构误差能够确定出较为准确的介于正常车牌图像和异常车牌图像之间的重构误差，基于此能够较为准确地确定上述异常检测阈值。
115.基于第一样本重构误差和第二样本重构误差，确定异常检测阈值，具体的，可以包括下述两种确定方式，即方式1和方式2：
116.方式1、基于第一样本重构误差和第二样本重构误差，确定异常检测阈值范围；基于异常检测阈值范围，确定异常检测阈值。
117.结合第一样本重构误差和第二样本重构误差，能够找到介于第一样本重构误差和第二样本重构误差之间的重构误差范围，即异常检测阈值范围，在该范围内，能够准确确定出介于正常车牌图像和异常车牌图像之间的重构误差，基于此能够较为准确地确定上述异常检测阈值。
118.具体实施时，已知第一样本重构误差d，第二样本重构误差e，确定异常检测阈值范围，即[d,e]，其中，包括第一样本重构误差d和第二样本重构误差e。之后，可以从[d,e]中选取任意一个误差值作为异常检测阈值；或者，可以确定异常检测阈值范围对应的均值并将该均值作为异常检测阈值。异常检测阈值范围对应的均值可以参照公式计算，其中，i表示[d,e]中的误差值。
[0119]
方式2、获取第一样本重构误差对应的第一权重信息和第二样本重构误差对应的第二权重信息；基于第一样本重构误差、第一权重信息、第二样本重构误差和第二权重信息，确定异常检测阈值。
[0120]
这里，在第一样本重构误差的基础上，考虑异常车牌图像对应的第二样板重构误差，能够提高所确定的异常检测阈值的准确性。
[0121]
第二样本重构误差对应的第二权重信息可表征第二样本重构误差这一参考因素，在确定异常检测阈值过程中可被参考的重要程度。第二权重信息可以根据经验设定，本公开实施例不进行具体限定。
[0122]
示例性的，已知第一样本重构误差f，第二样本重构误差g，第一权重信息h和第二权重信息i，确定异常检测阈值j，即j＝f
×
g+h
×
i。
[0123]
这里，可以根据实际应用场景，确定第一权重信息和第二权重信息，在一些实施例中，还可以综合考虑第一样本重构误差和第二样本重构误差在确定异常检测阈值过程中被参考的重要程度，确定第一权重信息和第二权重信息。
[0124]
上述s101～s104，由于目标神经网络是基于包含正常车牌的第一样本图像训练得到的，正常车牌，比如未损坏、未被涂改或未被遮挡的车牌。因此，该目标神经网络对于包含正常车牌的车牌图像具有还原精度较高的还原能力，可以通过车牌图像还原后的图像，即车牌重构图像，与车牌图像的对比结果，即图像重构误差，能够提高确定的异常出检测结果的准确性。示例性的，如果车牌图像中的车牌存在异常情况(无论存在怎样的异常情况)，则目标神经网络不能较好的还原该车牌图像，即得到的车牌重构图像与原车牌图像存在较大
误差，因此，能够判定该车牌图像中的车牌存在异常。与现有技术中利用有限的车牌异常类别进行图像分类相比，无需考虑车牌异常类别，利用与正常车牌的差异，能够检测出存在异常情况的车牌。另外，目标神经网络是利用包含正常车牌的车牌图像进行训练得到的，无需考虑训练样本较少的问题，大量的第一样本图像能够训练出检测精度较高的神经网络。
[0125]
针对s102中对车牌图像进行编码和解码处理，得到车牌重构图像；具体的，可以利用训练好的目标神经网络，对车牌图像进行编码和解码处理，得到车牌重构图像；其中，目标神经网络为基于包含正常车牌的第一样本图像训练得到的。
[0126]
这里，目标神经网络，例如可以为自编码器。由于目标神经网络是基于包含正常车牌的第一样本图像训练得到的，因此训练好的目标神经网络对包含正常车牌的车牌图像具有还原精度较高的还原能力。训练目标神经网络的过程中，输出的第一样本重构图像(待训练的目标神经网络对第一样本图像还原后的图像)与输入的第一样本图像的相似度越高，目标神经网络对包含正常车牌的图像的还原能力越好，即还原精度越高。在输出的第一样本重构图像与输入的第一样本图像的相似度超过或等于预设相似度后，可以确定目标神经网络训练完成。这里，预设相似度可以根据经验值获取，本公开实施例不进行限定。
[0127]
示例性的，正常车牌可以包括：未损坏的车牌，未被涂改的车牌或未被遮挡的车牌等。
[0128]
一种可能的实施方式中，对目标神经网络训练，可以利用多张包括正常车牌的第一样本图像对目标神经网络进行迭代训练，能够将待训练的目标神经网络训练成对包含正常车牌的图像具有较高还原精度的目标神经网络。具体的，其训练过程包括，获取多张包含正常车牌的第一样本图像；利用多张第一样本图像对待训练的目标神经网络进行迭代训练，直到满足训练条件，得到训练好的目标神经网络。
[0129]
这里，训练条件可以根据具体应用场景进行设定，比如，目标神经网络示利用包含正常车牌的第一样本图像进行训练，在检测车牌异常的场景下，训练条件可以为目标神经网络对应的损失函数小于历史训练正常车牌图像得到的图像重构误差。另外，还可以根据具体任务要求对训练条件进行调整，本公开实施例不进行具体限定。
[0130]
上述对待训练的目标神经网络进行迭代训练的过程，包括对第一样本图像进行编码和解码的过程，具体编解码过程可以参见图2所示，其为一种自编码器对应的网络结构示意图。其中，包括输入第一样本图像21，可以为rgb三通道的图像；编码器22，用于对该第一样本图像进行编码处理，具体的，利用隐层221，对第一样本图像21进行卷积处理，以提取该第一样本图像的关键特征，得到特征图23；解码器24，用于对该特征图进行解码处理，具体的，利用隐层241，对特征图23进行反向卷积操作，还原第一样本图像的特征，输出第一样本重构图像25。
[0131]
这里，自编码器对应的网络结构可以包括稀疏自动编码器、降噪自动编码器、变分自动编码器等。自编码器的训练利用包含正常车牌的第一样本图像进行训练，而不依赖包含异常车牌的图像，因此，模型训练过程对数据的依赖较为简单，在训练数据上能够得到充分保障。
[0132]
针对s103中的图像重构误差，具体的，确定图像重构误差的步骤包括：
[0133]
s1031：确定车牌图像中的至少部分第一像素点中的每个第一像素点，与车牌重构图像中对应第二像素点之间的像素差异信息。
[0134]
这里，第一像素点与车牌重构图像中与第一像素点对应的第二像素点之间的像素差异信息，可以包括车牌图像中每个第一像素点与车牌重构图像中对应的第二像素点之间的像素值的差值；或者，也可以包括车牌图像中预设区域对应部分的第一像素点与车牌重构图像中对应的第二像素点之间的像素值的差值；这里，预设区域可以为车牌图像的关键区域，比如车牌号所在区域或者车牌颜色区域等。
[0135]
s1032：基于至少部分第一像素点中的每个第一像素点对应的图像差异信息，确定每个第一像素点对应的目标差异信息。
[0136]
本步骤中，目标差异信息可以包括，确定的至少部分第一像素点中的每个第一像素点对应的图像差异信息所指示的第一像素点和其对应的第二像素点之间的差值的平方。也即，目标差异信息为(x
i-yi)2，其中，xi表示车牌图像中的第i个第一像素点对应的像素值，yi表示车牌重构图像中与第i个第一像素点相对应的、第i个第二像素点对应的像素值。i取整数，且i的取值范围小于或等于至少部分第一像素点的个数。
[0137]
s1033：基于至少部分第一像素点中的每个第一像素点对应的目标差异信息，确定图像重构误差。
[0138]
基于至少部分第一像素点中的每个第一像素点对应的目标差异信息，可以确定至少部分第一像素点对应的目标差异信息指示的差异之和，之后，可以将确定的差异之和作为图像重构误差，则图像重构误差即为
[0139]
或者，也可以确定至少部分第一像素点对应的目标差异信息指示的差异之和的均值，之后，可以将确定的差异之和作为图像重构误差，则图像重构误差即为
[0140]
可以参见图3所示，其为车牌图像与车牌重构图像的展示示意图，其中，一个矩形框表示一个像素点，包括，车牌图像31，包括多个第一像素点(即第一像素点311，第一像素点312，
……
)，车牌重构图像32，包括多个第二像素点(即第二像素点321，第二像素点322，
……
)。针对车牌图像中的每个第一像素点，即第一像素点311，第一像素点312，
……
，可以确定每个第一像素点与其对应的第二像素点之间的像素差异信息，即第一像素点311与其对应的第二像素点321之间的像素差异信息，第一像素点312与其对应的第二像素点322之间的像素差异信息，比如，在第一像素点311对应的像素值为80，第二像素点321对应的像素值为77的情况下，第一像素点311与第二像素点321之间的像素差异信息可以为第一像素点311与第二像素点321之间像素值的差值，即80-77＝3。
[0141]
示例性的，可以利用均方损失函数(即mseloss损失函数)，计算图像重构误差。具体可以参见公式1：
[0142][0143]
或者，也可以利用平方误差函数(即mean square loss损失函数)，计算图像重构误差。具体可以参见公式2：
[0144][0145]
其中，loss(xi,yi)表示图像重构误差，(x
i-yi)表示像素差异信息，(x
i-yi)2表示目标差异信息，xi表示车牌图像中的第i个第一像素点对应的像素值，yi表示车牌重构图像中
与第i个第一像素点相对应的、第i个第二像素点对应的像素值，n取正整数，表示车牌图像和车牌重构图像中像素点的个数。这里，loss，x，y的维度是相同的，可以是向量或者矩阵。
[0146]
上述较为细致化分析车牌图像中每个第一像素点与其还原后的第二像素点之间的差异，从图像整体角度较为完全的找出车牌图像和还原后的车牌重构图像之间的差异，确定出较为准确的图像重构误差。
[0147]
针对s101中的车牌图像，在一些实施例中，获取车牌图像的具体步骤包括：
[0148]
s1011：获取拍摄设备拍摄到的待检测图像。
[0149]
示例性的，拍摄设备可以实时获取一场景下的视频流，确定视频流中的每帧待检测图像。
[0150]
s1012：对待检测图像进行车辆识别，基于车辆识别结果，从待检测图像中筛选包含车辆的车辆原始图像，以及，从车辆原始图像中截取包括车辆的子图像。
[0151]
这里，可以利用车辆检测模型对待检测图像进行车辆识别，即输入待检测图像，经过模型处理，确定车辆原始图像，之后，对车辆原始图像中的车辆进行打标，确定车辆检测框，之后，根据车辆检测框框出的车辆对应的图像，确定车辆子图像，将其从车辆原始图像中截取并输出。
[0152]
其中，车辆检测模型中的网络结构可以包括两阶段检测网络结构(faster rcnn等)以及单阶段检测网络结构(retinanet等)。车辆检测框用于
[0153]
s1013：对子图像进行车牌识别，基于车辆识别结果，从子图像中截取包括车牌的车牌图像。
[0154]
本步骤可以利用车牌检测模型对子图像进行车牌识别，即输入子图像，经过模型处理，对子图香中的车牌进行打标，确定车牌检测框，之后，根据车牌检测框框出的车牌对应的图像，确定车牌图像，将其从子图像中截取并输出。
[0155]
其中，车牌检测模型中的网络结构可以包括两阶段检测网络结构(faster rcnn等)以及单阶段检测网络结构(retinanet等)。
[0156]
这里，对子图像进行识别，能够降低设备算力，降低设备维护成本；同时，由于子图像的图像面积小于车辆原始图像，减少了低了识别内容，因此对子图像进行车牌识别，能够提升车牌识别速度，进而提高车牌识别效率。
[0157]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0158]
基于同一发明构思，本公开实施例中还提供了与车牌异常检测方法对应的车牌异常检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述车牌异常检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0159]
参照图4所示，为本公开实施例提供的一种车辆异常检测装置的示意图，所述装置包括：图像获取模块401、图像重构模块402、误差确定模块403和结果确定模块404；其中，
[0160]
图像获取模块401，用于获取车牌图像；
[0161]
图像重构模块402，用于对所述车牌图像进行编码和解码处理，得到车牌重构图像；
[0162]
误差确定模块403，用于基于所述车牌图像和所述车牌重构图像，确定图像重构误
差；
[0163]
结果确定模块404，用于基于所述图像重构误差，确定所述车牌图像中车牌的异常检测结果。
[0164]
一种可选的实施方式中，所述误差确定模块403，用于确定所述车牌图像中的至少部分第一像素点中的每个第一像素点，与所述车牌重构图像中对应第二像素点之间的像素差异信息；基于所述至少部分第一像素点中的每个第一像素点对应的图像差异信息，确定每个第一像素点对应的目标差异信息；基于所述至少部分第一像素点中的每个第一像素点对应的目标差异信息，确定所述图像重构误差。
[0165]
一种可选的实施方式中，所述结果确定模块404，用于基于所述图像重构误差和预设的异常检测阈值，确定所述车牌图像中车牌的异常检测结果。
[0166]
一种可选的实施方式中，所述结果确定模块，用于在所述图像重构误差小于所述异常检测阈值的情况下，确定所述车牌图像中车牌的异常检测结果为车牌正常；在所述图像重构误差大于或等于所述异常检测阈值的情况下，确定所述车牌图像中车牌的异常检测结果为车牌异常。
[0167]
一种可选的实施方式中，所述车牌异常检测装置还包括阈值确定模块405，用于利用训练好的目标神经网络对多张包含正常车牌的第二样本图像进行编码和解码处理，得到第一样本重构误差；基于所述第一样本重构误差，确定所述异常检测阈值。
[0168]
一种可选的实施方式中，所述阈值确定模块405用于利用训练好的目标神经网络对多张包含异常车牌的第三样本图像进行编码和解码处理，得到第二样本重构误差；基于所述第一样本重构误差和所述第二样本重构误差，确定所述异常检测阈值。
[0169]
一种可选的实施方式中，所述阈值确定模块405，用于基于所述第一样本重构误差和所述第二样本重构误差，确定异常检测阈值范围；基于所述异常检测阈值范围，确定所述异常检测阈值。
[0170]
一种可选的实施方式中，所述阈值确定模块405，用于获取所述第一样本重构误差对应的第一权重信息和所述第二样本重构误差对应的第二权重信息；基于所述第一样本重构误差、所述第一权重信息、所述第二样本重构误差和所述第二权重信息，确定所述异常检测阈值。
[0171]
一种可选的实施方式中，所述图像重构模块402，用于利用训练好的目标神经网络，对所述车牌图像进行编码和解码处理，得到车牌重构图像；所述目标神经网络为基于包含正常车牌的第一样本图像训练得到的。
[0172]
一种可选的实施方式中，所述图像获取模块401，用于获取拍摄设备拍摄到的待检测图像；对所述待检测图像进行车辆识别，基于车辆识别结果，从所述待检测图像中筛选包含车辆的所述车辆原始图像，以及，从所述车辆原始图像中截取包括车辆的子图像；对所述子图像进行车牌识别，基于车辆识别结果，从所述子图像中截取包括车牌的车牌图像。
[0173]
关于车辆异常检测装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述车辆异常检测方法实施例中的相关说明，这里不再详述。
[0174]
基于同一技术构思，本技术实施例还提供了一种计算机设备。参照图5所示，为本技术实施例提供的计算机设备的结构示意图，包括：
[0175]
处理器51、存储器52和总线53。其中，存储器52存储有处理器51可执行的机器可读
指令，处理器51用于执行存储器52中存储的机器可读指令，所述机器可读指令被处理器51执行时，处理器51执行下述步骤：s101：获取车牌图像；s102：对车牌图像进行编码和解码处理，得到车牌重构图像；s103：基于车牌图像和车牌重构图像，确定图像重构误差；s104：基于图像重构误差，确定车牌图像中车牌的异常检测结果。
[0176]
上述存储器52包括内存521和外部存储器522；这里的内存521也称内存储器，用于暂时存放处理器51中的运算数据，以及与硬盘等外部存储器522交换的数据，处理器51通过内存521与外部存储器522进行数据交换，当计算机设备运行时，处理器51与存储器52之间通过总线53通信，使得处理器51在执行上述方法实施例中所提及的执行指令。
[0177]
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的车辆异常检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0178]
本公开实施例还提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现上述的车辆异常检测方法的步骤。其中，计算机程序产品可以是任何能实现上述车辆异常检测方法的产品，该计算机程序产品中对现有技术做出贡献的部分或全部方案可以以软件产品(例如软件开发包(software development kit，sdk))的形式体现，该软件产品可以被存储在一个存储介质中，通过包含的计算机指令使得相关设备或处理器执行上述车辆异常检测方法的部分或全部步骤。
[0179]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0180]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0181]
另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
[0182]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0183]
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开
的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。