一种车牌超分辨率模型重建方法及装置与流程

本发明涉及图像处理技术领域，尤其涉及一种车牌超分辨率模型重建方法及装置。

背景技术：

随着现代交通技术以及经济的快速发展，汽车已经成为人们日常生活中一种重要的交通工具，这必然对交通管理有一个更高的要求，而随着对城市交通管理、高速公路收费、停车场管理等的自动化，车牌识别技术的研究成为一个非常重要的发展方向。

车牌是车辆的唯一身份标识，车牌识别技术(Vehicle License Plate Recognition，VLPR)是指能够检测到受监控路面的车辆并自动提取车辆牌照信息(含汉字字符、英文字母、阿拉伯数字及号牌颜色)进行处理的技术，主要以数字图像处理、模式识别、计算机视觉等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，进而得到每一辆汽车唯一的车牌号码而完成识别过程，可以在汽车不做任何改动的情况下，实现对汽车身份的自动登记及验证。车牌识别技术作为现代智能交通系统中的重要组成部分之一，对于维护交通安全和城市治安，防止交通堵塞，实现交通自动化管理有着现实的意义。

目前，车牌识别设备已广泛应用于停车场、高速公路、城市道路等区域进行车牌抓拍及识别。其中，车牌识别率随着图像识别算法及摄像机分辨率、宽动态、对比度等性能的提升，已经达到98％以上的指标。但由于光线影响及车牌区域本身不清晰造成的车牌分割及字符识别错误是当前车牌识别率指标无法继续完善的一个重要原因，因此，如何提高车牌区域的纹理分辨率成为了进一步提升车牌识别率的有效方法。

现有技术中，针对车牌重建的方法主要有基于稀疏表示的字典学习方法，该方法可以通过学习得到的高、低分辨率字典对来表示先验信息进行图像超分辨率重建，由于其训练特征的维数比深度学习自学习的特征维数低、运算量小，从而其运算速度较快，然而，其特征映射能力有限，对多种不同车牌类型的重建能力有限，重建效果不佳，且得到的重构图像边缘较为平滑，纹理未能较好地恢复，图像质量有待提高，该方法应用于诸如停车场环境中时，难以解决车牌区域不清晰或光照噪声影响导致的车牌识别错误或漏车的问题。

因此，综上所述，有必要提供一种改进的车牌图像超分辨率重建方法，以解决现有技术存在的不足。

技术实现要素：

本发明实施例提供了一种车牌超分辨率模型重建方法及装置，通过第一模型训练高分辨率图像和低分辨率图像的局部区域映射关系，得到目标模型后，可以实现对低分辨率图像的去模糊和去噪的操作，解决车牌区域不清晰或光照噪声影响导致的车牌识别错误或漏车的问题，达到有效提高车牌识别率的目的。

本发明第一方面提供一种车牌超分辨率模型重建方法，可包括：

(1)获取车牌的第一图像，并将第一图像进行低分辨率处理，得到第二图像，其中，第一图像和第二图像包括数量相同且位置关系对应的至少一个局部图像；

(2)确定第一局部图像和第二局部图像，第二局部图像为第二图像的至少一个局部图像中的任意一个，第一局部图像为第一图像的至少一个局部图像中与第二局部图像位置关系对应的一个；

(3)按照第一模型的卷积层参数对第二局部图像进行卷积处理，得到目标局部图像，目标局部图像与第一局部图像的像素尺寸相同；

(4)确定目标局部图像与第一局部图像的像素差异；

(5)判断像素差异是否满足预设条件；

(6)若是，则根据像素差异调整第一模型的卷积层参数，得到目标模型，若否，则根据像素差异调整第一模型的卷积层参数，得到第二模型，将第二模型的卷积层参数作为第一模型的卷积层参数并重复执行步骤(2)至(6)。

进一步地，判断像素差异是否满足预设条件包括：

判断像素差异是否小于第一阈值；或，

判断像素差异是否小于第一阈值，且判断像素差异小于第一阈值的次数是否大于第二阈值；或，

判断像素差异的确定次数是否为预设次数的倍数。

进一步地，判断像素差异的确定次数是否为预设次数的倍数包括：

判断像素差异的确定次数是否为预设次数的倍数，且判断确定次数的像素差异的加权计算值是否小于第一阈值。

进一步地，在获取车牌的第一图像，并将第一图像进行低分辨率处理，得到第二图像之前，该方法还包括：

将第一图像进行灰度处理。

进一步地，像素差异为像素均方差，根据像素差异值调整第一模型的卷积层参数包括：

根据像素均方差调整第一模型中卷积层的卷积核参数；

根据像素均方差调整第一模型中卷积层的卷积核参数包括：

利用像素均方差确定第N层卷积层的像素损失，并根据第N层卷积层的像素损失调整第N层卷积层的卷积核参数，第一模型包括N层卷积层，N为大于零的整数；

根据第N-M层卷积层的像素损失确定第N-M-1层卷积层的像素损失，并根据第N-M-1层卷积层的像素损失调整第N-M-1层卷积层的卷积核参数，M为自然数。

进一步地，将第一图像进行低分辨率处理，得到第二图像包括：

对第一图像进行模糊处理和/或噪声处理，得到图像样本；

对图像样本分别进行光照不均处理，得到第二图像。

进一步地，噪声处理包括以下至少一种：

高斯噪声处理、瑞利噪声处理、指数噪声处理、椒盐噪声处理。

进一步地，该方法还包括：

获取待检测车牌图像；

按照目标模型的卷积层参数对待检测车牌图像进行卷积处理，得到目标车牌图像，待检测车牌图像与目标车牌图像的像素尺寸相同。

进一步地，按照目标模型的卷积层参数对待检测车牌图像进行卷积处理，得到目标车牌图像包括：

确定待检测车牌图像的像素尺寸；

根据待检测车牌图像的像素尺寸以及目标模型的卷积层参数，确定填充像素大小；

按照卷积层参数和填充像素大小对待检测车牌图像进行卷积处理，得到目标车牌图像。

进一步地，在获取待检测车牌图像之前，该方法还包括：

将待检测车牌图像进行灰度处理。

本发明第二方面提供一种车牌超分辨率模型重建装置，可包括：

获取单元，用于执行：

(1)获取车牌的第一图像，将第一图像进行低分辨率处理，得到第二图像，其中，第一图像和第二图像包括数量相同且位置关系对应的至少一个局部图像；

处理单元，用于执行：

(2)确定第一局部图像和第二局部图像，第二局部图像为第二图像的至少一个局部图像中的任意一个，第一局部图像为第一图像的至少一个局部图像中与第二局部图像位置关系对应的一个；

(3)按照第一模型的卷积层参数对第二局部图像进行卷积处理，得到目标局部图像，目标局部图像与第一局部图像的像素尺寸相同；

(4)确定目标局部图像与第一局部图像的像素差异；

(5)判断像素差异是否满足预设条件；

(6)若是，则根据像素差异调整第一模型的卷积层参数，得到目标模型，若否，则根据像素差异调整第一模型的卷积层参数，得到第二模型，将第二模型的卷积层参数作为第一模型的卷积层参数并重复执行步骤(2)至(6)。

进一步地，处理单元，具体用于执行：

判断像素差异是否小于第一阈值；或，

判断像素差异是否小于第一阈值，且判断像素差异小于第一阈值的次数是否大于第二阈值；或，

判断像素差异的确定次数是否为预设次数的倍数。

进一步地，处理单元，还具体用于执行：

判断像素差异的确定次数是否为预设次数的倍数，且判断确定次数的像素差异的加权计算值是否小于第一阈值。

进一步地，获取单元，还具体用于执行：

将第一图像进行灰度处理。

进一步地，像素差异为像素均方差，处理单元，具体用于执行：

根据像素均方差调整第一模型中卷积层的卷积核参数；

根据像素均方差调整第一模型中卷积层的卷积核参数包括：

利用像素均方差确定第N层卷积层的像素损失，并根据第N层卷积层的像素损失调整第N层卷积层的卷积核参数，第一模型包括N层卷积层，N为大于零的整数；

根据第N-M层卷积层的像素损失确定第N-M-1层卷积层的像素损失，并根据第N-M-1层卷积层的像素损失调整第N-M-1层卷积层的卷积核参数，M为自然数。

进一步地，获取单元，具体用于执行：

对第一图像进行模糊处理和/或噪声处理，得到图像样本；

对图像样本分别进行光照不均处理，得到第二图像。

进一步地，噪声处理包括以下至少一种：

高斯噪声处理、瑞利噪声处理、指数噪声处理、椒盐噪声处理。

进一步地，获取单元，还具体用于执行：

获取待检测车牌图像；

处理单元，还具体用于执行：

按照目标模型的卷积层参数对待检测车牌图像进行卷积处理，得到目标车牌图像，待检测车牌图像与目标车牌图像的像素尺寸相同。

进一步地，处理单元，还具体用于执行：

确定待检测车牌图像的像素尺寸；

根据待检测车牌图像的像素尺寸以及目标模型的卷积层参数，确定填充像素大小；

按照卷积层参数和填充像素大小对待检测车牌图像进行卷积处理，得到目标车牌图像。

进一步地，获取单元，还具体用于执行：

将待检测车牌图像进行灰度处理。

从以上技术方案可以看出，本发明实施例具有以下优点：

本实施例中，提供了一种车头超分辨率模型重建方法，该方法通过对获取的车牌的第一图像进行相应的处理，得到第二图像后，可以采用像素级别的训练方法训练第一模型，通过训练第一模型内的卷积层参数，得到目标模型后，可以对低分辨率的待检测车牌图像进行诸如模糊及噪声去除，达到获得高分辨率的目标车牌图像的目的。提高待检测车牌图像中车牌区域的纹理清晰度，可以解决车牌区域不清晰造成的字符分割识别错误等问题，从而可以间接提高车牌识别率。

附图说明

图1为本发明实施例中车牌超分辨率模型重建方法一个实施例示意图；

图2为本发明实施例中车牌超分辨率模型重建方法的卷积处理示意图；

图3为本发明实施例中车牌超分辨率模型重建方法另一实施例示意图；

图4为本发明实施例中车牌超分辨率模型重建方法另一实施例示意图；

图5为本发明实施例中车牌超分辨率模型重建方法另一实施例示意图；

图6为本发明实施例中基于目标模型的车牌检测方法一个实施例示意图；

图7为本发明实施例中基于目标模型的车牌检测方法另一实施例示意图；

图8为本发明实施例中车牌超分辨率模型重建装置一个实施例示意图；

具体实施方式

本发明实施例提供了一种车牌超分辨率模型重建方法及装置，通过第一模型训练高分辨率图像和低分辨率图像的局部区域映射关系，得到目标模型后，可以实现对低分辨率图像的去模糊和去噪的操作，解决车牌区域不清晰或光照噪声影响导致的车牌识别错误或漏车的问题，达到有效提高车牌识别率的目的。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例中的具体流程进行描述，请参阅图1，本发明实施例中车牌超分辨率模型重建方法一个实施例包括：

101、获取车牌的第一图像，并将第一图像进行低分辨率处理，得到第二图像；

本实施例中，为了可以对待检测车牌图像进行准确识别，可以利用大量的车牌图像作为得到目标模型的训练集样本，选取的过程可以通过人工的方式进行选取，例如选取1万张清晰的不同车辆压地感那一帧的车牌图像，之后可以对每一个车牌图像进行相应的处理，得到车牌的第一图像，并可以获取车牌的第一图像，进而可以将第一图像进行低分辨率处理，得到第二图像。其中，第一图像和第二图像可以包括数量相同且位置关系对应的至少一个局部图像。

具体的，在选取大量的车牌图像后，可以根据车牌边缘信息粗定位车牌图像中的车牌区域，车牌图像中车牌区域的获取可以如下方式：

1、使用HOG模型对车牌图像进行多尺度检测，并提取通过HOG模型检测的方框区域；

使用HOG(Histogram oforiented gradients)梯度方向直方图特征对每一幅正(车牌图像)、负(非车牌图像)样本进行表征，形成HOG特征向量。HOG刻画图像的局部梯度幅值和方向特征，基于梯度特征对块的特征向量进行归一化处理。HOG允许块之间相互重叠，因此对光照变化和小量的偏移并不敏感，能有效地刻画出边缘特征。对于角度大的车牌图像检测效果好，之后通过形成的HOG特征向量建立HOG模型，通过HOG模型进行多尺度检测，对车牌图像中每个能通过HOG验证的区域，都用一个方框区域显示，提取通过HOG模型检测的方框区域。

2、对车牌图像进行边缘计算，并计算经过边缘计算后的车牌图像的积分图，获取得到车牌图像的边缘积分图；

根据经验，车牌一般都处在边缘比较密集且分布均匀的区域，计算车牌图像全图的边缘，为了搜索的方便，再计算经过边缘计算后的全图的积分图，这里称为边缘积分图，获取得到车牌图像的边缘积分图。

3、在边缘积分图上获取通过HOG模型检测的方框区域，计算通过HOG模型检测的方框区域的边缘密度，提取边缘密度大于等于阈值的方框；

使用获得的方框区域在边缘积分图上框出疑似车牌区域，再通过积分图计算这些区域的边缘密度，删除灰度图中边缘密度小于阈值的方框，提取边缘密度大于等于阈值的方框。

4、通过Haar模型对边缘密度大于等于阈值的方框进行检测，检测得到精确的车牌区域。

检测结束后对剩下的方框进行聚类操作，将每一类所有方框所占面积连起来形成块，之后通过Haar模型对剩下的块进行检测获得精确的车牌区域。

进一步的，粗定位车牌图像中的车牌区域后，可以对车牌区域的左右边界外扩0.5个车牌粗定位宽度，上下边界外扩0.5个车牌粗定位高度，可以得到车牌的第一图像，并可以获取车牌的第一图像。

更进一步的，可以对第一图像进行低分辨处理，获取分辨率比第一图像低的第二图像，且第一图像与第二图像的像素尺寸相同。可以理解的是，在实际应用中，第一图像可以为一张，也可以为多张，同时，一张第一图像可以对应一张或多张第二图像，即高分辨率图像(第一图像)经过处理后，可以得到一张或多张低分辨图像(第二图像)，具体此处不做限定。

再进一步的，得到第二图像后，可以将一张第二图像和对应的一张第一图像组成图像对，对该第二图像和第一图像进行裁剪处理，得到局部纹理区域图像对，即使得第一图像和第二图像可以包括数量相同且位置关系对应的至少一个局部图像，例如，可以将第二图像裁剪为像素尺寸33*33的多个局部图像，长宽方向步长均为14个像素，将第一图像裁剪为像素尺寸21*21的多个局部图像，长宽方向步长也均为14个像素，其中，21*21的局部图像位于33*33的局部图像的中央位置，即21*21的局部图像与33*33的局部图像的上下左右间隔6个像素。

可以理解的是，为了提高对第二图像的局部纹理区域的识别率，第一图像以及第二图像中相邻的局部图像之间可以有部分重叠，以第二图像中的局部图像为例进行说明，即一个局部图像向右平移一个像素可得到另一局部图像。此外，在实际应用中，若第一图像以及第二图像的像素尺寸分别与裁剪的像素尺寸之间不为倍数关系，那么可以舍弃第一图像以及第二图像裁剪后的边缘部分，此处不做限定。

102、确定第一局部图像和第二局部图像；

本实施例中，获取车牌的第一图像，并将第一图像进行低分辨率处理，得到第二图像后，可以确定第一局部图像和第二局部图像，其中，第二局部图像可以为第二图像的至少一个局部图像中的任意一个，第一局部图像可以为第一图像的至少一个局部图像中与第二局部图像位置关系对应的一个。

具体的，沿用步骤101说明的裁剪处理，第二图像可以包括像素尺寸33*33的多个局部图像，第一图像可以包括像素尺寸21*21的多个局部图像，在对应的图像对中，可以随机确定一局部纹理区域图像对，即在第二图像的至少一个局部图像中选取任意一个局部图像作为第二局部图像，并可以在第一图像的至少一个局部图像中选取与第二局部图像位置关系对应的一个局部图像作为第一局部图像。

103、按照第一模型的卷积层参数对第二局部图像进行卷积处理，得到目标局部图像；

本实施例中，确定第一局部图像和第二局部图像后，可以按照第一模型的卷积层参数对第二局部图像进行卷积处理，得到目标局部图像，其中，目标局部图像与第一局部图像的像素尺寸相同。

具体的，第一模型即卷积神经网络，卷积神经网络可以包括有预设次数的卷积处理，每一次卷积处理可以包括有预设数量的卷积层，每一个卷积层可以对应有预设大小的卷积核，在实际应用中，可以将第一局部图像和第二局部图像生成HDF5格式的数据用于训练第一模型，即卷积神经网络。本实施例中，可以将第二局部图像输入第一模型中，按照第一模型的卷积层参数对第二局部图像进行一次迭代操作，第二局部图像进过卷积处理后，可以得到与第一局部图像的像素尺寸相同的目标局部图像。

沿用步骤102说明的内容，假设输入的第二局部图像的像素尺寸为33*33，那么得到的目标局部图像的像素尺寸为21*21，如图2所示，具体可如下方式进行卷积处理：

1、在卷积神经网络中输入33*33的第二局部图像(输入图像)，将第二局部图像进行第一层卷积处理，得到第一卷积处理结果(C1)。该第一层卷积处理可以由64个卷积层组成，每个卷积层的卷积核大小为9*9，在第一层卷积处理后，可以输出64个25*25大小的输出图像；

2、将输出的64个25*25大小的输出图像进行第二层卷积处理，得到第二卷积处理结果(C2)。该第二层卷积处理可以由32个卷积层组成，每个卷积层的卷积核大小为1*1，在第二层卷积处理后，可以输出32个25*25大小的输出图像；

3、将输出的32个25*25大小的输出图像进行第三层卷积处理，得到第三卷积处理结果(C3)。该第三层卷积处理可以由1个卷积层组成，每个卷积层的卷积核大小为5*5，在第三层卷积处理后，可以输出1个21*21大小的输出图像(输出图像)，即目标局部图像。

可以理解的是，本实施例仅以上述内容对第二局部图像的卷积处理过程，进行举例说明，在实际应用中，卷积神经网络中的卷积层参数，即预设次数、预设数量、预设大小可以根据需要进行设置，具体此处不做限定。

104、确定目标局部图像与第一局部图像的像素差异；

本实施例中，按照第一模型的卷积层参数对第二局部图像进行卷积处理，得到目标局部图像后，可以采用预设计算方式计算目标局部图像与第一局部图像之间的像素差异，从而可以确定目标局部图像与第一局部图像的像素差异。

105、判断像素差异是否满足预设条件，若是，则执行步骤106，若否，则执行步骤102；

本实施例中，确定目标局部图像与第一局部图像的像素差异后，可以判断像素差异是否满足预设条件。

可以理解的是，本实施例中的预设条件可以预先设置，可以是根据数据统计进行设置，也可以是用户自定义设置，具体此处不做限定。

106、根据像素差异调整第一模型的卷积层参数，得到目标模型。

本实施例中，若判断目标局部图像与第一图像的像素差异满足预设条件，则可以根据像素差异调整第一模型的卷积层参数，得到目标模型。

具体的，当目标局部图像与第一图像的像素差异满足预设条件时，说明第一模型的卷积层参数较为合适，将该第一模型用于车牌检测中，车牌的识别率较高，但为了加强第一模型对车牌的识别率，可以将确定的像素差异作为损失函数在卷积神经网络中进行反向传播而调整卷积层参数，并可以将卷积层参数得到调整后的第一模型作为目标模型，以在实际应用中实现对待检测车牌图像的识别。

进一步的，本实施例中，若判断目标局部图像与第一图像的像素差异不满足预设条件，那么为了得到目标模型，也可以根据像素差异调整第一模型的卷积层参数得到第二模型后，将第二模型的卷积层参数作为第一模型的卷积层参数并重复执行步骤102至步骤106。可以理解的是，在重复执行步骤102至步骤106的过程中，第一模型的卷积层参数可以不断得到调整，而第二局部图像不会在卷积神经网络中重复进行迭代操作，直到所有第一图像的所有局部图像全部进行一次迭代操作后仍未获得目标模型的情况下才会重复，即在该情况下，第一局部图像和第二局部图像的确定是随机但不重复的。

可以理解的是，本实施例中，目标模型的确定方式基于预设条件的设立可以不同，下面以像素差异为像素均方差为例分别进行说明：

请参阅图2，本发明实施例中车头超分辨率模型重建方法另一实施例包括：

301、将第一图像进行灰度处理；

本实施例中，诸如选取1万张清晰的不同车辆压地感那一帧的车牌图像后，基于图1所示实施例中步骤101说明的内容，在对车牌图像进行相应的处理得到车牌的第一图像后，为了减少图像处理的计算量，可以对第一图像进行灰度处理，使得第一图像可以为灰度图像。

302、获取车牌的第一图像，并将第一图像进行低分辨率处理，得到第二图像；

本实施例中，对第一图像进行灰度处理后，可以获取灰度处理后的车牌的第一图像，并可以将该第一进行低分辨率处理，得到第二图像。其中，第一图像和第二图像可以包括数量相同且位置关系对应的至少一个局部图像。

基于图1所示实施例中步骤101说明的内容，本实施例中对车牌的第一图像的低分辨率处理进行详细说明。具体的，可以对第一图像进行模糊处理和/或噪声处理，得到图像样本，并可以对图像样本分别进行光照不均处理，得到第二图像。其中，噪声处理可以包括高斯噪声处理、瑞利噪声处理、指数噪声处理、椒盐噪声处理中的一种或多种。

例如，以一张第一图像为例进行说明，可以将同一个第一图像分别缩小2倍、3倍，再对应地分别放大2倍、3倍、4倍，将缩小后的第一图像还原到与原图相同大小，实现不同尺度的模糊图像样本的生成，即同一个第一图像可以分别对应三张不同程度的模糊图像样本，也可以在同一个第一图像中分别加入高斯噪声、瑞利噪声、指数噪声、椒盐噪声，实现不同环境下的噪声图像样本的生成，即同一个第一图像还可以分别对应四张不同程度的噪声图像样本，进一步的，可以将模糊图像样本和噪声图像样本分别进行明暗光照处理，得到第二图像。那么，同一个第一图像在模糊处理以及噪声处理，可以对应7个图像样本，7个第二图像进行明暗光照处理后，可以得到21个第二图像，该21个第二图像中包括7个未进行明暗光照处理的第二图像、7个进行明光照处理后的第二图像、7个进行暗光好处理的第二图像。

可以理解的是，本实施例中第一图像的分辨率处理除了上述说明的内容，在实际应用中，还可以采用其它方式，目的在于获得较多不同类型的低于第一图像的分辨率的第二图像，以较好地实现第一模型的训练而得到目标模块，具体此处不做限定。

本实施例中的步骤303至步骤304与图1中的步骤102至步骤103相同，此处不再赘述。

305、确定目标局部图像与第一局部图像的像素均方差；

本实施例中，按照第一模型的卷积层参数对第二局部图像进行卷积处理，得到目标局部图像后，可以采用预设计算方式计算目标局部图像与第一局部图像之间的像素均方差，从而可以确定目标局部图像与第一局部图像的像素均方差。

具体的，将第二局部图像在第一模型中进行卷积处理获得目标局部图像后，可以采用欧式距离计算目标局部图像中每个像素对应的损失，即均方差作为损失函数，在第一模型中，计算最后一层卷积处理中卷积层的损失(目标局部图像与第一局部图像的像素均方差)可以采用如下公式：

其中，第二局部图像的标签为Yi，目标局部图像的标签为F(Y；θ)第二局部图像Yi对应的第一局部图像标签为Xi，n表示每次随机选取的n个第二局部图像。

需要说明的是，本实施例中的n为1。

306、判断像素均方差是否小于第一阈值，若是，则执行步骤307，若否，则执行步骤303；

本实施例中，确定目标局部图像与第一局部图像的像素均方差后，可以判断像素均方差是否小于第一阈值。

具体的，本实施例中，可以设置第一阈值，以作为第一模型的判断标准，在实际应用中，可以一次对一个第二局部图像在第一模型中进行迭代操作，在卷积处理得到目标局部图像后，即可对目标局部图像与第一局部图像的像素均方差进行一次判断操作。

可以理解的是，本实施例中的第一阈值可以预先设置，可以是根据数据统计进行设置，也可以是用户自定义设置，具体此处不做限定。

307、根据像素均方差调整第一模型中卷积层的卷积核参数，得到目标模型。

本实施例中，若判断像素均方差小于第一阈值，则可以根据像素均方差调整第一模型中卷积层的卷积核参数，得到目标模型。

本实施例中，根据像素均方差调整第一模型中卷积层的卷积核参数的具体方式可以为：

利用像素均方差确定第N层卷积层的像素损失，并根据第N层卷积层的像素损失调整第N层卷积层的卷积核参数，第一模型包括N层卷积层，N为大于零的整数；

根据第N-M层卷积层的像素损失确定第N-M-1层卷积层的像素损失，并根据第N-M-1层卷积层的像素损失调整第N-M-1层卷积层的卷积核参数，M为自然数。

具体的，确定目标局部图像与第一图像的像素均方差后，可以利用该像素均方差在第一模型中反向传播，由第一模型的最底层的卷积处理一层一层向顶层的卷积处理传播，即根据像素均方差计算第一模型最后一层的卷积处理中卷积层的像素损失，以该像素损失调整倒数第一层的卷积处理中卷积层的卷积核参数，同时，若N大于1，则倒数第一层的卷积处理中卷积层的像素损失可以用来确定倒数第二层的卷积处理中卷积层的像素损失，倒数第二层的卷积处理中卷积层的像素损失则可以用来调整自身的卷积核参数，以此类推，直到第一模型所有层的卷积处理中卷积层的卷积核参数得到调整后反向传播结束。

以图2为例对反向传播过程加以说明：输出图像(目标局部图像)和第一局部图像根据欧式距离计算输出图像对应的像素损失(像素均方差)后，可以根据该像素均方差，计算第三层卷积处理中卷积层的像素损失。具体过程可如下说明：

1、由于第二局部图像在第一模型的前向传播过程中，第三层卷积处理中卷积层卷积结束后，会使用sigmoid激活函数进行非线性处理，所以可以由输出图像向第三层卷积处理进行反向传播。由于第三层卷积处理中卷积层只有一个5*5大小的卷积核，那么输出图像即为一个目标局部图像，像素大小为21*21，利用该目标局部图像与第一局部图像的像素损失可以得到第三层卷积处理中卷积层的像素损失；

2、根据第三层卷积处理中卷积层的像素损失，可以修改第三层卷积处理中5*5大小的卷积核的网络权重，同时，由于第三层卷积处理输入的图像即第二层卷积处理输出的32个25*25大小的图像，那么可以对32个25*25大小的图像进行21*21大小的卷积处理，得到32个5*5大小的卷积核权重调整差值，利用该卷积核权重调整差值即可调整第三层卷积处理中卷积层的卷积核的值，由此得到第三层卷积处理中卷积层的卷积核参数的调整信息，而后可以依次对第二层、第一层卷积处理中卷积层的卷积核参数进行调整，其它层的反向传播过程类似。

基于上述说明，本实施例中，在调整第三层卷积处理中卷积层的卷积核的值时，可以设置卷积神经网络的学习速率，可以设置为诸如0.0001，学习速率的设置目的是为了防止卷积核参数调整的过快，陷入无限循环的震荡。可以理解的是，学习速率的数值不能设置的过小，不然增加陷入局部极小值的风险。

进一步的，基于图1所示实施例中步骤106说明的内容，本实施例中，若判断目标局部图像与第一图像的像素均方差不小于第一阈值，那么为了得到目标模型，也可以根据像素均方差调整第一模型的卷积层参数得到第二模型后，将第二模型的卷积层参数作为第一模型中卷积层的卷积核参数并重复执行步骤303至步骤307。可以理解的是，在重复执行步骤303至步骤307的过程中，第一模型中卷积层的卷积核参数可以不断得到调整，而第二局部图像不会在卷积神经网络中重复进行迭代操作，直到所有第一图像的所有局部图像全部进行一次迭代操作后仍未获得目标模型的情况下才会重复，即在该情况下，第一局部图像和第二局部图像的确定是随机但不重复的。

请参参阅图4，本发明实施例中车牌超分辨率模型重建方法另一实施例包括：

本实施例中的步骤401至步骤405与图3所示实施例中的步骤301至步骤305相同，此处不再赘述。

可以理解的是，在像素均方差的确定过程中，本实施例中的n可以为1，也可以大于1，可根据具体情况进行设置，此处不做限定。

406、判断像素均方差是否小于第一阈值，若是，则执行步骤407，若否，则执行步骤403；

本实施例中，确定目标局部图像与第一局部图像的像素均方差后，可以判断像素均方差是否小于第一阈值。

具体的，本实施例中，可以设置第一阈值，以作为第一模型的判断标准，在实际应用中，可以一次对一个第二局部图像在第一模型中进行迭代操作，在卷积处理得到目标局部图像后，即可对目标局部图像与第一局部图像的像素均方差进行一次判断操作。

可以理解的是，本实施例中的第一阈值可以预先设置，可以是根据数据统计进行设置，也可以是用户自定义设置，具体此处不做限定。

407、判断像素均方差小于第一阈值的次数是否大于第二阈值，若是，则执行步骤408，若否，则执行步骤403；

本实施中，若目标局部图像与第一局部图像的像素均方差小于第一阈值，可以进一步判断像素均方差小于第一阈值的次数是否大于第二阈值。

具体的，可以一次对一个第二局部图像在第一模型中进行迭代操作，在卷积处理得到目标局部图像后，即可在目标局部图像与第一局部图像的像素均方差小于第一阈值的情况下，判断像素均方差小于第一阈值的次数是否大于第二阈值。例如，第二阈值为50次，前面在第一模型中进行了30次迭代操作，有25次迭代操作后确定的像素均方差小于第一阈值，当在第一模型中进行第31次迭代操作后，若第31次迭代操作后确定的像素均方差小于第一阈值，则意味着像素均方差小于第一阈值的次数为26次，进而可以判断基于第31次迭代操作的26次是否大于50次。

可以理解的是，本实施例中的第二阈值可以预先设置，可以是根据数据统计进行设置，也可以是用户自定义设置，具体此处不做限定。

本实施例中的步骤408与图3所示实施例中的步骤307相同，此处不再赘述。

可以理解的是，基于步骤407说明的内容，本实施例中，若一次对一个第二局部图像在第一模型中进行迭代操作后，若在判断像素均方差小于第一阈值的情况下，且像素均方差小于第一阈值的次数大于第二阈值，则可以以像素均方差小于第一阈值的次数大于第二阈值时的最后一次的像素均方差对第一模型中卷积层的卷积核参数进行调整，得到目标模型。例如，假设第二阈值为50次，那么在第80次迭代操作后，若判断第80次迭代操作的像素均方差小于第一阈值，且第80次迭代操作后得到的像素均方差小于第一阈值的次数为51次，则可以将第80次迭代操作得到的像素均方差对第一模型中卷积层的卷积核参数进行调整，得到目标模型。可以理解的是，以第80次对第一模型调整得到的目标模型为例，该第一模型中卷积层的卷积核参数在前79次的迭代操作中已经经过了不断地调整。

进一步的，基于图1所示实施例中步骤106和图3所示实施例中步骤307说明的内容，本实施例中，若判断目标局部图像与第一图像的像素均方差不小于第一阈值，或像素均方差小于第一阈值的次数不大于第二阈值，那么为了得到目标模型，也可以根据像素均方差调整第一模型的卷积层参数得到第二模型后，将第二模型的卷积层参数作为第一模型中卷积层的卷积核参数并重复执行步骤403至步骤408。可以理解的是，在重复执行步骤403至步骤408的过程中，第一模型中卷积层的卷积核参数可以不断得到调整，而第二局部图像不会在卷积神经网络中重复进行迭代操作，直到所有第一图像的所有局部图像全部进行一次迭代操作后仍未获得目标模型的情况下才会重复，即在该情况下，第一局部图像和第二局部图像的确定是随机但不重复的。

请参参阅图5，本发明实施例中车牌超分辨率模型重建方法另一实施例包括：

本实施例中的步骤501至步骤505与图3所示实施例中的步骤301至步骤305相同，此处不再赘述。

可以理解的是，在像素均方差的确定过程中，本实施例中的n可以为1，也可以大于1，可根据具体情况进行设置，此处不做限定。

506、判断像素均方差的确定次数是否为预设次数的倍数，若是，则执行步骤507，若否，则执行步骤503；

本实施例中，确定目标局部图像与第一局部图像的像素均方差后，可以判断像素均方差的确定次数是否为预设次数的倍数。

具体的，一方面，可以一次对一个第二局部图像在第一模型中进行迭代操作，在卷积处理得到目标局部图像后，即可确定目标局部图像与第一局部图像的像素均方差，并可以对像素均方差的确定次数进行判断操作。

另一方面，为了减少第一模型训练的偶然性，增加训练的第一模型的鲁棒性，能更快使像素均方差收敛，可以依次对预设数量的第二局部图像在第一模型中进行迭代操作，在卷积处理得到预设数量的目标局部图像，并可以在得到预设数量的目标局部图像与对应的第一局部图像的像素均方差后，对像素均方差的确定次数进行判断操作。其中，预设数量可以即为预设次数。

进一步的，本实施例中，在依次对预设数量的第二局部图像在第一模型中进行迭代操作的基础上，将得到的预设数量的像素均方差再进行加权计算，得到诸如平均值后，可以判断该平均值是否小于第一阈值，若小于，则可以执行步骤507，若不小于，则执行步骤503。例如，在第一模型中对50个第二局部图像进行迭代操作，得到50个像素均方差后，可以判断50个像素均方差的平均值是否小于第一阈值。

可以理解的是，本实施例中的预设次数可以预先设置，可以是根据数据统计进行设置，也可以是用户自定义设置，具体此处不做限定。

本实施例中的步骤507与图3所示实施例中的步骤307相同，此处不再赘述。

可以理解的是，基于步骤506说明的内容，本实施例中，一方面，若一次对一个第二局部图像在第一模型中进行迭代操作后，判断像素均方差的确定次数为预设次数的倍数，则可以在确定次数为预设次数的倍数时，以该确定次数中最后一次的像素均方差对第一模型中卷积层的卷积核参数进行调整，得到目标模型。例如，假设预设次数为1万次，那么可以将第1万次迭代操作得到的像素均方差对第一模型中卷积层的卷积核参数进行调整，得到目标模型，也可以将第2万次得到的像素均方差对第一模型中卷积层的卷积核参数进行调整，得到目标模型，即可以将第A万次调整得到的目标模型进行存储，由此可以得到多个目标模型，具体在实际应用中目标模型的选取可由用户决定。可以理解的是，以第1万次对第一模型调整得到的目标模型为例，该第一模型中卷积层的卷积核参数在前9999次的迭代操作中已经经过了不断地调整。其中，A为大于零的自然数。

另一方面，若依次对预设数量的第二局部图像在第一模型中进行迭代操作后，判断像素均方差的确定次数为预设次数的倍数，则可以在确定次数为预设次数的倍数时，即在第一模型中进行预设数量的迭代操作后，可以将得到的预设数量的像素均方差再进行加权计算，得到诸如平均值，再可以以该诸如平均值对第一模型中卷积层的卷积核参数进行调整，得到目标模型。例如，假设预设次数为50次，则可以将进行50次迭代操作后确定的50个像素均方差加权计算，得到诸如50个像素均方差的平均值，并可以以该平均值对第一模型中卷积层的卷积核参数进行调整，得到目标模型。

进一步的，在依次对预设数量的第二局部图像在第一模型中进行迭代操作的基础上，将得到的预设数量的像素均方差再进行加权计算，得到诸如平均值后，若判断该平均值小于第一阈值，则可以以平均值对第一模型中卷积层的卷积核参数进行调整，得到目标模型。例如，假设预设次数为50次，则可以将进行50次迭代操作后确定的50个像素均方差加权计算，得到诸如50个像素均方差的平均值，并可以在该平均值小于第一阈值时，以该第一阈值对第一模型中卷积层的卷积核参数进行调整，得到目标模型。

需要说明的是，基于图1所示实施例中步骤106以及图3所示实施例中步骤307说明的内容，本实施例中，若判断像素均方差的确定次数不为预设次数的倍数，那么为了得到目标模型，也可以根据每一次得到的像素均方差调整第一模型的卷积层参数得到第二模型后，将第二模型的卷积层参数作为第一模型中卷积层的卷积核参数并重复执行步骤503至步骤507。同时，若判断上述说明的平均值不小于第一阈值，也可以以该平均值调整第一模型的卷积层参数得到第二模型后，将第二模型的卷积层参数作为第一模型中卷积层的卷积核参数并重复执行步骤503至步骤507。可以理解的是，在重复执行步骤503至步骤507的过程中，第一模型中卷积层的卷积核参数可以不断得到调整，而第二局部图像不会在卷积神经网络中重复进行迭代操作，直到所有第一图像的所有局部图像全部进行一次迭代操作后仍未获得目标模型的情况下才会重复，即在该情况下，第一局部图像和第二局部图像的确定是随机但不重复的。

上面对如何得到目标模型进行了说明，下面基于目标模型，对如何进行车牌检测进行说明，请参阅图6，本发明实施例中基于目标模型的车牌检测方法一个实施例包括：

601、获取待检测车牌图像；

本实施例中，在获取到待测车辆压地感那一帧的车牌图像后，可以根据车牌边缘信息粗定位车牌图像中的车牌区域，得到待检测车牌图像，并可以获取该待检测车牌图像，具体方法可以参照图1所示实施例中的步骤101说明的内容，此处不再赘述。

602、按照目标模型的卷积层参数对待检测车牌图像进行卷积处理，得到目标车牌图像。

本实施例中，基于上述说明的车牌超分辨率模型重建方法中确定的目标模型，该目标模型建立了说明的第一图像与第二图像的局部区域映射关系，可以实现对分辨率低于第一图像的第二图像的去模糊和去噪的操作，因此，可以将进行车牌粗定位的待检测车牌图像输入目标模型直接进行卷积处理，以得到去模糊和去噪的目标车牌图像，达到提高待检测车牌图像的车牌识别率的目的。

具体的，获取待检测车牌图像后，可以不对该待检测车牌图像进行裁剪处理，而是直接将该待检测车牌图像输入目标模型中，即调整后的神经卷积网络，按照卷积神经网络的卷积层参数对待检测车牌图像进行卷积处理，得到分辨率提高的目标车牌图像，其中，待检测车牌图像与目标车牌图像的像素尺寸相同。例如，假设待检测车牌图像的像素尺寸为224*224，目标车牌图像的像素尺寸也为224*224。

本实施例中，待检测车牌图像的卷积处理过程可参照图1所示实施例中步骤103说明的内容，此处不再赘述。

可以理解的是，在实际应用中，由于待检测车牌图像的像素尺寸不一，但目标模型的卷积层参数是确定的，为了提高目标模型检测的准确性，可以在目标模型中对待检测车牌图像做像素填充处理，请参阅图7，本发明实施例中基于目标模型的车牌检测方法另一实施例包括：

701、将待检测车牌图像进行灰度处理。

本实施例中，在对目标模型的实际测试中，可以获取待检测车牌图像，并可以对待检测车牌图像进行灰度处理。

具体的，在获取到待测车辆压地感那一帧的车牌图像后，可以根据车牌边缘信息粗定位车牌图像中的车牌区域，得到待检测车牌图像，具体方法可以参照图1所示实施例中的步骤101说明的内容，此处不再赘述。

本实施例中，在得到待检测车牌图像后，为了减少图像处理的计算量，可以对待检测车牌图像进行灰度处理。

702、获取待检测车牌图像；

本实施例中，对待检测车牌图像进行灰度处理后，可以获取灰度处理后的待检测车牌图像。

703、确定待检测车牌图像的像素尺寸；

本实施例中，获取待检测车牌图像后，可以确定待检测车牌图像的像素尺寸。例如，可以确定待检测车牌图像的像素尺寸为M*N。

704、根据待检测车牌图像的像素尺寸以及目标模型的卷积层参数，确定填充像素大小；

本实施例中，确定待检测车牌图像的像素尺寸后，可以根据待检测车牌图像的像素尺寸以及目标模型的卷积层参数，确定填充像素大小。

具体的，本实施例中的卷积层参数即卷积核大小，在上述车牌超分辨率模型重建方法说明的第一模型训练的过程中，训练好的目标模型的卷积层的卷积核具有输入33*33的图像重建出21*21的高分辨率图像的能力，但是卷积的过程中会减小原图的大小，例如将33*33的图重建成21*21。因此，在测试阶段，即待检测车牌的卷积处理，假如一张像素尺寸为M*N的图像，在目标模型中经过第一层卷积处理中卷积层的5*5大小的卷积核卷积后，可以输出像素尺寸为(M-5+1)*(N-5+1)的图像，但为了使得待检测车牌图像在卷积处理后可以得到像素尺寸相同的输出图像，从而需要对待检测车牌图像卷积前，可以在待检测车牌图像的上下左右分别加入2个像素的填充，填充像素为2，然后再进行卷积，则可以得到像素尺寸为M*N的输出图像。

可以理解的是，本实施例中，为了保证输出图像与待检测车牌图像的像素尺寸相同，目标模型中的每个卷积层都做相应的像素填充处理，此处说明之后，在后面即不再重复进行说明。

705、按照卷积层参数和填充像素大小对待检测车牌图像进行卷积处理，得到目标车牌图像。

基于图6所示实施例中步骤602说明的内容，本实施例中，根据待检测车牌图像的像素尺寸以及目标模型的卷积层参数，确定填充像素大小后，可以按照卷积层参数和填充像素大小对待检测车牌图像进行卷积处理，得到目标车牌图像。

本实施例中，待检测车牌图像的卷积处理过程可参照图1所示实施例中步骤103说明的内容，此处不再赘述。但是，在待检测车牌图像进行卷积处理前，可以根据像素填充大小与目标模型确定的卷积核参数对实际进行的卷积处理进行相应的调整，以确保待检测车牌图像与目标模型输出的目标车牌图像的像素尺寸相同。

上面对本发明实施例中的车牌超分辨率模型重建方法进行了描述，下面分别对本发明实施例中的车牌超分辨率模型重建装置进行描述，请参阅图8，本发明实施例中车牌超分辨率模型重建装置一个实施例包括：

获取单元801，可以用于执行：

(1)获取车牌的第一图像，将第一图像进行低分辨率处理，得到第二图像，其中，第一图像和第二图像包括数量相同且位置关系对应的至少一个局部图像；

处理单元802，可以用于执行：

(2)确定第一局部图像和第二局部图像，第二局部图像为第二图像的至少一个局部图像中的任意一个，第一局部图像为第一图像的至少一个局部图像中与第二局部图像位置关系对应的一个；

(3)按照第一模型的卷积层参数对第二局部图像进行卷积处理，得到目标局部图像，目标局部图像与第一局部图像的像素尺寸相同；

(4)确定目标局部图像与第一局部图像的像素差异；

(5)判断像素差异是否满足预设条件；

(6)若是，则根据像素差异调整第一模型的卷积层参数，得到目标模型，若否，则根据像素差异调整第一模型的卷积层参数，得到第二模型，将第二模型的卷积层参数作为第一模型的卷积层参数并重复执行步骤(2)至(6)。

可选的，在本发明的一些实施例中，处理单元802，可以具体用于执行：

判断像素差异是否小于第一阈值；或，

判断像素差异是否小于第一阈值，且判断像素差异小于第一阈值的次数是否大于第二阈值；或，

判断像素差异的确定次数是否为预设次数的倍数。

可选的，在本发明的一些实施例中，处理单元802，还具体用于执行：

判断像素差异的确定次数是否为预设次数的倍数，且判断确定次数的像素差异的加权计算值是否小于第一阈值。

可选的，在本发明的一些实施例中，获取单元801，还可以具体用于执行：

将第一图像进行灰度处理。

可选的，在本发明的一些实施例中，像素差异为像素均方差，处理单元802，可以具体用于执行：

根据像素均方差调整第一模型中卷积层的卷积核参数；

根据像素均方差调整第一模型中卷积层的卷积核参数包括：

利用像素均方差确定第N层卷积层的像素损失，并根据第N层卷积层的像素损失调整第N层卷积层的卷积核参数，第一模型包括N层卷积层，N为大于零的整数；

根据第N-M层卷积层的像素损失确定第N-M-1层卷积层的像素损失，并根据第N-M-1层卷积层的像素损失调整第N-M-1层卷积层的卷积核参数，M为自然数。

可选的，在本发明的一些实施例中，获取单元801，可以具体用于执行：

对第一图像进行模糊处理和/或噪声处理，得到图像样本；

对图像样本分别进行光照不均处理，得到第二图像。

可选的，在本发明的一些实施例中，噪声处理包括以下至少一种：

高斯噪声处理、瑞利噪声处理、指数噪声处理、椒盐噪声处理。

可选的，在本发明的一些实施例中，获取单元801，还可以具体用于执行：

获取待检测车牌图像；

处理单元802，还可以具体用于执行：

按照目标模型的卷积层参数对待检测车牌图像进行卷积处理，得到目标车牌图像，待检测车牌图像与目标车牌图像的像素尺寸相同。

可选的，在本发明的一些实施例中，处理单元802，可以具体用于执行：

确定待检测车牌图像的像素尺寸；

根据待检测车牌图像的像素尺寸以及目标模型的卷积层参数，确定填充像素大小；

按照卷积层参数和填充像素大小对待检测车牌图像进行卷积处理，得到目标车牌图像。

可选的，在本发明的一些实施例中，获取单元801，还可以具体用于执行：

将待检测车牌图像进行灰度处理。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。