一种车牌图像无参考质量分析的评分方法与流程

1.本发明属于计算机视觉技术领域，具体涉及一种车牌图像无参考质量分析的评分方法。


背景技术：

2.现有图像质量分析技术主要分为无参考图像质量分析和全参考图像质量分析技术。在全参考图像质量分析中，测试图像需要采用图像内容相同的清晰图像(作为标签)，作为一组配对图像，才能计算出测试图像的全参考评价指标。此种分析方法受限于数据集的建立，实际场景中的图像没有标签图像，无法计算全参考图像评价指标。
3.无参考图像质量分析方法，可以只根据实际场景的单张图像数据，计算出图像质量评分。此种方法优点为：不需要建立配对数据集，以及不受制于现实场景中没有配对的图像数据。但是，目前的无参考图像质量分析方法，侧重单一因素，如brenner侧重于图像的水平方向梯度，无法综合多方面的因素评价图像的质量，导致最终得到的图像质量评分准确度有限。


技术实现要素：

4.针对现有技术存在的缺陷，本发明提供一种车牌图像无参考质量分析的评分方法，可有效解决上述问题。
5.本发明采用的技术方案如下：
6.本发明提供一种车牌图像无参考质量分析的评分方法，包括以下步骤：
7.步骤1，获得车牌图像样本总集合s；
8.步骤1.1，获得m张车牌图像；对每张车牌图像进行预处理，将每张车牌图像处理为统一尺寸的车牌图像，作为车牌图像样本；
9.由此得到m张车牌图像样本；其中，每张车牌图像样本具有样本标签；所述样本标签包括清晰车牌图像标签或模糊车牌图像标签；
10.所述m张车牌图像样本中，包括m1张清晰车牌图像样本和m2张模糊车牌图像样本；
11.步骤1.2，将m1张清晰车牌图像样本组成清晰车牌图像样本集合s1；将m2张模糊车牌图像样本组成模糊车牌图像样本集合s2；
12.清晰车牌图像样本集合s1和模糊车牌图像样本集合s2，组成车牌图像样本总集合s；
13.步骤2，构建车牌图像有效评分算法集合，其中，所述车牌图像有效评分算法集合共包括n种车牌图像有效评分算法，分别表示为：有效评分算法sf1,sf2,...,sf
n
；
14.具体方法为：
15.对于每种车牌图像评分算法g，识别所述车牌图像评分算法g是否为车牌图像有效评分算法，如果是，则将所述车牌图像评分算法g加入到所述车牌图像有效评分算法集合；
16.其中：采用以下方法，识别所述车牌图像评分算法g是否为车牌图像有效评分算
法：
17.步骤2.1，采用车牌图像评分算法g，分别计算清晰车牌图像样本集合s1中每张清晰车牌图像样本的图像清晰度评分，由此计算得到m1个图像清晰度评分；
18.步骤2.2，对m1个图像清晰度评分的分布进行统计，得到横坐标是图像清晰度评分、纵坐标为样本数量的清晰车牌图像样本的图像清晰度分布图；
19.步骤2.3，采用车牌图像评分算法g，分别计算模糊车牌图像样本集合s2中每张模糊车牌图像样本的图像清晰度评分，由此计算得到m2个图像清晰度评分；
20.步骤2.4，对m2个图像清晰度评分的分布进行统计，得到横坐标是图像清晰度评分、纵坐标为样本数量的模糊车牌图像样本的图像清晰度分布图；
21.步骤2.5，判断清晰车牌图像样本的图像清晰度分布图和模糊车牌图像样本的图像清晰度分布图是否具有明显差异，如果有，则得到车牌图像评分算法g为车牌图像有效评分算法的结论；否则，得到车牌图像评分算法g为车牌图像无效评分算法的结论；
22.步骤3，对于每种有效评分算法sf
i
，其中，i＝1,2,...,n，确定对应的算法阈值k
i
：
23.步骤3.1，确定有效评分算法sf
i
的初始阈值k
i
(0):
24.采用有效评分算法sf
i
，分别计算模糊车牌图像样本集合s2中每张模糊车牌图像样本的图像清晰度评分，选出图像清晰度评分最低的图像清晰度评分，作为有效评分算法sf
i
的初始阈值k
i
(0)；
25.步骤3.2，预设置步长ρ；
26.步骤3.3，从初始阈值k
i
(0)开始，以步长ρ为增加值进行遍历，获得满足以下目标函数的阈值，作为有效评分算法sf
i
的最优的算法阈值k
i
：
27.目标函数：
28.分类错误率不超过设定值ε；并且，从模糊车牌图像样本集合s2中，识别出模糊车牌图像的数量e最大；
29.其中：
30.分类错误率通过以下方法计算：
31.1)对于车牌图像样本总集合s中的每个车牌图像样本，表示为车牌图像样本p；
32.2)采用有效评分算法sf
i
对车牌图像样本p进行识别，得到分类结果；其中，所述分类结果为：所述车牌图像样本p为模糊车牌图像样本或清晰车牌图像样本；
33.具体的，采用有效评分算法sf
i
计算得到该车牌图像样本p的图像清晰度评分score(p)；
34.比较图像清晰度评分score(p)是否大于当前遍历的阈值k
i
(0)+xρ,其中，x为遍历的步数；
35.如果大于，则得到车牌图像样本p为清晰车牌图像样本的分类结果；否则，得到车牌图像样本p为模糊车牌图像样本的分类结果；
36.3)将对车牌图像样本p的分类结果，与车牌图像样本p的样本标签进行比较，如果分类结果与样本标签一致，则表明对车牌图像样本p的分类正确；否则，表明对车牌图像样本p的分类错误；
37.4)因此，对于车牌图像样本总集合s中的每个车牌图像样本，均得到分类结果，采用下式计算分类错误率：
38.分类错误率＝分类错误的样本数量/车牌图像样本总集合s的车牌图像样本总数量；
39.从模糊车牌图像样本集合s2中，识别出模糊车牌图像的数量e，采用以下方法计算：
40.1)对于模糊车牌图像样本集合s2中的每个模糊车牌图像样本，采用有效评分算法sf
i
对其进行识别，得到分类结果；其中，所述分类结果为：所述模糊车牌图像样本为模糊车牌图像样本或清晰车牌图像样本；
41.2)对于模糊车牌图像样本集合s2，包括m2张模糊车牌图像样本，统计得到分类结果为模糊车牌图像样本的样本数量，即为识别出模糊车牌图像的数量e；
42.步骤4，由此确定有效评分算法sf1,sf2,...,sf
n
的算法阈值分别为：k1,k2,...,k
n
；
43.当需要对一张车牌图像tu(0)进行评分时，首先对车牌图像tu(0)进行预处理，处理为统一尺寸的车牌图像，得到车牌图像tu(1)；
44.依次采用有效评分算法sf1,sf2,...,sf
n
计算车牌图像tu(1)的图像清晰度评分，评分结果分别为：score1,score2,...,score
n
；
45.采用下式，计算对车牌图像tu(1)的图像清晰度总评分score：
[0046][0047]
其中：
[0048]
w
i
代表有效评分算法sf
i
的算法权重；
[0049]
score(max)为预设置的评分最大值；
[0050]
score(min)为预设置的评分最小值。
[0051]
优选的，步骤2中，构建得到的车牌图像有效评分算法集合，进行更新扩展。
[0052]
优选的，步骤2.5中，判断清晰车牌图像样本的图像清晰度分布图和模糊车牌图像样本的图像清晰度分布图是否具有明显差异，具体为：
[0053]
清晰车牌图像样本的图像清晰度分布图所对应的面积，与模糊车牌图像样本的图像清晰度分布图所对应的面积的重叠区域，小于面积设定阈值。
[0054]
本发明提供的一种车牌图像无参考质量分析的评分方法具有以下优点：
[0055]
该评分方法解决全参考图像质量评价依赖标签图的局限性和无参考图像质量评价方法的单一性，综合考量图像水平方向梯度、边缘检测、灰度方差、能量梯度、边缘锐度、二次模糊、低通滤波和图像结构相似度等多种因素的车牌图像质量，方法更多元，评价更客观准确。
附图说明
[0056]
图1为本发明提供的一种车牌图像无参考质量分析的评分方法的流程示意图；
[0057]
图2为一种清晰车牌图像样本的图像清晰度分布图；
[0058]
图3为一种模糊车牌图像样本的图像清晰度分布图。
具体实施方式
[0059]
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0060]
为了解决全参考图像质量评价依赖标签图的局限性(现实场景中应用困难)和无参考图像质量评价的单一性(可信度低)，本发明综合多种图像评价方法，考虑图像水平方向梯度、sobel算子和laplace算子模板的边缘检测、灰度方差、能量梯度、边缘锐度、二次模糊、低通滤波和图像结构相似度等车牌图像质量评价算法，实现车牌图像无参考质量分析的评分，既不依赖标签图，也有效提高了车牌图像质量评价的可信度。
[0061]
本发明提供一种车牌图像无参考质量分析的评分方法，是一种综合多种因素的无参考图像质量分析的评分方法，参考图1，包括以下步骤：
[0062]
步骤1，获得车牌图像样本总集合s；
[0063]
步骤1.1，获得m张车牌图像；对每张车牌图像进行预处理，将每张车牌图像处理为统一尺寸的车牌图像，作为车牌图像样本；作为一种实施例，对每张车牌图像进行预处理的方法为：利用车牌图像的四角点信息对车牌图像进行透视变换转正，并缩放到96*96尺寸。
[0064]
由此得到m张车牌图像样本；其中，每张车牌图像样本具有样本标签；所述样本标签包括清晰车牌图像标签或模糊车牌图像标签；
[0065]
所述m张车牌图像样本中，包括m1张清晰车牌图像样本和m2张模糊车牌图像样本；
[0066]
例如，一共有6000张车牌图像样本，包括3000张清晰车牌图像样本和3000张模糊车牌图像样本；
[0067]
步骤1.2，将m1张清晰车牌图像样本组成清晰车牌图像样本集合s1；将m2张模糊车牌图像样本组成模糊车牌图像样本集合s2；
[0068]
清晰车牌图像样本集合s1和模糊车牌图像样本集合s2，组成车牌图像样本总集合s；
[0069]
步骤2，构建车牌图像有效评分算法集合，其中，所述车牌图像有效评分算法集合共包括n种车牌图像有效评分算法，分别表示为：有效评分算法sf1,sf2,...,sf
n
；
[0070]
具体方法为：
[0071]
对于每种车牌图像评分算法g，识别所述车牌图像评分算法g是否为车牌图像有效评分算法，如果是，则将所述车牌图像评分算法g加入到所述车牌图像有效评分算法集合；
[0072]
其中：采用以下方法，识别所述车牌图像评分算法g是否为车牌图像有效评分算法：
[0073]
步骤2.1，采用车牌图像评分算法g，分别计算清晰车牌图像样本集合s1中每张清晰车牌图像样本的图像清晰度评分，由此计算得到m1个图像清晰度评分；
[0074]
步骤2.2，对m1个图像清晰度评分的分布进行统计，得到横坐标是图像清晰度评分、纵坐标为样本数量的清晰车牌图像样本的图像清晰度分布图；
[0075]
步骤2.3，采用车牌图像评分算法g，分别计算模糊车牌图像样本集合s2中每张模糊车牌图像样本的图像清晰度评分，由此计算得到m2个图像清晰度评分；
[0076]
步骤2.4，对m2个图像清晰度评分的分布进行统计，得到横坐标是图像清晰度评分、纵坐标为样本数量的模糊车牌图像样本的图像清晰度分布图；
[0077]
步骤2.5，判断清晰车牌图像样本的图像清晰度分布图和模糊车牌图像样本的图像清晰度分布图是否具有明显差异，如果有，则得到车牌图像评分算法g为车牌图像有效评分算法的结论；否则，得到车牌图像评分算法g为车牌图像无效评分算法的结论；
[0078]
步骤2.5中，判断清晰车牌图像样本的图像清晰度分布图和模糊车牌图像样本的图像清晰度分布图是否具有明显差异，具体为：
[0079]
清晰车牌图像样本的图像清晰度分布图所对应的面积，与模糊车牌图像样本的图像清晰度分布图所对应的面积的重叠区域，小于面积设定阈值。两组图像清晰度分布图的交叠区域越小，则说明该算法性能越好，会优先纳入车牌图像有效评分算法集合。
[0080]
另外，本发明中，车牌图像有效评分算法集合具有可扩展性，可根据各算法对图像清晰度的区分的有效性，对纳入的算法数量进行增加或者减少。
[0081]
作为一种实施例，目前，车牌图像有效评分算法集合纳入9种车牌图像有效评分算法：gaussian_laplacian，brenner，blurnoise，nrss，tenengard，laplacian，smd2，eav，energy_gradient。
[0082]
通过对每种车牌图像有效评分算法进行分析，获得清晰车牌图像样本的图像清晰度分布图和模糊车牌图像样本的图像清晰度分布图，经验证，可以观察到两种图像清晰度分布图具有明显差异。这9种车牌图像有效评分算法对图像清晰度区分的实际效果比较显著，可纳入车牌图像有效评分算法集合中。其中，作为一种具体例子，如图2所示，为一种清晰车牌图像样本的图像清晰度分布图；如图3所示，为一种模糊车牌图像样本的图像清晰度分布图，从图2和图3可观察算法在两组车牌图像样本上的质量得分分布情况，以及对图像清晰度区分的实际效果，判断可纳入车牌图像有效评分算法集合。
[0083]
步骤3，对于每种有效评分算法sf
i
，其中，i＝1,2,...,n，确定对应的算法阈值k
i
：
[0084]
步骤3.1，确定有效评分算法sf
i
的初始阈值k
i
(0):
[0085]
采用有效评分算法sf
i
，分别计算模糊车牌图像样本集合s2中每张模糊车牌图像样本的图像清晰度评分，选出图像清晰度评分最低的图像清晰度评分，作为有效评分算法sf
i
的初始阈值k
i
(0)；
[0086]
步骤3.2，预设置步长ρ；
[0087]
步骤3.3，从初始阈值k
i
(0)开始，以步长ρ为增加值进行遍历，获得满足以下目标函数的阈值，作为有效评分算法sf
i
的最优的算法阈值k
i
：
[0088]
目标函数：
[0089]
分类错误率不超过设定值ε，例如，设定值ε为1％；并且，从模糊车牌图像样本集合s2中，识别出模糊车牌图像的数量e最大；
[0090]
其中：
[0091]
分类错误率通过以下方法计算：
[0092]
1)对于车牌图像样本总集合s中的每个车牌图像样本，表示为车牌图像样本p；
[0093]
2)采用有效评分算法sf
i
对车牌图像样本p进行识别，得到分类结果；其中，所述分类结果为：所述车牌图像样本p为模糊车牌图像样本或清晰车牌图像样本；
[0094]
具体的，采用有效评分算法sf
i
计算得到该车牌图像样本p的图像清晰度评分score(p)；
[0095]
比较图像清晰度评分score(p)是否大于当前遍历的阈值k
i
(0)+xρ,其中，x为遍历
的步数；
[0096]
如果大于，则得到车牌图像样本p为清晰车牌图像样本的分类结果；否则，得到车牌图像样本p为模糊车牌图像样本的分类结果；
[0097]
3)将对车牌图像样本p的分类结果，与车牌图像样本p的样本标签进行比较，如果分类结果与样本标签一致，则表明对车牌图像样本p的分类正确；否则，表明对车牌图像样本p的分类错误；
[0098]
4)因此，对于车牌图像样本总集合s中的每个车牌图像样本，均得到分类结果，采用下式计算分类错误率：
[0099]
分类错误率＝分类错误的样本数量/车牌图像样本总集合s的车牌图像样本总数量；
[0100]
从模糊车牌图像样本集合s2中，识别出模糊车牌图像的数量e，采用以下方法计算：
[0101]
1)对于模糊车牌图像样本集合s2中的每个模糊车牌图像样本，采用有效评分算法sf
i
对其进行识别，得到分类结果；其中，所述分类结果为：所述模糊车牌图像样本为模糊车牌图像样本或清晰车牌图像样本；
[0102]
2)对于模糊车牌图像样本集合s2，包括m2张模糊车牌图像样本，统计得到分类结果为模糊车牌图像样本的样本数量，即为识别出模糊车牌图像的数量e；
[0103]
步骤4，由此确定有效评分算法sf1,sf2,...,sf
n
的算法阈值分别为：k1,k2,...,k
n
；
[0104]
当需要对一张车牌图像tu(0)进行评分时，首先对车牌图像tu(0)进行预处理，处理为统一尺寸的车牌图像，得到车牌图像tu(1)；
[0105]
依次采用有效评分算法sf1,sf2,...,sf
n
计算车牌图像tu(1)的图像清晰度评分，评分结果分别为：score1,score2,...,score
n
；
[0106]
采用下式，计算对车牌图像tu(1)的图像清晰度总评分score：
[0107][0108]
其中：
[0109]
w
i
代表有效评分算法sf
i
的算法权重；
[0110]
score(max)为预设置的评分最大值；例如，为99.9；
[0111]
score(min)为预设置的评分最小值。例如，为39.9；
[0112]
下面介绍一个具体实施例：
[0113]
步骤1，获得车牌图像样本总集合s；
[0114]
车牌图像样本总集合s一共包括6000张车牌图像样本，包括3000张清晰车牌图像样本和3000张模糊车牌图像样本；
[0115]
其中：每张车牌图像样本为96*96尺寸。
[0116]
步骤2，构建车牌图像有效评分算法集合，车牌图像有效评分算法集合共包括9种车牌图像有效评分算法，分别为：gaussian_laplacian，brenner，blurnoise，nrss，tenengard，laplacian，smd2，eav，energy_gradient。9种车牌图像有效评分算法均为无参
考图像质量评分算法。
[0117]
对于每种车牌图像有效评分算法，其对3000张清晰车牌图像样本的评分分布进行统计，得到图2所示的清晰车牌图像样本的图像清晰度分布图；其对3000张模糊车牌图像样本的评分分布进行统计，得到图3所示的模糊车牌图像样本的图像清晰度分布图；两组图像清晰度分布图的交叠区域较小，说明具有明显差异。
[0118]
步骤3，对于每种有效评分算法，确定对应的算法阈值。
[0119]
初始阈值设置：对每种有效评分算法，通过其对3000张模糊车牌图像样本的图像清晰度评分，选出图像清晰度评分最低的图像清晰度评分，作为该有效评分算法的初始阈值
[0120]
从初始阈值开始，以2为步长，逐渐增加阈值，获得满足以下目标函数的阈值，作为该有效评分算法的最优的算法阈值：
[0121]
目标函数：
[0122]
分类错误率不超过1％；并且，从3000张模糊车牌图像样本中，识别出模糊车牌图像的数量最大；
[0123]
本实施例中，9种有效评分算法设置的最优阈值：
[0124]
gaussian_laplacian，brenner，blurnoise，nrss，tenengard，laplacian，smd2，eav，energy_gradient的阈值分别为：
[0125]
k1＝20,k2＝25,k3＝65,k4＝75,k5＝14,k6＝12,k7＝9,k8＝40,k9＝30。
[0126]
步骤4：评分方法测试
[0127]
测试数据集：
[0128]
清晰车牌图像样本集1(4153张)和轻度模糊车牌图像样本集a(4153张)形成4153对图像，样本集1a；
[0129]
清晰车牌图像样本集1(4153张)和中度模糊车牌图像样本集b(4153张)形成4153对图像，样本集1b；
[0130]
清晰车牌图像样本集2(7701张)和重度模糊车牌图像样本集c(7701张)形成7701对图像，样本集2c。
[0131]
测试指标：
[0132]
样本分类准确率。
[0133]
例如样本集1b中,对于4153＊2＝8306张图像样本，对于每个样本，采用任意一种有效评分算法对其进行评分，如果评分大于该有效评分算法设置的阈值，则得到样本为清晰车牌图像样本的分类结果；否则，得到样本为模糊车牌图像样本的分类结果；经试验，共成功识别到3866张图像样本为晰车牌图像样本的分类结果；分别准确率＝3866/4153＝93.08％
[0134]
各样本集分类准确率结果如下表：
[0135][0136]
步骤5：当需要对一张车牌图像tu(0)进行评分时，首先对车牌图像tu(0)进行预处理，处理为统一尺寸的车牌图像，得到车牌图像tu(1)；
[0137]
依次采用有效评分算法sf1,sf2,...,sf9计算车牌图像tu(1)的图像清晰度评分，评分结果分别为：score1,score2,...,score9；
[0138]
采用下式，计算对车牌图像tu(1)的图像清晰度总评分score：
[0139][0140]
也就是说，只有当9种有效评分算法，均识别出车牌图像tu(1)为清晰车牌图像时，才认为该车牌图像tu(1)为清晰车牌图像，评价总分不超过99.9分，取99.9和各算法评分的加权和的较小值，作为最终评分；否则，只要有一种有效评分算法识别出车牌图像tu(1)为模糊车牌图像，即认为该车牌图像tu(1)为模糊车牌图像，评价总分不超过39.9分，取39.9和各算法评分的加权和的较小值，作为最终评分；
[0141]
因此，本发明中，对于车牌图像无参考质量分析的评分方法构成的评分系统，输入：一张实际场景中size为(96,96)的车牌图像；输出：车牌图像的清晰度得分。
[0142]
该评分系统，结合图像水平方向梯度、边缘检测、灰度方差、能量梯度、边缘锐度、二次模糊、低通滤波和图像结构相似度等考虑多种因素的有效评价算法。联合多种有效评价算法的综合模型，可以算出图像的清晰度评分。清晰度评分分值越高，代表图像质量越好，清晰度越好。
[0143]
与现有技术相比，本发明有益效果是：
[0144]
(1)该车牌图像无参考质量分析的评分方法，框架清晰，有明确的输入和输出。
[0145]
(2)该评分方法具有可扩展性，可以对纳入的评分算法数量根据各评分算法对图像清晰度区分的有效性进行增加或者减少。
[0146]
(3)该评分方法可优化，对纳入的各评分算法优化调参，调试设置的各评分算法阈值，可以优化系统整体的评分准确性。
[0147]
(4)该评分方法可测试，通过收集清晰和模糊的车牌图像输入系统，输出每张图像的得分，最终计算分类准确率。
[0148]
(5)该评分方法解决全参考图像质量评价依赖标签图的局限性和无参考图像质量评价方法的单一性，综合考量图像水平方向梯度、边缘检测、灰度方差、能量梯度、边缘锐度、二次模糊、低通滤波和图像结构相似度等多种因素的车牌图像质量，方法更多元，评价更客观准确。
[0149]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人
员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。