一种多方向车牌的检测方法和装置

1.本发明属于计算机视觉领域，具体涉及一种多方向车牌的检测方法和装置。


背景技术：

2.智能交通系统是未来交通系统的重要发展方向，智能车牌识别系统则是智能交通系统的重要组成部分，作为车牌识别系统的前置模块，自动化车牌检测也格外重要。传统的车牌检测方法通过设计特征检测车牌的边缘来实现车牌检测，但这种方法有非常大的局限性，只能适应非常小的场景，而且速度比较慢。随着近年来算力和数据的空前增加，深度学习被用来应用在各个领域。
3.目前基于深度学习的车牌检测方法都忽视了小尺寸车牌带来的前景-背景类别不平衡问题，这是由于小尺寸车牌往往只占据图像的一小部分引起的，这也导致了他们的小尺寸车牌检测性能不佳。现有一些方法中直接对整张图片进行分析检测车牌位置，忽视了小尺寸车牌带来的前景-背景类别不平衡问题，往往会产生很多漏检；还有一些方法先检测车辆位置再在车辆区域定位车牌，依赖车辆检测器的效果，如果发生车辆被部分遮挡情况，就可能会检测不到车辆从而检测不到车牌；而且如果遇到大卡车，公共汽车等大型车辆，车牌将仍然只占据车辆的一小部分区域，这将需要复杂的后处理，且仍然没有解决大型车辆的车牌检测漏检问题。


技术实现要素：

4.本发明的目的是为了解决现有技术中针对道路交通场景，小尺寸车牌导致的检测任务中前景-背景的类别不平衡问题，从而导致的小尺寸车牌漏检问题，本发明旨在提供一种多方向车牌的检测方法和装置，用于解决现有技术中存在的上述问题。
5.本发明的上述技术目的将通过以下所述的技术方案予以实现。
6.一种多方向车牌的检测方法，所述方法包括如下步骤：
7.s1.对采集处理后的图片进行特征提取得到第一特征；对所述第一特征进行检测得到车牌的预测位置；
8.s2.对车牌的预测位置进行扩张得到扩张区域；
9.s3.以所述扩张区域作为参照，对所述第一特征进行处理得到第二特征；
10.s4.对所述第二特征进行修正和再次检测得到多方向车牌的位置。
11.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述采集处理后的图片通过对采集到的图片按照预先规定的尺寸进行按比例缩放和归一化得到。
12.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s3具体包括：
13.s31.将车牌的预测位置向外扩张1～4倍得到一个扩张区域，然后从所述首层特征图中裁剪出与该扩张区域相对应的裁剪区域，并将该裁剪区域进行缩放处理；
14.s32.重复步骤s31，从所述第一特征的首层特征图中得到所有与车牌的预测位置
相对应的缩放的裁剪区域，并将所有裁剪区域进行拼接得到所述第二特征。
15.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s4具体包括：对所述第二特征进行提取得到第三特征，对所述第三特征进行处理得到一个2x2x9维的向量，对该向量计算得到所述多方向车牌的位置。
16.本发明还提供了一种多方向车牌的检测装置，所述装置包括粗检测模块、区域扩展与特征选取模块和位置修正模块，
17.其中，所述粗检测模块用于对采集处理后的图片进行特征提取得到第一特征；对所述第一特征进行检测得到车牌的预测位置，并将该车牌的预测位置传输至所述区域扩展与特征选取模块；
18.所述区域扩展与特征选取模块对接收的上述车牌的预测位置进行扩张得到扩张区域，以所述扩张区域作为参照，对所述第一特征进行处理得到第二特征，并将该第二特征传输至所述位置修正模块；
19.所述位置修正模块对所述第二特征进行修正和再次检测得到多方向车牌的位置。
20.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述采集处理后的图片通过对采集到的图片按照预先规定的尺寸进行按比例缩放和归一化得到。
21.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述粗检测模块包括相互连接的特征提取模块和无锚框检测模块，其中所述特征提取模块对所述采集处理后的图片进行提取得到第一特征；
22.所述无锚检测模块对所述第一特征中包含不同尺寸的车牌分别进行检测，得到具有一定空间维度的向量，对向量进行计算获得不同尺寸的车牌的预测位置。
23.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述粗检测模块中设置有优化目标函数，用于对图像中的真实车牌的位置及预测的车牌的位置之间的差异进行检测；所述位置修正模块中也设置有优化目标函数，用于对图像中的真实车牌的位置及多方向车牌的位置之间的差异进行检测。
24.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述位置修正模块包括多方向车牌检测模块，其中，所述位置修正模块对所述第二特征进行提取得到第三特征，将所述第三特征输入多方向车牌检测模块进行处理得到一个2x2x9维的向量，对该向量计算得到所述多方向车牌的位置。
25.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据本发明所述的多方向车牌的检测方法。
26.本发明的有益技术效果
27.本发明实施例提供的多方向车牌的检测方法和装置，方法包括如下步骤：s1.对采集处理后的图片进行特征提取得到第一特征；对所述第一特征进行检测得到车牌的预测位置；s2.对车牌的预测位置进行扩张得到扩张区域；s3.以所述扩张区域作为参照，对所述第一特征进行处理得到第二特征；s4.对所述第二特征进行修正和再次检测得到多方向车牌的位置。本发明提供了从粗到精的车牌检测方法提升不同尺寸的车牌的检测性能。本发明利用无锚框机制以及粗检测方式来对图像中的车牌的特征进行提取和处理，利用位置修正模块提升车牌检测的准确率，在位置修正模块采用了基于关键点回归四个顶点的计算方法来定位多方向车牌，大量实验表明本发明方法的有效性及可拓展性。
附图说明
28.以下，结合附图来详细说明本发明的实施例，其中：
29.图1为本发明的实施例中的方法流程示意图。
具体实施方式
30.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述，但本发明的实施方式不限于此。
31.如图1所示，本发明的一种多方向车牌的检测方法，所述方法包括如下步骤：s1.对采集处理后的图片进行特征提取得到第一特征；对所述第一特征进行检测得到车牌的预测位置；
32.s2.对车牌的预测位置进行扩张得到扩张区域；
33.s3.以所述扩张区域作为参照，对所述第一特征进行处理得到第二特征；
34.s4.对所述第二特征进行修正和再次检测得到多方向车牌的位置。
35.优选地，本发明的实施例中所述采集处理后的图片通过对采集到的图片按照预先规定的尺寸进行按比例缩放和归一化得到。
36.优选地，本发明的实施例中所述s3具体包括：
37.s31.将车牌的预测位置向外扩张1～4倍得到一个扩张区域，然后从所述首层特征图中裁剪出与该扩张区域相对应的裁剪区域，并将该裁剪区域进行缩放处理；
38.s32.重复步骤s31，从所述首层特征图中得到所有与车牌的预测位置相对应的缩放的裁剪区域，并将所有裁剪区域进行拼接得到所述第二特征。
39.具体来说，本发明的方法是对交通场景中的多方向车牌进行检测，所述多方向车牌，是在实际场景中，由于拍摄角度等缘故，在采集获取到的图片中车牌不是常规的矩形，而是一个形似平行四边形的任意四边形，为了后续方便，将其称为多方向车牌。本发明的多方向车牌的检测装置包括三个模块：粗检测模块、区域扩展与特征选取模块和位置修正模块，其中，粗检测模块检测得到车牌的粗略位置，使用基于无锚框(anchor-free)的检测模块来提升对于小车牌检测的召回能力；区域扩展与特征选取模块(erm)根据粗检测模块的结果扩展车牌区域并获取低层视觉特征然后输入到位置修正模块；位置修正模块(l ocat ion refi nement modu l e)对区域扩展与特征选取模块输出的特征再提取并分析，来对车牌的位置进行进一步修正并且实现对多方向车牌的四点检测。
40.本发明的粗检测模块用于从整幅图片里对车牌所在的大致区域进行估计，粗检测模块包括特征提取模块以及无锚框检测头模块。
41.将采集到的图片通过等比例缩放到预定义的大小，其中图片的最长边为320个像素，经过上述处理有利于降低整体的计算量并且等比例放缩可以在放缩后的图片中保持车牌原来的形状；然后将放缩后的图片归一化，将归一化后的图片中的每个像素点除以256后送入特征提取模块，在其中进行特征提取得到第一特征，其中第一特征为包括首层特征图、第二层特征图、第三层特征图
…
第n层特征图等组成的多层特征图，其中n大于等于2，首层特征图中包括与车牌形状最接近的区域，而车牌的尺寸根据车辆的类别不同，又包括大车牌，中车牌和小车牌，相应地第一特征包括分别含有大车牌的高层特征、中车牌的中层特征和小车牌的低层特征，且高层特征、中层特征和低层特征在各层特征图中均存在。将特征提
取模块提到得到的第一特征送入无锚框(anchor-free)检测模块进行检测。
42.无锚框检测模块包括并列设置的三个部件：低层部件、中层部件和高层部件，其中低层部件的输入为第一特征中的低层特征；中层部件的输入为第一特征中的中层特征；高层部件的输入为第一特征中的高层特征，而三个部件的输出均为预测的车牌位置，三个部件针对第一特征中不同层的特征进行分析并预测位置，因此，在设计优化目标时，需要对于无锚框检测模块不同的部件分配包含不同尺寸大小的车牌的特征，即将包含大车牌的高层特征分配到高层部件、包含中车牌的中层特征分配到中层部件及包含小车牌的低层特征分配到低层部件，这样操作更利于检测。
43.优选地，本发明还可以以下方式来实现无锚框检测模块不同的部件分配包含不同尺寸大小的车牌的特征。首先，对定义采集获取的图像中的真实车牌(与本发明预测的车牌对应)的位置g＝(x，y，w，h)∈其中变量x，y分别表示真实车牌的外接矩形框的中心点的坐标；变量w，h分别表示外接矩形框的宽度和高度，通过采集获取的图像中车牌的外接矩形框的最长边来确定将图像分配给无锚框检测模块中不同的部件：首先计算真实车牌的外接矩形框的最长边即max(w，h)，然后除以第一特征的长度l。如果同时满足max(w，h)/l＞mj以及max(w，h)/l＜m
j+1
，则该图像就会被分配到无锚框检测模块的第j个部件，在本发明的方法中，j＝1，2，3，其中，j为1时表示低层部件，j＝2时为中层部件，j＝3时为高层部件；相应地m1＝0，m2＝0.25，m3＝0.5，m4＝+∞。为了将不同的车牌分配到不同的部件进行学习，通过采集图像中车牌的外接矩形框的最长边来分配给无锚框检测模块中不同的部件，对应的，如果一个图像中的车牌分配到了第j个部件，则离该车牌的中心点最近的三个点则视作正样本点。
44.优选地，本发明采用基于无锚框检测模块来预测定位不同尺寸的车牌的大概位置，经过无锚框检测模块的处理后，其中，每一个部件都输出一个h
×w×
5维的向量f，其中，h和w分别是该层部件输出向量的长度和宽度，即f∈rh×w×5：通过向量f可计算得到预测的车牌的位置p＝(p
x
，py，pw，ph)和置信度s，通过计算得到这五个结果：
45.p
x
＝2
×
(σ(f(0))-0.5)
46.py＝2
×
(σ(f(1))-0.5)
47.pw＝σ(f(2))
×
w/8
48.ph＝σ(f(3))
×
h/8
49.s＝σ(f
(4)
)
50.其中，σ代表sigmoid激活函数；p
x
，py分别为预测的车牌的外界矩形框的中心点的位置，pw，ph分别为预测的车牌的外界矩形框的宽度和高度；f
(1)
，f
(2)
，f
(3)
，f
(4)
，f
(5)
∈rh×w×1分别为输出的h
×w×
5的第一至第五维向量。
51.因此，小尺寸的车牌的预测位置通过低层部件输出的向量f计算获得，中尺寸的车牌的预测位置通过中层部件输出的向量f计算获得，大尺寸的车牌的预测位置通过高层部件输出的向量f计算获得。
52.采集获取的图像中的真实车牌的位置及经过前述计算得到预测的车牌的位置均已经获得；接下来构建损失函数来检测这两个位置之间的差异。
53.在无锚框检测模块中设置有该优化目标函数(或损失函数)，使得无锚框检测模块针对图片中的物体有更好的检测性能。将图片中在车牌区域内的点称为正样本点，而优化
目标函数的优化对象是正样本点，通过优化如果能够匹配到更多的正样本点就意味着能够更好的检测到图片中存在车牌这个物体。图片上的小车牌区域由于尺寸较小，因此，导致小车牌区域中包括的正样本点的点数比较少，本发明中选择离小车牌的中心点最近的三个点作为正样本。优化目标函数(或损失函数)让无锚框检测模块对车牌位置尤其是小车牌位置的预测更加准确。
54.为了优化检测效果，构建损失函数如下：
[0055][0056]
其中，k表示无锚框检测模块中三个不同的部件，k取1，2，3，k为1表示低层部件、k为2表示中层部件和k为3表示高层部件；s为前面计算得到的置信度，t是样本类别，如果是正样本t＝1，否则t＝0；l
cls
表示类别损失，用来监督预测的置信度s；g为采集获取的图像中的真实车牌的位置，p则是预测的车牌的位置；n
pos
表示采集的图片中车牌的个数；l
loc
表示位置损失，用于监督预测的车牌位置；λ为权重系数，用来权衡类别损失和位置损失的大小，优选地，本发明的方法中λ取值为0.3。
[0057]
优选地，本发明的实施例中的区域扩展和特征选取模块连接粗检测模块，该区域扩展和特征选取模块将在粗检测模块得到的车牌的预测位置p进行处理，然后获得对应区域的特征并将其送入位置修正模块。
[0058]
区域扩展和特征选取模块将粗检测模块检测得到的车牌的预测位置p按照最长边向外扩张1-4倍得到一个扩张区域，本发明中优选2倍，然后从第一特征中的首层特征图中裁剪出与该扩张区域相对应的裁剪区域，并将首层特征图中的其它区域去除，从而将作为背景的非车牌的其它区域裁掉，并将该裁剪区域缩放至32*32像素，按照上述处理方式，从首层特征图中得到所有与车牌的预测位置p相对应的缩放的裁剪区域，然后将所有裁剪区域拼接在一起得到了第二特征，在这个过程中舍弃了首层特征图中的作为背景的非车牌区域。区域扩展和特征选取模块以车牌的预测位置p扩大2倍后的扩张区域作为参照，从第一特征的首层特征图中得到裁剪区域，由于首层特征图大小与采集的图片基本一致，其中保存有较低维度的信息特征，从而便于后序的多方向车牌的获取。
[0059]
位置修正模块，位置修正模块的输入是区域扩展和特征选取模块输出的第二特征。通过前述模块处理后，车牌将占据第二特征的大部分区域，前景(车牌)-背景(非车牌)不平衡问题有很大的缓解，由于第二特征是从首层特征图选取拼接的，包含的都是较低维度的信息特征，所以需要对第二特征进行再次提取得到第三特征得到较高维度的第三特征，之后将第三特征输入多方向车牌检测模块，该多方向车牌检测模块为位置修正模块的子模块。该多方向车牌检测模块处理第三特征后得到一个2x2x9维的向量m，即m∈r2×2×9。
[0060]
采用该向量计算得到多方向车牌的位置：p
′
＝(p
′
x1
，p
′
y1
，p
′
x2
，p
′
y2
，p
′
x3
，p
′
y3
，p
′
x4
，p
′
y4
)和置信度s’，
[0061][0062][0063]
[0064][0065][0066][0067][0068][0069]
s’＝σ(m(8))
[0070]
其中，分别表示多方向车牌的四个顶点的坐标；(m
(0)
，m
(1)
，m
(2)
，m
(3)
，m
(4)
，m
(5)
，m
(6)
，m
(7)
，m
(8)
)∈r2×2×9。
[0071]
位置修正模块中也设置有优化目标函数(损失函数)，公式如下：
[0072]
loss
lrm
＝l
loc
(g，p
′
)
×
t
′
+λ
′
l
cls
(s
′
，t
′
)
[0073]
其中，g为定义的车牌的真实位置，p
′
则是多方向车牌的位置。t’是样本类别，如果是正样本t’＝1，否则t’＝0。在该模块中，将离车牌中心点最近的一个点视为正样本点；l
loc
为位置损失，用于监督四点位置的学习；l
cls
为分类损失，用于约束前景置信度s’，λ
′
为权重系数，用来权衡分类损失和位置损失的大小，本发明的方法中λ
′
取值为1。
[0074]
优选地，本发明还提供了整个发明的优化目标函数：loss＝lossloss
cdm
+λ1*loss
lrm
，λ1通常设置为0.02，采用整个优化目标函数来同时优化整个发明找到最佳的多方向车牌的位置。
[0075]
本发明中的第二特征：从第一特征的首层特征图裁剪选取，只包含车牌的特征以及周边一小部分背景的信息特征，但都是低维的视觉信息特征。
[0076]
第三特征：从第二特征中提取到的车牌的高维特征。
[0077]
上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本发明所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求书的保护范围内。