一种提升车牌精准定位的方法与流程

1.本发明涉及智能图像处理技术领域，特别涉及一种提升车牌精准定位的方法。


背景技术：

2.随着计算机技术的发展和计算机视觉原理的广泛应用，使用计算机图像处理技术来实时检测跟踪目标变得越来越流行。在智能交通系统，智能监控系统和军事目标检测中使用目标的动态实时跟踪和定位，并且将手术器械定位在医学导航手术中具有广泛的应用价值。目标检测的任务是找出图像中所有感兴趣的目标，确定它们的位置和大小，是机器视觉领域的核心问题之一。由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮挡等因素的干扰，目标检测一直是机器视觉领域最具有挑战性的问题。
3.现有技术中，车牌识别系统是能监控路面的车辆并自动提取车辆牌照信息进行处理的技术，当车辆进入车牌识别系统抓拍区域时，会触发车牌识别一体机抓拍车辆的图像并自动识别出车牌号。车辆检测器主要是起到触发作用，触发之后才开启车牌识别一体机进行监控和抓拍，避免了车牌识别一体机时刻都处于开启状态。现在车牌检测系统大都用在栏杆闸机口情况下，本技术应用的场景是马路边的停车场景。这种场景下摄像头在路边上，获取到的图片车牌变形程度较大。
4.目前，传统车牌检测是直接回归4个坐标点，难度较大，回归点不精准。加上回归坐标点不容易量化(模型从浮点到8bit、4bit、2bit)，低比特模型精度会降低，回归点不准确。模型直接回归坐标难度会加大，并且不容易量化。回归点不准确便会影响车牌识别的效果。
5.另外，现有技术中的常用术语如下：
6.1.ocr(optical character recognition，光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。
7.2.ocr检测：将字的位置检测出来。


技术实现要素：

8.针对传统车牌检测回归点不准，难量化的问题，本技术的目的在于：通过提供一种车牌检测系统中使车牌精准定位,降低量化难度的方法，训练车牌检测提高精度。
9.具体地，本发明提供一种提升车牌精准定位的方法，一种提升车牌精准定位的方法，所述方法是应用ocr检测模型检测车牌，采用热图作为网络输出结果检测车牌，并通过车牌关键点模型确定车牌定位，进行模型量化到低比特，实现车牌检测车牌定位。
10.所述方法从开始获取数据，将数据加载到车牌检测模型，进一步判断是否能检出车牌，如果不能检出车牌，则结束检测；如果能检出车牌，则进入到车牌关键点模型，进行透视变换矫正车牌并输出，最后结束检测。
11.所述方法进一步包括以下步骤：
12.s1，车牌数据制作：
13.车牌标注为车牌的四个角点，加强数据增强，采用透视变换，分别在xyz三个轴上同时进行角度旋转，达到路边摄像头拍到的情况，即把摄像头放路边停车位的四角中的一个角，且摄像头位置和车牌高度差不多的高度或等高的位置，这种摄像头拍出来的车牌角度大，如图1所示；
14.s2，训练车牌检测模型：
15.本技术中采用ocr检测中分割的方法检测车牌：先通过dbnet网络(backbone使用resnet-18+fpn)输出图片的文本(车牌)分割结果热图(即概率图，每个像素为是否是正样本的概率)，使用预设的阈值将分割结果图转换为二值图，这里阈值采用0.3，最后找到车牌的轮廓，将车牌框出来。过程如图2所示；
16.其中，ocr检测中的具体方法中找轮廓存在现有的函数，这里用的是cv2.findcontours函数，resnet-18是一种经典网络，fpn是一种网络结构，图2中可体现出来；
17.s3，车牌关键点训练：
18.车牌检测出来之后需要加一个车牌关键点模型，所述模型使用8层cnn卷积网络，结果输出车牌四个角点，把四个角点定位出来，这样通过这4个点对图片进行透视变换，所述透视变换可以采用现有的函数，此处使用cv2.warpperspective函数，将车牌矫正，方便进行车牌识别。
19.所述步骤s2中训练出来的模型，适应于路边摄像头下的车牌、晚上曝光严重的车牌、亮度暗的车牌，倾斜的车牌。
20.所述方法所用的检测模型是应用在ocr检测的dbnet框架，模型结果为热图。
21.所述方法中车牌检测的应用场景为路边场景，获取图像数据的摄像头位置低，导致车牌形状变形程度大的情况。
22.所述方法还可以进一步包括：
23.s4，模型量化：
24.将车牌检车模型量化到4bit，精度没损失；由于关键点需要准确定位，然后由于关键点模型小，所以量化到8bit，量化无损失。这里的量化可以直接用现有技术的量化方法，这里采用的是北京君正继承电路股份有限公司(简称：北京君正)自研的量化平台进行量化的。
25.由此，本技术的优势在于：
26.应用ocr检测思想将二值图作为网络输出结果检测车牌并加上车牌关键点模型，使车牌检测车牌定位更准，量化难度降低。精准度高，量化到低比特，不损失精度。
附图说明
27.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。
28.图1是本技术中马路边车牌场景下车牌检测结果示意图。
29.图2是本技术整体网络的简图，可以看出fpn结构。
30.图3本技术方法中车牌关键点的结果示意图。
31.图4是本技术方法中的车辆检测流程简图。
32.图5是本技术方法的主要步骤流程图。
具体实施方式
33.为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
34.本技术所用的检测模型是应用在ocr检测的dbnet网络的修改版。ocr检测是将字的位置检测出来，采用热图(二值图)作为网络输出结果。以热图的这种方法很容易量化，并且无损失。车牌是由字符组成，因此可以用这种方法将车牌检测出来。
35.具体地，本技术采用ocr检测方式检测车牌，并通过关键点模型准确定位。
36.进一步包括，如图1-图5所示，本发明方法涉及一种提升车牌精准定位的方法，所述方法包括以下步骤：
37.s1，车牌数据制作：
38.车牌标注为车牌的四个角点，由于本车牌检测的应用场景为马路边，摄像头位置低，又在路边，所以车牌形状变形程度较大，并且为了避免曝光情况，摄像头照出来的图片色彩变化也很大，所以数据增强这方面要加强，可以采用透视变换，在xyz三个轴上进行角度旋转，组合起来就会达到路边摄像头拍到的情况，增强模型泛化能力；色彩方面也要数据增强一下，这样模型才会适应路边场景。数据增强方式很重要，它能将有限的数据变化成所需要的数据，增加数据多样性。数据制作好了，同一模型训练结果才会更好。
39.s2，训练车牌检测模型：
40.用ocr检测模型训练车牌，这样模型出来的结果，车牌的位置会变白，其他地方是黑的。通过后处理找到车牌的轮廓，将车牌框出来。训练出来的模型，对路边摄像头下的车牌适应性很好，召回率可达97％，对于晚上，曝光比较严重，亮度比较暗，倾斜的车牌都可以，一些太倾斜的车牌可能效果不好，效果如图1所示；
41.s3，车牌关键点训练：
42.由于车牌检测不能准确定位车牌的四个角点，这样的话会影响车牌识别的准确率，所以车牌检测出来之后需要加一个车牌关键点模型，把四个角点定位出来，这样就可以通过这4个点对图片进行透视变换，将车牌矫正，方便进行车牌识别，如图3所示；
43.s4，模型量化：
44.将车牌检车模型量化到4bit，精度没损失。由于关键点需要准确定位，然后关键点模型又很小，所以量化到8bit就可以了，量化无损失。量化之后的模型运行时间会大大减少，可以上板，在芯片上运行。
45.如图4所示，从开始获取图片数据，将数据加载到车牌检测模型，进一步判断是否能检出车牌，如果不能检出车牌，则结束检测；如果能检出车牌，则进入到车牌关键点模型，进行透视变换矫正车牌并输出，最后结束检测。
46.因此，如图5所示，本方法的主要实施步骤如下：
47.s1.车牌数据制作；
48.s2.训练车牌检测模型；
49.s3.车牌关键点训练。
50.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技
术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。