基于级联神经网络的视频流实时车牌识别系统及方法与流程

本发明涉及车牌识别，特别涉及一种基于级联神经网络的视频流实时车牌识别系统及方法。

背景技术：

1、随着人们生活水平的不断提升，路上的车辆越来越多，车牌是车辆的重要身份识别信息；伴随着科学技术的进步，导致车牌识别的相关技术在越来越多的场景下被使用，例如各种停车场、道路卡口等，车牌识别技术的进步对于减少人工登记、违法监控和事后追溯等有极大的作用，但是，伴随着技术的不断进步和使用环境的不断变化对于车牌识别的时效性与准确性也提出了有极高的要求。

2、现有技术一，cn202010479156.8车牌识别方法、车牌识别装置、车牌识别设备及存储介质，在获取待检测车辆的车牌区域图后，将车牌区域图输入预先训练的第一分类模型，得到待检测车辆的遮挡污损识别结果；其中，遮挡污损识别结果为遮挡车牌或污损车牌或正常车牌；并将车牌区域图输入预先训练的字符识别模型，得到待检测车辆的字符识别结果；将字符识别结果中未识别到的字符用与遮挡污损识别结果对应的符号代替，得到待检测车辆的车牌识别结果并输出，该车牌识别结果不仅包含待检测车牌的车牌号码，还表明了待检测车辆的车牌是否存在遮挡或污损的情况，当车牌遮挡或车牌污损时，有助于对于车牌违章的具体情况进行具体处理，完善车牌违章监控流程。

3、现有技术二，cn201410742690.8一种车牌识别方法及车牌识别设备，根据原始车牌分类器检测现场的无车场景，收集现场的静态负样本；将静态负样本添加到车牌识别设备的原始训练集中，得到第一训练集，根据第一训练集训练第一车牌分类器；根据第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将动态负样本添加到第一训练集中，得到第二训练集，根据第二训练集训练第二车牌分类器，并根据第二车牌分类器进行车牌识别。这样，利用第二训练集训练的第二车牌分类器能够去除静态负样本和动态负样本，此时现场可能出现的绝大部分负样本都能够被第二车牌分类器拒绝，从而达到对车牌的精确识别，减少车牌识别设备的误检率。

4、现有技术三，cn201911282626.5车牌识别模型的训练方法及装置、车牌识别方法及装置，该车牌识别模型的训练方法包括：获取车辆图像训练样本，车辆图像训练样本中包含具有车牌图像的正样本图像及不具有车牌图像的负样本图像；根据车辆图像训练样本提取第一目标训练特征；根据第一目标训练特征对第一深度学习网络模型进行训练，得到车牌识别模型；对车牌识别模型输出的车牌图像进行分割，得到目标训练字符；根据目标训练字符提取第二目标训练特征；根据第二目标训练特征对深度可分离卷积神经网络模型进行训练，得到深度可分离卷积车牌识别模型。通过采用可分离卷积神经网络模型，可以实现空间信息和深度信息解耦合，减少网络参数量，提高训练准确率。

5、目前现有技术一、现有技术二和现有技术三的车牌识别仅仅针对特定场景及角度，对设备的部署要求极高，使得应用具有局限性；车牌识别的精度依赖于图像清晰度，对于高光、缺损、干扰等情况下的车牌识别的鲁棒性比较差，因而，本发明采用一个包含简化的yolov4-tiny、简化的densenet和简化的densenet+ctc的级联神经网络，提高多环境的车牌识别的精度。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于级联神经网络的视频流实时车牌识别方法，包括：

2、采用改进的yolov4-tiny网络在整体车辆目标区域检测出车牌的目标区域；

3、基于单目视觉拍摄车辆的移动，得到车辆的视频流，利用视频流中车辆移动的空间位置变换信息，得到车牌由远及近在空间中的位置和大小变换，判断是否为真实车牌；

4、采用改进的网络密集连接的卷积网络，通过透视变换方法对车牌的完整图像进行矫正，得到车牌的正面图像；改进的网络密集连接的卷积网络和连接时序分类，对矫正得到的车牌的正面图像进行识别，对车牌的字符识别并确认。

5、可选的，改进的yolov4-tiny网络去掉了yolov4-tiny网络的rote层，增加一个yolo层，实现了对车辆大目标和车牌小目标的检测。

6、可选的，若不是真实车牌，则返回采用改进的yolov4-tiny网络在整体车辆目标区域检测出车牌的目标区域；若是真实车牌，则进行采用改进的网络密集连接的卷积网络，通过透视变换方法对车牌的完整图像进行矫正。

7、可选的，对检测出的真实的车牌目标区域，基于改进的网络密集连接的卷积网络检测出车牌的四个定点位置，得到车牌的完整图像，采用透视变换方法对车牌的完整图像进行矫正，得到仅包含车牌的正面图像。

8、可选的，控制器通过对车牌的每一帧识别结果进行分析，综合多帧的车牌的识别结果，过滤其中有误识别字符的结果，得到最终的车牌的识别结果。

9、可选的，根据车辆和车牌的大小分别设置对应的候选框，在车辆目标模型识别时，采用了六个候选框；在车牌目标模型识别时，采用了九个候选框。

10、可选的，检测出整体车辆目标区域，即检测车辆的边界框，具体包括：

11、对输入的车辆及车牌的图像划分边界框，将车辆的图像分为多个单元格，在每个单元格预测出车辆边界框，车辆边界框的置信度的表达式为：

12、

13、式中，表示第i个单元格中的第j个边界框的置信度，pr(object)表示单元格包含某类目标的概率，pr∈{0,1}，iou表示预测边界框与真实边界框的交并比。

14、可选的，网络密集连接的卷积网络densenet包括：

15、密集连接模块，密集连接网络是在残差网络基础上演变而来的，残差网络的连接方式是每层与其前面的一或两层通过相加的方法进行短路连接，即增加了来自上一层的输入：

16、xl＝hl(xl-1)+xl-1；

17、与其不同的是网络密集连接的卷积网络采用密集连接机制，互相连接所有的层，每一层都会和前面的所有层在通道维度上进行连接，实现特征重用，即：xl＝hl[(x0,x1,…,xl-1)]；

18、其中，xl为第l层输入，接受前面所有层的所有卷积特征x0～xl-1；(x0,x1,…,xl-1)为输入层至l-1层的输出特征图进行拼接的操作；hl()是非线性转化函数；

19、标准卷积模块，1个层的网络拥有l个连接；密集连接模块，通过前馈的方式来将层与层紧密相连；

20、过滤模块，作用是压缩模型，2个相同尺寸的特征图的密集块之间，在2×2的池化层之前引入一个1×1的卷积层来对尺寸大小进行降维处理。

21、可选的，改进的网络密集连接的卷积网络提取车牌区域的图像卷积序列特征，连接时序分类网络引入blank字符，解决有些位置没有字符的问题，使得训练样本无需对齐。

22、本发明提供的基于级联神经网络的视频流实时车牌识别系统，包括：

23、摄像机，通过单目视觉拍摄车辆的移动，得到车辆的视频流；检测出整体车辆目标区域，在车辆目标区域内检测车牌目标区域；

24、目标区域预处理模块，采用改进的yolov4-tiny网络，检测出整体车辆目标区域，在车辆目标区域内检测车牌目标区域；利用视频流中车辆移动的空间位置变换信息，得到车牌由远及近在空间中的位置和大小变换，判断是否为真实车牌；对检测出的真实的车牌目标区域，基于改进的网络密集连接的卷积网络检测出车牌的四个定点位置，得到车牌的完整图像，采用透视变换方法对车牌的完整图像进行矫正，得到仅包含车牌的正面图像；

25、控制器，基于改进的网络密集连接的卷积网络和连接时序分类及跳变点算法，对矫正得到的车牌的正面图像进行识别，对车牌的字符识别并确认；通过对车牌的每一帧识别结果进行分析，综合多帧的车牌的识别结果，过滤其中有误识别字符的结果，得到最终的车牌的识别结果。

26、本发明采用改进的yolov4-tiny网络(you only look once vision4-tiny)，检测出车辆的整体目标区域，再在整体目标区域进行车牌的区域检测，在车辆的大目标图像中直接检测出车牌的小目标，较好的解决了车牌容易漏检的问题，由于车辆上贴有较多的标识(蓝色或黄色)容易被系统误认为是车牌，造成错检，本发明通过在车辆的大目标中检测车牌的小目标，能够很好的避免漏检和错检的问题，提高车牌检测的精度和准确率。本发明使用一台摄像机实现车辆和车牌的单目视觉拍摄，增加了车辆和车牌的检测视野，能够得到完整的车辆和车牌的图像，同时基于包含车辆移动的空间信息的视频流，实现对车辆移动轨迹及车牌位置和大小的变化判断车牌的真伪，提高了车牌管理的品质及效率，减少了车牌误检的几率。

27、本发明对检测出的准确的车牌目标区域，首先基于改进的densenet网络，检测出车牌的4个定点位置，通过透视变换进行矫正车牌得到仅包含车牌的正面图像，避免了车辆其他字符对车牌识别结果的镜像，提高了车牌的字符识别精度。本发明基于改进的densenet+ctc与跳变点算法，对矫正完的车牌区域图像进行识别，结合传统算法与深度学习算法的结果，通过逐字符比对，并根据国标的车牌规则，对两次识别的字符分数进行比较，取一个合适的阈值，对两次识别的结果进行融合，提升识别准确率，对各种情形下的车牌都有很好的效果。本发明采用极简网络的高实时性，可以做到每帧图像都进行识别，对前后帧的结果进行比对，能有效过滤个别字符错误造成的误识别。

28、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

29、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。