本发明涉及车牌识别技术领域，特别涉及一种基于深度学习的普通摄像头全车牌识别系统。
背景技术
车牌识别系统是目前市场上较为常见的基于计算机视觉的深度学习应用系统，具有高效便捷，辨识度高，实施成本较低，稳定可靠等特点，常用于停车场，收费站，高速公路etc等场景进行车辆监管和信息统计。但现有的车牌识别系统还存在以下问题：
1.对摄像头的依赖较为严重，存在需要定制高分辨率的专用摄像头，需要距离车辆近距离安装，需要严格控制摄像头相对于车牌的角度等问题，这就限制了车牌识别系统的使用场景，一般就只能在停车场，收费站等较为固定的场景使用；那些在天眼系统中使用的摄像头则分辨率极高，价格成本极高，不具有批量采用的可能性，因此常规的车牌识别系统的局限性是很大的；
2.能够识别的车牌种类较为单一，通常只能识别单排车牌，对于挂车，新能源汽车，工业大车等识别效果均不理想，主要的问题在于车牌的数据很难以获取，即便是获取了车牌，进行深度学习时，由于车牌种类的多样，很难输出较为统一的结果，尤其是双层的车牌和新能源的车牌(8位车牌)，常规识别系统是无法处理这类问题的；
3.对于环境因素要求较为严格，对不同的场景兼容性不高，通常要求场景光源较为稳定，对于部分场景需要补光才能使用，还需要无过分曝光等苛刻的要求，对于一般场景下的车牌不具有较好的辨识度，这就对现实的应用产生很大的局限性。
因此，本发明对现有技术存在的问题进行深入的分析，提出了能解决以上问题的一种基于深度学习的普通摄像头全车牌识别系统。
技术实现要素：
本发明的目的在于：提供了一种基于深度学习的普通摄像头全车牌识别系统，解决了现有车牌识别系统识别车牌种类单一，适用场景较少、限制较多，以及对摄像头要求较高的问题。
本发明采用的技术方案如下：
一种基于深度学习的普通摄像头全车牌识别系统，包括模型训练单元和系统应用单元；
所述模型训练单元包括
车牌识别定位模型：用于识别和定位图像中车牌所在的相对位置；
车牌内容识别模型：用于识别车牌的类别、尺寸、颜色和文字信息；
所述系统应用单元包括
动态监测抓拍模块：检测到视频中有车辆进入时，触发识别功能，进行抓拍，将抓拍到的图像传送到车牌识别定位模块；
车牌识别定位模块：采用车牌识别定位模型来识别和定位抓拍到的图像中车牌所在的相对位置，将车牌所在位置截图并传送到车牌内容识别模块；
车牌内容识别模块：采用车牌内容识别模型来识别车牌所在位置的截图中车牌的类别、尺寸、颜色和文字信息，并传送到数据管理模块；
数据管理模块：将车牌信息进行存储。
进一步地，所述车牌识别定位模型的训练过程包括以下步骤：
步骤1：人工收集数据，人工进行数据标注，搭建网络进行初始训练，得到初始模型；
步骤2：自动抓取数据，使用初始模型自动识别标注数据，人工校验修正标注，将标注后的数据，放入初始模型继续训练，得到半自动训练模型；
步骤3：自动抓取数据，使用半自动训练模型自动标注数据，待精度满足要求后，则停止训练，得到最终的车牌识别定位模型。
进一步地，所述车牌内容识别模型包括
车牌基本信息识别模型：采用svm算法来设计神经网络，用于识别车牌的类别、尺寸和颜色；
车牌文字识别模型：采用end2end训练来设计神经网络，用于识别车牌的文字信息。
更进一步地，所述车牌内容识别模型的训练过程包括以下步骤：
步骤1：生成仿真车牌；
步骤2：根据步骤1，训练车牌基础信息识别模型；
步骤3：根据步骤1，训练车牌文字识别模型。
更进一步地，所述步骤1的具体步骤如下：
步骤1.1：生成车牌标准背景模板，所述背景模板包括440*140像素的黄/蓝色车牌、440*220像素的黄色车牌、220*140像素的黄/蓝/黑色车牌、220*140像素的新能源车牌和300*165像素的临时车牌；
步骤1.2：根据车牌命名规范，生成随机车牌信息，并与车牌背景随机组合生成随机组合车牌；
步骤1.3：判断随机组合车牌是否符合车牌管理办法，若符合直接进行下一步，若不符合则剔除该车牌，并返回步骤1.2再次生成新的随机组合车牌；
步骤1.4：将随机组合车牌的信息生成图片，对车牌添加随机噪声、随机光照、随机对比度、随机角度变化、随机透射变换和随机背景，并存入仿真车牌列表；
步骤1.5：判断仿真车牌列表内车牌数量是否达到1000张，若达到，则列出仿真车牌列表，若未达到，则返回步骤1.2再次生成新的随机组合车牌。
更进一步地，所述步骤2的具体步骤如下：
步骤2.1：搭建具有spp-net的svm车牌基本信息识别网络；
步骤2.2：根据车牌基本信息识别网络，将步骤1.5仿真车牌列表中的车牌，根据类别、尺寸和颜色进行分类，得到训练用仿真数据；
步骤2.3：用真实数据校验模型精度，并判断模型识别精度是否高于90％，若高于，则进行下一步，若不高于90％，则返回步骤2.2；
步骤2.4：判断模型精度高于90％的次数是否大于3次，若大于，则进行下一步，若不大于3次，则返回步骤2.2；
步骤2.5：整理步骤2.2的训练用仿真数据，组建数据集，得到最终的车牌基本信息识别模型。
更进一步地，所述步骤3的具体步骤如下：
步骤3.1：根据步骤1.5仿真车牌列表中车牌的种类搭建end2end网络结构；
步骤3.2：根据网络结构识别步骤1.5仿真车牌列表中的车牌文字信息，得到训练用仿真数据；
步骤3.3：用真实数据校验模型精度，并判断模型识别精度是否高于90％，若高于，则进行下一步，若不高于90％，则返回步骤3.2；
步骤3.4：判断模型精度高于90％的次数是否大于3次，若大于，则进行下一步，若不大于3次，则返回步骤3.2；
步骤3.5：整理步骤3.2的训练用仿真数据，组建数据集，得到最终的车牌基本信息识别模型。
进一步地，所述车牌识别定位模块采用darknet深度学习框架的yolo算法对抓拍图像中车牌所在的位置进行识别。
进一步地，所述系统应用单元的工作过程包括以下步骤：
步骤1：获取摄像头的实时视频流；
步骤2：对视频流进行动态监测，抓拍当前画面，获得抓拍图像；
步骤3：加载车牌识别定位模型，对步骤2的图像进行识别，判断图像中有无车牌，若图像中有车牌，则定位车牌所在位置并截取车牌图像，若图像中没有车牌，则返回步骤2继续进行动态监测；
步骤4：根据步骤3，识别图像中四个角点的位置，再根据角点的位置将车牌通过透射变换和转角变化转正，然后加载车牌基本信息识别模型，通过颜色分离识别车牌颜色，通过车牌长宽比例识别车牌尺寸；
步骤5：根据步骤4，通过车牌在图像中的具体大小识别车牌相对摄像头的距离，判断是否符合系统阈值距离，若符合直接进行下一步，若不符合，则直接剔除图像，返回步骤2；
步骤6：根据步骤4得出的车牌的颜色和尺寸得到车牌的类别，加载车牌文字识别模型，根据车牌的类别选择不同的识别网络对车牌文字进行识别，再输出车牌文字信息；
步骤7：判断步骤6输出的车牌文字信息是否和步骤4和步骤5得出的车牌颜色、尺寸和类别是否匹配，若匹配，则在步骤2抓拍的图像中圈出车牌的位置并传送车牌信息到后续工作系统；若不匹配，则直接剔除该车牌，视为误识别，不出结果；
步骤8：完成步骤7后，继续返回步骤2获取下一帧图像。
更进一步地，所述车牌类别包括大型汽车前挂车牌、大型汽车后挂车牌、小型汽车车牌、挂车车牌、领事馆车牌、使馆车牌、港澳入境车牌、教练车车牌、警用车车牌、低速车车牌、小型新能源车车牌和大型新能源车车牌。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.一种基于深度学习的普通摄像头全车牌识别系统，可以通过任何一种摄像头与动态监测抓拍模块连接，录制实时视频，进行自动抓图，再通过车牌识别定位模块对各种场景和光照的车牌位置进行截取，进行车牌定位，最后通过车牌内容识别模块进行文字识别和基础信息识别，进行车牌修正和信息识别，然后传送到后续工作系统，因此，该系统适用于全种类车牌的识别，对于场景内的车辆监管和信息采集有较高的可靠性，同时摆脱以往的必须使用专用摄像头的限制，可以节省较大的成本；
2.本发明所述车牌识别定位模型的训练过程，通过半自动的标注方式，在保证识别精度的前提下，将原本纯人工进行标注需要15天才能生成的模型，只需要3天就能完成工作，有效减少了人力成本，缩短了模型的生成周期，同时有效避免了数据复审，模型校对等流程浪费的大量时间；
3.本发明所述车牌内容识别模型采用人工生成的仿真车牌来训练车牌内容识别模型，可实现对各个种类车牌的识别，支持效果很高，对于光源的依赖不高，通过车牌内容识别模块的处理，有效减少由于光照因素导致的图像模糊，对比度过高，阴影遮挡等对车牌识别产生的影响，使系统适用于各种复杂场景；
4.本发明所述车牌基本信息识别模型采用svm算法来设计神经网络，对车牌的类别、尺寸和颜色进行识别和分类，通过对车牌具体参数的识别来判断车牌的基本属性，再根据基本属性调整模型结构，可达到最好的识别精度；
5.本发明所述车牌文字识别模型采用end2end训练来设计神经网络，对车牌的文字信息进行识别，采用端到端的深度学习的思路训练模型，有效减小了需要图像分割和图像校正产生的误差，提高了模型的可靠性；
6.本发明在车牌基本信息识别模型和车牌文字识别模型的训练中，使用真实的车牌数据来检验模型的精度，既保证了模型对全种类车牌的覆盖面，也保证了模型在真实场景下的精度；
7.本发明所述车牌识别定位模块采用darknet深度学习框架的yolo算法对抓拍图像中车牌所在的位置进行识别，最大支持30度的角度偏移的修正和自动过滤采集效果不理想的车牌，这样可以将摄像头布置在房檐，墙壁等不影响作业的区域，对于摄像头的安装不再具有严格的限制，只要摄像头能够覆盖的地方就能实现车牌的识别，具有较好的鲁棒性，对于部分由于遮挡，无法辨识的工业用车的车牌，还可以识别喷绘或印制在车身上的车牌信息，有效过滤干扰信息，从而获取车牌的具体信息。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是一种基于深度学习的普通摄像头全车牌识别系统的结构图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1对本发明作详细说明。
一种基于深度学习的普通摄像头全车牌识别系统，包括模型训练单元和系统应用单元；
所述模型训练单元包括
车牌识别定位模型：用于识别和定位图像中车牌所在的相对位置；
车牌内容识别模型：用于识别车牌的类别、尺寸、颜色和文字信息；
所述系统应用单元包括
动态监测抓拍模块：检测到视频中有车辆进入时，触发识别功能，进行抓拍，将抓拍到的图像传送到车牌识别定位模块；
车牌识别定位模块：采用车牌识别定位模型来识别和定位抓拍到的图像中车牌所在的相对位置，将车牌所在位置截图并传送到车牌内容识别模块；
车牌内容识别模块：采用车牌内容识别模型来识别车牌所在位置的截图中车牌的类别、尺寸、颜色和文字信息，并传送到数据管理模块；
数据管理模块：将车牌信息进行存储。
进一步地，所述车牌识别定位模型的训练过程包括以下步骤：
步骤1：人工收集数据，人工进行数据标注，搭建网络进行初始训练，得到初始模型；
步骤2：自动抓取数据，使用初始模型自动识别标注数据，人工校验修正标注，将标注后的数据，放入初始模型继续训练，得到半自动训练模型；
步骤3：自动抓取数据，使用半自动训练模型自动标注数据，待精度满足要求后，则停止训练，得到最终的车牌识别定位模型。
更进一步地，所述车牌识别定位模型的训练过程的具体步骤如下：
步骤1.1：人工收集2000张图像数据，筛选出带有车牌的图像，人工进行数据标注，组建第一数据集；
步骤1.2：搭建网络进行初始训练，得到初始模型；
步骤2.1：自动抓取5000张图像数据，筛选出占比70％的带有车牌的图像，使用初始模型自动识别和标注数据；
步骤2.2：人工审核识别的质量，对误识别的图像进行修正标注，将修正过的数据和第一数据集组合形成第二数据集，放入初始模型继续训练，得到半自动训练模型；
步骤2.3：判断人工审核次数是否大于3，若大于3直接进行下一步，若不大于3则返回步骤2；
步骤3.1：自动抓取10000张图像数据，组件临时数据集，使用半自动训练模型对其进行自动识别和标注数据；
步骤3.2：统计步骤3.1的识别精度，并判断是否达到95％，若达到直接进行下一步，若没有达到，则对误识别的图片重新进行修正标注，将修正过的数据放入第二数据集，得到第三数据集，并返回步骤1.2；
步骤3.3：判断满足识别精度的次数是否大于3，若大于3直接进行下一步，若不大于3则对误识别的图片重新进行修正标注，将修正过的数据放入第三数据集，得到最终的第四数据集，并返回步骤1.2；
步骤3.4：将第一数据集、第二数据集、第三数据集和第四数据集合并得到最终的数据集和车牌识别定位模型。
更进一步地，所述车牌识别定位模型通过半自动的标注方式，在保证识别精度的前提下，将原本纯人工进行标注需要15天才能生成的模型，只需要3天就能完成工作，有效减少了人力成本，缩短了模型的生成周期，同时有效避免了数据复审，模型校对等流程浪费的大量时间。
进一步地，所述车牌内容识别模型包括
车牌基本信息识别模型：采用svm算法来设计神经网络，用于识别车牌的类别、尺寸和颜色，通过对车牌具体参数的识别来判断车牌的基本属性，再根据基本属性调整模型结构，可达到最好的识别精度；
车牌文字识别模型：采用end2end训练来设计神经网络，用于识别车牌的文字信息，采用端到端的深度学习的思路训练模型，有效减小了需要图像分割和图像校正产生的误差，提高了模型的可靠性。
更进一步地，所述车牌内容识别模型的训练过程包括以下步骤：
步骤1：生成仿真车牌；
步骤2：根据步骤1，训练车牌基础信息识别模型；
步骤3：根据步骤1，训练车牌文字识别模型。
更进一步地，所述车牌内容识别模型采用人工生成的仿真车牌来训练车牌内容识别模型，可实现对各个种类车牌的识别，支持效果很高，对于光源的依赖不高，通过车牌内容识别模块的处理，有效减少由于光照因素导致的图像模糊，对比度过高，阴影遮挡等对车牌识别产生的影响，使系统适用于各种复杂场景。
更进一步地，所述步骤1的具体步骤如下：
步骤1.1：生成车牌标准背景模板，所述背景模板包括440*140像素的黄/蓝色车牌、440*220像素的黄色车牌、220*140像素的黄/蓝/黑色车牌、220*140像素的新能源车牌和300*165像素的临时车牌；
步骤1.2：根据车牌命名规范，生成随机车牌信息，并与车牌背景随机组合生成随机组合车牌；
步骤1.3：判断随机组合车牌是否符合车牌管理办法，若符合直接进行下一步，若不符合则剔除该车牌，并返回步骤1.2再次生成新的随机组合车牌；
步骤1.4：将随机组合车牌的信息生成图片，对车牌添加随机噪声、随机光照、随机对比度、随机角度变化、随机透射变换和随机背景，并存入仿真车牌列表；
步骤1.5：判断仿真车牌列表内车牌数量是否达到1000张，若达到，则列出仿真车牌列表，若未达到，则返回步骤1.2再次生成新的随机组合车牌。
更进一步地，所述步骤2的具体步骤如下：
步骤2.1：搭建具有spp-net的svm车牌基本信息识别网络；
步骤2.2：根据车牌基本信息识别网络，将步骤1.5仿真车牌列表中的车牌，根据类别、尺寸和颜色进行分类，得到训练用仿真数据；
步骤2.3：用真实数据校验模型精度，并判断模型识别精度是否高于90％，若高于，则进行下一步，若不高于90％，则返回步骤2.2；
步骤2.4：判断模型精度高于90％的次数是否大于3次，若大于，则进行下一步，若不大于3次，则返回步骤2.2；
步骤2.5：整理步骤2.2的训练用仿真数据，组建数据集，得到最终的车牌基本信息识别模型。
更进一步地，所述步骤3的具体步骤如下：
步骤3.1：根据步骤1.5仿真车牌列表中车牌的种类搭建end2end网络结构；
步骤3.2：根据网络结构识别步骤1.5仿真车牌列表中的车牌文字信息，得到训练用仿真数据；
步骤3.3：用真实数据校验模型精度，并判断模型识别精度是否高于90％，若高于，则进行下一步，若不高于90％，则返回步骤3.2；
步骤3.4：判断模型精度高于90％的次数是否大于3次，若大于，则进行下一步，若不大于3次，则返回步骤3.2；
步骤3.5：整理步骤3.2的训练用仿真数据，组建数据集，得到最终的车牌基本信息识别模型。
进一步地，所述车牌识别定位模块采用darknet深度学习框架的yolo算法对抓拍图像中车牌所在的位置进行识别，最大支持30度的角度偏移的修正和自动过滤采集效果不理想的车牌，这样可以将摄像头布置在房檐，墙壁等不影响作业的区域，对于摄像头的安装不再具有严格的限制，只要摄像头能够覆盖的地方就能实现车牌的识别，具有较好的鲁棒性，对于部分由于遮挡，无法辨识的工业用车的车牌，还可以识别喷绘或印制在车身上的车牌信息，有效过滤干扰信息，从而获取车牌的具体信息。
进一步地，所述系统应用单元的工作过程包括以下步骤：
步骤1：获取摄像头的实时视频流；
步骤2：对视频流进行动态监测，抓拍当前画面，获得抓拍图像；
步骤3：加载车牌识别定位模型，对步骤2的图像进行识别，判断图像中有无车牌，若图像中有车牌，则定位车牌所在位置并截取车牌图像，若图像中没有车牌，则返回步骤2继续进行动态监测；
步骤4：根据步骤3，识别图像中四个角点的位置，再根据角点的位置将车牌通过透射变换和转角变化转正，然后加载车牌基本信息识别模型，通过颜色分离识别车牌颜色，通过车牌长宽比例识别车牌尺寸；
步骤5：根据步骤4，通过车牌在图像中的具体大小识别车牌相对摄像头的距离，判断是否符合系统阈值距离，若符合直接进行下一步，若不符合，则直接剔除图像，返回步骤2；
步骤6：根据步骤4得出的车牌的颜色和尺寸得到车牌的类别，加载车牌文字识别模型，根据车牌的类别选择不同的识别网络对车牌文字进行识别，再输出车牌文字信息；
步骤7：判断步骤6输出的车牌文字信息是否和步骤4和步骤5得出的车牌颜色、尺寸和类别是否匹配，若匹配，则在步骤2抓拍的图像中圈出车牌的位置并传送车牌信息到后续工作系统；若不匹配，则直接剔除该车牌，视为误识别，不出结果；
步骤8：完成步骤7后，继续返回步骤2获取下一帧图像。
更进一步地，所述车牌类别包括大型汽车前挂车牌、大型汽车后挂车牌、小型汽车车牌、挂车车牌、领事馆车牌、使馆车牌、港澳入境车牌、教练车车牌、警用车车牌、低速车车牌、小型新能源车车牌和大型新能源车车牌。
本发明的具体工作方式为：
首先，部署车牌识别系统和所需环境，安装摄像头或其他实时视频采集设备，并配置摄像头参数，再将摄像头的参数配置信息上传到业务系统，然后启动接入层服务，打开该车牌识别系统；摄像头便将录制的实时视频传送给动态监测抓拍模块，动态监测抓拍模块检测到视频中有车辆进入时，触发识别功能，进行抓拍，将抓拍到的图像传送到车牌识别定位模块；车牌识别定位模块识别和定位抓拍到的图像中车牌所在的相对位置，将车牌所在位置截图并传送到车牌内容识别模块；车牌内容识别模块识别车牌所在位置的截图中车牌的类别、尺寸、颜色和文字信息，并传送到数据管理模块；最后，数据管理模块将车牌信息进行存储并上传至后续业务系统。
以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。