一种基于AI算法的具有双系统双模式的车辆管理系统

本发明属于车辆管理系统相关，具体涉及一种基于ai算法的具有双系统双模式的车辆管理系统。

背景技术：

1、随着深度学习的浪潮推进，深度学习已经逐渐应用于基础设施，慢慢渗透进各个行业和领域；传统的字符识别需要人工提取特征，步骤繁琐；深度卷积神经网络技术的成熟，边缘设备的算力提高，使得车牌识别技术得以应用；

2、目前，国内市场上没有一款较为全面的车辆管理系统，且绝大部分停车管理系统的车牌识别技术并不能应用到诸如：大雾霾天气、煤炭运输场地等场景；在雾霾天气频发地区，且空气能见度低时，车辆识别准确率低、速率低；在煤炭企业时，在识别被煤泥遮挡的运输煤炭货车车牌识别准确率低下；另外，全国绝大多数大型停车场进出场效率低，用户在停车场中容易迷失方向；无法满足工业生产需求及普通民众对个性化的需求，造成不必要的时间浪费，无法便于民众。

技术实现思路

1、本发明的目的在于提供一种基于ai算法的具有双系统双模式的车辆管理系统，以解决上述背景技术中提出的车辆识别准确率低、速率低、大型停车场进出场效率低，用户在停车场中容易迷失方向和造成不必要的时间浪费，无法便于民众问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于ai算法的具有双系统双模式的车辆管理系统，包括数据集的构建、模型的训练与压缩的构建和车辆管理系统平台的设计；

3、数据集的构建：利用imagenet、mscoco和pascavoc以及ccpd等公开数据集以及团队自行拍摄的原则补充多样、目标清晰作为车牌识别的数据集，对于以上使用的数据集，互联网和本团队内部已有较好的图像预处理过程；

4、模型的训练与压缩的构建：车辆身份的识别采用车辆识别技术，车牌的自动识别是整个车辆管理系统的核心功能；对不同环境下的车辆识别模式采用不同的车辆识别算法，其中，不同环境下的车辆识别模式为：常规环境快速识别模式、雾霾天气模式和煤炭企业管理系统；

5、车辆管理系统平台的设计：分为常规中小型停车场管理系统主要功能与架构设计、煤炭企业管理系统主要功能与架构设计和数据库设计。

6、优选的，在数据集的构建中，收集了足够的图片后，就可以使用标注工具labelimg对车牌图片进行标注；其中汉字无法直接标注，使用none来替代，后期人工使用unicode编码来区分汉字；三个模式有三个不同的数据集，以雾霾天气模式为例，雾霾天气模式数据集是构建成voc数据格式的；首先新建一个名字为voc的文件夹，然后在voc文件内新建label_list.txt、trainval.txt、test.txt、vocdevkit文件夹；其中label_list文件存储的是训练数据的类别标签；trainval.txt、test.txt保存的是相对voc文件路径下的训练数据和测试数据的图片和对应的标注文件的路径；在vocdevkit文件夹新建voc2022文件，在voc2022新建annotations、imagesets、jpegimage文件夹；annotaions文件夹保存的是车牌和车牌字符的标注文件；imagesets中main文件中，保存的是测试数据和训练数据的图片名称；jpegimages文件夹中存储的是收集的车牌图片；labels文件中存储的是yolo格式的标注文件，voc数据集文件组织结构图。

7、优选的，常规环境快速识别模式：针对常规环境下车牌检测与识别算法需要实现的重点和难点，可分为三个模块：车牌检测、图像处理和ocr车牌号码识别；

8、(1)、车牌检测：基于改进sota方法的yolov4目标检测模型：

9、yolov4目标检测算法由五个基本部件组成：cbm(conv+bn+mish激活函数)、cbl(conv+bn+leaky_relu激活函数)、resunit(残差结构)、cspx(卷积层和resunint模块)、spp(池化层)；主要优势在于yolov4是一种高效而强大的目标检测模型，能使用相对适中的算力设备就能训练出超快、准确的目标检测器；在检测器训练过程中，验证了最先进的一些研究成果对目标检测器的影响；改进了sota方法，使其更有效、更适合单gpu训练；

10、(2)、图像处理：基于opencv的图像降低噪声与二值化处理：

11、为了能进一步提高识别准确率，正常情况下可能以为光线情况的变化是检测分割后的图像存在一定差异，因此使用opencv库对图像进行简单的降低噪声、二值化处理，使图像更适合ocr进行进一步识别；

12、(3)、ocr车牌号码识别：基于百度飞桨ocr的开源文本识别：

13、ocr是由百度飞浆padlepadle提供的开源基于于图像检测的文本识别，具有模型训练简单、体量小、速度快、准确率高的优势，在车牌识别系统中能通过识别处理后的车牌图像，快速得出车牌号，实现车辆快速进出停车场。

14、优选的，雾霾天气模式：针对雾霾天气下车牌检测与识别算法需要实现的重点和难点，可分为三个模块：图像去雾、车牌定位和车牌字符识别；

15、(1)、图像去雾：基于快速引导滤波暗原色先验去雾算法；

16、分析对比基于大气散射模型的图像复原去雾算法、暗原色先验去雾算法以及快速引导滤波暗原色先验去雾算法的去污效果，选择效果最优的以基于快速引导滤波暗原色先验去雾算法作为本项目雾霾天气模式的去雾算法；

17、(2)、车牌定位：基于边缘检测的车牌定位算法；

18、边缘检测是数字图像处理中常用方法，该算法是将图像中亮度变化明显的点标识出，实现边缘轮廓区分；在车牌识别系统中，车身颜色和字符颜色之间色差较大，故车牌边缘处像素点亮度跳跃大，这就使得边缘的轮廓清晰便于识别；该算法首先对车牌图像进行去噪、灰度拉伸等预处理，得到边缘轮廓清晰的图像，统计图像中每个像素点的灰度值，找出灰度值变化大的点，将其称为灰度图像跳变点；根据跳变点的数量即可定位出车牌位置，该算法在实际应用过程中能够快速有效的识别出车辆牌照，并且实现难度较小，具有极高的实用性价比；

19、(3)、车牌字符识别：基于mobilenetv3网络结构的yolov3识别网络；

20、将雾霾天气车牌数据集在常用的目标检测算法里进行训练，发现选择使用基于敏感度的方法来压缩的基于mobilenetv3网络结构yolov3识别网络算法对模糊车牌进行识别能够保证较高的准确率，又有一定的实时性，能够满足现实任务的需求；并且该识别网络算法实现难度较低，故而本项目拟采用该算法作为本项目雾霾天气准确模式车牌字符识别过程的核心算法。

21、优选的，煤炭企业管理系统为雾霾天气模式的延伸，使用与雾霾天气模式同一个但不同数据集训练的车牌字符识别算法(该算法在处理微小遮挡物方面具有巨大优势，并且雾霾天气和煤泥对车牌的影响具有多方面的共性，推断此举可行)，不同之处会在车辆管理系统平台的设计与实现部分详细讲解。

22、优选的，常规中小型停车场管理系统主要功能与架构设计：

23、(1)、主要功能分析：结合常规中小型停车场车辆信息管理系统的业务场景和用户对产品的使用需求，并由此分析归纳出本系统的功能需求主要包括以下几点：

24、①、系统对管理员用户提供基础数据管理功能，包括用户管理、角色分配、部门管理；②、提供一套可供管理者控制的完善的自动收费流程与收费信息管理系统；③、系统应该具有用户的登录日志，操作日志等系统信息监控功能；④、管理员用户可以根据实际需要，进行摄像头的管理，例如修改摄像头信息、删除摄像头等；⑤、用户可以预览摄像头所拍摄画面，进行检测区域的设置，查看检测状态和是否开启检测；⑥、用户可以按时间，摄像头名称等条件查询到从监控视频中检测到的车辆具体信息，例如车牌颜色、号码和抓拍图片；⑦、系统可以通过用户填写的视频流地址去获取到实时的视频流，然后进行车辆识别，当识别到车辆经过时，调用车牌识别模型去识别车牌号码和车牌颜色，并将识别结果保存；⑧、由于需要监控的摄像头数量较多，系统需要在多台电脑上运行，主服务器需要接收检测服务器的检测结果；⑨、为防止摄像头损坏等情况，管理者用户可通过直接输入车辆信息并将车辆信息录入系统，以便及时计算入停车场时间并计算停车费用；

25、(2)、系统架构设计：

26、主要是由系统应用服务器和车牌识别服务器两部分构成，系统应用服务器使用浏览器与用户交互，负责对企业的车辆数据、门卫数据、计时收费数据等融合，向用户提供数据分析与查询；前端使用vue框架或bootstrap框架等技术来开发，后端则选用mybatis、数据库技术mysql、springboot以及其中的thymeleaf模板来开发；车牌识别服务器使用python深度学习来实现，主要负责从监控服务器读流，然后调用车辆检测和车牌字符识别模型进行识别，最后将识别的结果存储到车辆信息数据库里。

27、优选的，煤炭企业管理系统主要功能与架构设计和数据库设计：

28、(1)、主要功能分析：

29、结合煤炭企业车辆信息管理系统的业务场景和用户对产品的使用需求，并由此分析归纳出本系统的功能需求主要包括以下几点：①、系统对管理员用户提供基础数据管理功能，包括用户管理、角色分配、部门管理；②、系统应该具有用户的登录日志，操作日志等系统信息监控功能；③、管理员用户可以根据实际需要，进行摄像头的管理，例如修改摄像头信息、删除摄像头等；④、用户可以预览摄像头所拍摄画面，进行检测区域的设置，查看检测状态和是否开启检测；⑤、用户可以按时间，摄像头名称等条件查询到从监控视频中检测到的车辆具体信息，例如车牌颜色、号码和抓拍图片；⑥、用户可以上传过磅数据的车辆信息，进行编辑、删除操作和查看过磅数据的导入结果，并与本系统检测到的车辆数据进行对比；⑦、系统可以通过用户填写的视频流地址去获取到实时的视频流，然后进行车辆识别，当识别到车辆经过时，调用车牌识别模型去识别车牌号码和车牌颜色，并将识别结果保存；⑧、由于需要监控的摄像头数量较多，系统需要在多台电脑上运行，主服务器需要接收检测服务器的检测结果；

30、(2)、系统架构设计：

31、在系统架构上，煤炭企业管理与常规中小型停车场管理系统的最大区别是将收费系统替换成煤炭过磅数据记录系统。

32、优选的，数据库设计是本系统开发不可或缺的重要部分，良好的数据库设计不仅能够减少数据的存储空间，还能保证数据的完整性，提高系统的性能；数据库设计主要由逻辑结构设计和物理结构设计组成；逻辑结构设计主要找出系统中的实体、属性和实体之间的联系；至于物理结构设计，则是根据数据库的逻辑数据模型，选取一个最适合应用环境的物理结构；

33、通过对系统的需求分析，本系统主要由用户、部门、角色、服务器、车牌信息和摄像头这6个实体结构；然后分析这6种实体的关系，很显然用户和部门是一对多的关系，用户和角色也是一对多的关系，用户和服务器、车牌信息和摄像头这6个实体结构；然后分析这6种实体的关系，很显然用户和部门是一对多的关系，用户和角色也是一对多的关系，用户和服务器、摄像头也是一对多的关系；服务器和摄像头、摄像头和车牌信息也是一对多关系。

34、与现有技术相比，本发明提供了一种基于ai算法的具有双系统双模式的车辆管理系统，具备以下有益效果：

35、1、本发明的常规环境快速识别模式中的图像处理方法yolov4是一种高效而强大的目标检测模型，能使用相对适中的算力设备就能训练出超快、准确的目标检测器；在检测器训练过程中，验证了最先进的一些研究成果对目标检测器的影响；改进了sota方法，使其更有效、更适合单gpu训练；

36、2、本发明的雾霾天气模式与煤炭车辆管理系统中的图像处理方法是使用基于mobilenetv3网络结构的yolov3识别网络算法，其对模糊车牌进行识别能够保证较高的准确率，又有一定的实时性，能够满足现实任务的需求，并且该识别网络算法实现难度较低；两种算法互补，得到高效的识别系统，可以根据使用场景的实际情况按需选择，体现了本项目的先进性；

37、3、本发明采用多种算法互补的方式，推出双模式双系统的车辆信息管理系统，适用于全国绝大多数的应用场景，满足绝大部分需求，在停车场管理系统中加入停车场地图，通过用户自行记录停车位置，并结合停车场地图，可以更快的找到车辆，提升用户体验和停车场使用效率，解决全国绝大多数大型停车场进出场效率低，用户在停车场中容易迷失方向等痛点，另外，也解决雾霾天气频发地区的在空气能见度低时车辆识别准确率低、速率低的问题，解决煤炭企业在识别被煤泥遮挡的运输煤炭货车车牌识别准确率低下的问题，满足工业生产需求及普通民众对个性化的需求，减少不必要的时间浪费，成为便利民众的有效工具。