一种用于精确监测车辆违停、乱放的方法与流程

本发明涉及视频监控，具体涉及一种用于精确监测车辆违停、乱放的方法。

背景技术：

1、随着社会经济的发展，国内车辆的保有量逐年提高，机动车违停、乱放现象多发。而一般的街道、公共停车场均已配备普通视频监控，但由于摄像头不具备相应的ai功能，只能通过人工现场取证执法，信息滞后，容易产生疏漏，耗费大量人力物力，却得不到良好的监管效果。

2、为了对机动车违停乱放现象实现及时预警，减轻值守人员的负担，改善市容市貌，申请号为cn202111153392.1的《一种用于复杂应用场景的车辆违停识别方法》虽然通过cnn+opencv的架构识别、深度检测模型和iou跟踪算法联合的方式，实现了云计算和深度学习的融合，能够对车辆的违停乱放状态进行判断，但是往往由于车辆所处环境复杂，监控范围较大，而且大多数的车辆外形相似的原因，仅采用目标检测中的交并比(intersection-over-union，iou)进行相似度判断，很难区分出在当前时刻与上一时刻的相同位置上的车辆是否为同一辆车，采用该方法的误报率极高。

3、而申请号为cn202111513371.6的《一种车辆违停检测方法和系统》虽然可以根据路况图像轮廓识别结果确定动态车辆，对动态车辆进行特征识别，随机获取一线图像，生成违停信息，但是使用轮廓特征对目标的表征能力不足，导致模型环境适应性较差，漏检误检增多。

4、综上所述，现有技术的车辆相似度度量标准比较单一，若在同一时间需要对多个相似度较高的车辆进行判断、匹配，极易将处于复杂环境之中的不同车辆判断为同一车辆，或者将不同时刻的同一车辆判断成不同的车辆，从而导致误报或者漏报，亟待一种在各种复杂环境中均能够准确识别出同一车辆的方法，以提高判断车辆违停乱放的准确率。

技术实现思路

1、本发明的目的是针对现有技术对应的不足，提供一种用于精确监测车辆违停、乱放的方法，在传统iou和reid特征进行相似度判断的基础上,引入了更多的特征数据来对车辆相似度进行计算，在各种复杂环境中均能够准确识别出同一车辆，以提高判断车辆违停乱放的准确率。

2、本发明的目的是采用下述方案实现的：一种用于精确监测车辆违停、乱放的方法，包括以下步骤：

3、1)设置标准停靠方向范围、违停时间阈值、以及若干停车区域，并建立车辆违停数据库、车辆乱放数据库；

4、2)对上一时刻的所有车辆编号，并通过神经网络模型提取每一车辆至少三种对应的特征数据，结合各车辆对应的位置坐标，得到上一时刻各车辆对应的车辆信息，形成上一时刻的车辆信息数据集；

5、3)对当前时刻的所有车辆编号，并通过神经网络模型提取每一车辆至少三种对应的特征数据，结合各车辆对应的位置坐标，得到当前时刻各车辆对应的车辆信息，形成当前时刻的车辆信息数据集；

6、4)采用匈牙利算法，将步骤2)与步骤3)中相邻两个时刻所有车辆的车辆信息根据特征数据的相似度一一配对，得到相邻两个时刻车辆信息数据集的最大匹配集合；

7、5)根据最大匹配集合，上一时刻各个编号的车辆均通过当前时刻对应的编号确定该车辆当前时刻的位置坐标；

8、6)根据当前时刻各车辆的位置坐标以及预设的停车区域、违停时间阈值，判断当前时刻各车辆是否违停：

9、①若车辆违停，生成该车辆的违停编号，与该车辆的车辆信息一并存储在车辆违停数据库中；

10、②若车辆没有违停，则根据车辆的标准停靠方向范围判断车辆是否乱放，若车辆乱放，生成该车辆的乱放编号，与该车辆的车辆信息一并存储在车辆乱放数据库中；

11、7)对当前时刻的所有车辆判断完毕后完成一个循环，重复步骤2)至步骤6)，循环。

12、优选地，判断当前时刻各车辆是否违停的具体方式如下：

13、①当任一车辆的位置坐标在预设的停车区域外时，记录当前时刻作为该车辆的初次疑似违停时间，直到该车辆的位置坐标处于停车区域内时，记录当前时刻为该车辆的最终疑似违停时间；

14、②若该车辆的最终疑似违停时间与初次疑似违停时间之差大于预设的违停时间阈值，则该车辆为违停车辆。

15、优选地，所述特征数据包括方向特征，若车辆没有违停，根据车辆的标准停靠方向范围通过下列方式判断车辆是否乱放的具体步骤如下：

16、①根据任一车辆当前时刻的方向特征确定该车辆的停靠方向；

17、②若该车辆的停靠方向不在标准停靠方向范围内，则该车辆为乱放车辆；

18、③若该车辆的停靠方向在标准停靠方向范围内，则该车辆没有乱放。

19、优选地，所述最大匹配集合中的任一元素均包括同一车辆上一时刻对应的编号，以及当前时刻对应的编号和位置坐标。

20、优选地，步骤4)中匈牙利算法的步骤如下：

21、①设置置信度分类阈值，并计算当前时刻各车辆的置信度，将当前时刻各车辆的车辆信息按照置信度分类阈值进行分类，得到高置信度车辆集合、低置信度车辆集合；

22、②计算高置信度车辆集合与上一时刻的车辆信息数据集的车辆信息相似度矩阵，通过递归寻找增广路，将高置信度车辆集合与上一时刻的车辆信息数据集中特征数据相似的车辆信息一一配对，得到高置信度匹配集合，并将上一时刻的车辆信息数据集中未参与匹配的车辆信息作为第二轮匹配集合；

23、③计算第二轮匹配集合与低置信度车辆集合的车辆信息相似度矩阵，通过递归寻找增广路，将第二轮匹配集合与低置信度车辆集合中特征数据相似的车辆信息一一配对，得到低置信度匹配集合；

24、④将高置信度匹配集合并上低置信度匹配集合，得到最大匹配集合。

25、优选地，所述车辆信息相似度矩阵的计算方式如下：

26、①按照下列公式分别计算两个集合各特征数据之间的余弦相似度：

27、

28、式中，cosθ为余弦相似度，为其中一个集合中第i个特征数据，为另一个集合中第j个特征数据；

29、②利用步骤①得到的若干余弦相似度组成一个用于体现两个集合中特征数据相似程度的特征相似度矩阵；

30、③根据各车辆的位置坐标获取对应车辆的矩形框，并按照下列公式计算两个集合中各车辆之间的矩形框交并比：

31、

32、式中，siou为矩形框交并比，sc为两个车辆的矩形框交集，sd为两个车辆的矩形框并集；

33、④利用步骤③得到的若干矩形框交并比组成一个用于体现两个集合中车辆位置相似程度的位置相似度矩阵；

34、⑤将特征相似度矩阵乘以特征相似度的权重的乘积，与位置相似度矩阵乘以位置相似度的权重的乘积相加，得到两个集合的车辆信息相似度矩阵。

35、优选地，两个车辆的矩形框交集按照下列公式计算：

36、

37、式中，sc为两个车辆的矩形框交集，与分别为其中一辆车的矩形框中两个不相邻的顶点坐标，与分别为另一辆车的矩形框中两个不相邻的顶点坐标，且点点为矩形框同一方位的顶点，点点为矩形框同一方位的顶点；

38、而两个车辆的矩形框并集按照下列公式计算：

39、

40、式中，sd为两个车辆的矩形框并集，与分别为其中一辆车的矩形框中两个不相邻的顶点坐标，与分别为另一辆车的矩形框中两个不相邻的顶点坐标，且点点为矩形框同一方位的顶点，点点为矩形框同一方位的顶点。

41、优选地，所述车辆信息包括车辆的特征数据、位置坐标。

42、优选地，所述置信度由一视频采集单元采用yolov5算法获取，该视频采集单元采用yolov5算法还可以获取车辆的位置坐标。

43、优选地，所述特征数据包括车辆的re-id特征、颜色特征、方向特征、车辆类型特征；

44、优选地，所述re-id特征由re-id特征识别分支模块获取，所述颜色特征由颜色特征识别分支模块获取，所述方向特征由方向特征识别分支模块获取，所述车辆类型特征由车辆类型特征识别分支模块获取，所述re-id特征识别分支模块、颜色特征识别分支模块、方向特征识别分支模块、车辆类型特征识别分支模块与骨干网络共同组成用于提取特征数据的神经网络模型。

45、本发明的优点在于以下两点：

46、①在传统iou和reid特征进行相似度判断的基础上,引入了颜色特征、方向特征、车辆类型特征等更多的特征数据来对车辆相似度进行计算，在各种复杂环境中均能够准确识别出同一车辆的方法，以提高判断车辆违停乱放的准确率；

47、②利用置信度对车辆数据进行初筛后，再进行匈牙利匹配，以避免车辆信息的原始数据质量较低而影响到最终的判断结果，大大提高了对车辆违停、乱放监测的精确度。