一种基于车辆跟踪的交通违法检测方法及系统与流程

本发明涉及交通违法检测领域，更具体地，涉及一种基于车辆跟踪的交通违法检测方法及系统。

背景技术：

随着城市汽车保有量快速增长，城市道路空间的局限性，交通违法行为也越来越频发，压实线、跨线变道、逆行等交通违法行为不仅影响了正常的交通秩序，而且可能酿成严重的交通事故。对城市道路交通违法行为进行自动、准确地实时检测可有效地规范驾驶员的驾驶行为，同时能大幅提高交通警察的工作效率，降低警力成本。

目前交通违法检测一般都是根据路灯的红灯信号，设置地感线圈或者监控视频中接入红绿灯信号来检测不按车道和不按信号灯行驶的违法行为。现有技术中还有基于监控视频来检测压实线、跨线变道、逆行等交通违法行为，具体方式如下：

方案一：在固定高清摄像机的视频中，根据实际车道的实线画好对应的虚拟线，检测虚拟线区域的背景是否发生灰度变化，如变化而且变化超过预设阈值则判断为发生压线违法行为，抓拍图像并保存作为违法依据。由于城市道路场景复杂，容易受环境照度、行人、噪声的干扰，直接影响检测的准确率。

方案二：在固定高清摄像机的视频中，根据实际车道的实线画好对应的虚拟线，同时建立背景模型，检测车辆目标，计算车辆的质心，算出质心到所画虚拟线的距离，若距离小于所设阈值，则判断为发生压线违法行为，抓拍图像并保存作为违法依据。此方法由于涉及到质心的计算，而公路上车辆大小不一，不能很好地确定一个质心阈值来检测所有的车辆，而且如果车道有倾斜角度，会造成车辆质心偏移，则更容易造成违法行为的误检。

可见，上述两种方式存在车辆跟踪时前景突变或者质心偏移等问题，交通违法检测的准确率低。

技术实现要素：

本发明为克服上述现有技术所述的至少一种缺陷（不足），提供一种提高违法检测准确率的基于车辆跟踪的交通违法检测方法。

本发明还提供一种提高违法检测准确率的基于车辆跟踪的交通违法检测系统。

为解决上述技术问题，本发明的技术方案如下：

一种基于车辆跟踪的交通违法检测方法，包括：

根据实际道路的监控视频数据预先建立车辆3D模型；

实际检测时，利用车辆3D模型对车辆进行标定和跟踪，根据跟踪车辆产生的视频图像数据判断车辆是否存在交通违法行为。

本发明采用车辆3D模型对车辆进行标定，并利用跟踪方式获取车辆的视频监控数据，相比前景变化丰富和求质心与实线距离方法，本发明的方法能够消除车辆跟随、遮挡、行人非机动车等干扰，从而提高交通违法行为判断的准确率。

上述方案中，所述根据实际道路的监控视频数据预先建立车辆3D模型的具体步骤包括：

从实际道路的监控视频数据中读取车辆图片；

根据读取的车辆图片画感兴趣区域，并结合车牌识别对车牌宽度范围的要求画出检测区域；

根据车辆图片中的实际车道标定车道实线，标出车道行驶方向；

根据车辆图片中的实景车辆标定车辆3D模型。

上述方案中，车辆3D模型为长方体模型，其横截面初始大小根据实际普通轿车宽度设置，其长度根据标定车轴心测量线的长度设置。

车辆3D模型的大小根据实际普通轿车宽度和长度来设置，使得车辆3D模型可以与实际车辆大小相匹配，提高车辆跟踪和违法判断的准确率。

上述方案中，车辆跟踪是在车辆进入感兴趣区域时开始的，采用的是TLD多目标长效跟踪方法。利用TLD多目标长效跟踪方法来对车辆进行跟踪，结合车辆3D模型的标定，可以有效避免车辆跟随、遮挡等带来的车辆误检。

上述方案中，根据跟踪车辆产生的视频图像数据判断车辆是否存在交通违法行为的具体步骤包括：

当跟踪车辆进入检测区域后进行车牌检测，识别出车牌；

判断标定的车道实线与识别出车牌的车辆对应的车辆3D模型底面是否有交点，若有则判断车辆3D模型底面被标定的车道实线划分的区域面积比是否大于置信度，大于置信度则判定为跨线变道行为，小于或者等于置信度则判断压实线行为；若无交点则判断跟踪车辆行驶方向与标定的车道方向是否一致，若一致则判定为逆行违法行为，否则判定为未违法。

针对违法检测抓拍结果车牌不能正确识别的问题，本发明先识别车牌再对跟踪车辆进行交通违法行为判断，对无法识别车牌的车辆不进行交通违法行为判断，此方式是基于实际应用中只有识别到车牌的违法行为才能进行违法处罚的情况，可以避免在无法识别车牌的情况下进行交通违法行为判断，从而可以避免做无用功。

上述方案中，识别出车牌后还根据识别出的车牌大小调整跟踪车辆对应的车辆3D模型的大小。跟踪车辆对应的车辆3D模型根据实际的车牌大小进行调整，使车辆3D模型与车辆实际拍摄到的大小相匹配，使得车辆3D模型可以应用于各种规格的车辆，从而为后续的交通违法行为判断提供更为准确的模型，提高检测的准确率。

一种基于车辆跟踪的交通违法检测系统，包括：

模型建立模块，用于根据实际道路的监控视频数据预先建立车辆3D模型；

检测模块，用于利用车辆3D模型对车辆进行标定和跟踪，根据跟踪车辆产生的视频图像数据判断车辆是否存在交通违法行为。

本发明的系统中，模型建立模型采用车辆3D模型对车辆进行标定，检测模块中利用跟踪方式获取车辆的视频监控数据，相比前景变化丰富和求质心与实线距离方法，本发明的系统能够消除车辆跟随、遮挡、行人非机动车等干扰，从而提高交通违法行为判断的准确率。

上述方案中，模型建立模块包括：

数据读取模块，用于从实际道路的监控视频数据中读取车辆图片；

标定模块，用于根据读取的车辆图片画感兴趣区域，并结合车牌识别对车牌宽度范围的要求画出检测区域，以及，根据车辆图片中的实际车道标定车道实线，标出车道行驶方向，以及，根据车辆图片中的实景车辆标定车辆3D模型。

上述方案中，车辆3D模型为长方体模型，其横截面初始大小根据实际普通轿车宽度设置，其长度根据标定车轴心测量线的长度设置。模型建立模块中标定车辆3D模型时，其大小根据实际普通轿车宽度和长度来设置，使得车辆3D模型可以与实际车辆大小相匹配，提高车辆跟踪和违法判断的准确率。

上述方案中，检测模块用于判断车辆交通违法行为时具体用于：

当跟踪车辆进入检测区域后进行车牌检测，识别出车牌；

判断标定的车道实线与识别出车牌的车辆对应的车辆3D模型底面是否有交点，若有则判断车辆3D模型底面被标定的车道实线划分的区域面积比是否大于置信度，大于置信度则判定为跨线变道行为，小于或者等于置信度则判断压实线行为；若无交点则判断跟踪车辆行驶方向与标定的车道方向是否一致，若一致则判定为逆行违法行为，否则判定为未违法。

针对违法检测抓拍结果车牌不能正确识别的问题，本发明的检测模块先识别车牌再对跟踪车辆进行交通违法行为判断，对无法识别车牌的车辆不进行交通违法行为判断，此方式是基于实际应用中只有识别到车牌的违法行为才能进行违法处罚的情况，可以避免在无法识别车牌的情况下进行交通违法行为判断，从而可以避免做无用功。

与现有技术相比，本发明技术方案的有益效果是：

（1）本发明的方法和系统是基于车辆跟踪、先识别车牌后进行违法行为判断，可以减少无法识别车牌的情况下进行违法行为判断所做的无用功，减少本发明的数据运算量，提高检测的效率。

（2）本发明采用TLD多目标长效跟踪方法对实际车辆进行跟踪，跟踪时采用3D模型对车辆进行标定，可以有效避免车辆跟踪、遮挡带来的误检情况，进一步提高检测的效率和准确率。

（3）相比现有技术中前景变化方法和求质心与实线距离方法，本发明采用车辆3D模型标定，并根据线与面的关系来判断交通违法行为，能消除车辆跟随、遮挡、行人非机动车等的干扰，提高检测的准确率，在实际应用进行实验发现，实际场景的检测准确率可高达95%以上。

附图说明

图1为本发明一种基于车辆跟踪的交通违法检测方法具体实施例的流程图。

图2为本发明车辆3D模型示意图。

图3为本发明一种基于车辆跟踪的交通违法检测系统具体实施例的架构图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

在本发明的描述中，需要理解的是，此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接连接，可以说两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明的具体含义。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，为本发明一种基于车辆跟踪的交通违法检测方法具体实施例的流程图。参见图1，本具体实施例一种基于车辆跟踪的交通违法检测方法的具体步骤包括：

S101.根据实际道路的监控视频数据预先建立车辆3D模型。

S102.实际检测时，利用车辆3D模型对车辆进行标定和跟踪，根据跟踪车辆产生的视频图像数据判断车辆是否存在交通违法行为。

本具体实施例的方法是先基于实景车辆来建立车辆3D模型，然后利用车辆3D模型来对要检测的车辆进行标定和跟踪，利用跟踪过程中获取的视频图像数据来判断车辆是否存在交通违法行为，车辆3D模型的标定和跟踪能够消除车辆跟随、遮挡、行人非机动车等干扰，准确获取检测车辆与车道的位置关系，从而提高检测车辆交通违法行为的检测准确率。

在步骤S101中，车辆3D模型是根据实际道路的监控视频数据来建立的，其具体步骤包括：

S1011.从实际道路的监控视频数据中读取车辆图片；

S1012.根据读取的车辆图片画感兴趣区域，并结合车牌识别对车牌宽度范围的要求画出检测区域；感兴趣区域主要设置在车辆进入拍摄区域后需要进行交通违法检测的区域；检测区域的设置主要是用于进行车辆车牌的识别，对进入此区域的车辆进行车牌识别。

S1013.根据车辆图片中的实际车道标定车道实线，标出车道行驶方向；

S1014.根据车辆图片中的实景车辆标定车辆3D模型。车辆3D模型为长方体模型，其横截面初始大小根据实际普通轿车宽度设置，如设置为1.7*1.7m，其可以根据车道标定线和摄像机高度参数来调节大小；长方体模型的长度根据标定车轴心测量线（一般为2.5m-3m）的长度设置和调节。

在步骤S102中，车辆跟踪是在车辆进入感兴趣区域时开始的，采用的是TLD多目标长效跟踪方法。TLD多目标长效跟踪方法利用跟踪器、检测器和学习器来实现对车辆的跟踪：

跟踪器：假设帧与帧之间的运动有限且目标可见，跟踪器用来估计连续帧之间目标的运动；

检测器：对帧图像进行全图遍历，对过去已经发现过的和过去学习过的所有目标进行定位；

学习器：估计检测器的错误，生成两种训练样本，更新检测器避免误差重现，即P-N学习过程，对跟踪失败后行为处理，保证检测器原始性能以及实时性的要求。

在步骤S102中，根据跟踪车辆产生的视频图像数据判断车辆是否存在交通违法行为的具体步骤包括：

S1021.当跟踪车辆进入检测区域后进行车牌检测，识别出车牌；车牌检测时，先判断车牌连续跟踪帧数是否大于预设阈值，如果大于预设阈值，则可以判断车牌稳定，从而启动车牌识别方法，识别出车牌。识别出车牌后可以标注跟踪车辆为detect=1，该标注表示车辆状态为违法待检测；若无法识别出车牌，则标注跟踪车辆为detect=0，表示车辆状态为不检测违法，此方式可以契合实际应用中，只有识别到车牌的违法行为才能进行违法处罚。

S1022.通过判断地面实线与跟踪车辆对应的车辆3D模型底面的位置关系来判定跟踪车辆是否存在交通违法行为。如图2所示，具体地：

判断标定的车道实线1与识别出车牌的车辆对应的车辆3D模型2底面是否有交点A和B，若有则判断车辆3D模型2底面被标定的车道实线1划分的区域面积比S1和S2，其中，S2表示车辆3D模型的底面在对应车辆进入交通违法区域所占的面积，S1表示车辆3D模型对应车辆在原行车区域的面积，若S2/S1是否大于置信度，大于置信度则判定为跨线变道行为，小于或者等于置信度则判断压实线行为；若无交点则判断跟踪车辆行驶方向与标定的车道方向3是否一致，若一致标注跟踪车辆为direction=1，判定跟踪车辆存在逆行违法行为，否则标注跟踪车辆为direction=0，判定跟踪车辆为未违法车辆。

其中置信度conf可以预设为1，其可以根据实际情况调整置信度的值以达到较高的可用率。

此外，在S2/S1小于或者等于置信度conf时，还继续判断S2/S1是否小于轻微违法阈值conf0，若是，则判断未违法，否则判断为压实线行为。轻微违法阈值conf0的设置用于过滤轻微违法。图2所示的车辆3D模型所对应的车是从车道Q行驶到车道P的示意图。A、B是车道Q和车道P之间的车道实线1与该3D车辆模型底面2的交点，对于该车辆，车道P是原行车区域， 车道Q是交通违法区域，因此，车辆3D模型的底面2在车道Q的面积为S2，车辆3D模型的底面2在车道P的面积为S1。根据图2所示，设置置信度为1，车道实线1与车辆3D模型2底面存在交点A和B，则判断得到S2/S1大于1，此时可以判断该车辆存在跨线变道行为。

在步骤S102中，当识别出车牌后还根据识别出的车牌大小调整跟踪车辆对应的车辆3D模型的大小。识别出车牌的大小可以与跟踪车辆对应的车辆3D模型的大小进行比对，从而根据车牌大小获取车辆3D模型横截面大小，根据横截面大小可以调整车辆3D模型的长度，从而对整个车辆3D模型进行大小调整，从而与各种规格车辆进行匹配。

本发明还包括了违法证据输出步骤，具体包括：

车牌识别过程中抓拍跟踪车牌的图像、跟踪车辆触发违法条件时抓拍图像、跟踪车辆违法过程抓拍图像，将抓拍到的系统作为违法证据输出。

在具体违法检测时，同一个跟踪车辆可能会存在多种交通违法行为，如同时存在逆行、跨线变道、压实线，具体检测时，同一个位置的交通违法行为只取一次输出结果，输出结果的选取可以设置优先次序，如设置优先次序为逆行、跨线变道、压实线。

相比现有技术中的前景变化方法和求质心与实线距离方法，本发明的方法采用车辆3D模型标定，根据地面实线与车辆3D模型底面的位置关系划分违法行为，能消除车辆跟随、遮挡、行人非机动车的干扰，提高检测准确率，实际场景准确率可高达95%以上。

实施例2

在实施例1的基础上，本发明还提供一种基于车辆跟踪的交通违法检测系统，如图3所示，所述系统包括：

模型建立模块201，用于根据实际道路的监控视频数据预先建立车辆3D模型；

检测模块202，用于利用车辆3D模型对车辆进行标定和跟踪，根据跟踪车辆产生的视频图像数据判断车辆是否存在交通违法行为。

本具体实施例的系统是通过模型建立模块201基于实景车辆来建立车辆3D模型，然后痛检测模块202利用车辆3D模型来对要检测的车辆进行标定和跟踪，利用跟踪过程中获取的视频图像数据来判断车辆是否存在交通违法行为，车辆3D模型的标定和跟踪能够消除车辆跟随、遮挡、行人非机动车等干扰，准确获取检测车辆与车道的位置关系，从而提高检测车辆交通违法行为的检测准确率。

具体实施过程中，模型建立模块201具体包括：

数据读取模块2011，用于从实际道路的监控视频数据中读取车辆图片；

标定模块2012，用于根据读取的车辆图片画感兴趣区域，并结合车牌识别对车牌宽度范围的要求画出检测区域，以及，根据车辆图片中的实际车道标定车道实线，标出车道行驶方向，以及，根据车辆图片中的实景车辆标定车辆3D模型。

在标定模块2012中，感兴趣区域主要设置在车辆进入拍摄区域后在需要进行交通违法检测的区域；检测区域的设置主要是用于进行车辆车牌的识别，对进去此区域的车辆进行车牌识别。

车辆3D模型为长方体模型，其横截面初始大小根据实际普通轿车宽度设置，如设置为1.7*1.7m，其可以根据车道标定线和摄像机高度参数来调节大小；长方体模型的长度根据标定车轴心测量线（一般为2.5m-3m）的长度设置和调节。

检测模块202对车辆进行跟踪是在车辆进入感兴趣区域时开始的，其采用的是TLD多目标长效跟踪方法。TLD多目标长效跟踪方法利用跟踪器、检测器和学习器来实现对车辆的跟踪。

检测模块202用于判断车辆交通违法行为时具体用于：

当跟踪车辆进入检测区域后进行车牌检测，识别出车牌；车牌检测时，先判断车牌连续跟踪帧数是否大于预设阈值，如果大于预设阈值，则可以判断车牌稳定，从而启动车牌识别方法，识别出车牌。识别出车牌后可以标注跟踪车辆为detect=1，该标注表示车辆状态为违法待检测；若无法识别出车牌，则标注跟踪车辆为detect=0，表示车辆状态为不检测违法，此方式可以契合实际应用中，只有识别到车牌的违法行为才能进行违法处罚。

通过判断地面实线与跟踪车辆对应的车辆3D模型底面的位置关系来判定跟踪车辆是否存在交通违法行为。如图2所示，具体地：

判断标定的车道实线1与识别出车牌的车辆对应的车辆3D模型2底面是否有交点A和B，若有则判断车辆3D模型2底面被标定的车道实线1划分的区域面积比S1和S2，其中，S2表示车辆3D模型的底面在对应车辆进入交通违法区域所占的面积，S1表示车辆3D模型对应车辆在原行车区域的面积，若S2/S1是否大于置信度，大于置信度则判定为跨线变道行为，小于或者等于置信度则判断压实线行为；若无交点则判断跟踪车辆行驶方向与标定的车道方向3是否一致，若一致标注跟踪车辆为direction=1，判定跟踪车辆存在逆行违法行为，否则标注跟踪车辆为direction=0，判定跟踪车辆为未违法车辆。

其中置信度conf可以预设为1，其可以根据实际情况调整置信度的值一大道较高的可用率。

此外，在S2/S1小于或者等于置信度conf时，还继续判断S2/S1是否小于轻微违法阈值conf0，若是，则判断未违法，否则判断为压实线行为。轻微违法阈值conf0的设置用于过滤轻微违法。

当识别出车牌后检测模块202还根据识别出的车牌大小调整跟踪车辆对应的车辆3D模型的大小。识别出车牌的大小可以与跟踪车辆对应的车辆3D模型的大小进行比对，从而根据车牌大小获取车辆3D模型横截面大小，根据横截面大小可以调整车辆3D模型的长度，从而对整个车辆3D模型进行大小调整，从而与各种规格车辆进行匹配。

具体实施过程中，本发明的系统还包括违法证据输出模块203，违法证据输出模块203具体用于：

车牌识别过程中抓拍跟踪车牌的图像、跟踪车辆触发违法条件时抓拍图像、跟踪车辆违法过程抓拍图像，将抓拍到的系统作为违法证据输出。

在具体违法检测时，同一个跟踪车辆可能会存在多种交通违法行为，如同时存在逆行、跨线变道、压实线，具体检测时，同一个位置的交通违法行为只取一次输出结果，输出结果的选取可以设置优先次序，如设置优先次序为逆行、跨线变道、压实线。

相比现有技术中的前景变化方法和求质心与实线距离方法，本发明的系统采用车辆3D模型标定，根据地面实线与车辆3D模型底面的位置关系划分违法行为，能消除车辆跟随、遮挡、行人非机动车的干扰，提高检测准确率，实际场景准确率可高达95%以上。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。