一种应用在高速公路上基于视频的异常事件检测方法与装置与流程

本发明涉及道路交通安全技术领域，尤其是涉及一种应用在高速公路上基于视频的异常事件检测方法与装置。

背景技术：

目前，随着机动车数量的增加,道路上的拥挤问题日益严重,尤其是高速公路上。随着高速公路收费方式的改革，etc分段收费模式开始普及，在高速公路上分段安装门架，再在门架上安装监控相机和硬件分析设备，采集视频图像并进行计费。车辆在通过收费站时，车载设备会实现车辆识别、信息写入并自动从预先绑定的ic卡或银行帐户上扣除相应资金，实现快速通车，进而有效缓解了道路拥挤的问题。但在高速公路上，逆行、抛洒、行人闯入等异常事件频发，容易造成严重的交通事故。

现有的基于高速公路上应用的异常事件检测一般将大量的视频传输到后台进行分析，难以精准识别各种不同的异常事件，且识别速度慢。

上述中的现有技术方案存在以下缺陷：现有的基于高速公路的异常事件检测系统难以精准识别异常事件，对异常事件的识别速度慢。

技术实现要素：

本发明目的一是提供一种应用在高速公路上基于视频的异常事件检测方法，其可以准确快速地判别逆行、拥堵、抛洒、行人闯入的异常事件，对异常事件进行精准识别，提高异常事件的识别速度。

本发明的上述发明目的一是通过以下技术方案得以实现的。

一种应用在高速公路上基于视频的异常事件检测方法，包括获取视频图像，还包括以下步骤：

对获取的视频图像做帧差运算，划分视频图像的运动区域；

对已划分的各运动区域进行检测，识别物体是车辆或是行人；

根据识别到的物体对象，识别异常事件为逆行或拥堵或抛洒或行人闯入。

通过采用上述技术方案，获取视频图像、对视频图像预处理后，因异常事件的发生会在视频图像上产生运动，故对获取的视频图像做帧差运算，划分视频图像的运动区域，有利于准确快速地定位异常区域，在运动区域的基础上识别异常事件的发生；再在已划分的各运动区域进行车辆或行人检测，以针对性地对识别对象进行异常判别，有利于快速匹配对应的判别方法，快速准确地得到异常事件的类型；最后根据物体类别识别异常事件为逆行或拥堵或抛洒或行人闯入；进而应用在高速公路上基于视频的异常事件检测方法可以准确快速地判别逆行、拥堵、抛洒、行人闯入的异常事件，对异常事件进行精准识别，提高异常事件的识别速度。

本发明在一较佳示例中可以进一步配置为：在识别异常事件时，当识别到的物体是行人时，采用最近邻方法进行关联和跟踪计算，对已识别的物体进行对象关联跟踪，统计每个轨迹中该物体出现的次数，若次数大于预设值，判别为行人闯入事件。

通过采用上述技术方案，采用最近邻方法进行关联和跟踪计算，根据识别物体的类型进行对象关联跟踪，获取已识别物体的运动轨迹；统计每个轨迹中物体出现的次数，当出现次数大于预设值时，判别为行人闯入的异常事件，以对识别算法进行优化、有利于快速进行异常事件的识别，同时，使得异常事件检测方法的判别结果较为精准，不容易误判。

本发明在一较佳示例中可以进一步配置为：在识别异常事件时，当识别到的物体是车辆时，统计同一时刻出现的车辆的轨迹数目和位置，若轨迹数目大于预设值且在当前视频图像的预设面积值的每块区域内均有车辆时，判别为拥堵事件。

通过采用上述技术方案，统计同一时刻出现的车辆的轨迹数目和位置，在轨迹数目超过预设值且在当前视频图像划分的每块区域内均有车辆时，即在当前区域的范围内，车辆的数目达到拥挤状态，判别为拥堵事件，对识别算法进行优化、有利于快速进行异常事件的识别，同时，判别结果较为精准，不容易误判。

本发明在一较佳示例中可以进一步配置为：在识别异常事件时，当识别到的物体是车辆时，在当前车辆周围启用抛洒物检测算子或训练一个车窗往外伸胳膊的动作检测算子，若检测到抛洒物或车窗往外伸胳膊的动作事件，则判别为抛洒事件。

通过采用上述技术方案，在当前车辆周围启用抛洒物检测算子或训练一个车窗往外伸胳膊的动作检测算子，用以识别抛洒物或车窗往外伸胳膊的动作，以判别抛洒事件，对识别算法进行优化、有利于快速进行异常事件的识别，同时，判别结果较为精准，不容易误判。

本发明在一较佳示例中可以进一步配置为：在识别异常事件时，当识别到的物体是车辆时，获取车辆轨迹出现图像的每帧的位置，获取车辆的运动方向，若运动方向跟设置的方向相反，则判别为逆行事件。

通过采用上述技术方案，获取车辆轨迹出现图像的每帧的位置，获取车辆的运动方向，若运动方向跟设置的方向相反，判别为逆行事件，对识别算法进行优化、有利于快速进行异常事件的识别，同时，判别结果较为精准，不容易误判。

本发明在一较佳示例中可以进一步配置为：对获取的视频图像做帧差运算，划分视频图像的运动区域的具体步骤为：

1）运动差分：存储获取的视频图像的前n帧的图片，n为正整数,然后跟获取的视频图像的当前帧图片进行像素值差分运算，以根据像素点的差分绝对值与预设阈值t的比较，判断像素点为运动点或者静止点；

2）形态学操作：将像素点判断为运动点的视频图像转换为二值图像，再对二值图像进行形态学操作，取操作后的连通区域，并将连通区域面积较大的区域作为运动区域。

通过采用上述技术方案，划分视频图像的运动区域前，先使获取的视频图像的当前帧图片与前n帧图片进行像素值差分运算，根据像素点的差分绝对值与预设阈值t的比较，判断像素点为运动点或者静止点，以借助运动点找到运动区域；再将像素点判断为运动点的视频图像转换为二值图像，并进行形态学操作，取操作后的连通区域面积较大的区域作为运动区域，以划分视频图像的运动区域，因异常事件的发生会在视频图像上产生运动，故对获取的视频图像做帧差运算，划分视频图像的运动区域，有利于准确快速地定位异常区域、快速识别异常事件。

本发明在一较佳示例中可以进一步配置为：预设阈值t的设置方式为将获取的视频图像进行分块，每块采用不同的阈值。

通过采用上述技术方案，将视频图像进行分块，并设置不同的阈值代表不同分块区域的视频图像，阈值更具有代表性，以针对各个不同的视频图像区域进行像素点的判断，有利于提高判别的准确率。

本发明在一较佳示例中可以进一步配置为：在各块视频图像区域内选取任一像素点的前后两帧图像进行差值运算，当像素点的差分绝对值小于预设阈值t时，判别为静止点；当像素点的差分绝对值等于或大于预设阈值t时，判别为运动点。

通过采用上述技术方案，在各块视频图像区域内选取任一像素点的前后两帧图像进行差值运算，再将像素点的差分绝对值与预设阈值t与进行比较，作为运动点或者静止点的判别标准，提高判别的准确率。

本发明在一较佳示例中可以进一步配置为：对各运动区域进行检测时，采用基于yolo-v3的深度学习模型对车辆或者行人进行检测。

通过采用上述技术方案，采用基于yolo-v3的深度学习模型对车辆或者行人进行检测，速度快、精度高，有利于快速准确地定位并获得结果。

本发明目的二是提供一种应用在高速公路上基于视频的异常事件检测装置，其可以准确快速地判别逆行、拥堵、抛洒、行人闯入的异常事件，对异常事件进行精准识别，提高异常事件的识别速度。

本发明的上述发明目的二是通过以下技术方案得以实现的。

一种应用在高速公路上基于视频的异常事件检测装置，包括：

视频图像获取模块，以用于获取高速公路上的视频图像；

运动区域检测模块，以接收获取的视频图像并对视频图像做帧差运算，划分视频图像的运动区域；

物体检测模块，以接收已划分的运动区域，对各运动区域进行检测，识别物体是车辆或是行人；

异常事件判别模块，以根据识别物体的对象识别异常事件为逆行或拥堵或抛洒或行人闯入。

通过采用上述技术方案，视频图像获取模块、运动区域检测模块、物体检测模块和异常事件判别模块，采用传统算法与深度学习算法相结合的方法，并进行优化训练，以准确快速地判别逆行、拥堵、抛洒、行人闯入的异常事件，同时，异常事件的识别结果更准确，提高异常事件的识别速度。

综上所述，本发明包括以下至少一种有益技术效果：

应用在高速公路上基于视频的异常事件检测方法可以准确快速地判别逆行、拥堵、抛洒、行人闯入的异常事件，对异常事件进行精准识别，提高异常事件的识别速度；

采用最近邻方法进行关联和跟踪计算、设置预设值，判别行人闯入的异常事件，以对识别算法进行优化、有利于快速进行异常事件的识别，也使得判别结果较为精准、不容易误判；

统计同一时刻出现的车辆的轨迹数目和位置、在轨迹数目超过预设值且在当前视频图像划分的每块区域内均有车辆时，判别拥堵事件，以对识别算法进行优化、有利于快速进行异常事件的识别，判别结果较为精准、不容易误判；

在当前车辆周围启用检测算子识别抛洒物或车窗往外伸胳膊的动作，判别抛洒事件，对识别算法进行优化、有利于快速进行异常事件的识别，判别结果较为精准、不容易误判；

获取车辆的运动方向、跟设置的方向比较，判别逆行事件，对识别算法进行优化、有利于快速进行异常事件的识别，判别结果较为精准、不容易误判；

借助像素点中的运动点定位运动区域，划分运动区域，有利于准确快速地定位异常区域、快速识别异常事件；

设置不同的阈值代表不同分块区域的视频图像，以针对各个不同的视频图像区域进行像素点的判断，提高判别的准确率；

在各块视频图像区域内选取任一像素点的前后两帧图像进行差值运算后取绝对值与预设值比较，以判断该像素点的状态，提高判别的准确率；

采用基于yolo-v3的深度学习模型对车辆或者行人进行检测，速度快、精度高。

附图说明

图1是本发明其中一实施例的方法流程示意图；

图2是本发明其中一实施例的结构示意框图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

实施例一。

本发明实施例一是提供一种应用在高速公路上基于视频的异常事件检测方法，主要流程步骤如下：

获取高速公路上的视频图像，对视频图像预处理；

对获取的视频图像做帧差运算，划分视频图像的运动区域，因异常事件的发生会在视频图像上产生运动，故对获取的视频图像做帧差运算，划分视频图像的运动区域，有利于准确快速地定位异常区域；

对已划分的各运动区域进行检测，识别物体是车辆或是行人；

根据识别到的物体对象，识别异常事件为逆行或拥堵或抛洒或行人闯入。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

下面结合说明书附图对本发明实施例作进一步详细描述。

参照图1，对视频图像进行预处理时，主要包括缩放和图像增强。通过采用内插值方法放大原图像和hq2x算法缩放原图像，以在图像的平滑度和清晰度之间取得平衡，使得原图像变清晰；通过空域算法或者频域算法增强图像，将原图像中不清晰的部分变得清晰，进而有利于对异常事件进行检测分析。

进行预处理之后，再对获取的视频图像做帧差运算，划分视频图像的运动区域的具体步骤如下：

1）运动差分：预先存储获取的视频图像的前n帧的图片，n为正整数，本实施例中，n取4，然后跟获取的视频图像的当前帧图片进行像素值差分运算，以根据像素点的差分绝对值与预设阈值t的比较，判断像素点为运动点或者静止点；

2）形态学操作：将像素点判断为运动点的视频图像转换为二值图像，再对二值图像进行形态学操作，形态学操作包括开运算和闭运算，取形态学操作后的连通区域，并将连通区域面积较大的区域作为运动区域。

其中，预设阈值t的设置包括取当前整幅图像的灰度均值、根据事件段调整：白天阈值提高夜晚阈值降低、将图相进行分块，每块采用不同的阈值三种方式。

本实施例中，预设阈值t采用将图相进行分块，每块采用不同的阈值的方式，具体为将视频图像进行分块，每块采用不同阈值进行设置。例如，将视频图像分为n块，每块的阈值为t(n),其中t(n)为该块视频区域内像素的均值，取值范围在[0,255]之间。在各块视频图像区域内选取一像素点的前后两帧图像进行差值运算。当像素点的差分绝对值小于预设阈值t(n)时，判别为静止点；若像素点的差分绝对值大于或者等于预设阈值t(n)，则该像素点为运动点。

在获取运动区域后，再对各运动区域进行检测，检测时采用基于yolo-v3的深度学习模型，依据车辆或者行人的纹理特征，进行物体类别的检测。

基于yolo-v3的深度学习模型是一种速度和精度均衡的目标检测网络。基于yolo-v3的深度学习模型采用类似fpa的上采样和融合方法，对已划分的运动区域进行检测，同时，使用二院交叉熵损失来进行类别预测，即每个框使用多标签分类来预测已划分的运动区域的边界框可能包含的类，以实现对重叠标签更好地模拟预测，对于小目标的检测准确率提高。

在识别出物体是行人或者车辆的物体识别后，再对异常事件进行识别。

当物体是行人时，先根据识别物体的对象采用最近邻方法，关联并进行跟踪计算。对当前物体的位置与上一帧的所有物体的位置进行交叉判别，有交叉且交叉面积最大的，则将该物体与当前物体进行关联，视为同一物体。再进行跟踪计算，统计每个轨迹中物体出现的次数。本实施例中，次数阈值取3。若次数>3，判别为行人闯入事件。

当物体是车辆时，统计同一时刻出现的当前车辆的轨迹数目和位置，本实施例中，轨迹数目阈值取8，若轨迹数目>8且在当前图像的宽5*高5的每块区域内均有车辆时，判别为拥堵事件。

当物体是车辆时，在当前车辆周围启用抛洒物检测算子或训练一个车窗往外伸胳膊的动作检测算子，用于识别抛洒物或车窗往外伸胳膊的动作事件，若检测到抛洒物或车窗往外伸胳膊的动作事件，则判别为抛洒事件。抛洒物检测算子或车窗往外伸胳膊的动作检测算子，一般是基于深度学习的模型进行适应性优化得到的。本实施例中，采用faster-rcnn或ssd或yolo任一种检测模型，再通过采集预设数量的已拍摄视频图像中的包含抛洒或者车窗往外伸胳膊的动作的现场样本，对已采集的现场样本进行样本标注，利用标注的样本进行训练，最终得到抛洒物检测算子或车窗往外伸胳膊的动作检测算子。

当物体是车辆时，获取车辆轨迹出现图像的每帧的位置，判别车辆的运动方向，若运动方向跟设置的方向相反，则判别为逆行事件。

本实施例的有益效果如下：

1、应用在高速公路上基于视频的异常事件检测方法可以准确快速地判别逆行、拥堵、抛洒、行人闯入的异常事件，对异常事件进行精准识别，提高异常事件的识别速度；

2、采用最近邻方法进行关联和跟踪计算、设置预设值，判别行人闯入的异常事件，以对识别算法进行优化、有利于快速进行异常事件的识别，也使得判别结果较为精准、不容易误判；

3、统计同一时刻出现的车辆的轨迹数目和位置、在轨迹数目超过预设值且在当前视频图像划分的每块区域内均有车辆时，判别拥堵事件，以对识别算法进行优化、有利于快速进行异常事件的识别，判别结果较为精准、不容易误判；

4、在当前车辆周围启用检测算子识别抛洒物或车窗往外伸胳膊的动作，判别抛洒事件，对识别算法进行优化、有利于快速进行异常事件的识别，判别结果较为精准、不容易误判；

5、获取车辆的运动方向、跟设置的方向比较，判别逆行事件，对识别算法进行优化、有利于快速进行异常事件的识别，判别结果较为精准、不容易误判；

6、借助像素点中的运动点定位运动区域，划分运动区域，有利于准确快速地定位异常区域、快速识别异常事件；

7、设置不同的阈值代表不同分块区域的视频图像，以针对各个不同的视频图像区域进行像素点的判断，提高判别的准确率；

8、在各块视频图像区域内选取任一像素点的前后两帧图像进行差值运算后取绝对值与预设值比较，以判断该像素点的状态，提高判别的准确率；

9、采用基于yolo-v3的深度学习模型对车辆或者行人进行检测，速度快、精度高。

实施例二：

参照图2，本发明实施例二提供一种应用在高速公路上基于视频的异常事件检测装置，包括，

视频图像获取模块，以用于获取的视频图像并对视频图像进行预处理，缩放和增强视频图像；

运动区域检测模块，以接收获取的视频图像并对视频图像采用自适应阈值的方法做帧差运算检测，划分视频图像的运动区域，将检测到的区域输入到物体检测模块；

物体检测模块，以接收已划分的运动区域，对各运动区域进行检测，识别物体是车辆或是行人，将检测结果送入到异常事件判别模块；

异常事件判别模块，以根据识别物体的对象识别异常事件为逆行或拥堵或抛洒或行人闯入。

本实施例的实施原理如下：

视频图像获取模块基于etc分段收费模式，主要利用分段安装在高速公路上的etc各个门架上的监控相机，获取整条高度公路上的视频图像信息，再经etc的前端华为atals500硬件设备内的运动区域检测模块、物体检测模块和异常事件判别模块进行异常识别。

运动区域检测模块针对异常事件发生时会在视频图像上产生运动形成运动区域的特点，预先对视频图像进行运动区域划分，有利于准确快速地定位异常区域。

物体检测模块针对性地对运动区域的对象类别进行识别，判别是车辆或是行人，有利于快速匹配对应的判别方法，快速准确地得到异常事件的类型。

异常事件判别模块对深度学习算法进行优化，精简模型，并将模型移植到华为atals500硬件上，同时，借助移动设备拍摄视频图像、传输至前端华为atals500硬件设备内，对行人进行行人闯入识别，对车辆进行逆行或拥堵或抛洒识别，进而有利于快速准确进行异常事件的识别。

每台华为atals500硬件设备可以实时处理10路500w高清视频，华为atals500硬件设备约10ms处理一帧视频图像，现有的普通处理器处理一帧视频图像大概30ms，速度提高了将近3倍。

进而一种应用在高速公路上基于视频的异常事件检测方法与装置可以准确快速地判别逆行、拥堵、抛洒、行人闯入的异常事件，识别分析过程在前端设备上进行，并将识别结果传输至后台，无需基于后台进行分析，大大降低了对传输网络的要求。