一种深度学习驱动的背景滤除人体异常行为检测方法与流程

本发明涉及智能视频监控，尤其涉及一种深度学习驱动的背景滤除人体异常行为检测方法。

背景技术：

1、随着摄像机等监控设备成本的日益降低，视频监控系统已经广泛地应用于各种公共场所及军事基地等，在公共安全领域起着重要的作用。但是，现有的监控系统功能大多停留在监控人员对视频的人工监控和事后录像分析，或者只是简单对场景中的运动目标进行检查或跟踪。因此，能够实时的对场景中的异常事件或者人体异常行为检查和分析的智能监控系统具有重要意义。

2、传统的基于轮廓的人体行为识别方法，利用背景差分法和阴影消除技术提取运动人体轮廓，以成本函数为特征向量，利用谱系聚类方法提取行为序列的关键姿态。将关键姿态编码为行为字符串，最后利用编辑距离度量检测序列和标准序列间的相似性得出行为数据。上述传统方法在背景分割提取人体轮廓容易受外界背景环境的影响使得轮廓分割不完整，影响识别精度。

3、近些年人工智能技术的快速发展，深度学习引起了广泛的关注，凭借其优越的数据处理算法在计算机视觉(computer vision,cv)和自然语言处理中广泛应用。将深度学习和视频监控技术领域相结合的超/特高压输电线走廊多异常事件智能监控与预警系统，旨在减少或消除多异常事件对电网安全稳定运行的影响，提高智能化管理水平。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述现有存在的问题，提出了本发明。

3、因此，本发明提供了一种深度学习驱动的背景滤除人体异常行为检测方法，能够解决传统的无法实时检测异常行为和异常事件、识别精度较低的问题。

4、为解决上述技术问题，本发明提供如下技术方案，一种深度学习驱动的背景滤除人体异常行为检测方法，包括：

5、基于yolo算法对样本数据进行目标识别，对识别出的roi区域框与摄像头的距离进行计算；

6、将所述距离小于阈值的roi区域进行处理，输出目标人体的行为数据；

7、对目标人体的所述行为数据进行异常行为评估；

8、完成目标区域的所述评估后，进行防外破人体异常行为在线监测，优化数据。

9、作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：所述样本数据包括coco数据集以及外力破坏的视频帧数据。

10、作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：所述距离的计算包括，

11、利用小孔成像原理的单目测距方法求解roi区域框与摄像头的距离，相机的内参矩阵与外参矩阵已知的前提下，进行目标距离计算，当所述目标距离小于警戒阈值时，开始对目标区域进行处理。

12、作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：所述目标区域的处理包括，

13、人体目标roi区域进行基于u2net的背景滤除处理，然后将处理过背景后的roi图像再进行图像灰度化，将rgb三色通道压缩为8bit的灰度图，范围为0～255，最后对灰度图像进行边缘提取，得到人体边缘轮廓的二值图像；

14、将所述二值图像输入至标准人体行为边缘轮廓二值图像训练出的fc-dnn网络中，输出得到目标人体的行为数据。

15、作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：所述图像灰度化包括，首先获取图像的[r,g,b]三色通道矩阵信息，rgb转gray图是寻找一个三维空间到一维空间的映射，即过rgb空间的一个点向直线r＝g＝b做垂线，具体为gray＝0.299*r+0.587*g+0.114*b。

16、作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：所述边缘提取包括，对灰度图像进行canny边缘提取，将灰度图image转换为list类型，计算梯度模值和方向(0°、45°、90°、135°)，采用城市距离的差分法计算gx、gy，合梯度为梯度方向为

17、采用非极大值抑制，使得边缘更清晰，只在0°、45°、90°、135°四个梯度方向上进行，每个像素点梯度方向按照相近程度用这四个方向来代替；

18、采用双阈值检测锐化图像：其中th-low、th-high分别代表区分图像边缘像素的低阈值和高阈值；

19、对弱边缘点进行孤立滤除，同时链接强边缘点。

20、作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：训练出的所述fc-dnn网络包括，引入softmax激活函数，通过训练样本数据进行迭代，各隐含层神经元的权值和阈值将由网络层输出结果和目标实际结果间的差值通过交叉熵损失函数进行调整。

21、作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：所述评估包括，对各非法行为做定义，并给予相应权重，将当前帧网络输出的行为数据进行评估计算，公式表示为：

22、

23、其中，为网络预测的行为数值，ωi为行为评分权重系数。

24、作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：当异常评估得分大于预设阈值时表现为低风险预警，当下一帧行为依然评估为异常则为中风险预警，连续多帧异常则判定为高风险预警，若评估结果正常，则完成人体异常行为检测。

25、作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：还包括，根据实际测试效果对距离预警阈值、行为评估权重的参数进行优化，最终选择最优参数下的系统模型代替传统的防外破人体异常行为监控系统。

26、本发明的有益效果：本发明方法创新性地采用深度学习网络与传统目标测距和轮廓提取技术结合，以yolo算法进行目标检测、基于小孔成像的单目测距、u2net网络背景滤除和fc-dnn行为分析组成设计基于人体异常行为检测模型，进行人体行为检测与异常评估实现实时监测。此方法对于复杂背景环境中的人体异常识别相比于传统轮廓提取的识别方法能有较好的效果，同时无需采集大量行为数据样本的采集以及训练开销，更加适合当下的智能监控要求。

技术特征：

1.一种深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：包括，

2.如权利要求1所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：所述样本数据包括coco数据集以及外力破坏的视频帧数据。

3.如权利要求2所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：所述距离的计算包括，

4.如权利要求1～3任一所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：所述目标区域的处理包括，

5.如权利要求4所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：所述图像灰度化包括，首先获取图像的[r,g,b]三色通道矩阵信息，rgb转gray图是寻找一个三维空间到一维空间的映射，即过rgb空间的一个点向直线r＝g＝b做垂线，具体为gray＝0.299*r+0.587*g+0.114*b。

6.如权利要求1～3或5任一所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：所述边缘提取包括，对灰度图像进行canny边缘提取，将灰度图image转换为list类型，计算梯度模值和方向(0°、45°、90°、135°)，采用城市距离的差分法计算gx、gy，合梯度为梯度方向为gx、gy分别代表边缘差分算子计算得出的水平和垂直方向的距离；

7.如权利要求6所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：训练出的所述fc-dnn网络包括，引入softmax激活函数，通过训练样本数据进行迭代，各隐含层神经元的权值和阈值将由网络层输出结果和目标实际结果间的差值通过交叉熵损失函数进行调整。

8.如权利要求1～3、5或7所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：所述评估包括，对各非法行为做定义，并给予相应权重，将当前帧网络输出的行为数据进行评估计算，公式表示为：

9.如权利要求8所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：当异常评估得分大于预设阈值时表现为低风险预警，当下一帧行为依然评估为异常则为中风险预警，连续多帧异常则判定为高风险预警，若评估结果正常，则完成人体异常行为检测。

10.如权利要求1～3、5、7或9任一所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：还包括，根据实际测试效果对距离预警阈值、行为评估权重的参数进行优化，最终选择最优参数下的系统模型代替传统的防外破人体异常行为监控系统。

技术总结
本发明公开了一种深度学习驱动的背景滤除人体异常行为检测方法包括，基于YOLO算法对样本数据进行目标识别，对识别出的ROI区域框与摄像头的距离进行计算；将所述距离小于阈值的ROI区域进行处理，输出目标人体的行为数据；对目标人体的所述行为数据进行异常行为评估，当异常评估得分大于预设阈值时表现为低风险预警，当下一帧行为依然评估为异常则为中风险预警，连续多帧异常则判定为高风险预警，若评估结果正常，则完成人体异常行为检测；完成目标区域的所述评估后，进行防外破人体异常行为在线监测，优化数据。本方法可以解决传统的无法实时检测异常行为和异常事件、识别精度较低的问题。

技术研发人员：刘庆,陈友坤,姜继彬,李康,李璘,张坤,王有军,聂晶,郑书毅
受保护的技术使用者：贵州电网有限责任公司
技术研发日：
技术公布日：2024/1/15