一种面向社区的异常行为检测识别方法及系统

本发明属于图像动作识别处理，具体涉及一种面向社区的异常行为检测识别方法及系统。

背景技术：

1、伴随中国社会经济的发展，城镇化也日益深化，人们对公共安全的要求逐渐增加。异常行为识别技术在社会治理、公共场合安全和智慧社区等领域发挥着重要作用，近年来已经成为了热门的研究方向。在以往的社区服务当中，安保人员需要时刻观看监控视频以捕捉社区出现的异常情况。虽然这种人工识别异常情况的方式准确率高，但是面对海量的视频数据和监控设备的日夜运作，安保人员很容易疲劳懈怠、遗漏异常行为，从而造成不可挽回的损失。此外，当异常事故发生后，安全管理人员往往需要查阅监控录像进行调查取证。然而，监控视频中大部分的片段是正常情况，真正需要的异常行为发生时的片段通常只占视频内容中很小的部分。此时，安保工作人员必须观看完整的录像方可进行需要的调查取证，这种方法降低了效率而且必须花费巨大的人力物力。因此，这种人工操作的监控方式难以实时地发现监控视频内异常事件的发生，无法有效保障社区人员的安全和社区服务质量。

2、通过目标检测、人体姿态估计、人员跟踪等技术可以对监控视频进行可靠的分析、定位并进行人员行为的识别。相关工作主要聚焦于骨骼点运动信息的理解，尚未对人体与相关物体的交互信息以及物体固有特征信息进行深入地研究与利用。但是，这些信息对于人-物交互类型的行为的准确识别是至关重要的。例如，扔垃圾行为的两个重要特征是：垃圾袋离开手部的趋势和垃圾袋的掉落轨迹。若不考虑垃圾袋离开人体这一交互信息，扔垃圾行为就会与手臂摆动等行为混淆从而造成误检。同时，垃圾袋的掉落轨迹可以辅助扔垃圾行为的识别，避免系统的漏检。因此，将物体相关信息加入到异常行为系统中对于提升异常行为识别效果具有重要意义。针对上述需求，本发明提出了一种面向社区的异常行为检测识别方法，对社区内人员的扔垃圾、摔倒、奔跑异常行为进行实时识别。首先，使用目标检测算法检测出视频中垃圾袋，再将垃圾袋作为体外骨骼点与人体骨骼点进行连接并计算垃圾袋的运动轨迹。通过此种方式，将物体相关信息加入到系统中来提升异常行为识别效果。

技术实现思路

1、本发明旨在解决现有技术的不足，提出一种面向社区的异常行为检测识别方法及系统，以解决动作识别中人体与相关物体的交互信息以及物体固有特征信息没有得到充分利用的问题。

2、为实现上述目的，本发明提供了如下方案：

3、一种面向社区的异常行为检测识别方法，包括以下步骤：

4、获取社区内行人行为视频，并进行预处理；

5、基于预处理后的所述行为视频，进行行人是否携带垃圾袋检测；

6、基于所述是否携带垃圾袋检测的结果，进行行人异常行为检测识别。

7、优选的，所述预处理，包括：骨骼点提取、行人跟踪以及骨骼点保存；

8、所述骨骼点提取的方法为：

9、基于所述行为视频的逐帧图像，采用openpose人体姿态估计算法，对图像中行人进行骨骼点检测，获得人体骨骼点的二维坐标，实现所述骨骼点的提取；

10、所述行人跟踪的实现方法为：

11、基于所述逐帧图像，计算预设帧数图像中的行人与前一帧图像中所有行人的第一欧氏距离，所述第一欧氏距离最短的人，认定为不同帧图像的同一人员，实现行人跟踪。

12、所述骨骼点保存的方法为：

13、获得一个预设帧数的时间窗口，将所述时间窗口内所述同一人员的所述骨骼点保存在一个队列，获得骨骼点队列。

14、优选的，行人是否携带垃圾袋检测的方法为：

15、获取垃圾袋图片数据集，并进行训练集与测试集的划分；

16、基于所述训练集与所述测试集，训练yolov4目标检测模型；

17、基于训练好的所述yolov4目标检测模型，对所述行为视频的逐帧图像，进行垃圾袋检测，获得所述逐帧图像中垃圾袋的位置坐标；

18、基于所述垃圾袋的位置坐标，计算所述逐帧图像中预设垃圾袋与所有行人颈部骨骼点的第二欧式距离；

19、将与所述预设垃圾袋的所述第二欧式距离最小的行人，认定为所述预设垃圾袋的可能携带者；

20、当所述第二欧式距离的最小值低于预设阈值时，所述垃圾袋的可能携带者被认定为垃圾袋携带者，否则，认定所述预设垃圾袋无人携带。

21、优选的，所述行人异常行为，包括：社区中运动异常行为以及社区中扔垃圾行为。

22、优选的，所述社区中运动异常行为的检测识别方法为：

23、对提取的所述骨骼点进行优化，剔除行人头部的骨骼点，丢弃所述openpose没有估计出的骨骼点数据，填补缺失骨骼点的位置，实现对所述骨骼点的预处理；

24、基于预处理后的所述骨骼点以及所述骨骼点队列，构造骨架时空图；

25、采用图卷积网络，提取所述骨架时空图中人体运动信息，实现所述社区中运动异常行为的检测识别。

26、优选的，所述社区中扔垃圾行为的检测识别方法为：

27、基于预处理后的所述骨骼点，获取人体手掌骨骼点；

28、将垃圾袋作为体外骨骼点，与所述人体手掌骨骼点连接，构造关联垃圾袋的人体骨架图；

29、将不同帧的用于构造所述关联垃圾袋的人体骨架图的骨骼点连接，获得物体相关骨架时空图；

30、基于所述物体相关骨架时空图，对垃圾袋进行运动轨迹建模，获得垃圾袋的运动轨迹特征信息；

31、采用所述图卷积网络，提取所述物体相关骨架时空图中的人体运动时空信息；

32、将所述人体运动时空信息于所述垃圾袋的运动轨迹特征信息，进行拼接融合，获得融合特征；

33、基于所述融合特征，实现对所述社区中扔垃圾行为的检测识别。

34、优选的，获得垃圾袋的运动轨迹特征信息的方法为：

35、获取预设帧数图像中垃圾袋的二维位置坐标以及所述预设帧数的上一帧图像所述垃圾袋的二维位置坐标，并进行计算，获得垃圾袋偏移向量；

36、基于所述垃圾袋偏移向量，计算偏移向量的模长度，获得垃圾袋的运动轨迹特征信息。

37、本技术还提供一种面向社区的异常行为检测识别系统，包括：预处理模块、垃圾袋检测模块以及异常行为检测模块；

38、所述预处理模块，用于获取社区内行人行为视频，并进行预处理；

39、所述垃圾袋检测模块，用于基于预处理后的所述行为视频，进行行人是否携带垃圾袋检测；

40、所述异常行为检测模块，用于基于所述是否携带垃圾袋检测的结果，进行行人异常行为检测识别。

41、与现有技术相比，本发明的有益效果为：

42、本发明获取社区内行人行为视频，并进行预处理，实现对视频中行人的骨骼点提取、行人跟踪以及骨骼点保存；基于预处理后的行为视频，进行行人是否携带垃圾袋检测；本发明先进行是否携带垃圾袋检测，然后再进行行为检测，使得系统运行更加准确高效；本发明将获取的垃圾袋以及人体的运动信息融合，作为识别依据，使得识别准确率更高。