一种行人拖拽劫持行为检测方法、装置、设备及存储介质与流程

本发明属于视频监控，具体涉及一种行人拖拽劫持行为检测方法、装置、设备及存储介质。

背景技术：

1、视频监控具有悠久的历史，在传统上广泛应用于安防领域，是协助公共安全部门打击犯罪和维持社会安定的重要手段。随着宽带的普及、计算机技术的发展以及图像处理技术的提高，视频监控正越来越广泛地渗透到教育、政府、娱乐、医疗、酒店和运动等其它各种领域。

2、在公共场所中，当有一些犯罪分子以受害者家属的身份，将受害者强行拉入监控死角或机动车中予以劫持侵害时，即使有人注意到也常因担心是家庭内部矛盾而采取中立观望态度，进而导致错过报警时机，因此如何改进现有视频监控技术来对这种行人拖拽劫持行为进行自动检测并触发报警，是本领域技术人员亟需研究的课题。

技术实现思路

1、本发明的目的是提供一种行人拖拽劫持行为检测方法、装置、计算机设备及计算机可读存储介质，用以解决现有视频监控方案还不能自动检测识别行人拖拽劫持行为，导致易错过报警时机的问题。

2、为了实现上述目的，本发明采用以下技术方案：

3、第一方面，提供了一种行人拖拽劫持行为检测方法，包括：

4、获取由摄像头对公共场所区域实时采集的现场视频数据；

5、根据所述现场视频数据，定位出现在所述公共场所区域内的各个行人，得到行人定位结果，其中，所述行人定位结果包含有所述各个行人在所述现场视频数据的视频帧图像中的人体标记框；

6、针对所述各个行人，根据对应的人体标记框，从所述现场视频数据中提取出对应的行人视频帧图像；

7、针对所述各个行人，根据对应的行人视频帧图像进行对应的姿态估计处理，得到对应的姿态估计结果；

8、针对出现在所述公共场所区域内的且距离小于等于预设距离阈值的各对行人，若发现对应的其中一人的姿态估计结果为拖拽姿态且另一人的姿态估计结果为反抗姿态，则判定在对应的两行人之间存在行人拖拽劫持行为，并触发进行对应的报警动作。

9、基于上述
技术实现要素：
，提供了一种可对行人拖拽劫持行为进行自动检测并触发报警的视频监控新方案，即先根据由摄像头实时采集的现场视频数据，定位出现在公共场所区域内的各个行人，得到行人定位结果，然后通过姿态估计处理分别得到各个行人的姿态估计结果，最后针对距离小于等于预设距离阈值的各对行人，若发现对应的其中一人的姿态估计结果为拖拽姿态且另一人的姿态估计结果为反抗姿态，则判定在对应的两行人之间存在行人拖拽劫持行为，并触发进行对应的报警动作，如此可实现对行人拖拽劫持行为进行自动检测并触发报警的目的，进而可利于报警平台据此更块地追踪嫌疑人，解救受害者，提升公共安全性，便于实际应用和推广。

10、在一个可能的设计中，根据所述现场视频数据，定位出现在所述公共场所区域内的各个行人，得到行人定位结果，包括：

11、使用多尺度滑动窗口扫描方式定位出现在所述现场视频数据的视频帧图像中的各个人体，得到所述各个人体的定位窗口，其中，所述定位窗口是指用于定位确定对应人体的滑动窗口；

12、针对所述各个人体，将对应人体作为出现在所述公共场所区域内的行人，并根据对应的所述定位窗口得到对应行人在所述现场视频数据的视频帧图像中的人体标记框。

13、在一个可能的设计中，针对出现在所述公共场所区域内的某个行人，根据对应的行人视频帧图像进行对应的姿态估计处理，得到对应的姿态估计结果，包括：

14、使用方向梯度直方图描述符和归一化纵横比，从所述某个行人的行人视频帧图像中提取出所述某个行人的连续视频帧特征数据；

15、将所述某个行人的连续视频帧特征数据导入基于支持向量机的且已预先完成迭代优化训练的连续视角姿态估计模型，输出得到所述某个行人的连续视角姿态估计结果，其中，所述连续视角姿态估计结果包含有估计为拖拽姿态或反抗姿态的结果。

16、在一个可能的设计中，针对出现在所述公共场所区域内的且距离小于等于预设距离阈值的某对行人，触发进行对应的报警动作，包括：

17、针对在所述某对行人中的且姿态估计结果为拖拽姿态的第一行人，从对应的行人视频数据中提取出对应的人物画像信息，其中，所述人物画像信息包含有面容类型和/或身体高度；

18、将包含有所述第一行人的行人视频数据的现场视频数据以及所述第一行人的所述人物画像信息作为举报线索发送给报警平台。

19、在一个可能的设计中，在针对出现在所述公共场所区域内的且距离小于等于预设距离阈值的某对行人触发进行对应的报警动作之后，所述方法还包括：

20、使用跨镜头追踪技术在多个所述摄像头下追踪在所述某对行人中的且姿态估计结果为拖拽姿态的第一行人，并将追踪所得视频数据作为举报线索实时发送给报警平台，直到所述第一行人因进入监控死角而消失。

21、在一个可能的设计中，在发现所述第一行人因进入监控死角而消失后，所述方法还包括：

22、从所述追踪所得视频数据中提取出在所述第一行人消失前采集的最末视频帧图像，其中，所述最末视频帧图像包含有所述第一行人的人体标记框；

23、将所述最末视频帧图像导入基于目标检测算法的且已预先完成训练的车辆识别模型，得到包含有至少一个车辆标记框的车辆识别结果；

24、针对所述至少一个车辆标记框中的各个车辆标记框，判断所述第一行人的人体标记框是否位于对应标记框内，若是，则根据对应标记框从所述最末视频帧图像中截取出目标车辆图像；

25、对所述目标车辆图像进行车牌矩形轮廓检测处理，得到车牌标记框；

26、根据所述车牌标记框，从所述目标车辆图像中截取出车牌图像；

27、采用字符识别包pytesseract对所述车牌图像进行字符识别处理，得到字符串，并将所述字符串作为待追踪车辆的车牌号码；

28、将所述目标车辆图像以及所述车牌号码作为新举报线索发送给所述报警平台。

29、在一个可能的设计中，在从所述最末视频帧图像中截取出目标车辆图像之后，所述方法还包括：

30、将所述目标车辆图像导入基于残差网络resnet_34的且已预先完成训练的车型分类模型，得到待追踪车辆的车型分类结果；

31、将所述车型分类结果作为另一新举报线索发送给所述报警平台。

32、第二方面，提供了一种行人拖拽劫持行为检测装置，包括有依次通信连接的数据获取模块、行人定位模块、图像提取模块、姿态估计模块和行为确认模块；

33、所述数据获取模块，用于获取由摄像头对公共场所区域实时采集的现场视频数据；

34、所述行人定位模块，用于根据所述现场视频数据，定位出现在所述公共场所区域内的各个行人，得到行人定位结果，其中，所述行人定位结果包含有所述各个行人在所述现场视频数据的视频帧图像中的人体标记框；

35、所述图像提取模块，用于针对所述各个行人，根据对应的人体标记框，从所述现场视频数据中提取出对应的行人视频帧图像；

36、所述姿态估计模块，用于针对所述各个行人，根据对应的行人视频帧图像进行对应的姿态估计处理，得到对应的姿态估计结果；

37、所述行为确认模块，用于针对出现在所述公共场所区域内的且距离小于等于预设距离阈值的各对行人，若发现对应的其中一人的姿态估计结果为拖拽姿态且另一人的姿态估计结果为反抗姿态，则判定在对应的两行人之间存在行人拖拽劫持行为，并触发进行对应的报警动作。

38、第三方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意可能设计所述的行人拖拽劫持行为检测方法。

39、第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意可能设计所述的行人拖拽劫持行为检测方法。

40、第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意可能设计所述的行人拖拽劫持行为检测方法。

41、上述方案的有益效果：

42、(1)本发明创造性提供了一种可对行人拖拽劫持行为进行自动检测并触发报警的视频监控新方案，即先根据由摄像头实时采集的现场视频数据，定位出现在公共场所区域内的各个行人，得到行人定位结果，然后通过姿态估计处理分别得到各个行人的姿态估计结果，最后针对距离小于等于预设距离阈值的各对行人，若发现对应的其中一人的姿态估计结果为拖拽姿态且另一人的姿态估计结果为反抗姿态，则判定在对应的两行人之间存在行人拖拽劫持行为，并触发进行对应的报警动作，如此可实现对行人拖拽劫持行为进行自动检测并触发报警的目的，进而可利于报警平台据此更块地追踪嫌疑人，解救受害者，提升公共安全性；

43、(2)还可使用跨镜头追踪技术在多个摄像头下追踪嫌疑人，并将追踪所得视频数据作为举报线索实时发送给报警平台，进一步利于报警平台据此更块地追踪嫌疑人；

44、(3)还可以检测识别嫌疑人是否消失进入车辆内部，并在发现是时自动获取车辆的车牌号/和车型等车辆信息，然后将这些车辆信息也作为新举报线索发送给所述报警平台，同样可利于报警平台据此更块地追踪嫌疑人，便于实际应用和推广。