一种基于人体关键点的异常行为识别方法及其系统与流程

本发明涉及一种基于人体关键点的异常行为识别方法及其系统，属于高空作业监测。

背景技术：

1、在电力行业中作业人员需要遵守高压线安全防护规范，高压线电力作业具有高度危险性，对作业人员的安全提出了严峻要求。传统的安全监测方法往往依赖于人工巡检或有限的传感器监测，存在监测盲区和人为误判的问题。

技术实现思路

1、本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于人体关键点的异常行为识别方法及其系统，

2、第一方面，本发明提供一种基于人体关键点的异常行为识别方法，包括：

3、实时获取作业人员的高空作业图片；

4、利用关键点检测算法提取高空作业图片中关节点的位置信息；

5、基于高空作业图片中关节点的位置信息，获取高空作业图片中作业人员的姿态和动作；

6、基于高空作业图片中预先设置的电子围栏，以及高空作业图片中作业人员的姿态和动作，判断高空作业图片中作业人员的身体是否超出电子围栏，若高空作业图片中作业人员的身体超出电子围栏达到设定身体面积阈值，则判定作业人员超出安全范围，触发报警提示；

7、判断高空作业图片中作业人员是否存在异常行为，若高空作业图片中作业人员存在异常行为，则触发报警提示，通知作业人员停止作业。

8、结合第一方面，判断高空作业图片中作业人员是否存在异常行为，若高空作业图片中作业人员存在异常行为，则触发报警提示，通知作业人员停止作业，包括：

9、将高空作业图片输入时移模块tsm中，利用时移模块tsm预测作业人员的行为是否是异常行为，若作业人员的行为是异常行为，则触发报警提示，通知作业人员停止作业。

10、结合第一方面，异常行为包括作业人员坠落、作业人员摔倒、作业人员站立不稳和作业人员悬挂在高压线上。

11、结合第一方面，若高空作业图片中作业人员的身体超出电子围栏达到设定身体面积阈值，则判定作业人员超出安全范围，触发报警提示，通知作业人员离开危险区域或停止作业。

12、结合第一方面，基于高空作业图片中作业人员的姿态和动作，判断作业人员是否存在异常行为，包括：

13、若高空作业图片中作业人员的身体超出电子围栏达到设定身体面积阈值或作业人员的行为是异常行为，则对连续序列的高空作业图片进行细粒度行为识别。

14、结合第一方面，对连续序列的高空作业图片进行细粒度行为识别，包括：

15、利用时移模块tsm对连续序列的高空作业图片进行时间维度的建模，提取获得具有特征的行为表示。

16、结合第一方面，利用关键点检测算法提取高空作业图片中关节点的位置信息，包括：

17、高空作业图片中关节点的位置信息包括鼻子的位置、脖子的位置、右肩的位置、右手肘的位置、右手腕的位置、左肩的位置、左手肘的位置、左手腕的位置、中臀的位置、右臀的位置、右膝盖的位置、右脚踝的位置、左臀的位置、左膝盖的位置、左脚踝的位置、右眼的位置、左眼的位置、右耳的位置、左耳的位置、左大拇指的位置、右大拇指的位置、左脚跟的位置、右大拇指的位置、右小拇指的位置和右脚跟的位置。

18、结合第一方面，作业人员的姿态包括头部姿态、腰部姿态、腿部姿态和脚部姿态；

19、作业人员的动作包括头部动作、手部动作、腿部动作和脚部动作。

20、结合第二方面，一种基于人体关键点的异常行为识别系统，包括：

21、高空作业图片实时获取模块，用于实时获取作业人员的高空作业图片；

22、关键点检测模块，用于利用关键点检测算法提取高空作业图片中关节点的位置信息；

23、作业人员的姿态和动作获取模块，用于基于高空作业图片中关节点的位置信息，获取高空作业图片中作业人员的姿态和动作；

24、异常行为判断模块，用于基于高空作业图片中作业人员的姿态和动作，判断高空作业图片中作业人员是否存在异常行为。

25、第二方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。

26、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面中任一项所述方法的步骤。

27、本发明所达到的有益效果：

28、本发明包括摄像头信息获取、关键点检测算法、电子围栏检测和时移模块tsm识别细粒度行为。首先通过摄像头获取作业人员的实时信息，然后应用关键点检测算法提取关节点的位置信息，分析作业人员的姿态和动作是否存在异常行为。将作业人员的实时信息中的作业人员的位置与电子围栏进行比较，以判断作业人员是否超出安全范围。最后采用时移模块tsm(temporal shiftmodule)对连续图像序列进行细粒度行为识别，实现对作业人员行为的具体分类识别。本发明通过这一系列的步骤，可以实时监测作业人员的安全状态，并及时发出警报或采取必要的措施，确保高压线电力作业的安全性。

技术特征：

1.一种基于人体关键点的异常行为识别方法，其特征在于，包括：

2.根据权利要求1所述的一种基于人体关键点的异常行为识别方法，其特征在于，

3.根据权利要求2所述的一种基于人体关键点的异常行为识别方法，其特征在于，

4.根据权利要求3所述的一种基于人体关键点的异常行为识别方法，其特征在于，

5.根据权利要求4所述的一种基于人体关键点的异常行为识别方法，其特征在于，

6.根据权利要求5所述的一种基于人体关键点的异常行为识别方法，其特征在于，

7.根据权利要求1所述的一种基于人体关键点的异常行为识别方法，其特征在于，

8.根据权利要求1所述的一种基于人体关键点的异常行为识别方法，其特征在于，

9.一种基于人体关键点的异常行为识别系统，其特征在于，包括：

10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-8任一项所述方法的步骤。

技术总结
本发明公开一种基于人体关键点的异常行为识别方法及其系统，属于高空作业监测技术领域，实时获取作业人员的高空作业图片；利用关键点检测算法提取高空作业图片中关节点的位置信息，获取高空作业图片中作业人员的姿态和动作，以及高空作业图片中作业人员的姿态和动作；若高空作业图片中作业人员的身体超出电子围栏达到设定身体面积阈值，则判定作业人员超出安全范围，触发报警提示；判断高空作业图片中作业人员是否存在异常行为，若高空作业图片中作业人员存在异常行为，则触发报警提示，通知作业人员停止作业。本发明实时监测作业人员的安全状态，并及时发出警报，确保高压线电力作业的安全性。

技术研发人员：普碧才,宋登峰,赵正平,杨永森,霍智锋,赵丹,佘有明,李振弘,刘镇,苏慧,代礼琴,陈乐,陆建锋,金春仙,党璐璐,马文亮,张颖,李均宏,杨征鸿,张玉梅,杨向娟,蒋孝敬,宋明明,和正美,杨杰,徐正国,杨永平,和春元,杜海燕,耿怀旭,秦建明,王啸虎,冯建辉,孔碧光,英自才,刘绍正,耿座学,李圣,刘凡波,张铁斌
受保护的技术使用者：云南电网有限责任公司怒江供电局
技术研发日：
技术公布日：2024/1/15