基于深度学习的攀爬行为识别方法、装置、设备和介质与流程

本技术涉及行为识别，特别是涉及一种基于深度学习的攀爬行为识别方法、装置、计算机设备和存储介质。

背景技术：

1、随着工业园区、厂区等场所智能化的普及，如何有效的对攀爬行为进行识别分析，是智能视频监控领域中一块重要的内容。攀爬行为识别可以及时反馈人员攀爬围栏、围墙等信息，对监控视频自动识别分析，发出对应的告警信息，从而减少安防人员的时间和精力。

2、作为视频监控领域研究的重要部分，基于人员攀爬行为的识别分析受到了广泛的研究。有人利用传统算法，提取监控场景中的目标行为特征，然后利用分类网络对特征进行建模分类；有人利用深度学习提取出监控场景中的人员目标，然后进行特征分类，得到是否攀爬的行为；有人采用级联网络，首先提取出监控场景中的人员目标，其次提取人员目标的骨架特征，然后进行特征分类。

3、如上文所述，现有的解决方案对攀爬行为识别进行了深入研究，然而，依旧存在各种问题。

4、第一、作为传统提取特征的方法，该方案存在天然的局限性，首先是特征的选取，更多的是依靠手工设计行为特征，并不能覆盖更多的场景，其次，该方案在处理目标遮挡、多目标时容易导致特征提取困难的情况。

5、第二、利用深度学习的解决方案，虽然可以有效的提取相关特征，然而，该方案对场景目标直接进行分类，容易对弯腰等目标带来虚警。

6、第三、采用级联网络的方案，该方法虽然可以有效获取当前目标的骨架点，然而，该方案更多的是针对单个目标的理想环境。

技术实现思路

1、基于此，为了有效的识别出监控场景的人员攀爬行为，提供一种基于深度学习的攀爬行为识别方法、装置、计算机设备和存储介质，在节省人力和硬件成本的基础上，可以对厂区内的监控视频进行实时分析，自动识别攀爬行为，并及时发出告警，从而进行后续状况跟踪，具有重要的市场推广应用价值。

2、一方面，提供一种基于深度学习的攀爬行为识别方法，所述方法包括：

3、数据预处理步骤，其为采集不同场景下的攀爬行为的监控视频图像，并进行标定；

4、网络结构搭建步骤，其为搭建采用级联网络和多任务分支结构组合的方式进行人员攀爬行为的识别的网络结构；

5、网络模型训练步骤，其为将标定好的监控视频图像送入网络结构中进行网络模型训练；

6、网络模型验证步骤，其为是对训练得到的网络模型进行效果验证。

7、在其中一个实施例中，所述数据预处理步骤步骤，包括：

8、采集不同场景下的攀爬行为的监控视频图像；

9、对所述采集监控视频图像集合进行标定，标定出场景中人员位置框、人体骨骼点坐标以及是否攀爬；

10、对所采集的攀爬行为监控视频图像进行图像增广处理，与所采集的攀爬行为监控视频图像共同形成采集监控视频图像集合。

11、在其中一个实施例中，所述采集不同场景下的攀爬行为的监控视频图像步骤，包括：

12、在不同天气条件、不同时间段下、不同采光情况下采集攀爬行为的监控视频图像；

13、所采集的攀爬行为的监控视频图像中的攀爬行为包括蹲、站、爬、攀爬和奔跑。

14、在其中一个实施例中，所述对所采集的攀爬行为监控视频图像进行图像增广处理，与所采集的攀爬行为监控视频图像共同形成采集监控视频图像集合步骤，包括：

15、获取采集的攀爬行为的监控视频图像，形成采集样本；

16、对所述采集样本中的监控视频图像进行图像旋转、图像缩放、图像颜色空间变换以及图像仿射变换处理，形成图像增广样本；

17、将所述图像增广样本与所述采集样本中的监控视频图像共同形成采集监控视频图像集合。

18、在其中一个实施例中，所述网络结构搭建步骤，包括：

19、在yolo-v7网络结构的基础上降低输入图像尺寸，以降低网络模型的整体计算量；

20、删除yolo-v7网络结构中的backbone，采用轻量级网络作为整个网络结构的backbone；

21、在网络结构的backbone的基础上添加人体骨骼点分支和人员检测分支，所述人体骨骼点分支用于进行人体骨骼点的提取，所述人员检测分支用于人员目标检测；

22、在所述人员检测分的基础上添加人员行为分析分支，所述人员行为分析分支用于人员行为分析并分类。

23、在其中一个实施例中，所述网络模型训练步骤，包括：

24、把标定好的监控视频图像送入所搭建的网络结构中，只训练所述人员检测分支和所述人员行为分析分支，直至收敛；

25、将网络结构中的人体骨骼点分支添加到网络结构中进行训练，然后微调训练得到的模型，进行再次训练；

26、重复上述两个步骤多次直至收敛，即可得到最终的网络模型。

27、在其中一个实施例中，所述网络模型验证步骤，包括：

28、重新采集一批在不同环境条件下的监控视频图像，在监控视频图像中包含正常行走的人、坐着的人以及攀爬的人；

29、把采集到的监控视频图像输入至训练得到的网络模型中，获取标定出场景中人员位置框、人体骨骼点坐标以及是否攀爬的输出结果；

30、将输出结果与标定答案对比获取训练得到的网络模型的识别准确率。

31、另一方面，提供了一种基于深度学习的攀爬行为识别装置，所述装置包括：

32、数据预处理模块，用于采集不同场景下的攀爬行为的监控视频图像，并进行标定；

33、网络结构搭建模块，用于搭建采用级联网络和多任务分支结构组合的方式进行人员攀爬行为的识别的网络结构；

34、网络模型训练模块，用于将标定好的监控视频图像送入网络结构中进行网络模型训练；

35、网络模型验证模块，用于是对训练得到的网络模型进行效果验证。

36、再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

37、数据预处理步骤，其为采集不同场景下的攀爬行为的监控视频图像，并进行标定；

38、网络结构搭建步骤，其为搭建采用级联网络和多任务分支结构组合的方式进行人员攀爬行为的识别的网络结构；

39、网络模型训练步骤，其为将标定好的监控视频图像送入网络结构中进行网络模型训练；

40、网络模型验证步骤，其为是对训练得到的网络模型进行效果验证。

41、又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

42、数据预处理步骤，其为采集不同场景下的攀爬行为的监控视频图像，并进行标定；

43、网络结构搭建步骤，其为搭建采用级联网络和多任务分支结构组合的方式进行人员攀爬行为的识别的网络结构；

44、网络模型训练步骤，其为将标定好的监控视频图像送入网络结构中进行网络模型训练；

45、网络模型验证步骤，其为是对训练得到的网络模型进行效果验证。

46、上述基于深度学习的攀爬行为识别方法、装置、计算机设备和存储介质，在网络结构搭建时，采用多任务分支结构，进行攀爬行为识别，可以更好的利用深度学习的特征，从而更加鲁棒，适用不同条件下的监控场景；采用多任务分支结构以及级联网络，可以形成很好的呼应，人体骨骼点和人员行为的双重识别分析，可以进一步提升攀爬行为识别精度。