一种基于改进OpenPose算法的井下矿工危险行为识别方法和装置与流程

本技术涉及一种基于改进openpose算法的井下矿工危险行为识别方法，尤其是涉及计算机视觉-行为识别领域和安防领域。

背景技术：

1、煤炭开采区域由于存在众多大型设备，是一个作业环节伴有一定风险，工作场景较为复杂的工作场所。尤其对于井工煤矿来说，矿井工人需要深入几百米的地下进行作业，生产运行过程涉及许多工作环节，且一些场地需要多人多设备运作，这就要求矿井工人必须具备很强的安全作业意识。但往往矿井工人容易受到周围设备或者环境改变等因素的影响，导致对一些看似微不足道的环节发生疏忽从而造成危险事件的产生。例如值班或者作业期间瞌睡、部分场地超出规定作业人数、危险区域(爆破、电铲、卡车设备行驶前方等)人员入侵、违规攀爬胶轮车、跨越带式输送机的皮带等行为。

2、当前的大规模、高产量、高效率的煤矿井下都已配备了监控设备进行实时监测，而且配有统一的人员调度以及指挥中心，安排相应的工作人员对各个关键部位进行实时监看，以确保无事故的发生。但由于矿井工作面比较大，各个点配置的监控设备数量也比较多。很难保证长期不间断地对安全行为进行监督，因此，指挥中心做不到全天候对矿井进行实时监测，无法完成对有关的风险进行及时的监测。为了更快促进国家煤矿智能化建设的发展，就需要研发一套矿井地面和地下联动的智能化“监测、控制、预警、管理”系统，进而加强对矿工人员和矿井作业的管理，降低矿井事故数量的增加，保障矿井工人的人身安全以及实现矿井作业的稳定发展。

技术实现思路

1、本技术针对目前主流技术的不足，提供了一种基于改进openpose算法的矿工危险行为识别方法和装置，提供了一种识别矿井工人违规行为的智能识别方法及报警系统，旨在解决现有技术中的难以识别矿井工人动作的真实情况，违规行为判定精度有限的技术问题。

2、第一方面，本技术提供了一种基于改进openpose算法的矿工危险行为识别方法，具体流程包括：

3、步骤1：获取矿工井下活动的视频图像；

4、步骤2：将视频图像，输入到预先训练好的矿工行为识别模型中，得到对应的矿工行为识别结果；其中，所述矿工行为识别模型是基于改进的openpose网络模型，采用多组训练数据集训练得到的，所述训练数据集包括矿工井下活动的行为图像以及对应的标签，所述标签用于指示矿工行为类型；

5、步骤3：基于步骤2识别到的矿工行为，采用2s-dsagcn双流下采样图卷积网络判断是否是危险行为；如果是，则发出警告予以提示。

6、进一步，步骤1所述矿工危险行为数据集包括：

7、本次申请矿工行为识别划分的动作种类为12个，按标签从0到11进行划分。分别为stand up(站立)、walking(行走)、sit down(坐下)、bend(弯腰)、wave(挥手)、fallingdown(摔倒)、kick(踢)、sleeping post(趴睡)、pushing(推搡)、illegal pickpockets(违规扒车)、illegal crossing(违规跨越)、throw(投掷)。

8、进一步，步骤1中对于采集到的视频片段基于对骨骼点的提取并对其进行行为识别，采用了等长切割，将每一段视频，根据等长划分的原理，划分为多个图像帧，并从每个视频划分出的多帧图像中，随机选择出等数目的单帧图像，以帧为单位组成一组图片序列，通过对输入的视频流进行分析，将人体行为识别出来，从图片中提取骨架信息到动态性(骨架坐标在时间序列上的移动)进行辨识，其中输入设定为340×256×3的画面；

9、采集得到的骨骼序列数据集被分成三个部分，60％用于对模型进行训练，20％用于对模型进行检验，最后20％将选作测试集，通过测试集实现对模型准确率的评估，骨骼行为数据集的制作过程主要分为以下五个流程：

10、步骤1a：对已分类和处理过的图像帧，使用改进后的openpose骨架信息提取网络，对模拟人员的关键骨骼点进行提取，提取出的信息以json形式存储到之前已分类好的动作类别文件中；

11、步骤1b：对于部分骨骼点进行算法修正后仍有缺失，采用k近邻算法，对缺失的部分骨骼点进行弥补；

12、步骤1c：使用labeime软件对数据进行标注，按照kinetics-skeleton格式整理；

13、步骤1d：选取编写好的读取数据集代码代码，对预训练模型进行训练。

14、进一步，对步骤3模型的搭建，网络采用mobilenet v3-small代替原openpose网络的主干网络vgg-19，并将mobilenet v3-small网络进行优化，来实现骨骼点数据的提取，采用双流自适应下采样图卷积网络2s-dsagcn网络对骨骼点数据进行识别，该网络在原2s-agcn网络的基础上采用三组双层相互连接的2s-agcn双流自适应图卷积网络，同时分别在第一组和第二组网络结尾加入等时间的下采样结构，形成新的2s-dsagcn，输入选择t×n×3维度的骨骼数据，t表示输入的总体帧数，n表示单帧数据集中包含的骨骼点数量，3表示对应骨骼点的坐标信息，即(x,y,v)。通过线性投影，将原有的数据通道进行升维处理，升维后的维度定义为c，同时将帧数变为原来的二分之一，即t/2，同时在每经历一组卷积过后对应的帧数缩减为原来的一半，同时通道数增加为原来的两倍，网络的最后通过softmax函数对输出加权求和之后，最终得出人体行为的概率分布情况，完成对动作的分类。

15、对于mobilenet v3-small轻量化网络的优化，在每层卷积层中加入坐标注意力机制，并在平均池化层中加入一个新的1×1卷积，原网络中se通道注意力机制核心的操作就是在网络传播过程中，将平均池化分为两个分支，第一个分支采取两种操作，即squeeze压缩和excitation激活操作，采用坐标注意力机制对原网络中的se通道注意力机制进行相应的优化与调整，与se不同，坐标注意力机制不仅可以对网络中的各通道信息进行获取，还可以对输入信息中的方向等空间位置信息产生很好的敏锐度，在实现通道注意力机制的功能下，实现对相关空间信息的捕捉；

16、采用余弦相似度算法，从向量矩阵方向上对动作的相似度进行衡量，形成相应的矩阵信息。最后通过统计计算分析，对错误的骨骼坐标点进行筛分。余弦相似度算法主要是对空间向量的对应夹角进行衡量，并不涉及数值大小的比对。当所对应的数值大小越接近1时，表明其夹角的数值越趋向于0，故对应的向量接近度越高。通过得到的数据值结合均方差计算出与正确点之间的差值，差值较大的视为错误点。

17、进一步，对步骤4模型的训练具体流程如下

18、步骤4a：网络模型参数初始化：训练批次数据大小为32，优化算法使用带动态衰减的随机梯度下降算法，其中动态衰减参数取值选取为0.9，初始学习率初次设定为0.0005，剩下的初始学习率设置为0.001，另外考虑到本文实验环境的硬件条件，将batchnormalize设置为1，最大迭代次数设置为2200。当训练过程中，迭代次数steps达到第1850次、2050次时需要调整学习率；

19、步骤4b：采用了剪辑好的行为视频进行验证，每段视频大概为10秒，共选取了420段视频，其中包括了本文所选取到的行为种类，并对模型进行了整体测验；

20、第二方面，本技术提供了一种基于改进openpose算法的井下矿工危险行为识别装置，包括：

21、获取模块，通过井下设备，实时获取井下人员的行为图像。

22、提取模块，将获取到的视频图像进行处理，提取端与处理端进行连接。

23、训练模块，与识别模块相连接，用于训练矿工行为识别网络模型；

24、识别模块，与提取模块相连接，用于识别矿工行为的类别；

25、判别模块，与识别模块和外部显示设备相连接，用于判别矿工的行为是否存在危险，如果存在，则在外部显示设备上发出警告予以提醒。

26、本次申请提供了一种基于改进openpose算法的井下矿工危险行为识别方法和装置实现了煤矿井下监控设备对提取到的视频流信息中的人员行为进行实时的监测，进而将所涉及的危险行为识别出来，并进行相应的预警。减轻监控管理岗位的工作强度，保证矿井工人在井下作业期间的安全以及预防危险发生。且该方法受煤矿井下的环境特点(低照度、煤尘较多导致的清晰度较低等)影响较小，比较符合煤矿井下的应用。