一种基于人体姿态估计的煤矿井下人员不安全行为识别方法与流程

本发明涉及煤矿安全监控技术，尤其涉及基于人体姿态估计的煤矿井下人员不安全行为识别方法。

背景技术：

我国是世界上最大的煤炭生产和消费国，煤炭行业的持续、健康、稳定发展对国民经济的健康运行影响巨大。煤矿井下工作条件艰苦、环境复杂、事故易发。对我国煤矿大量事故致因的分析与研究发现，80％以上的煤矿事故源于井下人员的不安全行为。因此，如何有效地从煤矿监控视频中提取井下人员的行为信息，对保障煤矿安全生产有着重要意义。

煤矿视频监控系统是保证煤矿安全生产和科学调度指挥的有效技术手段，通过其可以实现对井下人员不安全行为的监视。当前以人为中心的视频监控模式对于井下人员不安全行为的监控存在人工监视持续时间受限、多场景同时监视困难、人工监视结果处理不及时等问题。

技术实现要素：

本发明的目的是针对当前以人为中心的视频监控模式对于井下人员不安全行为的监控存在人工监视持续时间受限、多场景同时监视困难、人工监视结果处理不及时等问题，提出一种基于人体姿态估计的煤矿井下人员不安全行为识别方法。本发明在煤矿视频监控系统中引入智能分析技术，通过基于生成对抗训练的困难样本挖掘沙漏网络(hourglassnetworkswithhardmining)提取煤矿井下人员的姿态信息。然后，根据提取的人体姿态信息在监控视频中运行轨迹来判断煤矿井下人员的行为是否异常。

本发明的技术方案是：

本发明提供一种基于人体姿态估计的煤矿井下人员不安全行为识别方法，该方法包括以下步骤：

步骤1、预设若干种煤矿井下人员的不安全行为，获取前述不安全行为对应的视频信息，通过人工标记的方式标定前述视频信息中的骨架信息，得到训练数据集，并对前述训练数据集进行基于对抗学习的困难样本挖掘沙漏网络训练，获取模型，将视频信息中的骨架信息按时间轴形成的运行轨迹和前述模型存储至数据库；

步骤2、采用监控设备，实时读取煤矿监控视频，将视频分解成图像；

步骤3、对读取的图像中井下人员进行姿态估计，采用基于对抗学习的困难样本挖掘沙漏网络模型提取井下人员的骨架信息；

步骤4、将前述提取的煤矿井下人员的骨架信息按照时间轴形成运动轨迹与步骤1中预设的几种煤矿井下人员的不安全行为的骨架运行轨迹中的坐标进行误差计算，误差小于预设的阈值为不安全行为，发出报警提示，否则，不做处理。

进一步地，所述的不安全行为矿工攀坐平台护栏、井下摘掉安全帽和冒险进入危险场所。

进一步地，所述步骤1中对训练数据集进行基于对抗学习的困难样本挖掘沙漏网络训练，获取模型的方法具体为：

步骤1.1、构建基于对抗学习的困难样本挖掘沙漏网络模型，包括子沙漏网络g和子沙漏网络d，所述的子沙漏网络g作为生成器generator，用于生成井下人员姿态热图；所述的子沙漏网络d为鉴别器discriminator，用于在生成的热图数据中鉴别出煤矿井下人员姿态，每一个子沙漏网络由n个沙漏单元堆积而成；

步骤1.2、获取煤矿监控图像样本i、及样本中人员目标标记的骨架点坐标x作为困难样本挖掘沙漏网络的输入；

步骤1.3、将图像样本i输入子沙漏网络g中生成热图并通过标记的骨架点信息x生成关于各个骨架点的真值热图hij；其中i表示第i个沙漏单元，j表示人体中关节点的序号；

步骤1.4、计算生成器的生成热图与真值热图hij之间的误差lmse：

其中j∈[1,m]，m表示每个人体中包含关节点总数，rank函数对所有的关节点误差进行排序，表示对误差最高的k个关节点进行误差累加；

步骤1.5、将生成热图输入鉴别器d中，得到重构热图

步骤1.6、计算沙漏网络中最后一个单元的生成热图与该单元重构热图的误差ladv；

步骤1.7、累加误差lmse和ladv得到生成器的误差lg，并通过梯度下降法对生成器进行优化；

步骤1.8、将真值热图hij输入到基于鉴别器d中，得到重构热图d(hij,i)；

步骤1.9、计算沙漏网络中最后一个单元的真值热图hj与该单元重构热图d(hj,i)的误差lr；

步骤1.10、累加误差ladv和lr得到鉴别器的误差ld，并通过梯度下降法对鉴别器进行优化；优化完成后，获取基于对抗学习的困难样本挖掘沙漏网络模型。

本发明的有益效果：

本发明与现有技术相比的优点在于：本发明通过人工智能的手段提升煤矿视频监控系统对井下人员不安全行为主动监控能力，及时发现事故隐患。此外，本发明通过人体姿态信息识别煤矿井下人员不安全行为，精准地发现发出报警提示，做到防患于未然，保障煤矿安全生产。

本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。

附图说明

通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。

图1是基于人体姿态估计的煤矿井下人员不安全行为识别的流程图。

图2是基于生成对抗学习的困难样本挖掘沙漏网络模型。

图3是生成器与鉴别器模型结构图。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。

如图1所示，本发明提供一种基于人体姿态估计的煤矿井下人员不安全行为识别方法，该方法包括以下步骤：

步骤1、预设若干种煤矿井下人员的不安全行为，获取前述不安全行为对应的视频信息，通过人工标记的方式标定前述视频信息中的骨架信息，得到训练数据集，并对前述训练数据集进行基于对抗学习的困难样本挖掘沙漏网络训练，获取模型，将视频信息中的骨架信息按时间轴形成的运行轨迹和前述模型存储至数据库；

如图2、3所示，步骤1中对训练数据集进行基于对抗学习的困难样本挖掘沙漏网络训练，获取模型的方法具体为：

步骤1.1、构建基于对抗学习的困难样本挖掘沙漏网络模型，包括子沙漏网络g和子沙漏网络d，所述的子沙漏网络g作为生成器generator，用于生成井下人员姿态热图；所述的子沙漏网络d为鉴别器discriminator，用于在生成的热图数据中鉴别出煤矿井下人员姿态，每一个子沙漏网络由n个沙漏单元堆积而成；

步骤1.2、获取煤矿监控图像样本i、及样本中人员目标标记的骨架点坐标x作为困难样本挖掘沙漏网络的输入；

步骤1.3、将图像样本i输入子沙漏网络g中生成热图并通过标记的骨架点信息x生成关于各个骨架点的真值热图hij；其中i表示第i个沙漏单元，j表示人体中关节点的序号；

步骤1.4、计算生成器的生成热图与真值热图hij之间的误差lmse：

其中j∈[1,m]，m表示每个人体中包含关节点总数，rank函数对所有的关节点误差进行排序，表示对误差最高的k个关节点进行误差累加；

步骤1.5、将生成热图输入鉴别器d中，得到重构热图

步骤1.6、计算沙漏网络中最后一个单元的生成热图与该单元重构热图的误差ladv；

步骤1.7、累加误差lmse和ladv得到生成器的误差lg，并通过梯度下降法对生成器进行优化；

步骤1.8、将真值热图hij输入到基于鉴别器d中，得到重构热图d(hij,i)；

步骤1.9、计算沙漏网络中最后一个单元的真值热图hj与该单元重构热图d(hj,i)的误差lr；

步骤1.10、累加误差ladv和lr得到鉴别器的误差ld，并通过梯度下降法对鉴别器进行优化；优化完成后，获取基于对抗学习的困难样本挖掘沙漏网络模型；

步骤2、采用监控设备，实时读取煤矿监控视频，将视频分解成图像；

步骤3、对读取的图像中井下人员进行姿态估计，采用基于对抗学习的困难样本挖掘沙漏网络模型提取井下人员的骨架信息；

步骤4、将前述提取的煤矿井下人员的骨架信息按照时间轴形成运动轨迹与步骤1中预设的几种煤矿井下人员的不安全行为的骨架运行轨迹中的坐标进行误差计算，误差小于预设的阈值为不安全行为，发出报警提示，否则，不做处理。

其中，所述的不安全行为矿工攀坐平台护栏、井下摘掉安全帽和冒险进入危险场所。

本发明通过人工智能的手段提升煤矿视频监控系统对井下人员不安全行为主动监控能力，及时发现事故隐患。此外，本发明通过人体姿态信息识别煤矿井下人员不安全行为，精准地发现发出报警提示，做到防患于未然，保障煤矿安全生产。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。