基于视觉关系检测的煤矿综采工作面不安全行为识别方法与流程

本发明涉及信息处理的计算机视觉技术领域，具体地涉及一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法。

背景技术：

随着机器学习方法的不断发展和计算机硬件性能的提升，利用机器学习技术对煤矿监控图像进行智能分析处理来达到安全预警的目的已经成为煤矿安全决策的重要依据与手段。目前，相关技术包括煤岩识别、矿工人脸识别、火灾识别等，还有针对煤矿井下安全生产过程中的智能化监测技术，主要有：牛犇针对井下运输机车在运行过程中发生的相撞及伤人等安全事故问题，提出了基于单目视觉测距原理的矿井机车防撞预警系统和装置，可在一定程度上有效预防机车运输事故的发生。蔡利梅针对煤矿井下在生产中的危险区域，通过对视频图像中运动目标行为的研究分析，提出运动目标检测及跟踪定位的方法。万航将智能视频监控技术应用于煤矿井下异常情况的识别，通过图像处理技术及时发现视频中的异常达到灾害预警的目的。贾伟利用智能视频监控技术进行煤矿井下多目标跟踪研究，对矿工进入危险区域进行报警。姜代红对煤矿井下特殊环境，围绕基于矿井监控视频的图像去噪、图像增强、图像拼接、复杂场景情况下的运动目标跟踪识别及行为分析进行研究，针对性的提出解决问题的方法。雷耀花在井下矿工的检测方面使用帧间差分法来完成视频中运动区域的提取及图像背景的更新，之后使用轮廓特征参数以及梯度方向直方图+支持向量机的方法完成井下矿工的检测。现有技术方案提出的都是基于图像识别技术对煤矿工作面中涉及的对象进行识别，不能真正识别出不安全行为。

但是，目前，针对煤矿安全行为识别的却很少。综采工作面是由人、机和环境组成的一种复合系统，煤矿工作面不安全行为的发生是“人-机-环”相互交互造成的，利用传统图像识别技术仅通过监控图像检测出其中的“人-机-环”对象，并不能完整传递其内容，还必须检测出对象间的视觉关系，才能真正发现图像中的语义信息，因此并不能真正识别出不安全行为。本发明因此而来。

技术实现要素：

为了解决上述技术问题，本发明提出了一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法，基于图像理解的方法，不仅能够对识别煤矿工作面中的“人、机、环”对象，还能识别每个对象间的语义关系，可以对煤矿工作面中的不安全行为进行识别，准确率高。

本发明所采用的技术方案是：

一种基于视觉关系检测的煤矿综采工作面不安全行为识别方法，包括以下步骤：

s01：获取煤矿综采工作面的图像数据，对数据进行标注和语义描述，建立煤矿综采工作面不安全行为语义图像数据集；

s02：在建立的数据集上构建“人-机-环”目标识别算法和视觉关系检测模型，形成图像文本描述；

s03：通过语句相似度计算进行图像文本描述语句与煤矿不安全行为数据库中词条进行匹配检索，识别煤矿不安全行为。

优选的技术方案中，所述步骤s01中煤矿综采工作面图像采集途径包括，通过网络搜索得到煤矿综采工作面的监控图像，通过三维模拟安全培训视频中截取综采工作面的图像，通过煤矿企业现场截取煤矿综采工作面的监控图像，及现场模拟不安全行为的图像。

优选的技术方案中，在搜集前期制定图像搜集策略，对采集到的图像进行预处理，进行尘雾图像清晰化和图像增强。

优选的技术方案中，所述步骤s01中对数据进行标注和语义描述包括：

s11：对煤矿综采工作面图像进行标注，包括矿工标注，环境图像划分和大型设备部件化标注，将大型设备拆分成多个部件作为对象；

s12：对煤矿综采工作面图像进行语义描述，按照设定的策略，对每一张图像，分别形成区域描述、对象描述、属性描述、关系描述、区域图根据、场景图构建和问答对构建；所述对象和关系根据煤矿综采工作面不安全行为管理手册中涉及的“人-机-环”的对象和相关关系进行确定；

s13：制定数据集存储格式和开发数据开放接口。

优选的技术方案中，所述步骤s02中形成图像文本描述，包括：

s21：构建fasterr-cnn的检测网络并进行训练，对采集的数据集进行特征提取；

s22：训练区域建议网络，生成高质量的区域建议框，所述区域建议网络和检测网络共享全图的卷积特征，使用fastr-cnn进行检测分类，检测图像上“人-机-环”对象的位置和类别；

s23：构建vtranse网络进行视觉关系检测，在目标识别的基础上，训练图像语义理解网络，选择损失函数，并根据训练误差对网络参数进行调优，得到图像的文本描述。

优选的技术方案中，所述步骤s03中的匹配检索包括：

s31：从煤矿综采工作面不安全行为管理手册、操作规程、事故案例和专家经验4个方面整理常见的不安全行为，形成不安全行为数据库；

s32：根据得到的图像文本描述，采用机械分析法分别对不安全行为数据库中的描述词条和图像文本描述语句进行分词处理，提取影响因素对应的关键词；

s33：采用基于多层次融合的语句相似度计算方法，匹配符合图像文本描述的不安全行为词条，识别出图像中不安全行为。

优选的技术方案中，还包括对识别出的不安全行为进行预警。

本发明还公开了一种基于视觉关系检测的煤矿综采工作面不安全行为识别系统，包括：

数据集建立模块，获取煤矿综采工作面的图像数据，对数据进行标注和语义描述，建立煤矿综采工作面不安全行为语义图像数据集；

图像文本描述提取模块，在建立的数据集上构建“人-机-环”目标识别算法和视觉关系检测模型，形成图像文本描述；

不安全行为识别模块，通过语句相似度计算进行图像文本描述语句与煤矿不安全行为数据库中词条进行匹配检索，识别煤矿不安全行为。

优选的技术方案中，所述数据集建立模块中对数据进行标注和语义描述的方法包括：

s11：对煤矿综采工作面图像进行标注，包括矿工标注，环境图像划分和大型设备部件化标注，将大型设备拆分成多个部件作为对象；

s12：对煤矿综采工作面图像进行语义描述，按照设定的策略，对每一张图像，分别形成区域描述、对象描述、属性描述、关系描述、区域图根据、场景图构建和问答对构建；所述对象和关系根据煤矿综采工作面不安全行为管理手册中涉及的“人-机-环”的对象和相关关系进行确定；

s13：制定数据集存储格式和开发数据开放接口。

优选的技术方案中，所述图像文本描述提取模块中形成图像文本描述的方法，包括：

s21：构建fasterr-cnn的检测网络并进行训练，对采集的数据集进行特征提取；

s22：训练区域建议网络，生成高质量的区域建议框，所述区域建议网络和检测网络共享全图的卷积特征，使用fastr-cnn进行检测分类，检测图像上“人-机-环”对象的位置和类别；

s23：构建vtranse网络进行视觉关系检测，在目标识别的基础上，训练图像语义理解网络，选择损失函数，并根据训练误差对网络参数进行调优，得到图像的文本描述。

与现有技术相比，本发明的有益效果是：

本发明基于图像理解的方法，不仅能够对识别煤矿工作面中的“人、机、环”对象，还能识别每个对象间的语义关系，对于煤矿工作面中的不安全行为识别提出了一种新的方法，可以对煤矿工作面中的不安全行为进行识别，准确率高。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明基于视觉关系检测的煤矿综采工作面不安全行为识别方法的流程图；

图2为本发明煤矿综采工作面监控图像数据集构建方法流程图；

图3为本发明基于“人-机-环”视觉关系检测的图像文本描述方法流程图；

图4为本发明基于语句相似度计算的煤矿综采工作面不安全行为识别方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例

如图1所示，本发明采用“数据采集-模型训练-系统应用”的技术路线，建立基于监控图像语义理解的煤矿综采工作面不安全行为在线预警模型。首先，通过搜索网络图像，抓取三维模拟视频中的场景图像和到煤矿企业现场进行应用数据采集的方式获取数据，随后进行图像数据的预处理，形成统一大小的图像数据，再进行数据标注和描述，建立煤矿综采工作面不安全行为语义图像数据集，然后，在建成的专用数据集上建立“人-机-环”目标识别算法和视觉关系检测模型，形成图像文本描述，最后，通过语句相似度计算进行图像文本描述语句与煤矿不安全行为数据库中词条进行匹配检索，进行识别，根据煤矿综采工作面不安全行为在线预警系统框架搭建应用系统。

1、构建煤矿综采工作面图像数据集

本发明所要建的数据集是在煤矿综采工作面这个有限场景下的应用，因此，数据集的中包括的对象、关系等也都是有限的，但最终算法和模型的好坏也跟建立的数据集有直接关系，因此，第一步就是建立针对煤矿综采工作面这个有限场景下的图像数据集，主要包括图像采集和预处理、图像对象标注和图像语义描述。

如图2所示，包括以下步骤：

（1）煤矿综采工作面图像采集及预处理

煤矿工作面图像采集分三个方面，一是通过网络搜索得到煤矿综采工作面的监控图像，二是通过三维模拟安全培训视频中截取综采工作面的图像，第三是到煤矿企业现场截取煤矿综采工作面的监控图像，其中还包括现场模拟不安全行为的图像。在搜集前期需要制定图像搜集策略，包括图像清晰度、大小等要求。随后，进行图像预处理，由于煤矿综采工作面环境比较差，采集到的图像需要进行尘雾图像清晰化和图像增强等工作。

（2）煤矿综采工作面图像标注策略和语义描述方法

图像的标注和描述按照固定的策略，对每一张图像，分别形成区域描述、对象、属性、关系、区域图、场景图和问答对这样7个主要部分。对象和关系根据煤矿综采工作面不安全行为管理手册中涉及的“人-机-环”的对象和相关关系进行确定。“人-机-环”中“人”只有矿工，“机”包括滚筒采煤机、刮板运输机、液压支架等大型设备，“环”主要指煤壁、环境参数等。由于液压支架等大型设备比较大，在一张监控图像中可能只有整个设备的一部分，所以在对象制定过程中要考虑到有时不安全行为出现的场景可能会涉及设备的一部分，所以，对大型设备可以拆分成多个部件作为对象。最后，制定数据集存储格式和开发数据开放接口，方便目标识别和视觉关系检测算法调用。

2、基于“人-机-环”视觉关系检测的图像文本描述

经过第一步，得到了可用于视觉关系检测的煤矿综采工作面图像数据集，第二步在该数据集上建立“人-机-环”目标识别算法和视觉关系检测算法，为后面的不安全行为识别提供图像语义信息。

如图3所示，包括以下步骤：

（1）基于fasterr-cnn的“人-机-环”目标识别

目标识别是进行视觉关系检测的前提，本步的任务就是在煤矿综采工作面监控图像上提出“人-机-环”目标，并识别该目标的类别。首先，进行煤矿监控图像的特征提取，在图像特征的提取上，卷积神经网络有着极其优越的特性，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。另外，在处理图像时，图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。在fasterr-cnn的框架下，使用vgg16网络进行特征提取。接着，训练区域建议网络(regionproposalnetwork，rpn)，用于生成高质量的区域建议框，它和检测网络共享全图的卷积特征。在目标识别阶段，使用区域建议网络生成建议区域之后，使用fastr-cnn进行检测分类。

（2）基于vtranse网络的煤矿综采工作面监控图像“人-机-环”视觉关系检测

视觉关系检测是在目标检测的基础上进行的，通过目标检测可以检测出图像上“人-机-环”对象的位置和类别，接下来就是对这些对象间视觉关系的检测，我们采用vtranse网络进行视觉关系检测，在目标识别的基础上，训练图像语义理解网络，选择损失函数，并根据训练误差对网络参数进行调优，整个过程从目标识别到视觉关系检测是一个整体，该阶段输出图像的文本描述。

3、基于语句相似度计算的煤矿综采工作面不安全行为识别方法

经过前面两步，将获得煤矿综采工作面监控图像上“人-机-环”各个对象的位置、类别以及对象间的视觉关系，形成图像文本描述，然后，基于语句相似度计算在图像文本描述语句和不安全行为数据库中进行匹配检索，最后，根据煤矿综采工作面不安全行为识别预警系统架构，搭建应用系统。具体如图4所示。

（1）基于语句相似度计算的煤矿综采工作面不安全行为匹配方法

从煤矿综采工作面不安全行为管理手册、操作规程、事故案例和专家经验4个方面整理常见的不安全行为，形成不安全行为数据库。经过第二步得到的图像文本描述，需要在不安全行为数据库中进行检索匹配，从而判断图像中的行为是否安全。采用机械分析法分别对不安全行为数据库中的描述词条和图像文本描述语句进行分词处理，提取影响因素对应的关键词。然后，采用基于多层次融合的语句相似度计算方法，匹配符合图像文本描述的不安全行为词条，从而识别出图像中不安全行为。

（2）基于图像理解的煤矿综采工作面不安全行为识别预警系统

在现有综采工作面监控系统的基础上，利用前面得到的不安全行为识别模型，结合具体应用场景，搭建应用系统，在煤矿现场进行不安全行为检测，对灾害预测模型进行评价。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。