一种矿工异常行为监测方法、装置及系统与流程

1.本发明涉及煤炭安全生产监测技术领域，具体而言，涉及一种矿工异常行为监测方法、装置及系统。


背景技术：

2.煤矿企业的矿工在作业过程中，由于地理分布以及工种特殊性的限制，其违反安全规则的异常行为等容易导致出现危险情况。
3.目前煤矿企业主要使用中心化的监测系统对矿工的异常行为进行检测，需要监控人员手动分析大量的监测数据，由于监控人员的精力有限可能会出现异常行为遗漏或危险误判情况。此外，由于上述系统为中心化系统，当矿工受到人身伤害时，该矿工的相关信息的篡改难度低。
4.现有矿工监测系统的对异常行为的监测效率及准确率不足，且异常行为信息容易被篡改。


技术实现要素：

5.本发明解决的是现有井下工人矿工监测系统的对异常行为的监测效率及准确率不足，且异常行为信息容易被篡改的问题。
6.为解决上述问题，本发明提供一种矿工异常行为监测方法，包括：调用区块链上部署的身份注册合约完成矿工及所属企业身份的注册；获取矿工在井下作业场所的监控视频；根据所述监控视频识别矿工是否存在异常行为，若存在异常行为则调用所述区块链上部署的事故存证合约存储所述异常行为对应信息。
7.可选地，所述根据所述监控视频识别矿工是否存在异常行为，包括：根据所述监控视频的图像帧进行运动目标检测，得到矿工的位置信息；以及，根据所述位置信息与预先划分的危险区域确定矿工是否进入所述危险区域，若是则确定存在异常行为。
8.可选地，划分所述危险区域的过程，包括：采用边缘检测算法对所述监控视频的图像帧进行边缘检测，检测出图像边缘像素；通过背景学习算法确定监控区域的背景，以及根据所述图像边缘像素将所述背景划分为多个区域；接收危险区域设置信息，以及根据所述设置信息将至少一个所述区域标注为危险区域。
9.可选地，所述根据所述监控视频识别矿工是否存在异常行为，包括：根据所述监控视频的图像帧进行运动目标检测，得到矿工的图像；以及，根据所述图像识别矿工是否存在防护用品异常穿戴行为，若是则确定存在异常行为。
10.可选地，还包括：获取可穿戴设备发送的生理数据；根据所述生理数据识别矿工是否存在异常行为，若是则调用所述区块链上部署的事故存证合约存储所述异常行为对应信息。
11.可选地，还包括：获取可穿戴设备发送的身份数据；根据所述监控视频及所述身份数据确定矿工的身份信息。
12.可选地，还包括：获取可穿戴设备发送的位置数据；根据所述位置数据验证所述矿工的位置信息。
13.本发明提供一种矿工异常行为监测装置，包括：注册模块，用于调用区块链上部署的身份注册合约完成矿工及所属企业身份的注册；视频获取模块，用于获取矿工在井下作业场所的监控视频；异常监控模块，用于根据所述监控视频识别矿工是否存在异常行为，若存在异常行为则调用所述区块链上部署的事故存证合约存储所述异常行为对应信息。
14.本发明提供一种矿工异常行为监测系统，包括视频检测系统及区块链可信后台系统；所述视频检测系统用于采集矿工在井下作业场所的监控视频；所述区块链可信后台系统包括大数据分析模块及区块链网络；所述区块链网络部署有身份注册合约及事故存证合约；所述大数据分析模块用于执行上述矿工异常行为监测方法。
15.可选地，还包括矿工可穿戴设备；所述矿工可穿戴设备与所述区块链可信后台系统连接，用于向所述区块链可信后台系统发送矿工的以下至少一种数据：身份数据、位置数据、生理数据。
16.本发明结合区块链作为底层存储，可以提高数据存储的安全性，采用基于监控视频识别的自动化检测技术，使得系统对异常行为的检测误差率小且稳定性高，降低了人工监控成本，可以更快更有效地发现风险，降低矿工发生事故的可能性。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
18.图1为本发明的一个实施例中一种矿工异常行为监测方法的示意性流程图；
19.图2为本发明的一个实施例中矿工异常行为监测系统运行流程图；
20.图3为本发明的一个实施例中背景减除法的流程示意图；
21.图4为本发明的一个实施例中一种矿工异常行为监测装置的结构示意图。
具体实施方式
22.为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
23.目前在煤矿企业主要使用中心化的检测系统对矿工的异常行为进行检测，这些系统需要工作人员手动分析大量的告警信号，由于工作人员的精力有限可能会漏掉一些重要的告警信号。除此之外，由于以上系统全部使用中心化的系统，当矿工受到伤害时涉及到该矿工的信息可能被篡改。
24.本发明提出的系统主要结合区块链、图像处理以及模式识别等来构建一套完整的煤矿工人异常行为监测系统，对矿工的异常行为进行识别并安全存储。当异常行为出现时，系统识别出该异常行为，并自动发送告警信息。具体地，可以通过图像识别技术将连续的视频按照时间分为若干图像帧，以每一帧图片作为输入，结合提前生成的背景图片进行处理，
分析出矿工所在的位置、异常行为、周围环境是否存在危险等信息，通过一系列的图片分析出矿工可能面对的危险，然后将告警信息发送至矿工及监控人员。具体地，该矿工异常行为监测系统包括视频检测系统及区块链可信后台系统。
25.本发明实施例提供了一种矿工异常行为监测方法，图1是本发明的一个实施例中一种矿工异常行为监测方法的示意性流程图，该方法可应用于上述矿工异常行为监测系统，在区块链可信后台系统在区块链上部署身份认证合约以及事故存证合约。该方法包括：
26.s102，调用区块链上部署的身份注册合约完成矿工及所属企业身份的注册。
27.区块链上部署的身份认证合约用于对使用该系统的用户信息的管理，企业用户在使用该系统前必须在该合约的注册表中注册，在身份认证合约中存储有注册企业及注册矿工的注册信息。
28.s104，获取矿工在井下作业场所的监控视频。
29.上述视频检测系统可以采集井下作业场所的监控视频，采集得到监控视频后发送至上述区块链可信后台系统。可选地，
30.以及根据监控视频确定矿工的身份信息。可选地，视频检测系统可以根据监控视频的图像帧执行人脸识别算法，与预先存储的多个矿工的人脸图像进行匹配，基于匹配结果可以确定图像帧中包含的矿工的身份信息。
31.s106，根据监控视频识别矿工是否存在异常行为，若存在异常行为则调用区块链上部署的事故存证合约存储异常行为对应信息。
32.根据上述监控视频识别矿工是否存在异常行为，若存在异常行为，则调用上述事故存证合约存储该异常行为对应信息。由于区块链网络主要有去中心化、不可篡改、可追溯、开放性、匿名性、民主性等特性，去中心化意味着数据的存储、更新、维护、操作等过程，都将基于“分布式账本”，而不再基于“中心化机构”中的总服务器。因此，基于区块链技术存储异常行为对应信息，可以消除传统方法基于中心化存储导致的易被篡改问题。
33.本发明实施例提供的矿工异常行为监测方法，结合区块链作为底层存储，可以提高数据存储的安全性，采用基于监控视频识别的自动化检测技术，使得系统对异常行为的检测误差率小且稳定性高，降低了人工监控成本，可以更快更有效地发现风险，降低矿工发生事故的可能性。
34.结合煤矿井下作业的安全要求，基于监控视频可以针对以下两类异常行为进行检测：
35.(1)根据监控视频的图像帧进行运动目标检测，得到矿工的位置信息；以及，根据上述位置信息与预先划分的危险区域确定矿工是否进入危险区域，若是则确定存在异常行为。
36.通过运动目标检测将运动的矿工部分从图像帧中分离出来，得到矿工在图像帧中的具体位置，结合预先在图像帧中划分的危险区域，即可确定矿工是否进入危险区域。
37.由于井下作业场所的摄像装置多为固定拍摄方向设置，可以结合用户输入的危险区域设置信息以及机器学习得到的危险区域，共同划分出摄像装置拍摄的图像帧中的危险区域。可选地，首先，采用边缘检测算法对监控视频的图像帧进行边缘检测，检测出图像边缘像素；其次，通过背景学习算法确定监控区域的背景，以及根据上述图像边缘像素将该背景划分为多个区域；然后，接收危险区域设置信息，以及根据该设置信息将至少一个区域标
注为危险区域。
38.使用背景学习算法可以对监控区域的图像帧进行背景的自我学习，找到作业区域的危险边界，然后根据图像边缘像素划分危险区域，在图像帧的图像过程中划定若干条界限，分出各个区域。
39.(2)根据监控视频的图像帧进行运动目标检测，得到矿工的图像；以及，根据上述图像识别矿工是否存在防护用品异常穿戴行为，若是则确定存在异常行为。
40.在将运动的矿工部分从图像帧中分离出来后，针对其图像执行防护用品穿戴检测，例如采用模式识别等方式，确定矿工是否穿戴有预定的防护用品，包括反光服、安全靴、安全帽、防毒面具、防尘口罩、防爆矿灯、自救器、闪光灯等。
41.为进一步提高对矿工异常行为的监测效率及准确率，上述矿工异常行为监测系统还可以包括矿工穿戴的可穿戴设备。可穿戴设备与区块链可信后台系统连接，可以向区块链可信后台系统发送井下工人的以下至少一种数据：身份数据、位置数据、生理数据。可穿戴设备包括位置传感器、生理数据传感器及存储器；存储器存储有预先绑定的矿工的身份数据。例如，可穿戴设备可以将各种传感器、存储器、信号处理芯片和通信芯片集成在一个手环上，并录入矿工的个人信息，从而完成矿工与手环的绑定关系。
42.可选地，基于该可穿戴设备上述方法还可以包括：获取可穿戴设备发送的生理数据；以及，根据生理数据识别矿工是否存在异常行为，若是则调用区块链上部署的事故存证合约存储异常行为对应信息。其中，生理数据包括血压、心率、体温等。通过比较可穿戴设备实时上传的矿工生理数据与人体正常水平的生理数据，可以确定矿工当前的身体状况，若身体状况异常则确定存在异常行为，需及时存储其对应信息。
43.可选地，基于该可穿戴设备上述方法还可以包括：获取可穿戴设备发送的身份数据；以及，根据上述监控视频及身份数据确定矿工的身份信息。如前所述，视频检测系统可以基于人脸识别算法确定矿工的身份信息，可穿戴设备由于预先绑定了矿工的个人信息，因此可以基于其中的身份数据验证识别确定的身份信息。例如，在关键区域设置门禁，矿工在经过门禁时视频监测系统采集矿工的监控视频进行识别得到其身份信息，与可穿戴设备匹配的采集设备采集矿工的可穿戴设备的身份数据，两者彼此验证共同确定矿工身份，可以提高系统识别准确性。
44.在确定上述身份信息后，若对应的矿工出现异常行为，则可以调用事故存证合约将其身份信息与异常行为对应信息共同存储。进一步，若存在异常行为则可以向该身份信息对应的井下工人和/或监控人员发出告警信息。
45.可选地，基于该可穿戴设备上述方法还可以包括：获取可穿戴设备发送的位置数据；以及，根据该位置数据验证矿工的位置信息。在井下环境中通常可以采用室内定位方法，预先设置多个信号源，可穿戴设备通过计算与多个信号源之间的信号即可确定其自身的实际位置。由于基于监控视频的图像帧得到的位置信息为图像坐标系中的图像坐标，在根据可穿戴设备确定的位置数据验证图像帧坐标系下坐标时，需要先将该实际位置转换为图像坐标系中的图像坐标，再进行比较。
46.具体地，在视频监测系统的摄像装置固定安装完毕后，可以进行位置标定，即提前标定实际位置与图像坐标的对应关系。例如，按一定规律移动可穿戴设备遍历摄像装置的全部采集范围，将同一时刻可穿戴设备确定的实际位置与图像帧识别得到的图像坐标对应
存储，得到实际位置与图像坐标的对应关系。由于可穿戴设备定位的精确度问题，在将实际位置转换为图像坐标后可能存在一定误差，转换得到的坐标与基于图像帧得到的图像坐标在一定误差范围内即可确定为验证通过。
47.本发明实施例还提供了一种矿工异常行为监测系统，包括视频检测系统及区块链可信后台系统。
48.其中，视频检测系统用于采集矿工在井下作业场所的监控视频；区块链可信后台系统包括大数据分析模块及区块链网络；区块链网络部署有身份注册合约及事故存证合约；大数据分析模块用于执行上述矿工异常行为监测方法。
49.可选地，矿工异常行为监测系统还包括矿工可穿戴设备；矿工可穿戴设备与区块链可信后台系统连接，用于向区块链可信后台系统发送矿工的以下至少一种数据：身份数据、位置数据、生理数据。
50.示例性地，本发明实施例提供的矿工异常行为监测系统，参与方可以包括煤炭企业、矿工、监管部门(安监部门、消防部门等机构)，区块链所有的节点由监管部门和煤炭企业共同维护，任何一方都无法篡改区块链存储的信息。参见图2所示的矿工异常行为监测系统运行流程图，该系统参与方包括矿工、煤炭企业、监管部门、监控人员、视频检测系统以及区块链可信后台系统，运行流程如下：
51.1.部署身份认证合约以及事故存证合约。
52.区块链可信后台系统在区块链上部署身份认证合约以及事故存证合约。事故存证合约用于在链上存储矿工异常行为信息；身份认证合约负责对使用该系统的用户信息的管理，企业用户在使用该系统前必须在该合约的注册表中注册。在身份认证合约中存储有注册企业及注册矿工的注册信息。企业注册表样如表1所示，工人注册表如表2所示，存储在表中的信息主要包括：企业公钥、单位信息、服务状态以及注册时间。此外请求方的鉴权验证信息也由该表维护，注册表主要包含以下信息：公钥：维护企业或矿工的公钥信息；单位信息：维护企业的详细单位信息；服务状态：标记该企业经营状态；注册时间：标记企业注册的时间。
53.企业公钥单位信息服务状态注册时间企业公钥1单位1正常2020/1/13 14:12企业公钥2单位2异常2020/3/7 11:40企业公钥3单位3正常2020/6/17 6:20
54.表1
55.工人公钥单位信息注册时间企业公钥1单位12020/3/13 14:12企业公钥2单位22020/3/19 11:40企业公钥3单位32020/8/17 6:20
56.表2
57.2.煤炭企业进行身份注册。
58.3.矿工进行身份注册。
59.4.监控煤炭企业的行为。
60.5.监控矿工的行为。视频检测系统实时监控煤炭企业及工人的行为。该系统可以
将矿工的穿着等外观信息、行为动作信息、异常操作信息等进行处理，并将初步处理的信息上传至区块链可信后台系统。
61.该视频检测系统可以由摄像头、视频编解码芯片、音频编解码芯片以及网络传输模块组成。使用tms320dm6437数字媒体处理器对采集到的音频视频信息进行处理。监控探测系统与后台pc机之间的通信传输采用有线传输和无线传输相结合的方式，使有线通信与无线通信的优势互补，保证系统之间通信的稳定性与时效性。视频检测系统的功能可以包括：与可穿戴设备联动确定工人所处环境位置、确认工人身份信息等；向区块链可信后台系统传输收集到的音频视频、危险区域划分、工人识别与记录等。
62.6.发送监控视频。
63.视频检测系统将监控视频等发送至区块链可信后台系统，实时监控矿工的状态，以及周围环境信息，如果发现有违规或者异常现象则调用事故存证合约完成事故的存证。
64.7.调用事故存证合约。
65.区块链可信后台系统可以收集来自穿戴设备以及视频检测系统的数据，对这些数据进行处理分析，当有矿工异常行为发生时可以将异常行为通过调用智能合约存储到区块链上，该区块链可以由监管方、煤炭企业、系统开发者等共同维护，可以避免数据被中心化服务器篡改。
66.如果系统经过处理分析发现矿工有异常行为(比如没有佩戴安全帽，进入危险区域等)，可以通过矿工佩戴的手环与显示装置向监控人员发出告警信息，并将该信息存储到区块链。
67.区块链可信后台系统可以包括大数据分析软件、区块链网络、告警装置等三个部分。区块链网络负责对矿工的异常行为进行可信存储；大数据分析软件负责对收集的数据进行处理分析判断是否出现异常行为，是否存在潜在的风险，身体状况是否良好等。如果发现异常行为，则判定矿工处于危险环境，需及时向对应的矿工以及监控人员发出告警信息。
68.8.矿工可穿戴设备发送告警信息。
69.其中，可以通过可穿戴设备收集矿工的身体状况信息，将收集到的身体状态信息上传至区块链可信后台系统并发出告警信息。
70.9.获取异常行为信息。
71.监控人员从区块链可信后台系统接收异常行为信息，且需要对异常行为进行现场排查以消除安全隐患。可选地，区块链可信后台系统还包括显示装置，用于显示监控视频及告警信息，供监控人员查看。
72.10.实时监管。
73.监管部门通过区块链存储信息对煤炭企业及矿工的行为进行实时监管。监管机构实时地同步链上信息，从而有效的对煤矿企业实施监管工作。
74.11.事后处罚。监管部门对煤炭企业及矿工的违规行为进行事后处罚。
75.以下详细说明区块链可信后台系统通过视频识别技术完成对监控视频处理的过程。具体流程如下：
76.首先，调用opencv开源库内置的api(application programming interface,应用程序编程接口)将连续的视频按照时间序列生成一系列的图像帧，这些图像帧可以作为智能识别的依据。将获取到的图像帧进行灰度和滤波的处理，将rgb彩色图转化为灰度图，去
除图像中的噪声信息。
77.利用增强算法将去除噪声的图像进行图像增强，增强算法可将邻域强度有明显变化的点显现出来，进行边缘检测得到图像的边缘信息。用canny边缘检测算子对图像进行边缘检测，通过对图像的梯度幅值检测出图像的边缘点。梯度就是图像在水平与垂直两个方向上的变化剧烈程度，对于连续函数f(x,y)的梯度用δf(x)来表示。
78.利用背景学习算法对图像进行背景自我学习，找到作业区域的危险边界。然后，根据图像边缘像素划分危险区域，在预览帧的图像过程中划定若干条界限，分出各个危险区域。
79.利用支持向量机(svm，support vector machine)检测图像中是否有矿工的出现，同时对视频进行运动目标检测，将运动的矿工部分从图像中分离出来。
80.对运动的矿工部分进行基于主成分分析(pca，principal component analysis)的人脸识别，确认矿工身份信息。其中，主成分分析算法为一种数据降维算法，可以实现对数据特征的降维处理。
81.对以上过程收集来的视频，同时结合矿工的可穿戴装备进行身份信息匹配。对出现矿工的装扮进行检测，如果发现该矿工没有按照规定穿戴安全帽等防护工具在井下作业则将该信息存储到链上，同时向该信息推送给告警系统以警示该矿工。
82.对视频中出现的运动目标进行跟踪标识记录其运动位置，利用背景减除法提取图像中运动的部分，将背景图像与输入当前图像进行差分识别出运动的区域。参见图3所示的背景减除法的流程示意图，包括以下流程：1.输入当前图像帧，2.输入背景图像，3.执行差分运算，4.二值化计算，5.形态学滤波，6.提取运动区域。
83.在提取出运动区域后，需要经过一系列的滤波、腐蚀等操作得到运动目标。当系统检测到矿工越过界限进入可能存在的危险区域时，对收集到的信息进行多方位分析，将危险划分等级后向监控人员报告。
84.本发明提出的矿工异常行为监测系统，利用图像处理以及模式识别等构建了一套完整的煤矿工人异常行为监测系统，通过采用区块链作为底层的存储设施，数据一旦上链任何人都无法篡改该数据，增强了系统的可信性，监管部门可以根据链上数据有效的对煤炭企业实施监管工作；通过采用图像处理以及模式识别等自动化检测技术，使得系统检测异常行为具有误差率小、稳定性高的特点，降低了监控成本，可以更快更有效地提示矿工危险，从而极大降低发生事故的可能性。
85.本发明实施例还提供一种矿工异常行为监测装置，图4是本发明的一个实施例中一种矿工异常行为监测装置的结构示意图，包括：
86.注册模块401，用于调用区块链上部署的身份注册合约完成矿工及所属企业身份的注册；
87.视频获取模块402，用于获取矿工在井下作业场所的监控视频；
88.异常监控模块403，用于根据所述监控视频识别矿工是否存在异常行为，若存在异常行为则调用所述区块链上部署的事故存证合约存储所述异常行为对应信息。
89.可选地，所述异常监控模块403具体用于：根据所述监控视频的图像帧进行运动目标检测，得到矿工的位置信息；以及，根据所述位置信息与预先划分的危险区域确定矿工是否进入所述危险区域，若是则确定存在异常行为。
90.可选地，所述异常监控模块403具体用于：采用边缘检测算法对所述监控视频的图像帧进行边缘检测，检测出图像边缘像素；通过背景学习算法确定监控区域的背景，以及根据所述图像边缘像素将所述背景划分为多个区域；接收危险区域设置信息，以及根据所述设置信息将至少一个所述区域标注为危险区域。
91.可选地，所述异常监控模块403具体用于：根据所述监控视频的图像帧进行运动目标检测，得到矿工的图像；以及，根据所述图像识别矿工是否存在防护用品异常穿戴行为，若是则确定存在异常行为。
92.可选地，所述异常监控模块403还用于：获取可穿戴设备发送的生理数据；根据所述生理数据识别矿工是否存在异常行为，若是则调用所述区块链上部署的事故存证合约存储所述异常行为对应信息。
93.可选地，所述装置还包括验证模块，用于：获取可穿戴设备发送的身份数据；根据所述监控视频及所述身份数据确定矿工的身份信息。
94.可选地，所述验证模块还用于：获取可穿戴设备发送的位置数据；根据所述位置数据验证所述矿工的位置信息。
95.本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
96.当然，本领域技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。
97.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
98.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
99.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。