一种矿工下井前防护设备佩戴的检测方法与流程

本发明涉及矿山生产技术领域，特别是涉及一种矿工下井前防护设备佩戴的检测方法。

背景技术：

在矿山生产中，防护设备是对矿工生命的一种保障，能够有效地减少或防止外来危险对矿工造成的伤害。然而，即使是矿井安全守则的再三强调，仍有部分矿工不遵守规则，在下矿时不佩戴防护设备，增加了作业风险。由于非矿山人员不懂得作业流程与相关规章制度，同样增加安全隐患。但是矿山环境恶劣，场景复杂，主要是通过观察视频监控画面或井口安排人员检查，这样不仅效率低下而且也会因为观察人员疲劳与疏忽造成安全隐患，实现以物联网为核心的矿工下井前防护设备佩戴自动检测的研究引起广大学者的兴趣。

随着计算机视觉领域的研究不断发展，越来越多研究人员开始研究基于视频的安全帽佩戴检测方法。中国专利cn107679524通过计算两帧灰度差值找出运动区域，明确运动区域头部区域，在hsv颜色空间下判断是否佩戴安全帽，由于使用颜色特征敏感度较强且受背景干扰较大且过程繁琐计算量较大，容易导致误判现象严重，因此不利于实际应用；现有研究技术主要针对安全帽佩戴检测，矿工在施工区域需要佩戴多种防护设备，所以单纯的安全帽佩戴检测不能满足实际应用。

技术实现要素：

为了克服上述现有技术的不足，本发明提供了一种矿工下井前防护设备佩戴的检测方法，用于检测矿井出入口人员防护设备(安全帽、矿灯、自救器等)佩戴的情况，通过发出警报的方式协助监控中心检测，防止未佩戴防护设备人员进入矿井施工区域。

本发明所采用的技术方案是：一种矿工下井前防护设备佩戴的检测方法，包括以下步骤：

a、实时的从矿井入口监测区域的视频监控设备中采集视频序列。

b、对采集到的视频序列均基于hog特征检测当前区域是否有行人，若前后两组所有监控设备的视频中均检测到当前视频帧中出现矿工，则提取各监控设备视频中相应的视频帧。

c、对采集到的前后两组视频帧分别进行双目视频融合计算深度信息，以计算出视频中各防护设备与矿工应佩戴身体部位的相对空间距离信息。

d、对融合后的视频帧使用模板匹配法检测防护设备是否齐全，若不齐全则向监控中心发出警报，之后转入b继续实现矿工防护设备佩戴检测。

e、若防护设备齐全则计算检测到的防护设备与矿工应佩戴身体部位的相对空间距离信息，根据检测到的防护设备与矿工应佩戴身体部位的相对空间距离信息判断矿工是否规范佩戴防护设备，若防护设备佩戴不规范则发出警报，之后转入步骤b继续实现矿工防护设备佩戴检测。

进一步地，所述步骤a中的视频监控设备为分别安装在矿井入口正前上方和矿井入口正后上方的两组监控设备，并且前后两组监控设备的监控区域存在交叉区域；所述一组监控设备分布两个高清摄像头并且两个高清摄像头在一条水平线上，所述两个高清摄像头的监控区域存在交叉区域。

进一步地，所述步骤b中的行人检测基于hog特征，将提取到的hog特征向量送入svm训练分类器检测行人，训练时随机抽取训练数据集的5％样本作为测试集，训练步数与准确率同时达到指定阈值则停止训练。

进一步地，所述步骤c中的双目视频融合技术固定摄像头的角度与位置不变，即背景不发生变化，根据摄像头的内外参数计算两个视频帧的相对深度信息，内外参数包括两个摄像头的距离、摄像头的焦距、旋转矩阵和位移等。

进一步地，所述步骤c中的双目视频融合技术中寻找两个视频帧中具有相同值的像素点，依次计算两帧的视觉差，当视差越大则前景越近，公式为:z＝f*t/d,d＝xr-xl；其中z表示深度信息，记z深度处有一点p,f表示摄像头焦距，t表示左右摄像头基线，d为视差，xr为点p在右成像上与摄像头的水平距离，xl为点p在左成像上与摄像头的水平距离；采用该技术的前提条件是固定两个摄像头之间的距离来计算变换矩阵，所以角度不发生变化的视频序列使用该算法无法计算出绝对深度信息。

进一步地，所述步骤d中计算防护设备与矿工应佩戴身体部位的距离信息，通过计算防护设备与矿工应佩戴身体部位的距离信息是否上下偏差，以及与关键位置的相对空间距离判断是否手持设备以及佩戴是否规范。

与现有技术相比，本发明的有益效果是：

1、能够对矿井入口的矿工防护设备佩戴情况进行实时且准确的检测。

2、使用多目视频技术能够提高检测精度，减小背景干扰。

3、有效解决在2d图像中只检测局部hsv空间的灰度像素判定是否佩戴防护设备的不规范性，例如将设备放在关键部位附近并未规范佩戴。

附图说明

图1为本发明矿工下井前防护设备佩戴的检测方法的流程图；

图2为本发明矿井入口监控设备安装位置示意图；

图3为本发明双目融合技术原理图。

其中：1-右图像，2-左图像，m-物体点，m1-物体m在右图像中的像点，m2-物体m在左图像中的像点，o1-右成像点坐标,o2-左成像点坐标,i1-右摄像头坐标，i2-左摄像头坐标。

具体实施方式

为了加深对本发明的理解，下面结合附图和实施例对本发明进一步说明，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。

如图1、图2和图3所示，一种矿工下井前防护设备佩戴的检测方法，包括以下步骤：

a：实时的从矿井入口监测区域的视频监控设备中采集视频序列并统一所有视频帧图像大小。

b:采集行人识别分类器的训练数据集。识别行人使用的hog特征提取方法就是将image灰度化，采用gamma校正法对输入图像进行颜色空间的标准化，其中i(x,y)＝i(x,y)^gamma；然后计算每个像素的梯度，将图像划分成许多个cell,统计每个cell的梯度直方图，将每几个cell组成一个block,然后将image内的所有block的hog特征串联起来，这就是要提取的hog特征向量；将提取到的所有特征向量送入svm分类器训练得到识别模型，在前后两组监测设备中同时使用训练后的识别模型检测视频帧中是否出现矿工，若同时检测到当前帧中出现矿工，则提取四个监控设备中相应的视频帧。

c：对提取到的前后两组视频帧分别进行多目融合。多目视频融合技术固定摄像头的角度与位置不变，即背景不发生变化，根据摄像头的内外参数计算两个视频帧的相对深度信息，内外参数包括两个摄像头的距离，摄像头的焦距、旋转矩阵和位移等。算法原理类似于人眼观察事物机制，假设远处有一点m，i1表示右摄像头的坐标，i2表示左摄像头的坐标，o1表示右摄像头的成像点坐标，o2表示左摄像头成像点坐标，m1表示物体m在右图像1中的像点，m2表示物体m在左图像2中的像点，其中|i1-i2|是两个摄像头之间的距离。一般来说人体都不是匀速速度，且行走路线通常是曲线，这里需要在同一时刻通过两个距离固定的摄像头获取到的视频帧来计算深度信息，其中|i1-i2|是两个摄像头之间的距离。算法原理类似于人眼观察事物机制，寻找两个视频帧中具有相同值的像素点，依次计算两帧的视觉差，当视差越大则前景越近，公式为:z＝f*t/d,d＝xr-xl，其中z表示深度信息，记z深度处有一点p,f表示摄像头焦距，t表示左右摄像头基线，d为视差，xr为点p在右成像上与摄像头的水平距离，xl为点p在左成像上与摄像头的水平距离，算法的前提条件是固定两个摄像头之间的距离来计算变换矩阵，所以角度不发生变化的视频使用该算法无法计算出绝对深度信息。

d：对融合后的视频帧使用模板匹配法检查矿工防护设备佩戴是否齐全，若检测发现视频帧中的安全帽、矿灯、自救器等防护设备不齐全则向监控中心发出警报并继续监测。模板匹配是用来在一幅大图中搜寻查找图像位置的方法,它是用模板图像在输入图像上滑动，并在待匹配图像的每一个位置对模板与其对应的输入图像的子区域进行比较；其次，它需要将模板图像在搜索图上遍历所有可能的位置，若模板图很大则会导致计算量的增加，模板匹配法具有6种不同的计算方法，本发明采用归一化相关系数法，计算方法如下：

其中m,n分别表示模板的长与宽。

若模板和子图像完全一致，则待测图像与模板的匹配程度系数r(i,j)＝1，系数r越大说明待测图像与模板越相关，在被搜索图中完成全部搜索后，找出r的最大值rmax(im,jm)，其中对应子图s(im,jm)即为匹配目标。

e：若齐全则计算出检测到的防护设备与矿工应佩戴身体部位的相对空间距离信息。通过计算防护设备与矿工应佩戴身体部位的相对空间距离信息的上下偏差，以及与矿工应佩戴身体部位的相对空间距离信息判断是否手持设备以及佩戴是否规范，例如计算安全帽与头部位置信息的偏差，如计算安全帽与头部的上下空间距离，安全帽与头部的前后空间距离判断安全帽佩戴是否规范防止手持安全帽放在头部上方但未规范佩戴通过视频监控区域；计算自救器与腰部位置信息偏差等判断矿工是否规范佩戴所有防护设备，若佩戴不规范则向监控中心发出警报，若佩戴规范则矿工通过监测区域并继续监测。

本发明的实施例公布的是较佳的实施例，但并不局限于此，本领域的普通技术人员，极易根据上述实施例，领会本发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围内。