基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法与流程

本发明涉及煤矿机电技术领域。具体地说是基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法。

背景技术：

随着国家对煤矿安全的重视程度日益提高及管控手段的不断加大，近年来煤矿安全工作取得了显著成效，但是仍然没有彻底杜绝安全事故的发生，安全管理中还存在一定盲区和薄弱环节，特别是一些由于人员对危险源的辩识不到位、人员不安全行为导致的事故时有发生。现有安全管理系统主要针对工作环境和设备进行监控，未对人的行为实施有效监控，只单纯依靠管理人员现场检查发现，存在不全面、不及时的局限性，不能满足煤矿安全管理的需要。

掘进工作面空顶作业是煤矿生产过程中常见的安全隐患，主要指在煤矿井下巷道顶板未采取任何支护或支护失效的范围内进行作业。由于巷道顶板事故大都是在空顶作业的情况下发生的，所以掘进工作面严禁空顶作业。

目前，全国范围内没有类似的识别技术、方法和装备能够实现空顶作业的识别和监测，只能依靠人工管理，很大程度上就无法客观、实时的监测掘进工作面作业情况。

技术实现要素：

为此，本发明所要解决的技术问题在于一种基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法。

为解决上述技术问题，本发明提供如下技术方案：

基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法，

(A)通过识别锚杆和网格数量确定无线摄像机到前方空顶区域边界的距离，得出空顶作业预警的边界范围；

(B)通过人体智能识别算法得到准确的运动目标及其活动范围，可判断是否有员工进入空顶区域，从而进行现场语音和声光报警。

上述基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法，在步骤(A)中，将无线摄像机置于采煤机斜后方墙壁上，通过无线摄像机实时采集前方工作视频,并通过无线摄像机的输出端将视频信号传输给无线信号收发器输入端，无线信号收发器将得到的视频信号转换为无线信号，通过无线信号收发器输出端传输给位于井下基站的输入端，信号通过井下基站的输出端传送给后台的服务器的输入端,服务器通过软件算法对无线摄像机采集的支护区域图像进行自我学习,从而找到空顶区域的危险边界。

上述基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法，在步骤(A)中软件算法为采用基于均值的方法提取背景；具体包括如下步骤：

(A-1)先将无线摄像机采集的彩色图像转换成灰度图像取平均值；

(A-2)再将灰度图像进行背景提取，再进行提取运动点团，从而筛选出背景区域与其它组成物体，即空顶区域边界与锚杆数量和网格数量。

上述基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法，在步骤(A-1)中，彩色图像每个像素点在RGB空间中是一个三维矢量，每个分量分别代表红、绿、蓝三种颜色的灰度，通过将彩色图像红、绿、蓝三种颜色的分量取平均值，转换成灰度图像，并通过YUV空间对RGB空间进行线性变换，JPEG图像压缩格式采用的是YUV空间，转换公式如(Ⅰ)所示：

其中：R、G、B分别表示红、绿、蓝三种颜色分量的灰度值；Y分量表示图像的亮度，U分量表示图像的色度，V分量表示图像的浓度；

将彩色像素转换为灰度像素的公式如式(Ⅱ)所示：

GRAY＝0.299R+0.587G+0.114B (Ⅱ)；

上述基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法，在步骤(A-2)中，

背景的算法如式(Ⅲ)所示：

其中，Fi为在第i个时间段采样得到i个图像帧，i＝1,2…N，其中N为自然数；(x,y)为每一个像素点；B为背景；

提取运动点团：根据前景与背景的灰度不同，将原始图像序列的每一帧图像与背景图像作差，然后将结果图像二值化；

根据两个像素矢量的欧式距离公式(Ⅳ)，得到提取运动点团的算法如式(Ⅳ)所示：

其中x.r、x.g、x.b分别表示运动像素矢量红、绿、蓝三种颜色分量的值，μ.r、μ.g、μ.b分别表示背景像素矢量的红、绿、蓝三种颜色分量；求两个像素的欧氏距离就是求像素灰度差的绝对值G(x,y)；

其中：B(x,y).r,B(x,y).g,B(x,y).b分别表示背景像素矢量的红、绿、蓝三种颜色分量；(x,y)为遍历当前帧的每一个像素；F(x,y).r,F(x,y).g,F(x,y).b为当前帧像素矢量的的红、绿、蓝三种颜色分量；G(x,y)就是当前帧的运动点团图像；Ta为二值化的阈值，其含义是前景与背景差别的量度,前景与背景的距离至少相差Ta。

上述基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法，在遍历当前帧所有运动点团图像后得到锚杆数量和网格数量，便可以确定无线摄像机到前方空顶区域边界的距离为Ta，从而可得出空顶作业预警的边界范围。

上述基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法，在步骤(B)中，通过结合人体特征识别算法，检测出人员是否经过，当有人员出现在空顶区域时，可视为空顶作业，服务器的软件系统通过井下基站，控制硬件广播主机做出相应声光警告提示，服务器的软件系统会将警告信息同时传送到调度中心和井下作业现场，广播主机发出声光报警信息，并在后台形成空顶作业报警记录。

上述基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法，在步骤(B)中，所示人体特征识别算法将运动图像与背景模型比较，可以检测到运动前景部分；包括如下步骤：

(B-1)进行数学形态学处理，得到前景图像，通过检测运动区域的投影来区别人体和非人体；运动区域的投影是将运动区域所对应的二值化图像投影到水平轴或垂直轴上；通过观察其中各个位置上的投影值的数量变化来分析运动区域的特征；

(B-2)采用卡尔曼滤波器系统对人体运动前景进行跟踪。

上述基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法，在步骤(B-1)中，分析投影宽高比，不同物体横向和纵向投影的宽高比是不同的，人体宽高比为0.24-0.36，通过检测运动区域的投影宽高比来区别人体和非人体，从而得出人体活动的范围；当运动区域包含多个运动者时，可以进一步将前景区域分割成对应不同运动者的小区域。

上述基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法，在步骤(B-2)中，已知系统转移矩阵A、观测矩阵H、系统噪声矢量的协方差矩阵Q、观测噪声矢量的协方差矩阵R，观测到的第k时刻的状态矢量Zk，从观测到的Zk中恢复Xk，具体算法如下：

Xk是系统第k时刻的状态矢量，Xk+1是系统第k+1时刻的状态矢量，A是系统的状态转移矩阵，Wk是系统第k时刻的系统噪声矢量，系统的当前状态依赖且仅依赖于系统的上一状态，并且是线性关系如式(Ⅵ)：

Xk+1＝AXk+Wk (Ⅵ)

对系统的状态矢量Xk做观测，H是观测矩阵，Vk是第k时刻的观测噪声矢量，最终看到的是Zk如式(Ⅶ)：

Zk＝HXk+1+Vk (Ⅶ)；

从而框住人体，得出人体活动的范围。

本发明的技术方案取得了如下有益的技术效果：

1、本发明是一种可以智能实时监测煤矿井下掘进工作面空顶作业的识别方法；2、本方法基于智能视频识别技术，声光、语音告警技术和无线信号传输技术，可对井下掘进工作面空顶作业自动监控和警告；3、本方法识别的响应时间在1s内，速度快；准确率可达100％，(在目前的应用中没有发现出错的情况)，且在灯光昏暗、粉尘浓度较大等恶劣环境情况下也能准确识别。不但适用于煤矿，也可用于隧道施工和地铁施工，具备重要的推广和应用价值。

附图说明

图1本发明基于智能视频识别技术的煤矿井下空顶作业识别方法的无线摄像机安装位置图；

图2本发明基于智能视频识别技术的煤矿井下空顶作业识别方法的系统结构示意图；

图3本发明基于智能视频识别技术的煤矿井下空顶作业识别方法的无线摄像机取景图；

图4本发明基于智能视频识别技术的煤矿井下空顶作业识别方法的卡尔曼滤波器系统；

图5本发明基于智能视频识别技术的煤矿井下空顶作业识别方法的人体识别跟踪算法流程图。

图中附图标记表示为：1-无线摄像机；2-无线信号收发器；3-基站；4-服务器；5-广播主机；6-调度中心。

具体实施方式

基于智能视频识别技术的煤矿井下掘进工作面空顶作业识别方法，包括如下步骤：

(A)通过识别锚杆和网格数量确定无线摄像机到前方空顶区域边界的距离，得出空顶作业预警的边界范围；

如图1和图2所示，在步骤(A)中，将无线摄像机1置于采煤机斜后方墙壁上，通过无线摄像机1实时采集前方工作视频,并通过无线摄像机1的输出端将视频信号传输给无线信号收发器2输入端，无线信号收发器2将得到的视频信号转换为无线信号，通过无线信号收发器2输出端传输给位于井下基站3的输入端，信号通过井下基站3的输出端传送给后台的服务器4的输入端,服务器4通过软件算法对无线摄像机1采集的支护区域图像进行自我学习,从而找到空顶区域的危险边界。

在步骤(A)中软件算法为采用基于均值的方法提取背景；具体包括如下步骤：

(A-1)如图3所示，先将无线摄像机1采集的彩色图像转换成灰度图像取平均值；

在步骤(A-1)中，彩色图像每个像素点在RGB空间中是一个三维矢量，每个分量分别代表红、绿、蓝三种颜色的灰度，通过将彩色图像红、绿、蓝三种颜色的分量取平均值，转换成灰度图像，并通过YUV空间对RGB空间进行线性变换，JPEG图像压缩格式采用的是YUV空间，转换公式如(Ⅰ)所示：

其中：R、G、B分别表示红、绿、蓝三种颜色分量的灰度值；Y分量表示图像的亮度，U分量表示图像的色度，V分量表示图像的浓度；

将彩色像素转换为灰度像素的公式如式(Ⅱ)所示：

GRAY＝0.299R+0.587G+0.114B (Ⅱ)；

(A-2)再将灰度图像进行背景提取，再进行提取运动点团，从而筛选出背景区域与其它组成物体，即空顶区域边界与锚杆数量和网格数量。

在步骤(A-2)中，

背景的算法如式(Ⅲ)所示：

其中，Fi为在第i个时间段采样得到i个图像帧，i＝1,2…N，其中N为自然数；(x,y)为每一个像素点；B为背景；

提取运动点团：根据前景与背景的灰度不同，将原始图像序列的每一帧图像与背景图像作差，然后将结果图像二值化；

根据两个像素矢量的欧式距离公式(Ⅳ)，得到提取运动点团的算法如式(Ⅳ)所示：

其中x.r、x.g、x.b分别表示运动像素矢量红、绿、蓝三种颜色分量的值，μ.r、μ.g、μ.b分别表示背景像素矢量的红、绿、蓝三种颜色分量；求两个像素的欧氏距离就是求像素灰度差的绝对值G(x,y)；

其中：B(x,y).r,B(x,y).g,B(x,y).b分别表示背景像素矢量的红、绿、蓝三种颜色分量；(x,y)为遍历当前帧的每一个像素；F(x,y).r,F(x,y).g,F(x,y).b为当前帧像素矢量的的红、绿、蓝三种颜色分量；G(x,y)就是当前帧的运动点团图像；Ta为二值化的阈值，其含义是前景与背景差别的量度,前景与背景的距离至少相差Ta。

在遍历当前帧所有运动点团图像后得到锚杆数量和网格数量，便可以确定无线摄像机到前方空顶区域边界的距离为Ta，从而可得出空顶作业预警的边界范围。

(B)通过人体智能识别算法得到准确的运动目标及其大致活动范围，可判断是否有员工进入空顶区域，从而进行现场语音和声光报警。

人体运动目标检测是在输入图像中确定运动人体的过程，是整个人体运动分析系统的第一部分，运动目标检测的目的是将运动人体部分从图像中提取出来，能否正确地分离运动人体是整个系统成败的关键。运动目标检测由运动物体分割和运动物体分类两部分组成。

运动物体的分割就是把图像中的运动部分，比如掘进机、行人等分离出来，因为只有运动的部分才是能够跟踪的部分。运动部分的分割常常受到光线变化、影子和遮挡等因素的影响。因此选用一种稳定可靠的分割方法是很重要的。常用的分割方法有以下两种。

背景减法：在运动检测中，背景减法(Background Subtraction)是一种常用的技术，尤其是对于静态场景。它首先建立背景模型作为参考图像，通过将含有运动物体的图像与事先通过背景模型得到的背景图像相减得到运动部分。这种方案简单易行，但是极易受到光照等外部环境变化的影响，必须配合其他方法进行修正。背景模型的建立主要有3种方法，一是通过求多幅图像的像素点均值得到，二是通过多幅图像的像素点中值得到，三是通过建立自适应模型得到，从而能对抗外部环境变化。

统计方法：统计学方法是基于像素的统计特性从背景中提取运动信息。它首先计算背景像素的统计信息(颜色、灰度、边界等)，使用个体的像素或一组像素的特征来建立一个较为高级的背景模型，而且背景的统计值可以动态地更新。通过对比当前背景模型的统计值，图像中每一个像素被分成前景或是背景，为每一个像素建立一个混合高斯模型，并且用在线估计对它进行更新，并且运用自适应混合模型的高斯分布来评估并决定该像素是前景还是背景，可以有效的处理光线变化和背景混乱，设计出了一整套可靠、实时性强的井下跟踪系统。通过计算每个像素点所具有的3个值：最小强度、最大强度和在训练期观测到的连续帧之间的最大强度差分值来描述每一个像素，背景模型参数可以周期性地更新。实时地对背景模型更新以适应光线和场景自身的变化，用形态学方法和检测连通域面积的方法进行处理，消除噪声和背景扰动带来的影响，在HSV色度空间下检测阴影，得到准确的运动目标。

在本申请中，通过建立统计背景模型，将运动图像与模型比较，可以检测到运动前景部分。采用中值滤波和数学形态学方法(投影确定宽高比)可以准确得到人体运动部分。通过对人体运动前景分析得到各个运动者对应的模块，对各个运动模块继而采用卡尔曼滤波来实现跟踪。

在步骤(B)中，所示人体特征识别算法将运动图像与背景模型比较，可以检测到运动前景部分；包括如下步骤：

(B-1)如图5所示，再进行数学形态学处理，得到前景图像，通过检测运动区域的投影来区别人体和非人体；运动区域的投影是将运动区域所对应的二值化图像投影到水平轴或垂直轴上；通过观察其中各个位置上的投影值的数量变化来分析运动区域的特征。

其中快速中值滤波算法如下：

*功能:彩色图像的快速中值滤波平滑处理

*参数:image0为原图形，image1平滑结果，

*w、h为图象的宽和高

*size为进行平滑的邻域边长

*功能:使用直方图对彩色图邻域获取中值

*参数:imageBuf为目标图像w、h为图像大小

*templt为模板tw为邻域大小

*x,y为当前采样窗口中心像素的坐标

*cn为颜色分量编号0为蓝色1为绿色2为红色

二值化算法具体如下：

通过上述算法，分析投影宽高比，不同物体横向和纵向投影的宽高比是不同的，人体宽高比为0.24-0.36，通过检测运动区域的投影宽高比来区别人体和非人体，从而得出人体活动的范围；当运动区域包含多个运动者时，可以进一步将前景区域分割成对应不同运动者的小区域，再重复步骤(B-1)和步骤(B-2)，从而得出人体活动的范围；

(B-2)如图4所示，采用卡尔曼滤波器系统对人体运动前景进行跟踪；

在步骤(B-2)中，已知系统转移矩阵A、观测矩阵H、系统噪声矢量的协方差矩阵Q、观测噪声矢量的协方差矩阵R，观测到的第k时刻的状态矢量Zk，从观测到的Zk中恢复Xk，具体算法如下：

Xk是系统第k时刻的状态矢量，Xk+1是系统第k+1时刻的状态矢量，A是系统的状态转移矩阵，Wk是系统第k时刻的系统噪声矢量，系统的当前状态依赖且仅依赖于系统的上一状态，并且是线性关系如式(Ⅵ)：

Xk+1＝AXk+Wk (Ⅵ)

对系统的状态矢量Xk做观测，H是观测矩阵，Vk是第k时刻的观测噪声矢量，最终看到的是Zk如式(Ⅶ)：

Zk＝HXk+1+Vk (Ⅶ)

从而框住人体，得出人体活动的范围。。

通过人体智能识别算法得到准确的运动目标及其活动范围，具体算法如下：

具体工作时：将无线摄像机置于采煤机斜后方墙壁上，无线摄像头实时采集前方工作视频，后台服务系统通过相关软件算法对支护区域图像进行自我学习，从而找到空顶区域的危险边界，并自动动态标记此时的危险边界。

结合人体特征识别算法，检测出人员经过，最终实现空顶作业危险识别检测，当有人员出现在空顶区域时，即可视为空顶作业。此时软件系统会控制硬件做出相应声光报警提示，报警信息同时传送到调度中心和井下工作现场并产生声光报警信号，并在后台形成超循环作业报警记录。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本专利申请权利要求的保护范围之中。