井下高危区域动目标监测和管理系统的制作方法

本发明实施例涉及矿井安全监控技术领域，尤其涉及一种井下高危区域动目标监测和管理系统。

背景技术：

随着对煤矿安全的重视程度日益提高及管控手段的不断加大，近年来，煤矿安全工作取得了显著成效，但是仍然没有彻底杜绝安全事故的发生，安全管理中还存在一定盲区和薄弱环节。特别是一些由于人员对危险源的辩识不到位、人员不安全行为导致的事故时有发生。现有的安全监控系统主要针对工作环境和设备进行监控，未对动目标的行为实施有效监控，只是单纯依靠管理人员现场检查发现，存在不全面、不及时的局限性。煤矿井下人员定位系统主要是对井下人员定位、考勤信息等进行实时上传和存储，没有进行分析处理和判断预警。综上，现有的系统满足不了高危区域动目标的监测和预警的需求。

技术实现要素：

针对上述技术问题，本发明实施例提供了一种井下高危区域动目标监测和管理系统，以实现对井下高危区域运动目标的监测和预警。

一方面，本发明实施例提供了一种井下高危区域动目标监测和管理系统，所述系统包括：

现场图像采集装置，布设于需要监测的井下高危区域，用于采集所述井下高危区域的视频图像信息，对所述视频图像进行分析，并将所述视频图像及其分析结果传输至后台分析设备；

人员定位装置，由井下工作人员佩戴，用于采集井下工作人员的实时位置信息；

安全监控装置，布设于所述井下高危区域的关键位置，用于采集所述关键位置处的环境参数信息；

所述后台分析设备，与所述现场图像采集装置、所述人员定位装置以及所述安全监控装置之间均保持网络连接，通过所述网络连接获取所述井下高危区域的现场采集图像，所述人员定位装置采集的实时位置，以及所述安全监控装置采集的环境参数，并将所述现场采集图像、所述实时位置及所述环境参数的分析结果与预设的目标风险预控知识库进行比对，以得到人员和车辆等动目标的实时危险预警、人员出勤情况统计、车辆出入统计、车辆违章统计，以及违章关联分析。

另一方面，本发明实施例还提供一种井下目标图像识别方法，所述方法包括：

a.在相同的成像条件下，分别采集工作人员图像，并组成样本图像集；

b.对所述样本图像集中的图像进行分割，分别组成身躯样本图像集、上肢样本图像集、下肢样本图像集及头部样本图像集；

c.分别对所述身躯样本图像集、所述上肢样本图像集、所述下肢样本图像集及所述头部样本图像集进行灰度化；

d.将所述身躯样本图像集、所述上肢样本图像集、所述下肢样本图像集及所述头部样本图像集中的图像分别与高斯核函数进行卷积运算，以得到图像的多尺度空间；

e.将每个样本图像与相邻尺度图像做差，以得到高斯差分尺度空间；

f.将所述高斯差分尺度空间中的采样点，与预设大小像素块的邻域点和其上下尺度对应的预设大小像素块的邻域点进行比较，当所述采样点比邻域点均大或均小时，将该采样点选择为候选特征点；

g.对所述候选特征点，通过拟合三维二次方程和hessian矩阵，剔除所述候选特征点中的低对比度点和边缘点，得到精确特征点；

h.计算所述精确特征点的梯度值及梯度方向；

i.通过统计预定圆域内各个像素的梯度值，绘制梯度直方图，其中，所述预定圆域以精确特征点为圆心；

j.根据所述梯度直方图，确定精确特征点的主方向；

k.以所述精确特征点为中心，以所述精确特征点的主方向为坐标轴方向，建立坐标系；

l.将所述高斯差分尺度空间中精确特征点预定大小的邻域空间中的像素点，分成预定大小的像素块，并将所述像素块按照其梯度，绘制成具有不同区间的梯度直方图；

m.从所述精确特征点中选取种子特征点，根据所述种子特征点的梯度直方图的统计信息，组成所述精确特征点的特征向量；

n.对所述特征向量进行规范化；

o.基于规范化之后的特征向量，建立精确特征点的精确特征描述子集合；

p.获取待识别图像，并对所述待识别图像重复c至u的操作，获取所述待识别图像的精确特征描述子集合；

q.利用欧式距离求每个精确特征点的模值，并组成所述精确特征点的模值向量；

r.对所述待识别图像与样本图像集中的图像的模值向量根据杰卡德系数进行相似度度量，并将相似度最大的图像类别作为所述待识别图像的类别。

本发明实施例提供的井下高危区域动目标监测和管理系统，通过布设在井下高危区域的现场图像采集装置、人员定位装置、安全监控装置，以及与该现场图像、人员位置、环境参数采集装置之间存在网络连接的后台分析设备，实现了对井下高危区域内运动目标的监测和预警。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例提供的井下高危区域动目标监测和管理系统的系统架构图；

图2是本发明实施例提供的现场图像采集装置的逻辑结构图。

图3是本发明实施例提供的基于特征信息的模板匹配方式进行结构化的模板匹配图。

图4是本发明实施例提供的基于sift提取矿工区域特征的差分空间构建图。

图5是本发明实施例提供的基于sift提取矿工区域特征的特征向量形成图。

图6是本发明实施例提供的矿车图像识别的cnn结构图。

图7是本发明实施例提供的矿工图像识别的hog特征提取过程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本实施例提供了井下高危区域动目标监测和管理系统的一种技术方案。参见图1，在该技术方案中，所述井下高危区域动目标监测和管理系统包括：现场图像采集装置11、人员定位装置12、安全监控装置13，以及后台分析设备14。

现场图像采集装置11需要被布设在井下的高危作业区域，用于对这个区域的图像进行实时采集，实时分析，以及实时回传。

人员定位装置12由井下工作人员佩戴，用于采集井下工作人员的实时位置，以及数据的实时回传。

安全监控装置13，需要被布设在井下高危区域的关键位置，用于采集所述关键位置处的环境参数，以及数据的实时回传。

相对于现有的煤矿中采用的视频监控系统中的图像采集装置，本实施例提供的现场图像采集装置11有一个突出的特点，在于能够对采集到的实时图像进行实时的运动目标检测，以便从采集图像中分辨作业中的人员图像及车辆图像。具备上述特点之后，现场图像采集装置11能够将上述分析结果回传至远程设置的后台分析装置。这样后台分析装置能够根据现场图像采集装置11的分别结果做进一步的处理，得到对人员违规操作、出勤统计等其他进一步的分析结果。

图2示出了本实施例提供的现场图像采集装置11的一种结构。参见图2，现场图像采集装置11包括：图像采集单元21、处理芯片22，以及通讯芯片23。

图像采集单元21是专门用来现场图像采集的电路单元，一般会与静止的摄像头连接，完成图像采集。

处理芯片22与图像采集单元21连接，用于完成对现场采集图像的识别、分析。具体的，处理芯片22需要完成对采集图像中运动目标的检测。这些运动目标可以是现场的工作人员的图像，也可以是现场的作业车辆的图像。除了完成对运动目标的检测以外，处理芯片22还需要完成对人员图像进行行为识别，以便对人员的违章行为等特定行为进行识别。

更为具体的，处理芯片22采用逐像素统计建模方法进行背景建模和前景提取，实现快速、准确、鲁棒地检测和提取人员、车辆等动目标信息。

在识别人员图像时，处理芯片22通过结构化模板匹配的方式完成上述操作。结构化的模型不仅包含人体的整体信息，还包括人体各个部分的表观以及位置信息。通过以上的方法可以建立一个对人体具有判别能力的描述模型。利用上述模型，能够实现对人员图像的准确识别。

在本实施例中，如图3所示采用基于特征信息的模板匹配方式进行上述结构化的模板匹配。在上述描述模型中，采用gabor特征表示人体的整体特征信息；采用改进的尺度不变特征变换(scale-invariantfeaturetransform,sift)特征表示人体各个部分的特征信息；采用各个部分之间的相对位置变化信息表示上述位置信息。

在执行上述模板匹配之初，如图3所示，首先利用基于灰度值的图像分割，确定人体图像的图像区域。然后对确定的图像区域，应用gabor小波变换，提取gabor特征。在基于提取到的gabor特征，执行与模板图像的gabor特征之间的全局特征匹配。

完成了全局特征的匹配之后，如图4与图5所示，在利用人体图像内部的灰度差异，将人体图像划分为不同的几个部分。然后对划分的各个部分，分别应用改进的sift提取特征，并基于提取到的特征进行与模板图像之间的特征匹配。

具体提取改进的sift特征方法如下：

a.在相同成像条件下，分别采集工作人员图像，并组成样本图像集e；

b.如图4所示，对所述的图像集e中的图像中工作人员的进行分割，并分别组成身躯样本图像集a(身躯)、工作人员的上肢样本图像集b(手臂)、工作人员的下肢样本图像集c、工作人员的头部样本图像集d；

c.分别对所述样本图像集a、b、c、d中的图像灰度化；

d.如图4所示，对所述灰度化后的样本图像集a、b、c、d中每个样本图像分别与高斯核函数进行卷积运算，通过改变高斯核函数中的σ来得到图像的多尺度空间，其中x表示与中心点之间水平方向的距离，y表示与中心点之间竖直方向的距离，σ表示高斯函数的宽度参数；

e.如图4所示，对所述灰度化后的样本图像集a、b、c、d中每个样本图像的相邻尺度图像做差计算得到高斯差分尺度空间，即公式表示为其中i(x，y)表示输入图像，k表示两相邻尺度空间倍数的常数；对所述的样本图像集a、b、c、d中的图像的差分空间，其中尺度空间可分为o阶，每一阶有s层。所述样本图像集中的图像的尺度因子σ逐个以常数k倍递增，即当前的尺度因子若是为σ，则下一层的尺度因子为kσ，且k＝2^1/s；

f.如图4所示，对所述的样本图像集a、b、c、d中的图像的差分空间的图像，对所述图像的采样点的3×3像素块的8邻域点和其上下尺度对应的3×3像素块的9邻域点组成的共26邻域点做比较，当所述的采样点比26邻域点都大或都小时，所述的采样点就被选为候选特征点其中，σ表示特征点所在图像的尺度；

g.对所述的样本图像集a、b、c、d中的图像的差分空间图像筛选出来的候选特征点通过拟合三维二次方程的方法和hessian矩阵，剔除候选特征点中的低对比度点和边缘相应点，得到精确特征点x＝(x,y,σ)^t；

h.对所述的样本图像集a、b、c、d中的图像的差分空间图像筛选出来的精确特征点x，通过与θ(x,y)＝arctan((l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x-1,y)))计算精确特征点x的梯度值m(x,y)与梯度方向θ(x,y)，其中l(x,y)表示(x,y)位置处的灰度值；

i.如图5所示，对所述的样本图像集a、b、c、d中的图像的差分空间图像中的精确特征点，以此特征点为圆心，以r＝3*1.5*σ为半径，统计圆域内各个像素的梯度值，并绘制成36区间的梯度直方图，由于远离精确特征点的像素点对精确特征点的方向的影响小，靠近精确特征点的像素点对精确特征点的方向影响大，因此，在统计梯度直方图信息时，对相邻的3个像素点采用[0.25,0.5,0.25]的模板进行高斯加权，并连续加权两次；

j.对所述的样本图像集a、b、c、d中的图像差分空间图像的精确特征点的梯度直方图，确定其特征点的方向，主要判断标准：梯度直方图的峰值处为精确特征点主方向，当梯度直方图中存在另外的相当于主峰值的80％的峰值时，将此方向判定为此精确特征点的辅助方向；

k.如图5所示，对所述的样本图像集a、b、c、d中的图像查分空间图像的精确特征点，以精确特征点为中心取16×16的的邻域作为采样空间，并以精确特征点为中心建立坐标系，且把坐标轴旋转为精确特征点的主方向；

l.如图5所示，对所述的样本图像集a、b、c、d中的图像查分空间图像的精确特征点的16×16的的邻域空间中像素点，按4×4大小分成16个像素块，并把像素块按其梯度，绘制成16个8区间的梯度直方图，且由于远离精确特征点的像素点对精确特征点的方向的影响小，靠近精确特征点的像素点对精确特征点的方向影响大，因此，在统计梯度直方图信息时，对相邻的3个像素点采用[0.25,0.5,0.25]的模板进行高斯加权；

m.如图5所示，对所述的样本图像集a、b、c、d中的图像查分空间图像的精确特征点的16个种子特征点，按照其梯度直方图的统计信息，组成描述精确特征点的128维的特征向量w＝(w1，w2，w3，…，w128)；

n.对所述的样本图像集a、b、c、d中的图像查分空间图像的精确特征点的特征向量w＝(w1，w2，w3，…，w128)进行规范化，规范后的精确特征点的规范特征向量为l＝(l1，l2，l3，…，l128)，其中于规范公式是：

其中j表示第j维特征值，i表示第i维特征值；

o.对所述的样本图像集a、b、c、d中的图像差分空间图像的精确特征点分别建立精确特征点描述子集合a¹:{a1,a2,...,am}、b¹:{b1,b2,...,bn}、c¹:{c1,c2,...,cs}、d¹:{d1,d2,..,dt}；

p.对于待识别的图像x，经过步骤c、d、e、f、g、h、i、j、k、l、m、n、o得到其精确特征点描述子集合x¹:{x1,x2,...,xu}；

q.对于待识别图像x的精确特征点描述子集合x¹:{x1,x2,...,xu}，我们利用欧式距离求子集合x¹中每个特征点的模值，然后组成特征点的模值向量根据同样的方式，我们分别求得精确特征点描述子集合a¹、b¹、c¹、d¹的模值向量

r.对于所述的待识别图像x与样本图像集中a、b、c、d中的模值向量分别根据杰卡德系数进行相似性度量，即求得我们对这4个值进行比较，待识别图像与样本图像集a、b、c、d的杰卡德系数最大的图像类别赋予待识别图像的类别。

在识别车辆图像时，处理芯片22使用更为精细的细粒度视觉特征进行对车辆图像特征描述。具体的，如图6所示，利用一个卷积神经网络来表示上述的细粒度视觉特征。之所以这样做的原因在于，车辆的种类较多，颜色也受光照影响较大，如果提取的视觉特征的粒度不够细，难免会出现对车辆图像的漏识别及误识别。

具体利用卷积神经网络提取特征的方法如下：

a.一种基于cnn(convolutionalneuralnetwork)矿车图像的识别方法采用的cnn结构特征如图6所示：卷积神经网络由k个卷积层、k-1个子采样层、1个全连接层、1个softmax层构成。其中，神经元的激活函数采用sigmoid函数。输入设置为1000×1000的灰度图像，卷积层中的图像中的矩形边长为5×5表示该卷积层的局部感受域的大小，矩形的个数表示该卷积层特征映射的个数；子采样层中矩形边长为2×2表示该采样层的采样大小。本发明中全连接层的神经元的个数设置为160，并将160个神经元的激活值经过二值化后，作为矿车图像的特征向量。

b.在相同成像条件下，分别采集已知a类矿车图像集、b类矿车图像集、c类矿车图像集和d类矿车图像集。

c.对所述的各类矿车样本图像集作为输入图像，输入cnn卷积神经网络进行训练，并使用欧式距离作为判断依据。

d.对于待识别图像x，经过cnn以后，得到矿车图像的二值特征向量p，并采用欧式距离进行判断。

除了上面描述的对采集图像中各种运动对象的检测和识别之外，处理芯片22还需要完成对人员图像的行为识别。所谓行为识别，主要集中在对人员违章行为的识别。具体的，处理芯片22采用时域空域特征结合的方法，对人员图像进行行为识别。

方向梯度直方图hog(histogramofgradient)特征可以有效的描述视觉图像中各种物体或者人体的外观轮廓，并具有很高的鲁棒性。因此，如图7所示，处理芯片22实时计算采集到的实时图像的hog，并将实时计算得到的hog与目标hog进行匹配，以完成对人员图像的行为识别。

具体利用hog特征提取特征的方法如下：

上述对实时图像采集hog特征的包括以下步骤：

a.在相同成像条件下，分别采集一组已知有工作人员的图像集a(正样本)和无工作人员的图像集b(负样本)；

b.如图7所示，对采集到的正样本图像进行标注，即对采集到的正样本的工作人员的区域标注一个的矩形，并截取正样本图像集中标注区域的内容并压缩到统一尺寸128×64，并形成标准的正样本集a1；

c.对采集到的负样本图像随机截取128×64大小的图像，并形成标准的负样本集b1；

d.对所述的标准的正样本集a1和标准的负样本集b1分别进行灰度化；

e.如图7所示，对所述的灰度化后标准样本集a1和标准样本集b1中的每个样本图像，分别求其各个像素的梯度(大小和方向)；

f.如图7所示，对所述的灰度化后标准样本集a1和标准样本集b1中的每个样本图像，分别以8×8大小的像素块组成细胞单元，并以9区间直方图统计细胞单元中的梯度信息，并根据梯度直方图信息组成9维的特征向量l1；

g.如图7所示，对所述的灰度化后标准样本集a1和标准样本集b1中的每个样本图像的细胞单元，分别以2×2大小的细胞块组成区域单元，并把区域单元中的4个细胞单元的特征向量l1串接成区域单元的特征向量l2；

h.如图7所示，对所述的灰度化后标准样本集a1和标准样本集b1中的每个样本图像的所有区域单元的特征向量l2串接成样本图像的特征向量l；

i.对所述的灰度化后标准样本集a1和标准样本集b1分别得到的特征向量进行汇总，分别得到正样本的模板特征矩阵和负样本的模板特征矩阵；

j.对于待识别图像x，以大小为128×64的窗口滑动，并按照步骤d、e、f、g提取特征向量，以此判断检测窗口是否有工作人员。

处理芯片22可以是现场可编程门阵列fpga(fieldprogrammablegatearray)，也可以是数字信号处理器dsp(digitalsignalprocessor)，或者上述二者的结合。当采用二者结合的方式时，可以利用dsp并行计算性能较好的特点，将计算量较大的运动目标识别的计算任务迁移至dsp，同时仍然由fpga完成其他的计算任务。

通讯芯片23用于对上述采集图像，以及对上述采用图像的分析结果信号进行编码，并将编码后的信号通过无线网络传输至后台分析装置12。更为具体的，通讯芯片23需要对编码后的信号进行调制，再将调制信号通过无线连接发送至后台分析装置14。

人员定位装置12由在井下进行采掘作业的作业人员佩戴，能够实时的人员进行精确定位。完成对人员的精确定位之后，人员定位装置12能够利用自身与后台分析设备14之间的网络连接，将实时确定的定位位置回传至后台分析设备14。

安全监控装置13是指布设在井下一些关键位置上的，用于采集环境参数的装置。这些环境参数可以有：甲烷浓度、一氧化碳浓度、风速、风压、温度、湿度、二氧化氮、硫化氢、二氧化硫、烟雾、馈电状态、风门状态、风筒状态、局部通风机开停、主通风机开停。安全监控装置13采集到这些环境参数后，将采集到的环境参数回传至后台分析设备14，后台分析设备14能够对关键位置当地的作业环境进行判断，以便决定是否发出安全警报。具体的，后台分析设备14在获取到回传的上述环境参数，可以根据这些环境参数与预置的目标风险预控知识库的信息比对，判定关键位置上是否存在安全隐患。

后台分析设备14接收到通讯芯片23发送的采集图像信号及分析结果信号之后，将所述现场采集图像、所述分析结果、人员位置信息、安全监控信息与预设的目标风险预控知识库进行比对，以得到人员出勤情况统计、车辆出入统计、车辆违章统计，以及违章关联分析。采用预设的目标风险预控知识库之后，后台分析装置14能够有效的对井下危险区域人员进行管理，以及对安全生产提供决策支持。

后台分析设备14上运行的管理决策逻辑主要包括：生产期间人员进出危险区域预警，主要使用人体检测与跟踪发现人，进而利用标定的危险区域位置与人的位置相互关系，进行距离判断，进而视情况发出预警。

管理人员跟班、值班考勤情况，主要使用人体检测算法获取相关人员在各个场合的出现情况，然后结合其它身份识别的方法进行精细化的身份识别，从而自动统计人员的考勤。

特定区域工作人员在岗情况，主要使用人体检测算法获取相关人的在各个场合的出现情况(如空岗)，进而利用人体行为分析算法进行在岗人员的行为分析(如睡岗)，然后视情况发出警告信息等。

人员和车辆出入统计、抓拍、识别，主要使用人体检测、跟踪算法和车辆检测、跟踪算法获取相关人员和车辆在各出入口的出现情况，进而进行统计、识别与抓拍。

违章人员/车辆关联分析，在人体检测、身份识别与车辆检测识别的基础上，对人员与车辆出现的时空信息进行数据库存储与关联查询，自动生成查询报告。

违章高危地点、人员、区域、时间的挖掘分析，利用事件分析算法，结合人体检测和身份识别的结果，建立语义事件数据库，支持事件的时空快速查询，并可自动生成报告。

违章事件、人员分析报告，在人体检测、跟踪与事件分析的基础上，自动生成违章分析报告。

采用本实施例提供的井下高危区域动目标监测和管理系统，能够大大提高目标风险的识别准确率。采用该系统之后，识别成功率大于98％，识别成功情况下耗时小于2秒，实现了准确、高效的危险区域动目标监测和管理。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。