专利名称：基于安全帽检测的煤矿井下人员定位与跟踪方法
技术领域：
本发明涉及煤矿信息化领域，具体为基于安全帽的煤矿井下人员检测与跟踪方 法。
背景技术：
我国是煤炭生产和消费的大国，煤矿的安全生产一直备受关注。目前，由于国家 对煤矿安全日益重视，监管力度不断加大，大中型煤矿均已大量装备了煤矿安全监控系统， 在一定程度上遏制了重特大事故的发生。但是，由于缺乏对井下人员位置信息的监控，目 前还普遍存在入井人员管理困难，井上人员难以及时准确掌握井下人员的分布和作业的情 况。煤矿井下还存在着一些危险区域，如有害气体超标的区域、绞车运行中的斜巷、设备重 地等，这些区域一般禁止工人进入，但井下巷道交错，环境复杂，普通的告示牌或警铃通知 方式警示效果不佳。实现入井人员的有效管理、检测、跟踪、定位对于煤矿的安全生产、调度 指挥以及事故后的抢险救援都具有重要意义。目前，煤矿井下人员检测方法有如下几种 (1).矿用人员定位跟踪系统。这种系统一般由标识卡、读卡器、人员检测分站、通信接口、服 务器等组成，多采用无线射频识别(RFID)或无线传感网(WSN)技术实现实时数据采集与存 储、井下人员考勤、定位、数据联网、报警提示等一系列功能。但人员定位跟踪系统存在着一 些问题，如需实现低功耗、高效率的标识卡技术，提高高速条件下定位的准确性，克服井下 无线传播信道的复杂性对定位精度的影响，还有标识卡、读卡器价格昂贵等。(2).红外检测 技术。可将矿井人员红外探测计数装置安装于井口及开采现场，对出入矿人员进行探测和 计数。但只能对在列队行走情况下的人员如数识别，在并排或无序行走情况下难以正确识 别。采用红外技术实现人员检测如需进一步确定人员的身份及其具体位置，还需要融合身 份确认系统和人员定位系统等技术，增加了监控系统的复杂性，限制了系统的应用。(3).视 频检测技术。目前很多煤矿都配备了视频监控系统，地面调度指挥中心监控人员可以直接 对井下情况进行实时监控，不仅能直观的监视和记录井下工作现场的安全生产情况，及时 发现事故苗子，防患于未然，也能为事后分析事故提供有效的资料，在安全生产、调度指挥、 抢险救援中都起到了积极的作用。但目前的煤矿视频监控仍主要停留在人工监视阶段，由 人工来监视场景、判断危险情况并做出相应的反应。和普通图像监控系统一样，虽然在功能 和性能上取得了长足的进步，但仍存在不足。这些不足使得图像监控系统不同程度地存在 报警准确度不高、误报漏报情况时有发生、报警响应慢等缺陷，从而影响系统性能。如果能在煤矿实现智能视频监控，实现人员自动检测、跟踪、定位，则具有一系列 的优点，如(1).能充分利用煤矿现有设备资源，不需要额外的设备投入；( .可以和现有 的自动控制系统结合，实现实时报警和联动控制；(3).利用视频处理技术，提取高层次有 用信息，如身份、行为、状态等；(4).备份视觉资料，以备查证。虽然智能视频技术在一般场 景下已经取得了较大进展，但是目前煤矿井下智能视频技术严重滞后，主要是由于井下环 境特殊，全天候人工照明，煤灰、粉尘、潮湿等因素的影响，视频质量较差，对于视频处理技 术提出了严峻考验。
智能视频监控系统中人员目标的检测方法可以分为两大类，即基于运动的人体检 测方法和基于人体特征的检测方法。运动目标检测是指从视频序列中提取出运动目标，为 高层的视频理解提供分析依据，是计算机视觉研究的基础任务和关键技术之一。作为人员 检测的手段，这种方法只能应用于人员与背景之间有相对运动的情况。常用的方法有背景 消减法、帧差法、光流法等。基于运动目标检测人员的方法很多，各有利弊，性能不一，但共 同的一个不足是只能对运动的人员进行检测，若人员目标处于静止状态时，运动特征消失， 导致这些方法的失效，因此产生了基于人体特征的检测方法。如基于人体形状的检测方法 和基于人体部位的检测方法等。对于煤矿井下危险区域的智能监控来讲，需要对检测到的目标进行识别，判断是 否是人，进而决定是否报警。能否根据检测到的信息判断目标为人员目标，也是一个需要注 意的问题。由于以下两点，导致了识别井下人员目标的不可靠性(1)煤矿井下环境特殊， 煤矿井下的视频，具有照度低、光照不均勻、缺乏色彩信息、目标和背景灰度过于接近等特 点，加大了目标的检测的难度，同时，也导致检测到的目标的不完整或形状的畸变。(2)由于 巷道空间有限，摄像器材一般不是平行拍摄，而是以一定的角度俯视摄像；且有一些特定的 监视区域，如监视皮带是否乘坐人员。所摄图像中人员一般不是全身图像，可能是半身，甚 至不是直立状态，即使检测到的目标完整，也不利于判断目标是否为人员目标。由于客观现 状或检测方法导致人员目标信息的不完整，无疑加大了目标识别的难度，如果在检测目标 的同时，探测到相应的表明目标是人的信息，将便于后续处理、识别。要实现这个目标，需要 在检测时，根据人员目标的特点来设计检测方法。文献中已有检测人体部位的方法，其中， 以人脸检测、头部检测较多。但是，对于在煤矿井下工作的人员，佩戴安全帽，为防尘一般佩 戴防尘面罩，长时间的工作导致面部覆盖煤尘，再加上视频质量较差，所以，视频中的井下 人员一般面容不清，人脸检测不实际；无头发、肤色外露，更谈不上采用基于发色、肤色的检 测方法。因此，解决上述现有技术中存在的问题，提供一种更高效、准确的定位和跟踪方法， 是亟待解决的问题。
发明内容
为了解决上述现有技术中的不足，克服井下监控视频照度低、光照不均勻、人员目 标和背景灰度过于相似等问题，有效地对井下人员进行定位和跟踪，本发明提出一种基于 安全帽检测的井下监控视频中人员定位与跟踪方法。本发明以安全帽检测为基础，通过对 安全帽的检测与跟踪实现对煤矿井下人员的定位和跟踪。结合煤矿实际，井下人员均佩戴 安全帽，如果能够检测到安全帽的存在，相应的代表检测到人员目标。由于安全帽的材质原 因，一般会发生反光现象，由于光源一般位于巷道的上方，因此，即使视频质量很差，图像中 安全帽区域至少顶部部分亮度与背景差别较大，且从不同的角度去观察，均呈现圆形或类 圆形，这些特点使得安全帽的检测可行。本发明中基于安全帽检测的煤矿井下人员定位与跟踪的方法分为两个部分，即安 全帽的检测和安全帽的跟踪。安全帽检测过程如下(1)获得样本图像对安全帽进行建模，对安全帽图像进行不同角度的旋转，来模 拟实际环境中各个角度的图像，构成安全帽图像训练集；同时，选取井下视频中人员肩部区域和矿灯照射的区域作为非安全帽图像训练集；(2)分类特征提取选取训练图像的四方向边界图像作为特征量；(3)分类器设计选择分段线性判别函数，采用统计模式识别方法，把视频帧中的 安全帽和非安全帽分别视为一个模式类，设计分类器，并用样本图像对分类器进行训练，为 检测做准备；(4)安全帽检测。利用训练好的分类器对井下视频进行安全帽检测；安全帽跟踪过程如下(I)确定跟踪目标由检测算法检测到某帧中有安全帽的存在，将该帧定为跟踪 初始帧，检测到的安全帽区域为初始跟踪窗口 ；(II)选择跟踪特征。将边缘方向和方位信息相融合，将联合直方图作为跟踪安全 帽的特征量；(III)结合Kalman滤波和Mean-shift对安全帽进行跟踪。1)利用Kalman滤波器预测下一帧跟踪窗口起点yQ ；2)计算候选目标的特征{PuGoMuU, ..,39 ；
393)计算候选目标与目标的相似度厂ΣVa^oK;
M=O4)计算权值(WiIi = Ojl, ...,39 ；5)利用Mean-shift算法，计算目标新位置；
396)更新(P(Y1Mu = C)a, ...,“" ^^ ^Ο^Α^ΣΛ/Α。。)^ ；
u=07)若 P [p (Y1) , q] < P [ρ (y0) , q]，那么乃—|(少。+ JF1)’直到 P [p (Y1) , q] >
ρ [p (y0)，q]；8)若I |y「yQ| < ε (ε是一个很小的常数)，则定位，转(9)；否则yQ —Y1，转 ⑶；9)若间隔帧已满，计算核函数带宽更新量，否则转1)。其中，安全帽检测过程(1)中所述的图像样本由10个安全帽区域和3个非安全帽 局域组成。安全帽检测过程(2)中所述选取训练图像的四方向边界图像作为特征量，按如下 步骤进行对安全帽图像利用I^rewitt算子进行四方向边缘提取，并进行高斯滤波。减小尺 寸为8X8大小，并去掉外边缘像素值，去掉四角像点，转换为直径为6的圆形，构成共对父4 维的特征向量。安全帽检测过程(3)中所述选择分段线性判别函数，采用统计模式识别方法，把 视频帧中的安全帽和非安全帽分别视为一个模式类，设计分类器，并用样本图像对分类器 进行训练，其中，利用高斯模型拟合安全帽轮廓和非安全帽区域，并按如下步骤进行(3-a)任意选择10个高斯模型拟合安全帽区域和3个高斯模型拟合主要包括人员 肩部和矿灯干扰区的非安全帽区域，分别采用欧氏距离进行K均值聚类，其聚类结果分别 作为上述两类初始聚类中心；(3-b)采用马氏距离对所有的样本进行K均值聚类，算法收敛后，计算出每类的聚类中心和协方差矩阵；(3-c)得到安全帽区域和非安全帽区域两大类的共13个子类的聚集中心和离散 矩阵。安全帽跟踪过程(II)中所述将边缘方向和方位信息相融合，将联合直方图作为 跟踪安全帽的特征量，按如下步骤进行(A)边缘方向直方图边缘方向直方图是对目标物体中边缘点的边缘方向分布的 统计，一幅边缘图像的方向空间被分为m个不同的方向，统计每个方向上边缘点的数目，计 算其出现的概率，即可得出m维边缘方向直方图
权利要求
1.一种基于安全帽检测的煤矿井下人员定位与跟踪方法，其特征在于，包括安全帽的 检测过程和安全帽跟踪过程；安全帽检测过程如下(1)获得样本图像对安全帽进行建模，对安全帽图像进行不同角度的旋转，来模拟实 际环境中各个角度的图像，构成安全帽图像训练集；同时，选取井下视频中人员肩部区域和 矿灯照射的区域作为非安全帽图像训练集；(2)分类特征提取选取训练图像的四方向边界图像作为特征量；(3)分类器设计选择分段线性判别函数，采用统计模式识别方法，把视频帧中的安全 帽和非安全帽分别视为一个模式类，设计分类器，并用样本图像对分类器进行训练，为检测 做准备；(4)安全帽检测。利用训练好的分类器对井下视频进行安全帽检测；安全帽跟踪过程 如下(I)确定跟踪目标由检测算法检测到某帧中有安全帽的存在，将该帧定为跟踪初始 帧，检测到的安全帽区域为初始跟踪窗口 ；(II)选择跟踪特征。将边缘方向和方位信息相融合，将联合直方图作为跟踪安全帽的 特征量；(III)结合Kalman滤波和Mean-shift对安全帽进行跟踪。1)利用Kalman滤波器预测下一帧跟踪窗口起点lo；2)计算候选目标的特征{Pu^MuH..,39 ；3)计算候选目标与目标的相似度/)，d= Σ ^Pu (^o k ；M=O4)计算权值IWji=CM,5)利用Mean-shift算法，计算目标新位置； 6)更新(P(Y1)Iu= CM, ...，39，计算 4/^(:0,9]=ΣΛ/AiKk ；M = O7)若P [P (Y1)，q] < P [P (y0)，q]，那么力 <-^(^0+^)，直到 P [P (Υι)，q] > P [P (y0)，q]；8)若IIyfytlI < ε (ε是一个很小的常数)，则定位，转(9)；否则y。^y1，转(3)；9)若间隔帧已满，计算核函数带宽更新量，否则转1)。
2.根据权利要求1所述的基于安全帽检测的煤矿井下人员定位与跟踪方法，其特征在 于，安全帽检测过程⑴中所述的图像样本由10个安全帽区域和3个非安全帽局域组成。
3.根据权利要求1所述的基于安全帽检测的煤矿井下人员定位与跟踪方法，其特征在 于，安全帽检测过程O)中所述选取训练图像的四方向边界图像作为特征量，按如下步骤 进行对安全帽图像利用I^rewitt算子进行四方向边缘提取，并进行高斯滤波。减小尺寸为 8X8大小，并去掉外边缘像素值，去掉四角像点，转换为直径为6的圆形，构成共对父4维的 特征向量。
4.根据权利要求1所述的基于安全帽检测的煤矿井下人员定位与跟踪方法，其特征在于，安全帽检测过程(3)中所述选择分段线性判别函数，采用统计模式识别方法，把视频帧 中的安全帽和非安全帽分别视为一个模式类，设计分类器，并用样本图像对分类器进行训 练，其中，利用高斯模型拟合安全帽轮廓和非安全帽区域，并按如下步骤进行(3-a)任意选择10个高斯模型拟合安全帽区域和3个高斯模型拟合主要包括人员肩部 和矿灯干扰区的非安全帽区域，分别采用欧氏距离进行K均值聚类，其聚类结果分别作为 上述两类初始聚类中心；(3-b)采用马氏距离对所有的样本进行K均值聚类，算法收敛后，计算出每类的聚类中 心和协方差矩阵；(3-c)得到安全帽区域和非安全帽区域两大类的共13个子类的聚集中心和离散矩阵。
5.根据权利要求1所述的根据权利要求1所述的基于安全帽检测的煤矿井下人员定位 与跟踪方法，其特征在于，安全帽跟踪过程(II)中所述将边缘方向和方位信息相融合，将 联合直方图作为跟踪安全帽的特征量，按如下步骤进行(A)边缘方向直方图边缘方向直方图是对目标物体中边缘点的边缘方向分布的统 计，一幅边缘图像的方向空间被分为m个不同的方向，统计每个方向上边缘点的数目，计算 其出现的概率，即可得出m维边缘方向直方图Ei = P
，i = 1,2,…m其中，P代表每一个边缘点，0(p)表示点ρ的边缘方向，Ei表示边缘方向i的概率；其 中，采用的边缘算子为 “-1 -4 -5 0 -6 -24 -30 0 -15 -60 -75 0 -20 -80 -100 0 -15 -60 -75 0 -6 -24 -30 0 -1 一4 -5 0计算时把方向空间以π/8为单位，平分为16级；(B)方位直方图安全帽边缘在跟踪窗口中的方位信息，采用边缘点A(x，y)的方位角 α和半径r两个量来联合表示；(Β-a)方位角α 定义边缘的方位角为边缘点到跟踪窗口中心的向量OA和水平χ轴的 夹角α，把方位角空间按π/8的步长离散化为16级，统计边缘点的方位角，获取方位角直 方6.根据权利要求1-5所述的基于安全帽检测的煤矿井下人员定位与跟踪方法，其特征 在于，安全帽跟踪过程(III)所述对安全帽跟踪时，自适应地调整核函数带宽，按如下步骤 进行(i).对于初始跟踪的帧进行以下操作i-1)统计每个圆环内边缘点的个数，实际上就是前面计算的半径直方图； i-2)计算圆环内边缘点的平均数；i-3)从最外环起，找到第一个边缘点数大于平均数的第一个圆环，并记录该圆环编号A；( ).间隔两帧后，对定位后的新帧重复以上工作，记录圆环编号B ； (iii).判断跟踪窗口大小是否需要更新iii-Ι)若A和B—致，清除新记录的圆环编号B，跟踪窗口大小不变，继续下一帧的跟 踪、寻找圆环和判断；iii-2)若A和B不一致，计算A和B的间隔C，并换算到以像素为单位，统计两帧之间 间隔的帧数D，得出D帧平均尺寸变化为C/D，核函数带宽h更改为h+C/D，继续下一帧的跟 踪，记录A，并转到(ii)。
全文摘要
本发明提出一种基于安全帽检测的井下监控视频中人员定位与跟踪方法。本发明以安全帽检测为基础，通过对安全帽的检测与跟踪实现对煤矿井下人员的定位和跟踪。结合煤矿实际，井下人员均佩戴安全帽，如果能够检测到安全帽的存在，相应的代表检测到人员目标。由于安全帽的材质原因，一般会发生反光现象，由于光源一般位于巷道的上方，因此，即使视频质量很差，图像中安全帽区域至少顶部部分亮度与背景差别较大，且从不同的角度去观察，均呈现圆形或类圆形，这些特点使得安全帽的检测可行；本发明中基于安全帽检测的煤矿井下人员定位与跟踪的方法分为两个部分，即安全帽的检测和安全帽的跟踪。
文档编号G06K9/66GK102136076SQ20111005999
公开日2011年7月27日 申请日期2011年3月14日 优先权日2011年3月14日
发明者李雷达, 程德强, 蔡利梅, 钱建生 申请人:徐州中矿大华洋通信设备有限公司