专利名称：基于单目视觉的矿井机车防撞预警系统和预警方法
技术领域：
本发明涉及矿井安全技术领域，具体涉及保证矿井机车运输安全的防撞预 警系统和预警方法。
背景技术：
近年来，煤矿机车运输的伤亡事故呈现不断上升的趋势。煤矿机车运输监 控系统在煤矿生产综合监控中占有重要地位，在矿井运输轨道上采取有针对性 的监控措施，能有效的防止矿井下轨道运输事故，从而促进煤矿安全生产。
目前，我国已有许多研究成果应用于现场，取得了一定的效果，从一定程 度上减少了机车运行事故的发生。但是，这些研究成果大多采用基于轨道电路 探测仪和压力传感器等手段对机车本身的监控来发现造成停车或事故的故障， 不是系统的扩展性、适应性差，就是投资高、稳定性不够，如监控者只能看到
一些数字化的指标，监测不具可视化，监测效果差；更重要的是这些监控主要 是针对机车本身的运行状况进行检测，而对车辆行驶过程中前方人员安全和防 止与前方运行机车相碰撞不能有效地监测，这些都影响了系统的使用和推广。
当前研究较多的是釆用智能传感器并基于现场总路线技术及组态软件技术 的全矿井综合监测监控系统。如公开号为CN101222399A的中国发明专利公布 说明书公开的一种井下监控系统及井下监控方法，通过在矿井中设置基站，采 用外接于基站的传感器来检测矿井中的各种环境参数，在井下的移动目标上设 置收发机，与基站进行无线双向通讯，这些基站通过LonWorks现场总线技术将 移动目标的位置及状态信息发送到地面控制中心，以实现对井下移动目标的定 位、跟踪以及考勤，但是该方法仍存在系统成本高、维护量大的问题，而且并 未对机车与人、机车与机车相撞进行有效的监控。如公开号为CN1818345A的
5中国发明专利公布说明书公开的 一种矿井斜巷运输人车安全监控防护系统，采 用红外探测器来监测斜巷内的矿工情况，并通过预警和绞车控制系统来保障矿 工人身安全，虽然该方法有涉及到矿工人身安全的监测，但该方法采用的红外 探测器容易受各种热源，被动红外穿透力差，人体的红外辐射容易被遮挡，不 易被探测器接收，也易受射频辐射的干扰，会产生虚报与漏报的情况，可靠性 不高。
在基于视觉的研究领域，大多数都是针对高速公路交通的研究。如公开号
为CN101016053A的中国发明专利公布说明书公开的一种高等级公路上车辆防 追尾碰撞预警方法和系统，对汽车运行过程中产生的车体阴影来识别本车前方 出现的目标物是汽车还是非汽车以外的物体，结合本车车速等信息来判断车距 大小，并将实际测得的车间距离与安全车距进行比较，以决定发出警告信号与 否。该方法对于路面交通确实能起到预警作用，而对于矿井轨道运输，由于井 下巷道光线昏暗，光源是后方机车发出而且巷道路面阴暗，机车下方阴影不明 显。所以根据车体阴影来判断前方是否有机车不可行。公开号为CN101281022A 的中国发明专利公布说明书公开的一种基于单目机器视觉的车辆距离测量方法 所述，采用单目的图像摄取系统采集图像信息，提取图像信息中前方车辆车牌 大小，根据车牌边缘尺寸与预先标定值进行比较，从而实现车辆距离的大致估
计。在矿井下，机车没有类似于汽车车牌的标志物可以参考，并且机车的种类 繁多，不能以一个标准的标志物作为参考。
发明内容
有鉴于此，为了解决上述问题，本发明提供一种可靠性较高的基于单目 视觉的矿井机车防撞预警系统。
本发明的目的是这样实现的，基于单目视觉的矿井机车防撞预警系统，包
括摄像装置，用于采集矿井机车前方图像；
主控制系统，用于接收摄像装置获取的图像信息，判断矿井机车前方轨道 是否为弯道，以及判断矿井机车前方是否有目标物，根据判断结果，发出报警 命令；以及
报警器，接收主控制系统的报警命令，发出警报。
进一步，所述摄像装置为红外CCD摄像机；
进一步，所述基于单目视觉的矿井机车防撞预警系统还包括
液晶显示器，与主控制系统连接，实时显示摄像装置获取的图像；以及
视频存储器，与主控制系统连接，存储显示摄像装置获取的图像；
本发明还提供一种基于单目视觉的矿井机车防撞预警方法，包括如下步
骤
1) 釆集矿井机车前方图像；
2) 对图像进行预处理；
3) 在预处理后的图像中提取轨道特征，判断轨道是否为弯道；若判断出轨 道为弯道，则发出警报并返回步骤1);若判断出轨道不为弯道，则执行步骤4);
4) 确定预处理后的图像中的感兴趣区域，从感兴趣区域中识别目标物；若 存在目标物，则计算目标物与本矿井机车的距离，若距离小于预设值，则发出 警报并返回步骤l);若不存在目标物，则返回步骤l)。
进一步，所述步骤2)具体包括如下步骤
21) 对图像进行增强处理；
22) 对图像进^f亍平滑滤波处理；
23) 对图像进行二值化处理；
24) 对二值图像进行形态学闭运算处理； 进一步，所述步骤3)具体包括如下步骤31) 在预处理后的图像中提取轨道特征；
32) 检测轨道是否分岔，如是，则判定轨道为弯道，执行步骤34)，如否， 则执行步骤33 )
33) 检测轨道是否为弯道，如是，执行步骤34),如否，执行步骤4)
34) 发出警报，返回步骤1 ); 进一步，所述步骤4)具体包括
41) 在预处理后的图像中确定感兴趣的区域；
42) 在感兴趣的区域中，进行边缘检测，获得连通区域；
43 )对连通区域进行目标物识别，若存在目标物，则4丸行步骤44),若不 存在目标物，则返回步骤1 );
44)计算目标物与本矿井机车的距离，若距离小于预诏:值，则发出警报并 返回步骤1);
进一步，所述步骤44)中，计算目标物与本矿井机车的距离公式模型如下
式中，d为目标物与本矿井机车的距离，Wp为图像中目标物底端所在像素 行的轨道宽度值；将得到的不同摄像高度h下的大量实验数据经过拟合得到测 距公式参数a!、 32的计算模型，分别为
式中，h为才I/f象装置安装高度，pU、 Pl2、 Pl3、 Pl4、 P21、 P22、 P23、 P24为常
量；
进一步，Pu、 Pi2、 Pi3、 P"、 P2i、 p22、 p23、 p24的取值分别为-7901 、 2.342e+004、 -2.251e+004、 8362、 -253、 726.7、 -671.7、 200.9;
进一步，所述步骤33)检测轨道是否为弯道的具体方法为检测弯道方法 以图像最低点轨道的起始点作为参考点，再由近及远选取前方轨道上的多个点，
ai = Ai x & + A2 x & + _Pi3 x & + A4计算各点与参考点所在直线的斜率，如果各直线斜率呈逐渐增大或减小的变化 趋势，则说明轨道发生弯曲。
本预警系统及预警方法，通过安装在矿井机车头部的掘:像装置，在矿井机 车行驶过程中实时采集图像，经过相应测距算法处理判断是否有弯道，以及安 全区域内是否有人与机车，如有，则计算其距离，根据距离值进行相应预警， 根据报警信号，提醒驾驶员采取相应措施，同时也提醒井下作业人员注意安全， 有效地防止井下运输事故发生，保障运输环境的畅通；本发明基于单目视觉实 现，硬件结构及相应算法简单，易于实现。
本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行 阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是 显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点 可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和 获得。
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本 发明作进一步的详细描述
图1示出了基于单目视觉的矿井机车防撞预警系统的结构示意图； 图2示出了基于单目视觉的矿井机车防撞预警方法的流程示意图。
具体实施例方式
以下将结合附图，对本发明的优选实施例进行详细的描述。 参见图1，本优选实施例的基于单目视觉的矿井机车防撞预警系统，包括 摄像装置l、主控制系统2、声光报警器3、显示装置4和存储装置5，由于矿 井下阴暗潮湿、能见度低等特点，摄像装置l选用有效焦距为16mm的单目红 夕卜CCD摄像机，摄像装置1安装于矿井机车头部，用于在矿井机车行进过程中 采集矿井机车前方的图像信息并发送到主控制系统2，主控制系统2处理摄像装置获取的图像信息，判断矿井机车前方轨道是否弯曲，以及判断矿井机车前 方是否有目标物，根据判断结果，通过声光报警器3发出报警命令，并根据需 要，对图像信息进行存储或显示。
参见图2，本实施例基于单目视觉的矿井机车防撞预警方法包括以下步骤
(1) 图像数据采集由摄像装置1采集机车前方的图像信息，转换为数字 信号，并发送到主控制系统2;
(2) 主控制系统2对接收的图像进行以下预处理，图像预处理的目的是获得 二值图像，并对图像进行优化，并不限于使用以下预处理步骤
21) 从采集的图像数据(YCbCr)中提取Y分量，即灰度图像数据，以便 进行下一步的图像处理；
22) 对图像进行增强处理；
23) 对图像进行平滑滤波处理；
24) 由于背景在图像中的灰度级比较小，而目标物等的灰度级比较大，可 利用图像灰度级分布特征自动确定阈值，对图像进行二值化处理，从而得到二 值图像；
25) 对二值图像进行由先膨胀、再腐蚀的形态学闭运算处理，以消去二值 化图像中的杂散点，并填补可能出现的空洞，从而有效地去除噪声；
(3)主控制系统2对预处理后的图像进行如下处理
31) 在预处理后的图像中提取轨道特征；
32) 井下轨道存在分岔的情况，分岔后的双轨道中，必有一条为弯道，因 此运用种子链码跟踪方法检测出两根轨道变为四根轨道时，说明前方轨道分盆， 则可判定轨道转弯，执行步骤34 );
33) 运用种子链码跟踪方法检测机车轨道，所迷步骤33)检测轨道是否为 弯道的具体方法为以图像最低点轨道的起始点作为参考点，再由近及远选取 前方轨道上的多个点，计算各点与参考点所在直线的斜率，如果各直线斜率呈 逐渐增大或减小的变化趋势，则说明轨道发生弯曲，执行步骤34),如否，执34)发出警报，如长鸣笛声，以提醒驾驶员注意前方是弯道，减速慢行， 同时也提醒前方弯道内可能存在的人员将有机车经过，注意避让；而后返回步 骤l),采集下一帧图像。
(4)主控制系统2对预处理后的图像进行如下处理
41) 在预处理后的图像中确定感兴趣的区域矿井机车基于轨道行驶，车 体宽度大于运行轨道宽度，例如我国现有大多数轨道为900毫米，矿车宽为2300 毫米。出于对矿工行走安全的考虑，图像感兴趣区域为应包含机车运行轨道左 右两侧1米内的图像区域；
42) 在经过以上两步的处理后，在步骤41 )获得的感兴趣的区域中，利用 Gauss-Laplace算子进行边缘检测，之后运用链码跟踪方法，4巴由边缘点构成的 若干区域标记出来，结果为若干连通区域；
43)目标物识别，即判断步骤42)获得的连通区域是否是人或其他矿井 机车，本实例采用模板匹配方法进行目标物识别，模板包括人体和机车；通过 检测连通区域是否符合人体或机车的特征，从而提取出所需要的目标物；若存 在目标物，则执行步骤44),若不存在目标物，则返回步骤l);
44)该优选实施例中选用有效焦距为16mm的单目红外CCD摄4I4几。根 据井下轨道宽度是定值的特性及摄像头安装高度需求，针对摄像头安装高度的 不同，经对高度范围为(0.845m~l.3m)的大量实验数据拟合得到目标距离摄像头 的世界坐标系中的距离值d与图像中目标物低端所在像素行的轨道宽度值wp 之间的曲线关系，其函数表达式为
式中，d为目标物与本矿井机车的距离，wp为图像中目标物底端所在像素 行的轨道宽度值，32分别为
iifl2 = i321 X A3 + J!722 X A2 + J 23 X+ j|724式中，h为摄像装置安装高度，参数pn、 p12、 pi3、 pi4、 p2l、 P22、 P23、 P24 可根据试验数据，通过计算拟合得到，最佳的，在置信度为95%的置信区间中的拟合值如下表所示参数值参数值Pll-7901P21-253P122.342e+004P22726.7Pl3-2.251e+004P23-671.7Pl48362P24200,9只要将目标物低端所在像素行的轨道宽度值Wp代入以上关系式，即可计算出目标物与本机车的距离值d,当距离值d小于预设值时，则发出报警，并返 回步骤1)采集下一帧图像。预设值可通过如下方法确定矿井机车的运行速度为u,驾驶员在开始制 动前最少需要的反应时间为、，产生制动效果需要的时间为^ ,制动时间为/d合计起来，刹车发生效果的最少总时间为r^p+G+G,根据以上参数设定安全距离， 即预设值为z^ur。(^「((U]红色预警 (丄,1.51]黄色预警 ) (1.5Z,oo)不发出预警信号如上式，可设定当距离值d为不同值时，发出不同的预警(报警)信号。 以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技 术的范围之内，则本发明也意图包含这些改动和变型在内。1权利要求
1. 基于单目视觉的矿井机车防撞预警系统，其特征在于包括摄像装置，用于采集矿井机车前方图像；主控制系统，用于接收摄像装置获取的图像信息，判断矿井机车前方轨道是否为弯道，以及判断矿井机车前方是否有目标物，根据判断结果，发出报警命令；以及报警器，接收主控制系统的报警命令，发出警报。
2. 如权利要求1所述的基于单目视觉的矿井机车防撞预警系统，其特征在 于所述摄像装置为红外CCD摄像机。
3. 如权利要求1或2所述的基于单目视觉的矿井机车防撞预警系统，其特 征在于所述基于单目视觉的矿井机车防撞预警系统还包括液晶显示器，与主控制系统连接，实时显示摄像装置获取的图像；以及视频存储器，与主控制系统连接，存储显示摄像装置获取的图像。
4. 一种基于单目视觉的矿井机车防撞预警方法，其特征在于包括如下步骤1) 采集矿井机车前方图像；2) 对图像进行预处理；3) 在预处理后的图像中提取轨道特征，判断轨道是否为弯道；若判断出轨 道为弯道，则发出警报并返回步骤1);若判断出轨道不为弯道，则执行步骤4);4) 确定预处理后的图像中的感兴趣区域，从感兴趣区域中识别目标物；若 存在目标物，则计算目标物与本矿井机车的距离，若距离小于预设值，则发出 警报并返回步骤l);若不存在目标物，则返回步骤l)。
5. 如权利要求4所述的基于单目视觉的矿井机车防撞预警方法，其特征在 于所述步骤2)具体包括如下步骤21) 对图像进行增强处理；22) 对图像进行平滑滤波处理；23) 对图像进行二值化处理；24) 对二值图像进行形态学闭运算处理。
6. 如权利要求4所述的基于单目视觉的矿井机车防撞预警方法，其特征在 于所述步骤3)具体包括如下步骤31) 在预处理后的图像中提取轨道特征；32) 检测轨道是否分盆，如是，则判定轨道为弯道，执行步骤34)，如否， 则执行步骤33)33) 检测轨道是否为弯道，如是，执行步骤34)，如否，执行步骤4)34) 发出警报，返回步骤l)。
7. 如权利要求4所述的基于单目视觉的矿井机车防撞预警方法，其特征在 于所述步骤4)具体包括41) 在预处理后的图像中确定感兴趣的区域；42) 在感兴趣的区域中，进行边缘检测，获得连通区域；43) 对连通区域进行目标物识别，若存在目标物，则执行步骤44),若不 存在目标物，则返回步骤l);44) 计算目标物与本矿井机车的距离，若距离小于预设值，则发出警报并 返回步骤1 )。
8. 如权利要求7所述的基于单目视觉的矿井机车防撞预警方法，其特征在 于所迷步骤44)中，计算目标物与本矿井机车的距离公式模型如下式中，d为目标物与本矿井机车的距离，Wp为图像中目标物底端所在像素 行的轨道宽度值；a" 32的计算模型为ai = Al X & + / 12 x & + / 13 X+ /7M . Q2 = J921 X A3 + & X /Z2 + & X /j + j324式中，h为才聂像装置安装高度，pU、 p12、 p13、 p14、 p21、 p22、 p23、 p24为常量。
9. 如权利要求8所述的基于单目视觉的矿井机车防撞预警方法，其特征在 于所述pn、 p12、 p13、 p14、 p21、 p22、 p23、 P24的取值分别为-7卯1、 2.342e+004、 -2.251e+004、 8362、 -253、 726.7、 -671.7、 200.9。
10. 如权利要求6所述的基于单目视觉的矿井机车防撞预警方法，其特征 在于所述步骤33)检测轨道是否为弯道的具体方法为以图像最低点轨道的 起始点作为参考点，再由近及远选取前方轨道上的多个点，计算各点与参考点 所在直线的斜率，如果各直线斜率呈逐渐增大或减小的变化趋势，则说明轨道 发生弯曲。
全文摘要
本发明涉及矿井安全技术领域，具体涉及保证矿井机车运输安全的防撞预警系统和预警方法；其中预警系统包括摄像装置、主控制系统以及报警器；预警方法包括如下步骤1)采集矿井机车前方图像；2)对图像进行预处理；3)在预处理后的图像中提取轨道特征，判断轨道是否为弯道；若判断出轨道为弯道，则发出警报并返回步骤1)；若判断出轨道不为弯道，则执行步骤4)；4)确定预处理后的图像中的感兴趣区域，从感兴趣区域中识别目标物；若存在目标物，则计算目标物与本矿井机车的距离，若距离小于预设值，则发出警报并返回步骤1)；若不存在目标物，则返回步骤1)。
文档编号E21F17/00GK101519981SQ200910103410
公开日2009年9月2日 申请日期2009年3月19日 优先权日2009年3月19日
发明者侯培培, 娟 刘, 飞 刘, 山 梁, 犇 牛, 谢开明, 鲜晓东 申请人:重庆大学