露天煤矿不规范行车检测方法、装置及系统与流程

本发明涉及露天煤矿行车监测技术领域，具体而言，涉及一种露天煤矿不规范行车检测方法、装置及系统。

背景技术：

露天采矿作为煤炭工业的优先发展战略，露天煤矿的规模得到了迅速的发展。由于技术以及成本限制，大多数的露天煤矿采用卡车陆地运输的方式。随着露天煤矿数量逐年增多，卡车司机行车不规范等造成的事故也频繁发生，不仅扰乱了矿场正常的生产秩序，导致巨大的经济损失，还对工作人员的生命安全构成了严重的威胁。

因此，如何能够监控露天矿场道路的实时情况，对司机不规范驾驶，频繁超车等情况做出及时的识别与提醒就显得尤为重要。科学有效地对车辆运行状态进行检测，对不规范行车、超车等情况等发现与处置，对于安全生产具有着重要意义。在露天煤矿工作现场的行车不规范行为主要包括：车辆速度超过矿场道路的规定速度以及车辆在矿场道路中进行超车。

目前露天煤矿的监测行车不规范行为主要靠人工实时监控或日常巡逻检查等，人力物力耗费大且监控效果较差。

技术实现要素：

本发明解决是现有露天煤矿的监测行车不规范行为的人工监测方式，存在人力物力耗费大且监控效果较差的问题。

为解决上述问题，本发明提供一种露天煤矿不规范行车检测方法，所述方法包括：获取煤矿道路的监控视频；对所述监控视频的图像帧进行运动目标检测，确定所述图像帧中的运动区域；若多个运动区域出现重叠，则对所述多个运动区域进行车辆头尾检测；根据检测得到的车辆头尾数量确定是否存在超车。

可选地，所述对所述多个运动区域进行车辆头尾检测，包括：根据预先训练的车辆头尾检测定位模型对所述多个运动区域进行车辆头尾检测，确定车辆头部数量和/或车辆尾部数量；所述根据车辆头尾数量确定是否存在超车，包括：若车辆头部数量大于一或车辆尾部数量大于一，则确定存在超车。

可选地，所述根据车辆头尾数量确定是否存在超车，包括：若所述车辆头部数量等于一且所述车辆尾部数量等于一，则确定存在会车；所述方法还包括：若存在会车则检测所述车辆的速度，以及根据所述速度确定是否存在会车超速。

可选地，所述方法还包括：检测所述运动区域中车辆的速度，以及根据所述速度确定是否存在超速。

可选地，所述检测所述运动区域中车辆的速度，包括：获取第一图像帧中所述车辆的第一位置信息及所述第一图像帧之前相邻的第二图像帧中所述车辆的第二位置信息；所述第一图像帧与所述第二图像帧间隔预设时长；根据所述第一位置信息、所述第二位置信息及所述预设时长，确定所述车辆的速度。

可选地，在检测到超车之后，所述方法还包括：存储所述超车的发生时刻对应的图像帧、所述发生时刻前后预设时长的监控视频以及所述超车的检测结果。

本发明提供一种露天煤矿不规范行车检测装置，所述装置包括：获取模块，用于获取煤矿道路的监控视频；运动检测模块，用于对所述监控视频的图像帧进行运动目标检测，确定所述图像帧中的运动区域；超车检测模块，用于若多个运动区域出现重叠，则对所述多个运动区域进行车辆头尾检测，以及根据检测得到的车辆头尾数量确定是否存在超车。

可选地，所述超车检测模块，具体用于：根据预先训练的车辆头尾检测定位模型对所述运动区域进行车辆头尾检测，确定车辆头部数量和/或车辆尾部数量；若车辆头部数量大于一或车辆尾部数量大于一，则确定存在超车。

可选地，所述超车检测模块，具体用于：若所述车辆头部数量等于一且所述车辆尾部数量等于一，则确定存在会车；若存在会车则检测所述车辆的速度，以及根据所述速度确定是否存在会车超速。

本发明提供一种露天煤矿不规范行车检测系统，包括摄像装置、服务器及发声装置；所述摄像装置，用于采集煤矿道路的监控视频；服务器，用于执行上述露天煤矿不规范行车检测方法；发声装置，用于接收所述服务器发送的不规范行车警告指令及根据所述不规范行车警告指令发声。

本发明基于视频流识别技术自动监控露天煤矿道路的不规范行车行为，确定是否存在超车行为，能够降低人工监控及巡逻方式的人力物力消耗，提高不规范行车行为的监控效果，及时发现、及时提醒或警告相关人员，保证工作人员的人身安全，提高作业安全性及作业效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的一个实施例中露天煤矿不规范行车检测方法的应用环境示意图；

图2为本发明的一个实施例中一种露天煤矿不规范行车检测方法的示意性流程图；

图3为本发明的一个实施例中一种露天煤矿不规范行车检测装置的结构示意图。

附图标记说明：

301-获取模块；302-运动检测模块；303头尾检测模块；304-超车检测模块。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了提升矿场采坑针对特殊情况的应急处理能力，需要建设一套基于视频流识别的露天煤矿不规范行车检测方法和系统，通过一套监测系统可同时对超速及超车两种异常情况进行监测。

当检测到车辆时，跟踪车辆的运动轨迹并计算行驶速度。当两车重合时，具体判断是超车还是两车相会，及时通过广播喇叭等通知到作业人员，提醒作业人员提高注意力或劝阻不规范的超车行为，为安全生产保驾护航。

参见图1所示的露天煤矿不规范行车检测方法的应用环境示意图，示出了露天煤矿不规范行车检测系统，其具体包括高清防爆摄像头101、分析服务器102及发声装置103。该高清防爆摄像头101，用于采集露天煤矿的道路的监控视频；该分析服务器102，用于执行露天煤矿不规范行车检测方法；发声装置103，用于接收服务器发送的不规范行车警告指令及根据该不规范行车警告指令发声。在此需要说明的是，高清防爆摄像头101的朝向需要根据其监控的道路的方向确定，由于需要针对多车辆重叠时进行车头车尾检测，其朝向不能垂直或者接近垂直于道路的方向，否则容易出现无法检测到车辆的车头或者车尾、一辆车完全遮挡另一辆车等情况。

高清防爆摄像头101对煤矿道路的情况进行实时监控并获得视频流，然后将获得的视频流通过有线网络传送到分析服务器。有线网络，用于高清防爆摄像头和分析服务器间的视频流传输，以及分析服务器对发声装置的信号控制。

分析服务器102对视频流的图像帧进行分析处理，进行车辆坠落判断、采坑边坡滑坡判断。主要包括以下功能模块：

数据收集模块，通过有线网络与高清防爆摄像头连接，接收通过rtsp(realtimestreamingprotocol，实时流传输协议)传送的视频流，以及将视频流解析后发送数据处理模块。

数据处理模块，用于处理接收到的视频流，并根据运动目标检测算法对运动物体进行检测。若判断为车辆，则持续检测其行车速度，若超出矿场内部道路的规定速度则发送指令给发声装置进行警告并及时通知该司机。若检测到多辆车辆行车有重叠，则通过车头车尾判断，进一步确定是超车还是两车相会，若为超车则发送指令给发声装置进行警告。

数据存储模块，用于若数据处理模块检测到车辆超速、车辆超车等异常情况，则进行记录以保存对应的图像、视频以及分析结果，通知值班人员进行核验以及进行下一步处置，并且为日后的审核复查工作留痕。

图2是本发明的一个实施例中一种采坑坠物检测方法的示意性流程图，该方法包括：

s202，获取煤矿道路的监控视频。

s204，对监控视频的图像帧进行运动目标检测，确定图像帧中的运动区域。

对图像帧进行运动目标检测，是指将图像帧序列中发生位置变化的部分提出并标示的过程。可选地，可采用以下方法之一：帧差法、背景减法、光流法、特征匹配法等。例如，利用帧差法对上述监控视频的连续视频帧进行差分运算，提取出连续视频帧中的不同区域，即为运动区域。连续视频帧可以是监控视频中全部视频帧，也可以是基于预设时长周期性提取的多个视频帧。

在得到视频帧的运动区域后，对该运动区域进行目标检测，目标对象为车辆。预先训练目标检测模型由露天煤矿的道路上常见的车辆的样本集训练得到，该样本集的样本为包括车辆的图像帧，该图像帧标注了车辆位置及其类别标签。

s206，若多个运动区域出现重叠，则对多个运动区域进行车辆头尾检测。

若多个运动区域出现重叠，，则表示多辆车辆运行至相互重叠的位置(导致图像帧中的各车辆的运动区域相连为一个运动区域)，表示当前可能存在超车、会车等情况，需要进一步根据车辆头尾的数量确定是否存在超车。在得到视频帧的运动区域后，对该运动区域进行目标检测，目标对象为车辆。预先训练目标检测模型由露天煤矿的道路上常见的车辆的样本集训练得到，该样本集的样本为包括车辆的图像帧，该图像帧标注了车辆位置及其类别标签。

s208，根据车辆头尾数量确定是否存在超车。

具体地，若车辆头部数量大于一或车辆尾部数量大于一，则确定存在超车。以运动区域中有两辆车为例，由于超车是两辆车同向行驶，会车是两辆车相向行驶，如果车辆头部数量等于一且车辆尾部数量等于一，则说明两车交会，如果车辆头部数量等于二或车辆尾部数量等于二，则说明一车超车。

考虑到两车交会情况下的安全性，交会时车辆的限速相对于车辆独自行驶对应的限速更低，基于此，上述方法还可以针对会车情况进一步执行超速检测，可按照以下步骤执行：

若车辆头部数量等于一且车辆尾部数量等于一，则确定存在会车；若存在会车则检测车辆的速度，以及根据该速度确定是否存在会车超速。其中，会车限速小于上述车辆独自行驶时的限速。

本发明实施例提供的露天煤矿不规范行车检测方法，基于视频流识别技术自动监控露天煤矿道路的不规范行车行为，确定是否存在超车行为，能够降低人工监控及巡逻方式的人力物力消耗，提高不规范行车行为的监控效果，及时发现、及时提醒或警告相关人员，保证工作人员的人身安全，提高作业安全性及作业效率。

可选地，上述方法还可以针对车辆超速的不规范行车行为进行检测，上述方法包括以下步骤：检测运动区域中车辆的速度，以及根据该速度确定是否存在超速。其中，可以按照以下步骤执行车辆速度检测：

首先，获取第一图像帧中车辆的第一位置信息及第一图像帧之前相邻的第二图像帧中车辆的第二位置信息；第一图像帧与第二图像帧间隔预设时长；

然后，根据上述第一位置信息、第二位置信息及预设时长，确定车辆的速度。上述第一位置信息及第二位置信息可通过像素坐标表示，也可通过实际坐标表示，分别可以计算得到车辆的像素速度或实际速度。需要说明的是，在确定是否超速时，可以通过比较像素速度与预设的像素限速值确定，也可以通过比较实际速度与预设的实际限速值确定。

示例性地，以图像帧的左下角为原点建立二维坐标系，根据前后两帧图像帧中车辆坐标、两帧图像帧的间隔时长可计算出车辆的速度。计算公式如下：

其中，v像素速度，(x1,y1)为前一帧的车辆坐标，(x2,y2)为后一帧的车辆坐标，f为监控视频的帧数，1/f为连续两图像帧的间隔时长。

在得到上述像素速度后，进一步通过参照物确定像素距离与实际距离的比例，将该像素速度乘以该比例得到实际速度。例如，在道路上按照规定距离设置参照物，则参照物间的实际距离是已知的，其像素距离也是已知的，从而得到像素距离与实际距离的比例，进一步得到车辆的实际速度。

可选地，按照以下步骤执行车辆超车检测：根据预先训练的车辆头尾检测定位模型对运动区域进行车辆头尾检测，确定车辆头部数量和/或车辆尾部数量。上述车辆头尾检测定位模型，例如可以采用yolo模型，预先收集露天煤矿的道路上常见车辆的行驶照片，手工将车辆位置标注出来，区别车头车尾，构建带有标注信息的数据集；然后，将已标记出车头车尾信息的图片作为训练集，训练yolo模型得到车辆头尾检测定位网络。

若目标检测算法检测到两车重叠，则进一步判断头尾信息。如一头一尾则说明两车交会，若两车都为车尾部或车头则为超车。若检测到车辆超速，或者检测到违规超车，则通过告警系统发出指令，现场发声装置进行广播告警，给对应司机发送异常状态告警短信，提醒其安全驾驶。

在检测到超速或者超车之后，还可以存储超速或超车的发生时刻对应的图像帧、发生时刻前后预设时长的监控视频以及超速或超车的检测结果，以便于人工核验以及保留证据。

由于露天煤矿附近的环境中煤尘大、风沙大，摄像装置采集的监控视频可能出现画面清晰度不够的情况，影响后续超车或超速检测的精度。在执行上述运动目标检测算法之前，可以对监控视频的图像帧进行筛选和预处理。基于此，上述方法还包括：

(1)对监控视频的图像帧进行清晰度检测，然后将清晰度不满足检测处理标准的图像帧剔除。可选地，根据角点检测算法将不符合处理标准的图像剔除。角点表示图像中局部最大值或最小值的孤立点。窗口向任意方向的移动都会导致图像灰度的明显变化，形成的点集称为角点。例如，检测得到的脚点数量较少，则表示图像帧比较模糊。

(2)对监控视频的图像帧进行降噪预处理，例如高斯平滑、多阀值处理等，降低图像中的噪声，且减少自然光线的影响。

本发明实施例针对煤矿采坑会遇到对突发性事件，对采坑周围进行实时监控，通过网络将监控视频传入到分析服务器进行处理。当检测到车辆时，进行车辆的运动轨迹跟踪及计算车辆的行驶速度；当两车重合时，具体判断是超车还是两车相会，及时通过广播喇叭等通知作业人员，提醒提高注意力或劝阻不规范的超车行为，为安全生产保驾护航。

图3是本发明的一个实施例中一种露天煤矿不规范行车检测装置的结构示意图，所述装置包括：

获取模块301，用于获取煤矿道路的监控视频；

运动检测模块302，用于对所述监控视频的图像帧进行运动目标检测，确定所述图像帧中的运动区域；

头尾检测模块303，用于若多个运动区域出现重叠，则对所述多个运动区域进行车辆头尾检测；

超车检测模块304，用于根据检测得到的车辆头尾数量确定是否存在超车。

本发明实施例提供的露天煤矿不规范行车检测装置，基于视频流识别技术自动监控露天煤矿道路的不规范行车行为，确定是否存在超车行为，能够降低人工监控及巡逻方式的人力物力消耗，提高不规范行车行为的监控效果，及时发现、及时提醒或警告相关人员，保证工作人员的人身安全，提高作业安全性及作业效率。

可选地，作为一个实施例，所述超车检测模块304，具体用于：根据预先训练的车辆头尾检测定位模型对所述多个运动区域进行车辆头尾检测，确定车辆头部数量和/或车辆尾部数量；若车辆头部数量大于一或车辆尾部数量大于一，则确定存在超车。

可选地，作为一个实施例，所述超车检测模块304，具体用于：若所述车辆头部数量等于一且所述车辆尾部数量等于一，则确定存在会车；若存在会车则检测所述车辆的速度，以及根据所述速度确定是否存在会车超速。

可选地，作为一个实施例，所述装置还包括速度检测模块，用于：检测所述运动区域中车辆的速度，以及根据所述速度确定是否存在超速。

可选地，作为一个实施例，所述速度检测模块，具体用于：获取第一图像帧中所述车辆的第一位置信息及所述第一图像帧之前相邻的第二图像帧中所述车辆的第二位置信息；所述第一图像帧与所述第二图像帧间隔预设时长；根据所述第一位置信息、所述第二位置信息及所述预设时长，确定所述车辆的速度。

可选地，作为一个实施例，所述装置还包括存储模块，用于：存储所述超车的发生时刻对应的图像帧、所述发生时刻前后预设时长的监控视频以及所述超车的检测结果。

本发明实施例提供了一种露天煤矿不规范行车检测系统，包括摄像装置、服务器及发声装置；所述摄像装置，用于采集煤矿道路的监控视频；服务器，用于执行上述露天煤矿不规范行车检测方法；发声装置，用于接收所述服务器发送的不规范行车警告指令及根据所述不规范行车警告指令发声。

上述实施例提供的露天煤矿不规范行车检测装置及系统能够实现上述露天煤矿不规范行车检测方法的实施例中的各个过程，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述露天煤矿不规范行车检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等。

当然，本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程度来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。