一种煤矿探放水智能监控方法、装置及终端设备与流程

本发明实施例涉及人工智能技术领域，具体涉及一种煤矿探放水智能监控方法、装置及终端设备。

背景技术：

煤矿水害是威胁煤矿井下安全生产的重大危害之一。在生产中必须使用探放水的方法，探明工作面前方的水情，以消除水灾事故隐患，保证采掘工作的安全。鉴于井下探放水钻孔数据量大、钻孔深度较深并存在安全隐患，因此探放水过程中有效的监视管理成为探放水工作顺利进行的保障。随着计算机技术的发展，对探放水过程和质量的智能化监控将成为未来的发展趋势。

目前煤矿探水监控主要方式为计数器统计打钻深度，例如利用探机卸钻杆的个数表示打钻深度，具体实现过程为：将钻探机运行过程转化为波形图，即钻探机运行时经历一个波峰和一个波谷则为一个回程，每个回程卸一根钻杆，则可以通过统计钻探机经过波峰、波谷的次数作为卸钻杆的次数，进而获得钻取深度。然而该方法存在如下缺点：

1)实际卸钻杆过程无法保证每个回程卸一根钻杆，有可能2-3个回程才能完整卸取一根钻杆，即卸取单根钻杆所需回程数不固定，无法以此作为统计打钻深度的依据；

2)在卸钻杆工作接近结束时，最后几根钻杆受力较小，人工拆卸的效率会高于探钻机卸取效率，因此通常由井下操作人员手动卸取，此时通过分析探钻机运行过程的波形无法获得卸钻杆次数；

3)若探钻机空转，即不带钻杆做往复运动，也将被确定为卸钻杆操作。

综上可以发现，现有的技术中确定钻探深度的方法并不适用于实际生产中的探放水智能检测。那么，如何才能够精确确定钻探深度，进而将其应用到实际的探放水智能检测中成为亟待解决的技术问题。

技术实现要素：

为此，本发明实施例提供一种煤矿探放水智能监控方法、装置及终端设备，以解决现有技术中无法精确确定钻探深度，进而不能将其应用到实际的探放水智能检测中的技术问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，提供了一种煤矿探放水智能监控方法，该方法包括：获取待检测的钻探图像；

利用预构建的目标检测模型对所述待检测的钻探图像进行分析，确定卸载钻杆的次数；

根据卸钻杆的次数和每一个钻杆的长度，确定钻探深度。

进一步地，利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数，具体包括：

当从待检测的钻探图像中确定钻机第i次处于最左端位置后，确定待检测的钻探图像中连续第一预设数量的图像帧显示钻机运行的轨道上有钻杆，且当从待检测的钻探图像中确定钻机第i+1次处于最左端位置后，确定待检测的钻探图像中连续第二预设数量的图像帧显示钻机运行的轨道上没有钻杆时，确定完成一次卸钻杆，其中，i为大于或者等于1的正整数。

进一步地，当i等于1时，从待检测的钻探图像中确定钻机第i次处于最左端位置，具体包括：

根据待检测的钻探图像，统计钻机在轨道上运行时最左端对应的最小极值；

根据最小极值，确定预设误差范围；

当从待检测的钻探图像中确定，连续第三预设数量的图像帧均显示钻机在轨道上运行到预设误差范围，则确定钻机第1次处于最左端位置。

进一步地，目标检测模型为基于卷积神经网络构建的目标检测模型，目标检测模型构建方法包括：

接收被人工标记过的钻探图像样本，其中，人工标记的对象至少包括钻探图像样本中的钻机对应的部分图像、“轨道上有钻杆”对应的部分图像以及“轨道上没有钻杆”对应的部分图像；

利用标记过的钻探图像样本对目标检测模型进行训练，获取最优目标检测模型，作为预构建的目标检测模型。

进一步地，人工标记的对象还包括：钻探图像样本中出现的工作人员图像。

进一步地，利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数之前，方法还包括：

对图像数据进行格式转换，以便图像数据符合预构建的目标检测模型的输入格式。

进一步地，待检测的钻探图像以及待检测的钻探图像样本均为视频图像，采集视频图像的视频采集装置位于钻机的上部。

进一步地，利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数时，采用逐帧分析方式或者采用跳帧分析方式。

根据本发明实施例的第二方面，提供了一种终端设备，该终端设备包括：处理器和存储器；

存储器用于存储一个或多个程序指令；

处理器，用于运行一个或多个程序指令，用以执行如上一种煤矿探放水智能监控方法中的任一方法步骤。

根据本发明实施例的第三方面，提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种终端设备执行如上一种煤矿探放水智能监控方法中的任一方法步骤。

本发明实施例具有如下优点：首先获取待检测的钻探图像，然后利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数。并根据卸钻杆的次数和每一个钻杆的长度，最终确定钻探深度。进而，进而将其应用到实际的探放水智能检测中。通过该种实现方式，利用预构建的目标检测模型对待检测的钻探图像进行分析，可以精确的确定卸钻杆的次数。那么，自然也就可以精确的确定钻探深度，以便后续在实际生产中对探放水的过程和质量进行智能化监控，尽量避免水灾事故隐患，保证所有工作人员的人生财产和生命安全。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施例1提供的一种煤矿探放水智能监控方法流程示意图；

图2为本发明实施例2提供的一种煤矿探放水智能监控装置结构示意图；

图3为本发明实施例3提供的一种终端设备结构示意图；

图4为本发明提供的在轨道上有钻机情况中，以方框形式对图中所有对象进行标记的示意图，

图5为本发明提供的在轨道上没有钻机的情况中，以方框形式对图中所有对象进行标记的示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例1提供了一种煤矿探放水智能监控方法，在介绍本方法之前，首先介绍本方法所对应的一种煤矿探放水智能监控系统，该系统可以包括：

图像采集装置、终端设备、钻机、便于钻机运行的轨道以及钻杆等。

优选的，图像采集装置安装于轨道侧面，图像采集装置位于钻机的上部。在本实施例中，钻机与图像采集装置之间的角度为90°。安装图像采集装置的原则为避免遮挡，以看清轨道以及轨道上的钻杆为基本要求。图像采集装置安装完成并启动后，终端设备可以实时从图像采集装置中获取待检测的钻探图像。例如，图像采集装置为摄像头，那么待检测的钻探图像为视频图像。

钻机在轨道上由左至右运行，或者由右至做反方向运行。钻机固定在轨道上，沿轨道做直线运动，用于在卸钻杆过程中带动钻杆沿轨道直线运动；由左至右运行过程，就是取出钻杆的过程，达到最右端时，由钻机卸钻杆，或者由人工卸钻杆。

钻机卸钻杆过程为：钻机在轨道上运动，牵引钻杆在轨道上沿钻机前进方向运动，当钻机运动到轨道一端后停止，由操作人员将钻杆卸下；

人工卸钻杆过程为：操作人员沿着钻机轨道将钻杆从钻孔中拔出，再将钻杆卸下。优选地，钻杆在拔出过程中，只能沿轨道运动。

钻机在轨道上运行直至卸钻杆等全部操作过程都将被图像采集装置采集，并传输到终端设备上。而终端设备利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数。然后，根据卸钻杆的次数和每一个钻杆的长度，确定钻探深度。

以上，为简单介绍煤矿探放水智能监控系统中各部件以及各部件所执行的功能。下文将详细介绍煤矿探放水智能监控方法。具体如图1所示，该方法步骤如下：

步骤110，获取待检测的钻探图像。

步骤120，利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数。

具体的，待检测的钻探图像可以直接以照片的形式存在也可以是以视频图像的形式存在。优选的，本实施中将以图像采集装置采集的视屏图像为例进行说明。

可选地，在执行步骤120之前，该方法还包括：对图像数据进行格式转换，以便图像数据符合预构建的目标检测模型的输入格式。例如，将视频图像转换为一帧一帧的图像，并且将图像转换为能够适应目标检测模型大小的图像帧等预处理过程。在执行这个预处理过程后，再输入到预构建的目标检测模型中进行分析。

可选地，利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数，具体包括：

当从待检测的钻探图像中确定钻机第i次处于最左端位置后，确定待检测的钻探图像中连续第一预设数量的图像帧显示钻机运行的轨道上有钻杆，且当从待检测的钻探图像中确定钻机第i+1次处于最左端位置后，确定待检测的钻探图像中连续第二预设数量的图像帧显示钻机运行的轨道上没有钻杆时，确定完成一次卸钻杆，其中，i为大于或者等于1的正整数。

具体的，如果i等于1，就表明在此之前，钻机还没有执行过工作，需要对钻机位置进行初始化。

具体的初始化过程为：

根据待检测的钻探图像，统计钻机在轨道上运行时最左端对应的最小极值。

最小极值的确定，实际上就是统计钻机在轨道上运行的极值坐标，例如操作钻机在轨道上向最左端运行几次，然后取最小极值。

根据最小极值，确定预设误差范围。

具体的，误差例如在最小极值的±5％左右，那么，预设误差范围就是最小极值±5％。

当从待检测的钻探图像中确定，连续第三预设数量(例如10帧)的图像帧均显示钻机在轨道上运行到预设误差范围，则确定钻机第1次处于最左端位置。

当i不等于1时，就不需要执行上述确定最小极值以及确定预设误差范围的步骤。而是直接调用，也就是只要确定从待检测的钻探图像中确定钻机第i次是否处于最左端位置。具体的判断过程跟判断第一次是否处于最做端位置的过程类似，也即是判断是否连续第三预设数量的图像帧均显示钻机在轨道上瑜星到预设误差范围。

当从待检测的钻探图像中确定钻机第i次处于最左端位置后，确定待检测的钻探图像中连续第一预设数量的图像帧显示钻机运行的轨道上有钻杆，且当从待检测的钻探图像中确定钻机第i+1次处于最左端位置后，确定待检测的钻探图像中连续第二预设数量的图像帧显示钻机运行的轨道上没有钻杆时，确定完成一次卸钻杆，其中，i为大于或者等于1的正整数。

在一个具体例子中，在判定钻机到达轨道的最左端后，开始检测后续各帧对象，模型检测到的对象中包含连续5帧或者大于5帧的预设数量的“轨道上有钻杆”，则目标检测模型判定钻机或者人正在从钻孔中拔一根钻杆；执行这个过程后，再次确定钻机已经运行到最左端后，在判定钻机到达轨道的最左端后，开始检测后续各帧对象，模型检测到的对象中包含连续5帧或者大于5帧的预设数量的“轨道上无钻杆”；目标检测模型判定已经从钻孔中卸下了一根钻杆。当目标检测模型的检测结果在检测到轨道上有钻杆和轨道上没有钻杆这两种结果之间切换一次，则代表钻机或人工完成了一根钻杆的卸取。通过这种方式，可以统计卸钻杆次数，直至卸钻杆完毕，统计卸钻杆的总次数，对应的也就是钻杆的数量。

可选的，在执行上述步骤之前，实际上还需要构建目标检测模型，在一个具体例子中，预构建的目标检测模型为基于卷积神经网络构建的目标检测模型，具体的构建方法包括：

接收被人工标记过的钻探图像样本，其中，人工标记的对象至少包括钻探图像样本中的钻机对应的部分图像、“轨道上有钻杆”对应的部分图像以及“轨道上没有钻杆”对应的部分图像；

利用标记过的钻探图像样本对目标检测模型进行训练，获取最优目标检测模型，作为预构建的目标检测模型。

具体的目标检测模型可以是YOLO^1，2系列或SSD³系列单端目标检测模型。

进一步可选的，人工标记的对象还包括：钻探图像样本中出现的每一位工作人员分别对应的部分图像。其中，“钻机”，指的是探放水作业现场视频中出现的用于将钻杆从掘进面拔出的装置；“轨道上有钻杆”，指的是探放水作业现场视频中，钻杆从掘进面被拔出20％开始到被拔出100％并且一直停留在轨道上结束；轨道上无钻杆”，指的是探放水作业现场视频中轨道上没有安装上钻杆。确定工作人员对应的部分图像，主要是为了防止工作人员作弊，比如工作人员在同一位置，而钻机也同样在同一位置，工作人员不停的卸钻杆或者装上钻杆这样的情况发生。标记的对象可以是以方框或者其他方式对对象进行标记。例如图4和图5所示，图4中示出了在轨道上有钻机情况中，以方框形式对图中所有对象进行标记的示意图。图5示出了在轨道上没有钻机的情况中，以方框形式对图中所有对象进行标记的示意图。

具体的，判断钻机、工作人员或钻杆等位置是否发生移动，可以参考像素点的位置坐标。上文所说的最左端的最小极值实际也是根据像素点的位置坐标来确定的。

可选地，钻探图像样本同样可以是视频图像或者图片，优选的，本实施中以视频图像为例进行说明。

可选地，待检测的钻探图像和/或钻探图像样本可以24帧每秒的形式采集。

可选地，利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数时，采用逐帧分析方式或者采用跳帧分析方式。

当采用跳帧分析方式时，每一帧的分析间隔不大于10帧。

步骤130，根据卸钻杆的次数和每一个钻杆的长度，确定钻探深度。

具体的，卸钻杆的次数实际就可以对应钻杆的数量。那么卸钻杆的次数乘以每一个钻杆的长度，就可以直接确定钻探深度。

本发明实施例提供的一种煤矿探放水智能监控方法，首先获取待检测的钻探图像，然后利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数。并根据卸钻杆的次数和每一个钻杆的长度，最终确定钻探深度。进而，进而将其应用到实际的探放水智能检测中。通过该种实现方式，利用预构建的目标检测模型对待检测的钻探图像进行分析，可以精确的确定卸钻杆的次数。那么，自然也就可以精确的确定钻探深度，以便后续在实际生产中对探放水的过程和质量进行智能化监控，尽量避免水灾事故隐患，保证所有工作人员的人生财产和生命安全。

进一步地，通过本发明的实施方式，利用目标检测模型，对作业现场的钻机、钻机轨道上有钻杆和钻机轨道上无钻杆状态进行检测，通过状态检测和判断，确定卸钻杆的数量，进而计算钻孔深度。与现有技术相比，本发明所提出的技术方案利用对象检测方法，记录卸钻杆过程，实现卸钻杆数量的准确计算，从而达到自动监控的目的。

与上述实施例1对应的，本发明实施例2还提供了一种煤矿探放水智能监控装置，具体如图2所示，该装置包括：获取单元201和处理单元202。

获取待检测的钻探图像；

利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数；

根据卸钻杆的次数和每一个钻杆的长度，确定钻探深度。

可选的，处理单元202具体用于，当从待检测的钻探图像中确定钻机第i次处于最左端位置后，确定待检测的钻探图像中连续第一预设数量的图像帧显示钻机运行的轨道上有钻杆，且当从待检测的钻探图像中确定钻机第i+1次处于最左端位置后，确定待检测的钻探图像中连续第二预设数量的图像帧显示钻机运行的轨道上没有钻杆时，确定完成一次卸钻杆，其中，i为大于或者等于1的正整数。

可选地，当i等于1时，从待检测的钻探图像中确定钻机第i次处于最左端位置，具体包括：

根据待检测的钻探图像，统计钻机在轨道上运行时最左端对应的最小极值；

根据最小极值，确定预设误差范围；

当从待检测的钻探图像中确定，连续第三预设数量的图像帧均显示钻机在轨道上运行到预设误差范围，则确定钻机第1次处于最左端位置。

可选地，获取单元201还用于，接收被人工标记过的钻探图像样本，其中，人工标记的对象至少包括钻探图像样本中的钻机对应的部分图像、“轨道上有钻杆”对应的部分图像以及“轨道上没有钻杆”对应的部分图像；

处理单元202还用于，利用标记过的钻探图像样本对目标检测模型进行训练，获取最优目标检测模型，作为预构建的目标检测模型。

可选地，人工标记的对象还包括：钻探图像样本中出现的每一位工作人员分别对应的部分图像。

可选地，处理单元202还用于，利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数之前，方法还包括：

对图像数据进行格式转换，以便图像数据符合预构建的目标检测模型的输入格式。

可选地，待检测的钻探图像以及待检测的钻探图像样本均为视频图像，采集视频图像的视频采集装置位于钻机上部。

可选地，处理单元202具体用于：利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数时，采用逐帧分析方式或者采用跳帧分析方式。

本发明实施例提供的一种煤矿探放水智能监控装置中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。

本发明实施例提供的一种煤矿探放水智能监控装置，首先获取待检测的钻探图像，然后利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数。并根据卸钻杆的次数和每一个钻杆的长度，最终确定钻探深度。进而，进而将其应用到实际的探放水智能检测中。通过该种实现方式，利用预构建的目标检测模型对待检测的钻探图像进行分析，可以精确的确定卸钻杆的次数。那么，自然也就可以精确的确定钻探深度，以便后续在实际生产中对探放水的过程和质量进行智能化监控，尽量避免水灾事故隐患，保证所有工作人员的人生财产和生命安全。

进一步地，通过本发明的实施方式，利用目标检测模型，对作业现场的钻机、钻机轨道上有钻杆和钻机轨道上无钻杆状态进行检测，通过状态检测和判断，确定卸钻杆的数量，进而计算钻孔深度。与现有技术相比，本发明所提出的技术方案利用对象检测方法，记录卸钻杆过程，实现卸钻杆数量的准确计算，从而达到自动监控的目的。

与上述实施例相对应的，本发明实施例3还提供了一种终端设备，具体如图3所示，该终端设备包括：处理器301和存储器302；

存储器302用于存储一个或多个程序指令；

处理器301，用于运行一个或多个程序指令，用以执行如上实施例所介绍的一种煤矿探放水智能监控方法中的任一方法步骤。

本发明实施例提供的一种终端设备，首先获取待检测的钻探图像，然后利用预构建的目标检测模型对待检测的钻探图像进行分析，确定卸钻杆的次数。并根据卸钻杆的次数和每一个钻杆的长度，最终确定钻探深度。进而，进而将其应用到实际的探放水智能检测中。通过该种实现方式，利用预构建的目标检测模型对待检测的钻探图像进行分析，可以精确的确定卸钻杆的次数。那么，自然也就可以精确的确定钻探深度，以便后续在实际生产中对探放水的过程和质量进行智能化监控，尽量避免水灾事故隐患，保证所有工作人员的人生财产和生命安全。

进一步地，通过本发明的实施方式，利用目标检测模型，对作业现场的钻机、钻机轨道上有钻杆和钻机轨道上无钻杆状态进行检测，通过状态检测和判断，确定卸钻杆的数量，进而计算钻孔深度。与现有技术相比，本发明所提出的技术方案利用对象检测方法，记录卸钻杆过程，实现卸钻杆数量的准确计算，从而达到自动监控的目的。

与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，一个或多个程序指令用于在终端设备执行如上所介绍的一种煤矿探放水智能监控方法。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。