一种煤矿井下钻探深度计算方法、系统及存储介质与流程

1.本发明涉及煤矿井下钻探深度计算技术领域，尤其涉及一种煤矿钻探深度计算方法、系统及存储介质。


背景技术：

2.煤矿井下瓦斯的含量是影响煤矿安全生产的关键要素，维持井下瓦斯的含量是一项及其重要的工作。当前主要通过钻探抽取井内的瓦斯，以降低井内瓦斯的含量。当钻探的深度小于或大于要求的深度时，都会对抽取瓦斯带来一定的不利影响，产生安全隐患，因此对钻探的深度有着比较高的要求。现有的计算钻探深度的方法主要是在钻探作业结束后，通过观看监控视频对钻杆的数量进行人工统计，但长时间的观看监控视频会带来视觉疲劳，会不可避免的产生人为失误，统计的结果也必然会不准确。此外，井下钻探作业的时间往往较长，采用人工统计的钻探深度计算的效率也非常低下。
3.因此，如何能够准确的、稳定的统计出钻杆的数目，计算出钻探的深度成为一个亟需解决的问题。


技术实现要素：

4.本发明提供了一种煤矿钻探深度计算方法、系统及存储介质，用于解决现有的煤矿钻探深度计算不准确、效率低等问题。
5.为了实现上述目的，本发明通过如下的技术方案来实现：
6.第一方面，本发明提供一种煤矿井下钻探深度计算方法，包括以下步骤：
7.采集煤矿井下钻探作业视频流；
8.将钻探作业视频流输入预设网络模型以计算煤矿井下钻探深度，计算步骤如下：
9.判断有效退杆作业起始标志，当预设网络模型第一次检测到钻探退杆作业起始标志时，判断视频流的后m帧内检测到的钻探退杆作业起始标志的次数记为r1，当r1》r时，记为有效退杆作业起始标志位，否则，记为无效标志位，继续检测退杆作业起始标志；其中，r为第一阈值；
10.当识别到有效退杆作业起始标志位后，检测工人退杆动作，并基于检测工人退杆动作执行钻杆识别计数和钻探深度计算步骤，首先检测工人退杆动作标志1，当检测到工人退杆动作标志1后，统计当前视频帧后的k帧内出现工人退杆动作标志1和工人退杆动作标志2的帧数，分别记为i和j，若i》i且j》j时，记为有效工人退杆动作标志，钻杆数目count加1，钻探的总深度depth为count
×
l，若i《＝i或j《＝j，则记为无效工人退杆动作标志，继续检测工人退杆动作，其中，l为单个钻杆的长度，i为第二阈值，j为第三阈值；
11.判断有效退杆作业结束标志，当预设网络模型第一次检测到钻探退杆作业结束标志时，判断视频流的后m帧内检测到的钻探退杆作业结束标志的次数记为r2，当r2》r时，记为有效退杆作业结束标志位，否则，则记为无效标志位，继续检测退杆作业结束标志；
12.直至检测到有效退杆作业结束标志位时，获取此时的钻探总深度depth和钻杆数
目count。
13.第二方面，本发明提供一种煤矿井下钻探深度计算系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面所述的步骤。
14.第三方面，本发明提供一种计算机存储介质，其上存储有计算机程序，程序被处理器执行时实现上述第一方面所述的步骤。
15.本发明具有以下有益效果：
16.本技术提供的一种煤矿井下钻探深度计算方法，当检测到工人退杆作业起始标志后，进行退杆动作检测，当检测到工人退杆动作时，执行钻杆计数和钻探深度计算的步骤，对工人退杆动作进行分析，当满足设定的标准后，统计钻杆的数量并更新钻探的深度，直至检测到退杆作业结束标志。这样，可以准确的、稳定的统计出钻杆的数目，计算出钻探的深度。
17.本技术提供的一种煤矿井下钻探深度计算方法，设置了井下钻探退杆作业的起始标志位、结束标志位的识别和判断方式，可以准确的判断退杆作业的开始和结束，减少了在没有工作的场景下对计算机资源的消耗。
18.本技术提供的一种煤矿井下钻探深度计算方法，以工人的两个退杆动作为判断标准，只有在一段时间内同时检测到这两个动作，才能判定为工人退杆成功，进而提高以实时物体检测模型作为框架的工人退杆动作模型识别的准确性，降低模型的误判率。
19.除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
20.构成本技术的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
21.图1是本发明的一种煤矿井下钻探深度计算方法的流程图；
22.图2是本发明的钻探退杆作业起始(结束)标志示意图；
23.图3是本发明的钻探作业工人退杆示意图；
24.图4是本发明优选实施例中的钻杆计数和钻探深度计算结果示意图，其中(a)为钻杆计数为2，钻探深度为1.5m时的示意图，(b)为钻杆计数为79，钻探深度为29.25m时的示意图。
具体实施方式
25.下面对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.除非另作定义，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的
词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
27.请参见图1，本技术提供一种煤矿井下钻探深度计算方法，包括以下步骤：
28.采集煤矿井下钻探作业视频流；
29.将钻探作业视频流输入预设网络模型以计算煤矿井下钻探深度，计算步骤如下：
30.判断有效退杆作业起始标志，当预设网络模型第一次检测到钻探退杆作业起始标志时，判断视频流的后m帧内检测到的钻探退杆作业起始标志的次数记为r1，当r1》r时，记为有效退杆作业起始标志位，否则，记为无效标志位，继续检测退杆作业起始标志；其中，r为第一阈值；
31.当识别到有效退杆作业起始标志位后，检测工人退杆动作，并基于检测工人退杆动作执行钻杆识别计数和钻探深度计算步骤，首先检测工人退杆动作标志1，当检测到工人退杆动作标志1后，统计当前视频帧后的k帧内出现工人退杆动作标志1和工人退杆动作标志2的帧数，分别记为i和j，若i》i且j》j时，记为有效工人退杆动作标志，钻杆数目count加1，钻探的总深度depth为count
×
l，若i《＝i或j《＝j，则记为无效工人退杆动作标志，继续检测工人退杆动作，其中，l为单个钻杆的长度，i为第二阈值，j为第三阈值；
32.判断有效退杆作业结束标志，当预设网络模型第一次检测到钻探退杆作业结束标志时，判断视频流的后m帧内检测到的钻探退杆作业结束标志的次数记为r2，当r2》r时，记为有效退杆作业结束标志位，否则，则记为无效标志位，继续检测退杆作业结束标志；
33.直至检测到有效退杆作业结束标志位时，获取此时的钻探总深度depth和钻杆数目count。
34.本实施例中，采集煤矿井下钻探作业视频流可以是采用监控设施收集。作业视频流可以包括钻探进杆作业视频、工人调试钻探设备视频、钻探退杆作业起始标志、工人退杆过程以及退杆作业结束标志等钻探作业过程的所有视频。
35.上述的煤矿井下钻探深度计算方法，当检测到工人退杆作业起始标志后，进行退杆动作检测，当检测到工人退杆动作时，执行钻杆计数和钻探深度计算的步骤，对工人退杆动作进行分析，当满足设定的标准后，统计钻杆的数量并更新钻探的深度，直至检测到退杆作业结束标志。这样，可以准确的、稳定的统计出钻杆的数目，计算出钻探的深度。此外，设置了井下钻探退杆作业的起始标志位、结束标志位的识别和判断方式，可以准确的判断退杆作业的开始和结束，减少了在没有工作的场景下对计算机资源的消耗。以工人的两个退杆动作为判断标准，只有在一段时间内同时检测到这两个动作，才能判定为工人退杆成功，进而提高以实时物体检测模型作为框架的工人退杆动作模型识别的准确性，降低模型的误判率。
36.可选地，所述将钻探作业视频流输入预设网络模型以计算煤矿井下钻探深度之前，所述方法还包括：
37.采集煤矿井下的历史钻探作业视频流；
38.对所述历史钻探作业视频流的视频帧进行预处理，将包含钻探退杆作业起始标志、工人退杆动作以及退杆作业结束标志的视频帧分解为图片得到训练数据集，并利用图像标定工具对训练数据集中的图片进行标注；
39.将图片和标注一一对应后，输入到目标yolov5模型中进行特征提取与迭代训练得到预设网络模型。
40.在本可选的实施方式中，视频预处理是将包含钻探退杆作业起始标志、工人退杆过程以及退杆作业结束标志的有效视频帧保存为图片得到训练数据集x＝{x1,x2,x3,x4}。然后，利用图像标定工具labelimg进行标注的内容包括：钻探退杆作业起始标志、结束标志、工人退杆作业动作1和工人退杆作业动作2等4项内容。labelimg对标注内容保存为与图片名称相对应的txt格式文件，文件内容包括标注框4个顶点的坐标，以及标注内容的标签，标签记为0、1、2、3，分别对应着钻探退杆作业起始标志、结束标志、工人退杆作业动作1和工人退杆作业动作2。这样，通过对视频流进行处理，可以筛选出包含有效信息的视频帧，并通过labelimg进行标注，其中，如图2和图3所示，有效信息是指包含钻探过程中退杆作业的起始标志位，结束标志位，工人退杆动作的视频帧。
41.其中，目标yolov5模型的迭代训练步骤包括如下：
42.输入端图片处理，在输入端对图片进行mosaic数据增强、自适应锚框计算、自适应图片缩放等预处理；
43.在对输入数据处理后，将数据输入backbone，进行特征提取，得到特征图；
44.将特征图输入到neck，对特征图进行再加工；
45.计算损失函数，反向传播，直至其收敛，得到训练好的模型；
46.本实施例中，目标yolov5模型为改进的yolov5模型，yolov5模型的改进包括以下两个方面：
47.第一方面，在初始的yolov5模型的backbone中添加了额外的残差单元，增加了yolov5对特征提取的能力，改进后的yolov5模型可以提高物体识别的准确率。
48.第二方面，在yolov5模型的prediction结构中引入了自注意力机制，自注意力机制的引入可以减少模型多外部信息的依赖，提高了模型捕获数据的能力，提高了模型对小目标物体的识别能力。
49.本实施例中，backbone特征提取网络中包含focus，cbl，csp和spp等组件，用于提取图像的高层特征，得到高层特征图。
50.其中focus组件是图片进入backbone前的切片操作，2n*2n*m的图像经过切片操作后变为n*n*4m的特征图，经过切片操作后的特征图需要经过卷积核进行卷积操作，最后通过focus操作得到特征图大小w为：
[0051][0052]
其中，卷积核大小为k，步幅为s，补零层数为p，n为图片的宽，m为通道数。
[0053]
其中，csp由一个卷积层(conv)、一个全连接层(bn)和leaky relu激活函数组成，leaky relu激活函数的公式为：
[0054][0055]
其中，xi是输入，yi是输出，ai是(1,+∞)区间内的固定参数。
[0056]
在改进的yolov5中存在两种csp组件，其中用在backbone中的是csp1_x，特征图经过一个cbl组件和x个残差组件和一个conv层后与经过一个conv层的特征图进行拼接操作(concat)，拼接后的特征图经过一个bn层、leakyrelu激活函数和一个cbl组件后得到该操作最终的特征图；
[0057]
其中spp组件为空间金字塔池化结构，该结构可以有效避免图像物体裁剪不全以及形状扭曲等问题，还解决了卷积神经网络对图像重复特征提取的问题，大大提高了产生候选框的速度，且节省了计算成本。
[0058]
本实施例中，损失函数由classificition loss(分类损失函数)和bounding box regeression loss(回归损失函数)两部分构成，其中bounding box regeression loss采用的是giou_loss。
[0059][0060][0061]
其中，a为预测框和实际标注框的交集，b为预测框和实际标注框的并集，c为预测框和实际标注框的最小外接矩阵的面积。
[0062]
需要说明的是，本实施例中，判断退杆作业有效起始标志(结束标志)的程序的数学表达式如下：
[0063][0064][0065]
其中，to为起始(结束)有效标志帧，第o帧对应的检测结果为起始标志(结束标志)，则令to＝1，否则to＝0；f＝1表示为有效起始标志(结束标志)。
[0066]
钻杆计数程序的数学表达式如下：
[0067][0068][0069][0070]
其中，wo为退杆动作1有效检测帧，so为退杆动作2有效检测帧，第i帧对应的检测结果等于工人退杆动作1，则令wo＝0，否则wo＝0；第i帧对应的检测结果等于工人退杆动作2，则令so＝1，否则so＝0；count表示钻杆的数目。
[0071]
在一示例中，检测到有效退杆作业结束标志位后，将钻探深度和钻杆数目通过指定协议上传至安全生产监控中心。例如，可以通过ftp协议上传至安全生产监控中心。
[0072]
综上，上述的煤矿井下钻探深度计算方法，通过获取煤矿井下钻探作业的视频流数据集，视频流数据集中包括钻探过程中退杆作业的起始标志位，结束标志位，工人退杆动作以及钻探过程中其他操作的过程，对获取的视频流进行处理，筛选出包含有效信息的视频帧，并通过labelimg进行标注，有效信息是指包含钻探过程中退杆作业的起始标志位，结束标志位，工人退杆动作的视频帧，将有效视频帧和标注的标签输入物体实时检测模型中进行迭代训练，直至其收敛，得到训练好的实时物体检测模型，然后将待检测的、井下钻探作业的数据集输入到训练好的物体实时检测模型中，执行井下钻探退杆作业起始位检测、工人退杆数量统计、钻探深度计算以及退杆作业结束位检测等算法，最后将统计的钻杆数量和计算的钻探深度以文件的方式保存在本地，并通过指定协议上传至安全生产监控中心进行报备。本发明中的方法可以准确的统计钻探作业中钻杆的数量和计算钻探的深度，大大提高钻探的深度计算模型的泛化能力和抗干扰能力。
[0073]
其中，使用钻探作业视频训练数据训练改进的yolov5钻探深度实时计算模型，并在实际的钻探作业视频上进行测试，如图4所示，图中的count为统计钻杆的数目，depth为计算钻探的深度，以判断模型的准确性和稳定性。
[0074]
本技术还提供一种煤矿井下钻探深度计算系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法所述的步骤。该煤矿井下钻探深度计算系统可以执行上述的煤矿井下钻探深度计算方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。
[0075]
本技术还提供一种计算机存储介质，其上存储有计算机程序，程序被处理器执行时实现上述方法所述的步骤。该计算机存储介质可以实现上述的煤矿井下钻探深度计算方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。
[0076]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。