空顶作业的监控方法、装置、设备和存储介质与流程

本发明实施例涉及采矿领域，具体涉及一种空顶作业的监控方法、装置、设备和存储介质。

背景技术：

空顶作业，是指煤矿井下掘进工作面在开掘后，作业人员在巷道顶板未采取任何支护形式的情况下进行作业。煤矿井下掘进工作面掘进后，破坏了煤岩体的原岩应力，巷道围岩因应力重新分布发生变形、破坏，甚至垮落，如人员在没有任何支护的空顶下作业，容易发生巷道片帮、冒顶等伤人事故。现有技术中，采用安全员专门监控，安全员存在脱岗、睡岗等不尽职行为或者作业人员贿赂安全员，让安全员为其空顶作业行为开绿灯，因此存在安全员对空顶作业监管不及时、不客观等现象，容易发生事故。

技术实现要素：

本发明实施例的目的在于提供一种空顶作业的监控方法、装置、设备和存储介质，用以解决现有技术中由于人力监控而造成的监控效果不好的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种空顶作业的监控方法，该方法包括：

获取矿井中的当前图像帧；

确定所述当前图像帧中的空顶区域；

判断所述空顶区域是否有锚网支护动作；

如果确定有锚网支护动作，则判断是否有临时支护设备，如果确定有锚网支护动作且没有临时支护设备则发出报警信息。

在一种可能的实施方式中，所述方法还包括：

如果确定无锚网支护动作，则判断是否有临时支护动作；

如果无临时支护动作，则记录当前帧的时间点；

判断预定时间段内的多个图像帧中是否有临时支护动作，如果均没有临时支护动作，则在预定的时间点报警；

所述预定的时间点＝所述图像帧的时间点+预定的时间段。

在一种可能的实施方式中，所述方法还包括：

如果确定有临时支护动作，则确定所述当前图像帧中的临时支护设备的数量；

判断所述图像帧中的临时支护设备的数量是否小于预定阈值；

如果所述临时支护设备的数量小于预定阈值，则记录所述当前帧的时间点；

获取所述当前图像帧的时间点之后的预定时间点的第一图像帧；

判断所述第一图像帧中临时支护设备的数量是否小于预定阈值，如果小于预定阈值，则报警。

在一种可能的实施方式中，所述方法还包括：如果确定有锚网支护动作，则判断锚网支护动作是否合格；如果不合格，则发出报警信息。

在一种可能的实施方式中，确定所述当前图像帧中的空顶区域，包括：

确定所述当前图像帧中的预先设置的直线标记；其中，所述直线标记为在已做好锚网支护的边缘人工喷绘而形成的；

确定所述当前图像帧中的煤壁；

确定所述煤壁和所述直线标记形成的封闭空间为空顶区。

第二方面，本发明实施例还提供一种空顶作业的监控装置，该装置包括：

获取模块，用于获取矿井中的当前图像帧；

确定模块，用于确定所述当前图像帧中的空顶区域；

判断模块，用于判断所述空顶区域是否有锚网支护动作；以及如果确定有锚网支护动作，则判断是否有临时支护设备；

；报警模块，用于所述判断模块确定有锚网支护动作且没有临时支护设备发出报警信息。

进一步地，所述判断模块还用于，如果确定无锚网支护动作，则判断是否有临时支护动作；

如果无临时支护动作，则记录当前帧的时间点；

判断预定时间段内的多个图像帧中是否有临时支护动作；

所述报警模块，用于在所述判断模块确定预定时间段内没有临时支护动作，在预定的时间点报警；

所述预定的时间点＝所述图像帧的时间点+预定的时间段。

进一步地，所述判断模块还用于，如果确定有临时支护动作，则确定所述当前图像帧中的临时支护设备的数量；

判断所述图像帧中的临时支护设备的数量是否小于预定阈值；

如果所述临时支护设备的数量小于预定阈值，则记录所述当前帧的时间点；

获取所述当前图像帧的时间点之后的预定时间点的第一图像帧；

判断所述第一图像帧中临时支护设备的数量是否小于预定阈值；所述报警模块还用于，如果判断模块确定临时支护设备的数量小于预定阈值，则发出报警信息。

进一步地，所述判断模块还用于，如果确定有锚网支护动作，则判断锚网支护动作是否合格；

所述报警模块还用于，如果判断模块确定有锚网支护动作不合格，发出报警信息。

第三方面，本发明实施例还提供一种空顶作业的监控设备，所述监控设备包括：至少一个处理器和至少一个存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如上述任一项所述的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种路测单元执行如上述任一项所述的方法。

本发明实施例提供的技术方案至少具有如下优点：

本发明实施例提供的空顶作业监控方法，确定有锚网支护动作并且没有临时支护设备，则发出报警信息，避免空顶作业。把人力监控转变为机器监控，提高了监控的效果。

附图说明

附图1a为本发明实施例提供的空顶区域没有安装支护的示意图；

附图1b为本发明实施例提供的空顶区域中安装了支护设备的示意图；

附图2为本发明实施例提供的空顶作业的监控方法的流程图；

附图3为本发明实施例提供的本发明实施例提供的判断临时支护是否合规的流程图；

附图4为本发明实施例提供的另一种空顶作业的监控方法；

附图5为本发明实施例提供的空顶作业的监控装置的结构示意图；

附图6为本发明实施例提供的空顶作业的监控设备的结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

在采矿的过程中，需要先对掘进工作面进行安装支护，参见附图1a所示的空顶区域没有安装支护的示意图；其中，101为掘进工作面，102空顶区域，是工人工作的区域；103是锚网支护区域，是已经进行防护的区域；如果进行了临时支护的工作，参见附图1b所示的空顶区域中安装了支护设备的示意图，空顶区域102中安装了多个横梁104，横梁104起到临时支护的作用。

操作规范规定，只有对空顶区域进行了支护之后才能够进行开采工作；而施工队往往会为了赶工期，追进度等原因，不对空顶区域进行支护工作。如果不进行支护，提高塌方冒顶的事故发生概率。现有技术中，都会由安全员进行监督，如果安全员经过检查后确认进行了空顶支护，工人才能够开采工作，如果安全员经过检查后确认没有进行空顶支护，则就不能够进行空顶支护的工作。人力监督往往会有很多的缺点，人力的成本高，如果安全员被行贿，则又起不到监督的效果。

基于此，本申请提出了一种空顶作业的监控方法，参见附图2所示的空顶作业的监控方法流程图，该方法包括：

步骤s201，获取矿井中的当前图像帧；

其中，可以在矿坑内安装摄像头，摄像头安装在掘进工作面已有锚杆支护区域顶板中间顶锚杆上，摄像头朝向掘进工作面方向，安装位置及角度以能够监测到整个掘进工作面待支护区域为准，摄像头供电及信号传输均为有线方式。监控信号可传输到煤矿调度室监控大屏。摄像头实时监测掘进工作面待支护区域，对监测到的视频利用已训练好的模型进行实时分析，每隔n帧对图像采集一帧，n为大于一的正整数。将每个摄像头拍摄到每张图片进行识别。

步骤s202，确定所述当前图像帧中的空顶区域；

其中，该步骤具体包括：

步骤s2021，确定所述当前图像帧中的预先设置的直线标记；其中，可以用目标检测算法来确定出当前图像帧中的直线标记。所述直线标记为在已做好锚网支护的边缘人工喷绘而形成的；直线标记可以是白线，白线是人工在锚网已经支护的边杆喷绘，除了白线之外，还可以通过识别顶板及两帮最前排已支护锚杆。

步骤s2022，确定所述当前图像帧中的煤壁；其中，可以用目标检测算法来识别图像帧中的煤壁。

步骤s2023，确定所述煤壁和所述直线标记形成的封闭空间为空顶区。

其中，上述空顶区用红色矩形框标记。如附图1a中的101为煤壁的一部分，煤壁还包括顶部区域和底部区域。煤壁和白线形成了一个封闭的空间，如附图1a中的102所表示的区域，该区域就为空顶区。

步骤s203，判断所述空顶区域是否有锚网支护动作；

用训练好的卷积神经网络来识别图像中的动作是否是锚网支护的动作，其中，可以事先采集大量的锚网支护动作的图片，对神经网络进行训练，采集的图片越多，识别的结果就越准确。

步骤s204，如果确定有锚网支护动作，则判断是否有临时支护设备；如果确定有锚网支护动作且没有临时支护设备，则执行步骤s205；

步骤s205，发出报警信息。

其中，可以用训练好的卷积神经网络来进行识别临时支护设备。

其中，操作规范规定，在锚网支护动作之前，必须安装临时支护设备，如果不安装临时支护设备，极容易在锚网支护的过程中造成塌方冒顶事故的发生。

如果有锚网支护动作，则说明当前的帧的图像中，工人正在进行锚网支护的工作，但是图像中没有临时支护设备，则说明工人门没有事先进行临时支护，属于违规操作，报警。

上述方法，可以从图像中识别出空顶作业的情况，即从图像中确定有锚网支护动作且没有临时支护设备，则发出报警信息。把从人力监控变为了机器监控，提高了监控的效果。如果发现违规操作，则及时报警，降低了冒顶塌方事故的发生概率。

在一种可能的实施方式中，所述方法还包括：

如果确定无锚网支护动作，则判断是否有临时支护动作；

其中，临时支护动作是指操作人员手持横梁进行安装固定横梁的动作；如果无临时支护动作，则记录当前帧的时间点；

判断预定时间段内的多个图像帧中是否有临时支护动作，如果均没有临时支护动作，则在预定的时间点报警；

所述预定的时间点＝所述图像帧的时间点+预定的时间段；

如果至少一个帧中有临时支护动作，则结束。

其中，一般摄像头的拍摄频率为60帧/秒，相邻的两个图像帧的时间间隔为1/60秒；为了避免遗漏临时支护动作发生确没有检测到的情况，可以采用逐帧检测的方法，但是为了节省计算的资源消耗，减小计算量，还可以采用跳帧检测的方法进行，比如，每间隔10个或者20个图像帧抽取出一个图像帧进行判断。上述方法，是没有进行锚网支护的作业的情况，该情况中，没有临时支护动作，并且监控了一段预定的时间阈值后，还是没有监控到临时支护的动作，则确定该情况也是一种违规的情况，虽然没有进行作业，但是一直没有进行支护。上述的时间阈值，可以是3分钟或者5分钟等，具体的时间大小可以灵活设定，本申请不做具体限制。

如果确定有临时支护动作，如果想要判断该作业是否合规，还需要判断临时支护设备的数量是否达标，参见附图3所示的判断临时支护是否合规的流程图，该方法包括：

步骤s301，确定所述当前的图像帧中的临时支护设备的数量；

步骤s302，判断所述图像帧中的临时支护设备的数量是否小于预定阈值；

如果是，则进行步骤s303；

步骤s303，记录所述当前帧的时间点；

步骤s304，判断预定时间段内的多个图像帧中是否有临时支护动作；

步骤s305，如果均没有临时支护动作，则在预定的时间点报警；

如果是；则执行步骤s306；

步骤s306，在预定的时间点发出报警信息；

其中，所述预定的时间点＝所述图像帧的时间点+预定的时间段。

上述方法，有临时支护的动作，但是安装的临时支护的设备的数量一直没有达到标准的要求，所以报警。

如果确定有锚网支护动作，则判断锚网支护动作是否合格；如果不合格，则发出报警信息。

在一种可能的实施方式中，所述方法还包括：如果确定有锚网支护动作，则判断锚网支护动作是否合格；如果不合格，则发出报警信息。其中，在作业人员锚网支护动作，将其分为合规与不合规两种类型：合规动作特征是作业人员先使用顶锚杆钻机向顶板进行钻孔，操作顶锚杆钻机时，必须两人作业，一人操作钻机，一人扶钻杆，保证钻杆能顺利钻进。预紧锚杆时，作业人员需要用力矩扳手拧紧锚杆螺母。顶板支护完成后，需要撤离钻机；

不合规动作特征是未使用顶锚杆钻机向顶板进行钻孔、一人作业操作顶锚杆钻机、未预紧锚杆、未撤离钻机。

该方法具体包括：

利用卷积神经网络对标注框中的内容进行特征提取；

根据提取的特征确定出识别结果；

如果识别出只有一个人作业，则确定不合规；

如果确定出两个人作业，则确定出合规。

还可以判断锚杆的角度是否达到预定的角度的阈值范围内，如果达到预定的范围内，则动作合规，如果在预定的范围之外，则动作违规。

本申请还提出了另一种空顶作业的监控方法，参见附图4所示的流程图；该方法包括：

开始；

步骤s401，判断图片中是否有白线；

步骤s402，识别煤壁；

步骤s403，用红色矩形框标记煤壁到白线为空顶区域；

步骤s404，判断空顶区域是否有锚网支护动作，如果是，则执行步骤s405；如果否，则执行步骤s407；

步骤s405，判断锚网支护动作是否合规，如果否，则执行步骤s415；如果是，则执行步骤406；

步骤s406，判断是否有临时支护；如果是，则结束，如果否，则执行步骤s415；

步骤s407，判断空顶区域是否有临时支护动作,如果是，则执行步骤s408，如果否，则执行步骤s416；

步骤s408，记录时间t4；

步骤s409，清除时间t1；

步骤s410，识别图片中临时支护设备的数量；

步骤s411，判断x是否大于等于y；如果是，则执行步骤s421,如果否，则执行步骤s412；

步骤s412，记录时间t5；

步骤s413，计算t6＝t5-t4；

步骤s414，判断t6是否超过阈值t2；如果是，则执行步骤s415，如果否，则执行步骤s410；

步骤s415，报警；

步骤s416，记录时间t1；

步骤s417，判断下一帧图片中是否有支护动作；如果是，则执行步骤s409，如果否，则执行步骤s418；

步骤s418，记录时间t2；

步骤s419，计算t3＝t2-t1；

步骤s420，判断t3是否超过阈值t1；如果是，则执行步骤s415，如果否，则执行步骤s417；

步骤s421，清除时间t3；结束。

第二方面，本发明实施例还提供一种空顶作业的监控装置，参见附图5所示的空顶作业的监控装置的结构示意图，该装置包括：

获取模块51，用于获取矿井中的当前图像帧；

确定模块52，用于确定所述当前图像帧中的空顶区域；

判断模块53，用于判断所述空顶区域是否有锚网支护动作；

如果确定有锚网支护动作，则判断是否有临时支护设备；

报警模块54，用于所述判断模块确定有锚网支护动作且没有临时支护设备，发出报警信息。

所述判断模块53还用于，如果确定无锚网支护动作，则判断是否有临时支护动作；

如果无临时支护动作，则记录当前帧的时间点；

判断预定时间段内的多个图像帧中是否有临时支护动作，如果均没有临时支护动作，则在预定的时间点报警；

所述预定的时间点＝所述图像帧的时间点+预定的时间段；

如果至少一个帧中有临时支护动作，则结束。

在一种可能的实施方式中，所述判断模块53还用于，如果确定有临时支护动作，则确定所述当前图像帧中的临时支护设备的数量；

判断所述图像帧中的临时支护设备的数量是否小于预定阈值；

如果所述临时支护设备的数量小于预定阈值，则记录所述当前帧的时间点；

获取所述当前图像帧的时间点之后的预定时间点的第一图像帧；

判断所述第一图像帧中临时支护设备的数量是否小于预定阈值，如果小于预定阈值，则报警。

在一种可能的实施方式中，所述判断模块53还用于，如果确定有锚网支护动作，则判断锚网支护动作是否合格；

所述报警模块还用于，如果所述判断模块确定锚网支护动作不合格，则发出报警信息。

在一种可能的实施方式中，所述确定模块52还用于，确定所述当前图像帧中的预先设置的直线标记；其中，所述直线标记为在已做好锚网支护的边缘人工喷绘而形成的；

确定所述当前图像帧中的煤壁；

确定所述煤壁和所述直线标记形成的封闭空间为空顶区。

第三方面，本发明实施例还提供一种空顶作业的监控设备，参见附图6所示的监控设备结构示意图；所述监控设备包括：至少一个处理器61和至少一个存储器62；

所述存储器62用于存储一个或多个程序指令；

所述处理器61，用于运行一个或多个程序指令，用以执行如上述任一项所述的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被执行如上述任一项所述的方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(digitalsignalprocessor，简称dsp)、专用集成电路(applicationspecific工ntegratedcircuit，简称asic)、现场可编程门阵列(fieldprogrammablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(read-onlymemory，简称rom)、可编程只读存储器(programmablerom，简称prom)、可擦除可编程只读存储器(erasableprom，简称eprom)、电可擦除可编程只读存储器(electricallyeprom，简称eeprom)或闪存。

易失性存储器可以是随机存取存储器(randomaccessmemory，简称ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(staticram，简称sram)、动态随机存取存储器(dynamicram，简称dram)、同步动态随机存取存储器(synchronousdram，简称sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram，简称ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，简称esdram)、同步连接动态随机存取存储器(synchlinkdram，简称sldram)和直接内存总线随机存取存储器(directrambusram，简称drram)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。