一种基于图像识别的井下破碎机自动控制方法及系统与流程

本发明实施例涉及煤矿安全技术领域，具体涉及一种基于图像识别的井下破碎机自动控制方法及系统。

背景技术：

安全是煤矿管理永恒的话题，是关乎集体财产和职工生命的头等大事。但是煤矿多属于井下开采，开采深度大，生产环境复杂，同时受到瓦斯，煤尘，水，火等自然因素的威胁，导致煤矿行业成为国民眼中的高危行业。但由于技术受限，目前井下安全生产仍然是靠人工作业操作机器，通过人工检查、记录和检验来管理和考核安全生产指标，但是人为操作存在信息不透明的因素，导致煤矿行业的规程标准和考核信息不对称，给企业管理增加负担。

另外，人工井下作业生产环境复杂，会增加危险事故的发生率，如破碎机工作时，煤块在较大的压力下会飞出进料槽，伤到工作人员等等危险因素存在。且目前对井下设备的控制均采用人工控制，由于人的顾及范围有限，不能迅速对现场复杂环境做出判断，导致操作效率低；除此之外，煤矿上绝大部分机械设备都是一个班次接一个班次的连续工作，再加上煤矿工作环境恶劣，工况条件苛刻长年累月连续运转导致煤矿机械设备的故障和事故的发生，而现有的人工控制不能对设备进行保护机制，从而影响煤矿的生产效率，增加煤矿的生产成本。

技术实现要素：

本发明实施例的目的在于提供一种基于图像识别的井下破碎机自动控制方法及系统，用以解决井下破碎机等设备的控制作业依赖人工操作的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种基于图像识别的井下破碎机自动控制方法，所述方法包括：

采集监控区的实时视频图像，对所述实时视频图像内的监测目标进行识别；其中，所述监测目标至少包括第一目标、第二目标和第三目标；

根据所述第一目标生成启动信号，并将所述启动信号发送至控制器，控制器控制破碎机启动；

对所述第二目标内物料的存储量进行判定，若所述物料的存储量小于预设值，则生成停止信号，并将所述停止信号发送至控制器，控制器控制破碎机停止；

其中，任意时刻若检测到第三目标，和/或第二目标内存在异物时，生成急停信号，并将所述急停信号发送至控制器，控制器控制破碎机立即停止。

进一步地，对所述实时视频图像内的监测目标进行识别的方法包括：对所述实时视频图像进行数据预处理；确定预处理后视频图像的识别区域；提取识别区域的图像特征，对识别区域内的监测目标进行目标检测。

进一步地，所述方法包括余料清理机制，所述余料清理机制包括：控制器接收到停止信号后，启动余料清理倒计时，在余料清理倒计时结束之后，控制器控制破碎机立即停止。

进一步地，所述方法还包括启动延时机制，所述启动延时机制包括：控制器接收到启动信号后，按照控制器预设程序进行启动倒计时，启动倒计时结束，则控制器控制破碎机启动，且启动倒计时未完成前，控制器禁止破碎机执行停止动作；所述方法还包括停机延时机制，停机延时机制包括：控制器控制破碎机停止工作后，按照控制器预设程序进行停机倒计时，停机倒计时结束之前，破碎机禁止启动。

进一步地，所述控制器配置有手动操作模块，所述手动操作模块用于对破碎机进行启动、停止、复位和急停操作，所述控制器配置还配置有自动操作模块，所述自动控制模块用于接收启动、停止和急停信号，从而驱动控制器内部的控制逻辑。

进一步地，当控制器执行自动操作模块接收到的急停信号后，控制器处于锁定状态，直至人工控制手动操作模块执行复位操作，则控制器被解锁，开始接收并执行启动、停止和急停信号。

进一步地，所述手动操作模块被触发时，自动操作模块处于锁定状态；所述自动操作模块被触发时，手动操作模块处于锁定状态。

进一步地，所述控制器配置有互锁反逻辑，所述互锁反逻辑包括：控制器每执行一个操作信号，均对该操作信号的反信号进行判定，确定所述反信号的输出为零时，则执行所述操作信号。

第二方面，本发明实施例提供一种基于图像识别的井下破碎机自动控制系统，所述系统包括：图像采集装置、服务器、环网交换机和控制器，所述图像采集装置与服务器进行图像数据传输，所述服务器通过环网交换机与控制器进行通讯，所述图像采集装置用于采集监控区的实时视频图像；所述服务器用于对所述监控区的实时视频图像进行处理，生成启动、停止和急停信号，并通过环网交换机与控制器的自动控制模块进行通讯；所述控制器用于执行手动操作模块的触发信号或自动操作模块的操作信号，实现对破碎机的启动、停止、复位和急停操作。

第三方面，本发明实施例还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于图像识别的井下破碎机自动控制系统执行一种基于图像识别的井下破碎机自动控制的方法。

本发明实施例提供的技术方案至少具有如下优点：

本发明实施例对场景进行实时监测，通过图像识别技术对井下作业实时视频图像进行特征提取，在检测到进料槽内无异物和检测区域无工作人员的情况下，检测到梭车的到来时给PLC控制器启动信号，PLC控制器根据内部逻辑保护条件，启动破碎机，当识别到进料槽内的物料的存储量小于预设值时，给PLC控制器发出停止信号，控制破碎机停止，不需要人工控制，实现破碎机的自动控制，能够提高生产效率。且本发明实施例设置有多种保护逻辑，能够确保设备的安全运行。

附图说明

图1为本发明实施例1提供的一种基于图像识别的井下破碎机自动控制方法的信令流程图。

图2为发明实施例1提供的一种基于图像识别的井下破碎机自动控制方法的步骤图。

图3为本发明实施例2提供的一种基于图像识别的井下破碎机自动控制系统的结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

在介绍本发明实施例之前，首先对本实施例的应用场景做出简单介绍，梭车是煤矿井下实现短距快速运输的一种无轨胶轮车辆，作为短壁机械化开采的重要设备之一，其主要功能是将连续采煤机的煤转运到给料破碎机上。将物料，即煤矿，倒入破碎机的进料槽，破碎机刮板将煤矿刮入破碎腔内，进行破碎。在破碎机工作时，大块的煤矿在较大的压力会，可能会打到工作人员，因此在实际作业中需避免此类安全事故的发生，且当进料槽内有异物时，如锚杆等，会降低煤矿的生产质量以及损坏破碎机，降低生产效率，因此本发明实施例需要对检测区域的工作人员和进料槽内的物料的种类进行识别。

参考图2，本发明实施例1提供一种基于图像识别的井下破碎机自动控制方法，方法主要包括：

采集监控区的实时视频图像，对实时视频图像内的监测目标进行识别；其中，监测目标包括第一目标、第二目标和第三目标；

根据第一目标生成启动信号，并将启动信号发送至控制器，控制器控制破碎机启动；

对第二目标内物料的存储量进行判定，若物料的存储量小于预设值，则生成停止信号，并将停止信号发送至控制器，控制器控制破碎机停止；

其中，任意时刻，若检测到第三目标，和/或第二目标内存在异物时，生成急停信号，并将急停信号发送至控制器，控制器控制破碎机立即停止。

针对上述步骤，参考图1，在本申请具体的实施例中第一目标为梭车，第二目标为进料槽，第三目标为工作人员，在实际应用中，采用目标检测算法对视频数据中的各帧图像进行人工智能的检测。首先对实时视频图像进行数据预处理，可以包括：对待检测图像进行图像去噪、图像增强、色彩空间转换等操作。然后确定预处理后视频图像的识别区域，预先对可能出现梭车和破碎机刮板的区域进行标记，扫描整个图片，利用图像识别方法找到破碎机的刮板和梭车标记的区域作为识别区域。再提取识别区域的图像特征，对识别区域内的监测目标进行目标检测。具体地可以利用卷积神经网络进行目标检测。主要包括卷积层、区域提取网络与分类器三个主要模块。其中，卷积层通常为深度卷积神经网络，用于将原始图像通过一系列的卷积、池化等操作转化为更具表达能力、更抽象的高层图像特征，提供给区域提取网络以及分类器。区域提取网络基于卷积提取的图像特征，依据网络提供的一系列框的生成方式生成对应的多个候选框，最终产生一定数量的疑似破碎机刮板和梭车的区域。分类器根据提取出的图像特征，对疑似破碎机刮板和梭车的区域进行精确分析，最终给出图像中符合破碎机刮板和梭车的特征区域的坐标，进而判断识别区域是否有监测目标。

当判断识别区域内有梭车时，说明下一步要进行煤矿破碎工作，因此服务器生成启动信号，并将启动信号发送至控制器，控制器控制破碎机电机启动。这里的控制器优选的采用PLC可编程逻辑控制器，下文中简称PLC控制器。

服务器持续对实时视频图像进行检测，并通过图像识别算法对进料槽内煤矿的存储量进行判定，若物料的存储量小于预设值，即表示破碎工作即将完成，则服务器生成停止信号，并将停止信号发送至PLC控制器，PLC控制器控制破碎机停止。

需要说明的是，任意时刻，若检测到识别区域有工作人员，或进料槽内存在异物，或识别区域有工作人员以及进料槽内存在异物同时发生，则说明可能存在安全隐患或损坏机器的风险，因此服务器生成急停信号，并将急停信号发送至PLC控制器，PLC控制器控制破碎机立即停止。

上述PLC控制器配置有手动操作模块和自动操作模块，PLC控制器安装在本地电气控制箱内，PLC控制器的手动操作模块用于对破碎机进行启动、停止、复位和急停操作，PLC控制器的自动控制模块用于接收启动、停止和急停信号，从而驱动控制器内部的控制逻辑。控制箱上配置启动、停止、复位、急停按钮和三位旋钮选择开关，三位旋钮选择开关为手动-停止-自动开关。本地电气控制箱内还配置有电源模块、低压元件、断路器、中间继电器等电气元件，用于实现本实施例的方法。

三位旋钮选择开关用于实现手动/自动切换，将本地电气控制箱上的三位旋钮选择开关旋转至手动位置，则系统只以本地电气控制箱上的启停按钮为PLC控制器的输入信号，接受本地电气控制箱上的启动、停止、复位命令。

将本地电气控制箱上的三位旋钮选择开关旋转至自动位置，则PLC控制器只以服务器传输来的启动信号、停止信号和急停信号为PLC控制器的信号输入源，通过工业以太网通讯端口，PLC接收服务器传输的启动、停止和急停信号。

将本地电气控制箱上的三位旋钮选择开关旋转至停止位置，PLC控制器控制破碎机停机。

需要说明的是，当PLC控制器接收到停止信号后，不会立即停止破碎机，本申请实施例设置有余料清理机制，即：控制器接收到停止信号后，启动余料清理倒计时，在余料清理倒计时结束之后，控制器控制破碎机立即停止。具有余料清理的作用，当服务器生成停止信号后，进料槽内可能还存在少许煤矿，延时停机能够保证将破碎机进料口的煤矿清理完成后再停机，能够提高生产效率。

需要说明的是，本发明实施例通过设置多个保护机制来确保系统安全运行。包括本地急停保护、自动急停保护和电机频繁启停保护，本地急停保护包括：本地电气控制箱上的急停按钮是第一优选级的停止命令，在任何情况下，按下急停旋钮设备立即断电停机，同时PLC控制器停止工作。自动急停保护包括：在系统启动自动控制时，一旦接受到服务器发出的急停信号，PLC控制器停止工作。

电机频繁启停保护依据PLC控制器内部计时器，对手动操作和自动操作的启动、停止停命令进行操作计时并进行时间逻辑延时，即正常运行状态下，启动后需经过延时才可以停止，停止后不能立即启机。防止频繁启停导致电机损耗。

具体地包括启动延时机制和停机延时机制，启动延时机制即：控制器接收到启动信号后，按照控制器预设程序进行启动倒计时，启动倒计时结束，则控制器控制破碎机启动，且启动倒计时未完成前，控制器禁止破碎机执行停止动作；停机延时机制包括：控制器控制破碎机停止工作后，按照控制器预设程序进行停机倒计时，停机倒计时结束之前，破碎机禁止启动。

由于急停操作一般发生在紧急状况下，因此，在PLC控制器执行服务器发来的急停信号后，需要人工确认工作环境，认为确认工作条件正常后执行复位操作，PLC控制器才能继续接收并执行服务器发出的操作信号。即：当PLC控制器执行自动操作模块接收到的急停信号后，PLC控制器处于锁定状态，直至人工控制手动操作模块执行复位操作，则PLC控制器被解锁，开始接收并执行启动、停止和急停信号。

另外，手动操作模块和自动操作模块具有互锁机制，二者不能同时进行，即：手动操作模块被触发时，自动操作模块处于锁定状态；所述自动操作模块被触发时，手动操作模块处于锁定状态。

此外，PLC控制器配置有互锁反逻辑，互锁反逻辑包括：控制器每执行一个操作信号，均对该操作信号的反信号进行判定，确定该反信号的输出为零时，则执行操作信号。举例说明为：每当PLC控制器开始执行启动信号之前，系统持续扫描是否有急停信号和停止信号的生成，若没有急停信号和停止信号，才允许PLC控制器执行启动操作。同理，在PLC控制器执行停止信号之前，需要判断系统是否给出启动信号，若没有启动信号，才允许PLC控制器执行停止操作。

本发明实施例对场景进行实时监测，通过图像识别技术对井下作业实时视频图像进行特征提取，在检测到进料槽内无异物和检测区域无工作人员的情况下，检测到梭车的到来时给PLC控制器启动信号，PLC控制器根据内部逻辑保护条件，启动破碎机，当识别到进料槽内的物料的存储量小于预设值时，给PLC控制器发出停止信号，控制破碎机停止，不需要人工控制，实现破碎机的自动控制，能够提高生产效率。且本发明实施例设置有多种保护逻辑，能够确保设备的安全运行。

与上述实施例1对应的，本发明实施例2还提供一种基于图像识别的井下破碎机自动控制系统，参考图3，包括：图像采集装置1、服务器2、环网交换机3和控制器4，图像采集装置1与服务器2进行图像数据传输，服务器2通过环网交换机3与控制器4进行通讯，通讯方式可以采用以太网进行通讯。

本发明实施例的图像采集装置1可以采用矿用摄像机，其安装位置根据其要监控的区域来设置，本实施例中，摄像机的拍摄角度以能覆盖破碎机以及破碎机前端梭车的行驶路线为准，摄像机主要用于采集监控区的实时视频图像。

上述服务器2用于对监控区的实时视频图像进行处理，生成启动、停止和急停信号，并通过环网交换机与控制器的自动控制模块进行通讯。

环网交换机3是一种特殊的交换机，环网交换在环网结构上有很多的优点，比如有冗余性、可靠性等。环网交换机可以组建环形网络，每台交换机上有两个用于组环的端口，交换机之间通过手拉手形式构成了环形的网络拓扑。其组建的优势是当环网上的某一路链路断开时，不会影响网络上数据的转发，因此在很多工业通信领域引入了环网交换机。环网交换机采用了某些特殊技术，避免了广播风暴的产生，同时又实现了环形网络的可靠性。

上述控制器4用于执行手动操作模块的触发信号或自动操作模块的操作信号，配置本发明实施例提出的多种控制逻辑，实现对破碎机的启动、停止、复位和急停操作。具体的控制逻辑和系统所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。

另外，本发明实施例2的系统还可以包括报警装置，报警装置可以包括报警器和LED显示屏，当PLC控制器执行急停信号时，或手动按下电气控制箱的急停按钮时，系统发出报警，并在LED显示屏上显示告警信息，提醒现场的工作人员离开，以及排除破碎机工作隐患。

与上述实施例相对应的，本发明实施例3还提供了一种计算机可读存储介质，上述计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种基于图像识别的井下破碎机自动控制系统执行一种基于图像识别的井下破碎机自动控制方法。

本发明所公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的方法。

在本发明实施例中，服务器所实现的方法的步骤可以体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。