基于视频监视图像识别的自动化放煤控制系统的制作方法

本发明涉及井下厚煤层开采自动化技术领域，具体涉及一种基于视频监视图像识别的自动化放煤控制系统。

背景技术：

目前采煤工作面通过液压支架和采煤机的自动化控制，已经实现了工作面少人甚至无人开采，而放煤工作面由于煤矸识别等重大技术难题未得到解决，在后部放煤又没有有效的办法去观察，顶煤变化情况也不容掌握，使得放煤作业过程透明度低，生产环境复杂，粉尘大，仍旧依靠人工凭感觉和经验就地操作，造成放煤效果不佳，生产效率较低，成本高，回采率低等问题，同时由于放煤过程中控制不当容易造成人身伤害，面临着安全重大隐患。

为解决上述问题，本领域提出了多种自动化放煤的方法。发明人通过对现有技术进行分析后，发现现有自动化方法都需要建立数学模型，并根据现场煤矸属性进行模型训练，边界条件设定，而在井下综采工作面的煤矸属性也在不断变化，该数学模型就需要不断的修正，而模型的修正和参数边界条件的设定需要专业技术人员才能完成。因此，以上方法必须根据不同区域的情况进行定制完成，推广应用起来技术要求较高，无法大面积推广实用。

技术实现要素：

本发明要解决的技术问题是现有自动化放煤系统通用性差，对人员的技术要求较高，进而提供一种基于视频监视图像识别的自动化放煤控制系统。

为此，本发明提供一种基于视频监视图像识别的自动化放煤控制系统，包括支架控制器、液压支架、后部刮板输送机和云台摄像仪：

所述支架控制器用于控制所述液压支架的动作，通过控制所述液压支架的尾梁和插板动作以控制尾梁向下放煤；

所述后部刮板输送机设置于所述液压支架的尾梁的后部，承接所述尾梁下放的煤；

所述云台摄像仪设置于所述尾梁上，其包括第一摄像部和第二摄像部；所述第一摄像部沿平行于所述后部刮板输送机的输煤方向设置，其获取所述后部刮板输送机的输煤过程图像；所述第二摄像部沿垂直于所述后部刮板输送机的输煤方向设置，其获取所述后部刮板输送机上输送的煤的图像以确定所述后部刮板输送机上的运煤量和煤炭灰分；

所述云台摄像仪发送所述输煤过程图像、所述后部刮板输送机上的运煤量和煤炭灰分发送至上位机供监控人员查看。

可选地，上述的基于视频监视图像识别的自动化放煤控制系统中，还包括：

双速液压阀，设置于所述液压支架的供液通路上；

所述支架控制器控制所述双速液压阀置于慢速位置时，所述液压支架以第一速度动作；所述支架控制器控制所述双速液压阀置于快速位置时，所述液压支架以第二速度动作；所述第二速度大于所述第一速度。

可选地，上述的基于视频监视图像识别的自动化放煤控制系统中，还包括：

行程传感器，设置于液压支架插板油缸和后溜油缸上，用于根据油缸动作获取液压支架的行程，并将表示所述行程的信号发送至所述支架控制器；

所述支架控制器接收到所述行程传感器发送的信号后，比对液压支架的行程与预设目标行程；若比对结果表示液压支架的行程到达预设目标行程的设定位置处，所述支架控制器输出控制信号以控制所述双速液压阀置于慢速位置，否则所述支架控制器输出控制信号以控制所述双速液压阀置于快速位置。

可选地，上述的基于视频监视图像识别的自动化放煤控制系统中，所述设定位置为所述预设目标行程的1/3处。

可选地，上述的基于视频监视图像识别的自动化放煤控制系统中，还包括：

等距标志线，沿平行于工作面的方向设置于所述尾梁上；

所述第一摄像部获取的所述输煤过程图像中包含所述等距标志线，根据所述等距标志线在所述输煤过程图像中的位置确定所述后部刮板输送机的直线度；

所述云台摄像仪发送所述后部刮板输送机的直线度至所述上位机。

可选地，上述的基于视频监视图像识别的自动化放煤控制系统中，所述支架控制器接收所述云台摄像仪发送的所述后部刮板输送机的直线度；若所述后部刮板输送机的直线度的偏移量超过偏差阈值，则控制液压支架拉后溜时对所述偏移量进行补偿。

可选地，上述的基于视频监视图像识别的自动化放煤控制系统中，

所述第二摄像部，间隔设定时间获取一张后部刮板输送机上输送的煤的图像；采用基于二维图像的三维图像重构技术获取后部刮板输送机上输送的煤的三维模型，根据所述三维模型确定后部刮板输送机上输送的煤的体积，根据所述体积和煤的密度确定后部刮板输送机的运煤量；所述设定时间为一个煤流断面通过相邻两液压支架所需要的时间。

可选地，上述的基于视频监视图像识别的自动化放煤控制系统中，还包括倾角传感器：

所述倾角传感器设置于所述液压支架的底座、顶梁、掩护梁和尾梁上，用于检测所述液压支架的位姿，并输出表示所述位姿的位姿信号；

所述支架控制器，接收所述倾角传感器输出的所述位姿信号和所述云台摄像仪输出的后部刮板输送机的运煤量，确定所述位姿信号与所述运煤量之间的关系模型；

所述支架控制器获取所述后部刮板输送机的预设运煤量，根据所述预设运煤量以及所述关系模型确定所述液压支架的目标位姿，根据所述目标位姿控制所述液压支架动作。

可选地，上述的基于视频监视图像识别的自动化放煤控制系统中，所述支架控制器将后部刮板输送机的运煤量与所述预设运煤量进行比对；若后部刮板输送机的运煤量超出所述预设运煤量，则减少后部刮板输送机的放煤口或降低后部刮板输送机的放煤口开度；

所述支架控制器还用于将后部刮板输送机的运煤量与运煤量下限值进行比对；若后部刮板输送机的运煤量少于所述运煤量下限值，则增加后部刮板输送机的放煤口或加大后部刮板输送机的放煤口开度。

可选地，上述的基于视频监视图像识别的自动化放煤控制系统中，所述支架控制器接收所述云台摄像仪发送的煤炭灰分，与预设灰分阈值进行比对；若所述煤炭灰分超过所述预设灰分阈值，则控制所述液压支架停止。

本发明提供的上述技术方案与现有技术相比，至少具有如下有益效果：

本发明提供的基于视频监视图像识别的自动化放煤控制系统，包括支架控制器、液压支架、后部刮板输送机和云台摄像仪：所述支架控制器用于控制所述液压支架的动作，通过控制所述液压支架的尾梁和插板动作以控制尾梁向下放煤；所述后部刮板输送机设置于所述液压支架的尾梁的后部，承接所述尾梁下放的煤；所述云台摄像仪设置于所述尾梁上，其包括第一摄像部和第二摄像部；所述第一摄像部沿平行于所述后部刮板输送机的输煤方向设置，其获取所述后部刮板输送机的输煤过程图像；所述第二摄像部沿垂直于所述后部刮板输送机的输煤方向设置，其获取所述后部刮板输送机上输送的煤的图像以确定所述后部刮板输送机上的运煤量和煤炭灰分；所述云台摄像仪发送所述输煤过程图像、所述后部刮板输送机上的运煤量和煤炭灰分发送至上位机供监控人员查看。本发明通过使用设置于液压支架的尾梁上的云台摄像仪进行自动化放煤过程监视以及放煤量、灰分的检测，将操作人员的视觉延伸到了原先操作人员无法到达的后部放煤工作面，免去了因地质条件变化带来的煤矸识别、煤层厚度变化等因素对放煤控制过程的影响，对于操作人员的技术要求大大降低，简化了放煤过程操作，实现了放煤自动化，构建了多种控制模型支撑的综采放顶煤工作面采场无人化放煤控制系统。

附图说明

图1为本发明一个实施例所述基于视频监视图像识别的自动化放煤控制系统的原理框图；

图2为本发明另一个实施例所述基于视频监视图像识别的自动化放煤控制系统的原理框图；

图3为本发明一个实施例所述放煤顶液压支架系统自动化配置的结构示意图。

具体实施方式

为了使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例所述的基于视频监视图像识别的自动化放煤控制系统，应用于工作面中液压支架的自动控制，其配置方式如图3所示。其中液压支架包括顶梁1，掩护梁2，尾梁3、插板4，后部刮板输送机包括链条5和后溜6。其中，倾角传感器7,10,11和12分别设置于支架的底座、顶梁1、掩护梁2、尾梁3上，检测液压支架的位姿。支架控制器13能够控制液压支架动作，在上述结构中还包括红外发送器8，用于对放落的顶煤和采空区矸石15进行检测。本发明以下实施例中，其核心点在于设置了云台摄像仪9，其安装于尾梁上，能够对液压支架的放煤动作、后部刮板输送机的运煤操作进行监控。

实施例1

本发明实施例提供一种基于视频监视图像识别的自动化放煤控制系统，如图1所示，包括支架控制器101、液压支架102、后部刮板输送机103和云台摄像仪104，其中：

所述支架控制器101用于控制所述液压支架102的动作，通过控制所述液压支架102的尾梁和插板动作以控制尾梁向下放煤；所述后部刮板输送机103设置于所述液压支架102的尾梁的后部，承接所述尾梁下放的煤；所述云台摄像仪104设置于所述尾梁上，其包括第一摄像部和第二摄像部；所述第一摄像部沿平行于所述后部刮板输送机103的输煤方向设置，其获取所述后部刮板输送机的输煤过程图像；所述第二摄像部沿垂直于所述后部刮板输送机102的输煤方向设置，其获取所述后部刮板输送机103上输送的煤的图像以确定所述后部刮板输送机103上的运煤量和煤炭灰分；所述云台摄像仪104发送所述输煤过程图像、所述后部刮板输送机上的运煤量和煤炭灰分发送至上位机供监控人员查看。

以上方案中，在液压支架的尾梁上安装云台摄像仪104，其可以在每一支架的尾梁上均安装云台摄像仪104，也可以间隔几台支架安装一台云台摄像仪104，例如每隔5架支架安装一个云台摄像仪104，云台摄像仪104中配置一个水平方向的摄像头作为第一摄像部，两个垂直方向的摄像头作为第二摄像部。安装完成后，调整液压支架102的位姿，进行液压支架尾梁位置调定，使在其上安装的云台摄像仪104水平方向的摄像头可以拍摄到液压支架102的尾部和后部刮板输送机103的位置关系，设定可以清晰的看到整个放煤过程的视角，调整云台摄像仪104的位置，使在其上安装的垂直方向的摄像头可以拍摄到后部刮板输送机103溜子上的物料。

通过云台摄像仪104能够实现放煤过程监视，云台摄像仪104将拍摄到的液压支架102的整个放煤过程视频数据传输到监控中心的上位机，供操作人员进行远程监视。

通过云台摄像仪104还能够对后部刮板输送机103上的运煤量和煤炭灰分进行监控。具体地，可以使用云台摄像仪104上垂直向下拍摄的摄像头对后部刮板输送机103上运送的物料进行视频图像拍摄，拍摄图像的时间间隔为一个煤流断面走过液压支架102的时间，即按照物料移动通过一个支架的时间拍摄一张图像，应用基于二维图像的三维重构技术重构出后部刮板输送机上物料的三维模型，由此计算出三维模型的体积，根据煤的密度和煤的体积即可计算出后部刮板输送机103上运送出去的煤量。

本实施例提供的以上方案，使用设置于液压支架102的尾梁上的云台摄像仪104进行自动化放煤过程监视以及放煤量、灰分的检测，将操作人员的视觉延伸到了原先操作人员无法到达的后部放煤工作面，免去了因地质条件变化带来的煤矸识别、煤层厚度变化等因素对放煤控制过程的影响，对于操作人员的技术要求大大降低，简化了放煤过程操作，实现了放煤自动化，构建了多种控制模型支撑的综采放顶煤工作面采场无人化放煤控制系统。

实施例2

本实施例提供的基于视频监视图像识别的自动化放煤控制系统，如图2所示，其还可以包括双速液压阀105、行程传感器106和倾角传感器107。其中：

所述双速液压阀105，设置于所述液压支架2的供液通路上，所述支架控制器101控制所述双速液压阀105置于慢速位置时，所述液压支架102以第一速度动作；所述支架控制器101控制所述双速液压阀105置于快速位置时，所述液压支架102以第二速度动作；所述第二速度大于所述第一速度。

所述行程传感器106，设置于液压支架102的插板油缸和后溜油缸上，用于根据油缸动作获取液压支架102的行程，并将表示所述行程的信号发送至所述支架控制器101；所述支架控制器101接收到所述行程传感器发送的信号后，比对液压支架102的行程与预设目标行程；若比对结果表示液压支架的行程到达预设目标行程的设定位置处，所述支架控制器101输出控制信号以控制所述双速液压阀105置于慢速位置，否则所述支架控制器101输出控制信号以控制所述双速液压阀105置于快速位置。所述设定位置为所述预设目标行程的1/3处。通过上述方案，将液压支架的行程分为快速区域和慢速区域，将设置到达1/3目标行程之前的区域作为快速动作区域，使用双速液压阀105的快速功能，令液压支架102能够快速移动；当到达目标行程的1/3区域时，采用双速液压阀105的慢速功能，令液压支架102能够慢速移动，该设置能够减少液压系统带来的控制误差，提高液压支架102的控制精度。

所述倾角传感器107设置于所述液压支架102的底座、顶梁、掩护梁和尾梁上，用于检测所述液压支架102的位姿，并输出表示所述位姿的位姿信号；所述支架控制器101，接收所述倾角传感器107输出的所述位姿信号和所述云台摄像仪104输出的后部刮板输送机的运煤量，确定所述位姿信号与所述运煤量之间的关系模型；所述支架控制器101获取所述后部刮板输送机103的预设运煤量，根据所述预设运煤量以及所述关系模型确定所述液压支架的目标位姿，根据所述目标位姿控制所述液压支架102动作。在放煤时，液压支架102的插板全部收回、收回一半，摆动尾梁进行放煤，在这一过程中记录下液压支架102在不同放煤位置时尾梁的倾角、插板的位置，同时使用与放煤口最近的一个云台摄像仪104的垂直摄像头拍摄后部刮板输送机103上的煤体，绘制煤体的外形轮廓，计算煤量，建立液压支架102尾梁、插板在不同位置时位姿与放落煤量的数学关系模型，该数学关系模型可通过多次修正的方式趋于稳定。

需要说明的是，倾角传感器107、行程传感器106在安装完成后，需要根据液压支架102的工作要求进行标定，本实施例中对该标定过程不再进行详细描述。

以上方案中，还包括等距标志线，沿平行于工作面的方向设置于所述尾梁上；所述第一摄像部获取的所述输煤过程图像中包含所述等距标志线，根据所述等距标志线在所述输煤过程图像中的位置确定所述后部刮板输送机103的直线度；所述云台摄像仪104发送所述后部刮板输送机的直线度至所述上位机。进一步地，所述支架控制器101接收所述云台摄像仪104发送的所述后部刮板输送机103的直线度；若所述后部刮板输送机103的直线度的偏移量超过偏差阈值，则控制液压支架102拉后溜时对所述偏移量进行补偿。上述方案中，通过云台摄像仪104水平摄像头拍摄液压支架102的尾梁上的等距标志线与后部刮板输送机103的位置关系，通过视频图像识别与定位技术，计算出后部刮板输送机103直线度的偏移量，将该偏移量报送给支架控制器，支架控制器通过控制液压支架拉后溜时通过将偏移量进行补偿控制，可以实现后部刮板输送机直线度控制。

以上方案中，所述支架控制器101还用于将后部刮板输送机103的运煤量与预设运煤量进行比对；若后部刮板输送机103的运煤量超出所述预设运煤量，则减少后部刮板输送机的放煤口或降低后部刮板输送机的放煤口开度；所述支架控制器101还用于将后部刮板输送机103的运煤量与运煤量下限值进行比对；若后部刮板输送机103的运煤量少于所述运煤量下限值，则增加后部刮板输送机103的放煤口或加大后部刮板输送机的放煤口开度。通过该方案能够实现基于后部刮板输送机煤量负荷对液压支架和后部刮板输送机的自动控制。依据后部刮板输送机103设定的运送煤量，依据放煤工艺，确定工作面放煤口位置，将运送煤量目标值进行分解，按照放煤口开度与煤量关系数学模型，计算出液压支架102的尾梁和插板的控制参数，进行液压支架的自动放煤控制。

优选地，以上方案中所述支架控制器101还用于接收所述云台摄像仪104发送的煤炭灰分，与预设灰分阈值进行比对；若所述煤炭灰分超过所述预设灰分阈值，则控制所述液压支架102停止。本方案中，使用云台摄像仪104上垂直向下拍摄的摄像头对后部刮板输送机103上运送的物料进行视频图像拍摄，通过图像灰度识别，计算出放落顶煤的灰分，当灰分超过设定阈值时，立即停止对应放煤口放煤。

本发明以上实施例中的方案，使用倾角传感器107、行程传感器106控制进行液压支架102的姿态控制，进行液压支架102放煤机构的位姿精准控制，实现定量放煤。使用云台摄像仪104进行自动化放煤过程监视，进行放煤量的检测，构建基于后部刮板输送机煤量为主线的自动放煤控制模型，进行煤矸灰分检测，构建基于后部刮板输送机灰分为主线的自动放煤控制模型。通过在液压支架102上设置标识，实现了基于视频图像识别与定位技术的后部刮板输送机直线度控制模型。通过以上方法，将操作人员的视觉延伸到了原先操作人员无法到达的后部放煤工作面，免去了因地质条件变化带来的煤矸识别、煤层厚度变化等因素对放煤控制过程的影响，简化了放煤过程操作，实现了放煤自动化，构建了多种控制模型支撑的综采放顶煤工作面采场无人化放煤控制系统。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。