一种基于采煤机位置融合的自适应视频跟机方法与流程

本发明属于煤矿开采技术监控领域，具体涉及一种基于采煤机位置融合的自适应视频跟机方法。

背景技术：

1、煤矿开采工作面减人、少人是当前煤矿开采领域的发展趋势。在工作面少人的情况下，视频监控将成为煤矿生产的重要保证之一，特别是在自动化生产过程中对护帮区域、采煤机区域、移架区域和推溜区域的实时监控，对安全生产至关重要。

2、公开号为cn105120209b的发明专利公开了通过视频识别出采煤机的运动信息与计算得到的采煤机实际运动信息的偏差调整摄像头。然而，综采工作面环境复杂，生产过程中煤粉尘较大，图像处理在井下难以应用，误差较大。另外计算采煤机实际运动信息时，紧靠摄像头与采煤机滚筒的直线距离无法精准定位采煤机位置，当摄像头与采煤机滚筒较近时，仅通过直线距离易错过滚筒，不考虑滚筒高度摄像头垂直角度，无法及时观察滚筒上沿割煤情况。

3、目前视频跟机需要与采煤机相对于支架的位置相结合，煤矿使用定位采煤机位置的方法有两种：一种是采煤机编码器，编码器计数准确但存在累计误差，需要定期手动校准；另一种是红外位置定位，红外定位准确但存在跳架、遮挡等情况，两种都会造成采煤机位置不准确，无法实时精准跟机，生产过程中会存在盲区，无法及时发现自动割煤时割顶板、底板、移架、推溜时的异常情况。

技术实现思路

1、为了解决上述技术问题，本发明提供一种基于采煤机位置融合的自适应视频跟机方法。

2、一种基于采煤机位置融合的自适应视频跟机方法，包括如下步骤：

3、获取采煤机位置数据集，所述采煤机位置数据集包括多个采煤机位置数据样本，所述采煤机位置数据样本包括两刀采煤机编码器数据及其对应的一组红外采煤机位置数据；

4、构建bp神经网络，所述bp神经网络的输入为采煤机编码器数据，输出层为红外采煤机位置数据，根据所述采煤机位置数据集对所述bp神经网络进行训练；

5、根据训练完成的所述bp神经网络，获取采煤机当前位置；

6、根据获取到的所述采煤机当前位置，确定跟机区域；

7、根据得到的跟机区域，以及设置的跟机区域的优先级，确定摄像头跟机策略；

8、基于所述摄像头跟机策略，根据所述采煤机当前位置和跟机区域的相对位置，计算得到摄像头的旋转角度。

9、进一步地，采煤机位置数据样本的获取过程，包括：

10、以采煤机割煤完整刀为节点，获取各刀采煤机编码器数据，以及与各刀采煤机编码器数据相对应的各组红外采煤机位置数据；

11、对各刀采煤机编码器数据和各组红外采煤机位置数据进行数据清洗；

12、将相同时间对应的两刀采煤机编码器数据所对应的两组红外采煤机位置数据合并成一组红外采煤机位置数据，使得两刀采煤机编码器数据对应一组红外采煤机位置数据。

13、进一步地，所述bp神经网络为三层bp神经网络，包括输入层、输出层和隐藏层，所述输入层用于输入采煤机编码器数据，所述输出层用于输出红外采煤机位置数据，所述隐藏层设置为3个；在所述bp神经网络训练过程中，始终保持输入层输入的采煤机位置数据样本为2组，当有新的一刀采煤机编码器数据产生时，将新的一刀采煤机编码器数据加入训练样本，从训练样本中删除时间最早的一刀采煤机编码器数据，重新训练。

14、进一步地，所述bp神经网络的训练过程包括：

15、初始化所述bp神经网络的参数权重w0和偏置b0；设定采煤工作面共有m台支架，根据采集数据取刮板机头起第10架支架采煤机编码器值x10，和刮板机尾第10架支架对应采煤机编码器值xm-10，由(10，x10)与(m-10，xm-10)两点确定一条直线，计算出斜率k和偏置a，作为所述bp神经网络的输入层数据的初始化权重w0和偏置b0，即k＝w0，a＝b0；

16、将两刀采煤机编码器数据和对应的一组红外采煤机位置数据进行归一化；

17、将归一化数据带入训练，第j个隐藏层的输入值qj为输入层输出值的加权和：

18、

19、其中为隐藏层权重，bj为隐藏层偏置，xi为输入层采煤机编码器数据，m为训练样本个数，j为隐藏层编号；将qj带入激活函数后带入输出层激活函数purelin，即y＝x，得到预测值y′ij。确定真实值与预测值的均方差误差公式：

20、

21、其中m为训练样本个数，k为输出个数，y′ij为第i个样本第j个输出的预测值，y为对应的真实值；反向计算权重w和偏置b，使均方差公式e(w，b)最小，将初始化权重w0和偏置b0代入均方差公式，提高bp神经网络训练速度，保证实时性，最终得到权重w和偏置b。

22、进一步地，根据获取到的所述采煤机当前位置，确定跟机区域，包括：视频监控重点区域有护帮区域、采煤机左右滚筒、移架区域和推溜区域五个区域；记红外安装位置到左摇臂距离为lf，记红外安装位置到右摇臂安装距离为lr，采煤机滚筒半径为r，采煤机摇臂长度为la，采煤左右摇臂角度分别为支架宽度为ls，根据采煤机行进方向，由采煤机的结构尺寸计算出采煤机左右滚筒距采煤机位置的水平距离分别为lfa、lfr，则采煤左滚筒相对于采煤机的水平距离为：右滚筒的水平距离为：设置采煤机护帮跟机区域为沿采煤机行进方向，距采煤机位置第7架支架至第10架支架，区域为[7ls，10ls]；设置移架区域为沿采煤机行进反方向，距采煤机位置第5架支架至第12架支架，区域为[5ls，12ls]；设置推溜区域为沿采煤机行进反方向，距采煤机位置第14架支架至第24架支架，区域为[14ls，24ls]。

23、进一步地，根据得到的跟机区域，以及设置的跟机区域的优先级，确定摄像头跟机策略，包括：

24、设置跟机区域优先级，在工作面视频跟机优先级由高到低为采煤机左右滚筒、支架护帮区域、支架移架区域、支架推溜区域，跟机优先级高的区域优先选择摄像头；每个区域最多提供两个摄像头进行跟机；沿采煤机行进方向，相对采煤机位置前的区域，优先选择跟机区域前边界前的摄像头，使摄像头照射方向与采煤机方向相反，相对于采煤机位置后的区域，优先选择后边界后的摄像头，使摄像头的照射方向与采煤机行进方向相同；当摄像头与跟机区域的极限位置距离小于支架宽度ls时，切换为下一个摄像头。

25、进一步地，基于所述摄像头跟机策略，根据所述采煤机当前位置和跟机区域的相对位置，计算得到摄像头的旋转角度，包括：

26、第一次使用摄像头时，需要手动校准工作面所有摄像头正对煤壁时的角度为θc，记录摄像头安装架号，和摄像头到煤壁的距离lm作为初始参数；

27、以采煤机滚筒为例，采煤机行进方向位于采煤机位置前方的跟机目标区域与摄像头的距离以跟机区域后边界为准，位于采煤机位置后方的跟机目标区域与摄像头的距离以前边界为准，采煤机的左右滚筒前后边界线重合，只有一条过采煤机滚筒中心的边界线；沿采煤机行进方向，寻找离采煤机左滚筒最近的前方摄像头，当摄像头与左滚筒的距离小于支架宽度ls时，采煤机的左滚筒的近景摄像头切换为行进方向下一个摄像头，此时摄像头与采煤机左滚筒的中心距离为lcs，则摄像头此时相对于正对煤壁水平旋转角度为如果摄像头在跟机目标边界线的前方，则θch记为正，否则θch*(-1)，则实际发送给摄像头的水平旋转角度为θh＝θc+θch；摄像头安装在支架顶板上摄像头高度，即为支架高度hs，记采煤机滚筒高度为hr，则摄像头相对于正对煤壁垂直旋转角度为实际发送给摄像头的旋转角度为θv＝θcv。

28、本发明具有如下有益效果：采煤机位置实现自动校准，每次都用最新的编码器值与支架号的对应关系，无需定期手动校准采煤机编码器值产生的累计误差，也为工作面底板曲线，惯导调直业务的精准计算提供了基础；不完全依赖完整的红外采煤机位置数据，当红外采煤机位置发生部分跳架、遮挡时，也能够校准编码器，提供精准的采煤机位置；使视频跟机更加流畅，采煤机位置能精确到小数，不用等到红外采煤机位置更新，才更新摄像头角度，解决了红外位置视频跟机的滞后性问题；同一个目标区域支持单个或多个摄像头同时跟机，支持同一目标区域远景、近景跟机，视野更好；跟机目标区域优先级和跟机摄像头数量都可配置，更加灵活；视频自动跟机与采煤机位置紧密相关，不受环境影响，跟机更加精准，适应性更强。