一种基于视觉定位的煤矿井下机械臂抓取控制方法

1.本发明涉及一种机械臂抓取定位系统，具体为一种基于视觉定位的煤矿井下机械臂抓取控制方法，属于煤矿开采技术领域。


背景技术：

2.煤炭是人类主要使用的能源之一，我国的煤炭储存量大，在我国的能源消费结构中，煤碳消费量仍处于主体地位。击地压是一种特殊的矿山压力显现形式，在开采过程中因为冲击地压会产生许多危害，而且随着我国煤矿开采深度和强度的加大，冲击地压发生频次和破坏强度也不断增大，严重威胁煤矿的安全生产。钻孔卸压是预防冲击地压的有效方法，但是目前的卸压工作需要人员参与，劳动强度大、危险性高。实现钻孔卸压无人化作业愈发成为应对冲击地压灾害的重要措施。钻杆装卸作为钻孔卸压作业的关心流程，其无人化愈发成为应对冲击地压灾害的重要措施。
3.前传统的钻杆装卸通常选择将钻杆放置在固定位置，且需要人工操作钻杆装卸流程，从而导致钻杆装卸效率低下且具有一定的安全隐患。钻杆的准确定位和机械臂的运动精度将直接决定钻杆自动装卸的效率。
4.传统视觉定位已经应用在了众多其他工业领域，但其应用场合往往位于工业流水线上，工作环境稳定，工作背景简单，很容易实现较好的工业效果，但是因为井下雾气浮尘等特殊的工作环境，使得视觉系统在井下的应用很难达到理想精度，同时基于机械臂在运动过程中会不断累积定位误差，在长期作业后可能影响钻杆自动装卸流程，两者误差的不断叠加将直接影响钻孔泄压作业的安全性和工作效率。


技术实现要素：

5.本发明的目的就在于为了解决上述至少一个技术问题而提供一种基于视觉定位的煤矿井下机械臂抓取控制方法，本发明提出了一种mae-gru神经网络模型，利用mae网络模型的实现在井下雾气浮尘等特殊的工作环境实现对钻杆的精准定位，同时将mae网络模型输出的位置信息同加速度传感器输出的位置信息导入gru网络模型，通过实时判断误差值与预先设定阈值的大小来对机械臂位姿进行实时纠正，从而实现钻杆装卸流程长时间高精度作业。
6.本发明通过以下技术方案来实现上述目的：一种基于视觉定位的煤矿井下机械臂抓取控制方法，包括
7.钻杆装卸机械臂，其为六轴机械臂，且所述钻杆装卸机械臂的后端通过旋转底座与防冲钻孔机器人连接，所述钻杆装卸机械臂的前端设有用于装卸钻杆的抓手；
8.加速度传感器，其通过获取机械臂的横滚角、俯仰角、角速度以及加速度的姿态参数，以解算出机械臂的实际位置，为机械臂误差校准提供数据，所述加速度传感器设置有若干个，并分别安装的所述钻杆装卸机械臂每节的两侧，每一节所述钻杆装卸机械臂的机械臂上的两个加速度传感器通过相互抵消误差的影响以提高输出信号的信噪比；
9.钻杆库，其固定于防冲钻孔机器人上用于存放钻杆，且所述钻杆库位于钻杆装卸机械臂的前侧；
10.rgbd双目相机，用于采集实时视频数据，并独立于所述钻杆装卸机械臂设置，所述rgbd双目相机安装于钻杆库上方，且rgbd双目相机的最佳视角完全覆盖钻杆库；
11.数据处理中心，其基于fpga的运算单元实现对视频流数据的流水线处理和并行计算，并通过接收rgbd双目相机所采集的实时视频数据来获取钻杆空间位置信息，所述数据处理中心包括完成mae和gru神经网络的预训练和实际工作时的计算，所述数据处理中心的mae神经网络具体包括编码器、解码器、定位算法，所述数据处理中心的gru神经网络具体包括输入，重置门，更新门，候选记忆和输出；
12.所述数据处理中心具体调节方法包括以下步骤：
13.步骤s1：搭建基于mae-gru神经网络：将transformer和gru两个模块耦合在一起；
14.步骤s2：基于mae的神经网络预训练：多次采集某一时刻rgbd双目相机的井下视频数据，视频帧数默认取30帧，分辨率为1080
×
720，将采集的视频制作成样本集导入到基于mae的神经网络中完成模型预训练；
15.步骤s3：将采集的rgbd视频流传输到数据处理中心，通过基于mae的神经网络输出视觉定位的钻杆空间位置信息并制作样本集，通过输入样本数据得到一个gru神经网络；
16.步骤s4：将包含钻杆空间位置信息的样本集导入搭建好的gru神经网络，设置误差阈值t；
17.步骤s5：在t时刻，将实时采集的rgbd输入基于mae的神经网络中，完成图像增强并输出钻杆的三维坐标信息s1，机械臂根据钻杆的三维坐标信息s1数进行抓取操作；
18.步骤s6：根据加速度传感器反馈的数字信号反向解算出机械臂完成抓取任务时的三维坐标信息s2；
19.步骤s7：将视觉定位的钻杆的三维坐标信息s1和机械臂抓取时的三维坐标信息s2作差，取得此时的误差值t
t
，同时将此时gru网络的误差输出x
t
设置为误差值t
t
，先将误差输出x
t
和设置的误差阙值t进行比较，若误差值小于所设误差阈值，继续采集下一次抓取时刻t+1的误差数据t
t+1
，将t
t+1
与之前产生的误差进行误差累计获得累积误差输出x
t+1
，将所获得的误差输出x
t+1
与所设置的误差阙值t进行比较；
20.步骤s8：重复步骤s4，直至所产生的累积误差输出x
t+n
大于所设误差阈值t，则结束该循环，根据误差值相对于实际值方位关系对机械臂控制系统进行调节以抵消误差的影响，机械臂在工作过程中产生的误差会不断累积，通过设置误差阈值使得误差始终保持在不影响钻杆抓取操作的范围内。
21.作为本发明再进一步的方案：构成所述数据处理中心mae神经网络的编码器结构具体包括：
22.①
将rgbd双目相机采集的井下视频数据转换为图片并制作样本集，将输入的图片按60*60划分成块，设置掩码率75％；
23.②
给每一个图像块增加其对应的位置信息后组成向量，使用线性变换矩阵对向量进行线性映射；
24.③
将向量序列随机打乱后，去掉最后一个元素，此时取向量前25％的元素，前25％的元素同时保留其对应的位置信息和特征信息，后75％的元素仅保留对应的位置信息后进
行掩码操作；
25.④
获得向量信息后将其传入transformer encoder进行特征提取。
26.作为本发明再进一步的方案：构成所述数据处理中心mae神经网络的解码器结构具体包括：
27.①
通过线性投影，将编码器输出维度转换为解码器输入维度；
28.②
通过reshuffle将之前随机打乱的图片向量恢复到原来的顺序，更新其位置信息的向量；
29.③
获得向量信息后将其传入transformer decoder进行特征提取，此时解码器需要处理的信息量为编码器的四分之一；
30.④
将transformer blocks输出的向量通过mlp投影到像素空间，完成图像分类任务，并将输出数据与图像正态分布的数据计算损失函数；
31.⑤
根据分类信息识别出图像中的钻杆，根据图像中钻杆库的位置确定出目标物体x-y轴的信息，同时叠加深度相机的深度信息获得z轴信息，得到待抓取钻杆的真实三维坐标s1。
32.作为本发明再进一步的方案：构成所述数据处理中心gru神经网络的输入具体包括：
33.将视觉定位的钻杆的三维坐标信息s1和机械臂抓取时的三维坐标信息s2作差，取得的误差值t
t+1
作为当前时刻输入x
t+1
。
34.作为本发明再进一步的方案：构成所述数据处理中心gru神经网络的重置门具体包括：
35.确定上一时刻误差输出x
t
并与当前时刻的误差值t
t+1
送入激活函数输出 [0,1]范围内的门控信号值，信号值越大，上一时刻误差输出x
t
的权重越大。
[0036]
其中：
[0037]rt+1
＝σ(wr·
[x
t
,t
t+1
]+br)
[0038]rt+1
表示当前时刻门控信号值，σ表示是sigmoid函数，wr表示门控信号值的权重，x
t
表示上一时刻误差输出，t
t+1
表示当前时刻的误差值，br表示门控信号值偏置量。
[0039]
作为本发明再进一步的方案：构成所述数据处理中心gru神经网络的新门具体包括：
[0040]
输入信息x
t
、t
t+1
经过激活函数得到门控阀值，从而将阈值分为z
t+1
和 1-z
t+1
两部分来实现新信息的输入和历史信息的遗弃。
[0041]
其中：
[0042]zt+1
＝σ(wr·
[x
t
,t
t+1
]+bz)
[0043]zt+1
表示当前时刻门控阀值，σ表示是sigmoid函数，wz表示门控阀值的权重，x
t
表示上一时刻误差输出，t
t+1
表示当前时刻的误差值，bz表示门控阀值偏置量。
[0044]
作为本发明再进一步的方案：构成所述数据处理中心gru神经网络的候选记忆具体包括：
[0045]
候选记忆由两部分组成，一部分是通过重置门阀值信号决定的过往误差输出x
t
，另一部分是当前输入误差值t
t+1
；当门控值r
t+1
＝0时，表示完全遗弃过往信息，则只包含当前信息；
[0046]
其中：
[0047][0048]
表示当前时刻候选记忆，tanh表示是双曲正切函数，表示候选记忆值的权重，z
t+1
表示当前时刻门控阀值，x
t
表示上一时刻误差输出，t
t+1
表示当前时刻的误差值，bz表示门控信号值偏置量。
[0049]
作为本发明再进一步的方案：构成所述数据处理中心gru神经网络的输出具体包括：
[0050]
最终输出由更新门控制，一部分是决定从上一时刻误差输出x
t
遗忘信息的程度，另一部分是决定当前候选记忆加入到输出的程度。二者的控制系数分别由1-z
t+1
，和z
t+1
控制，这使得二者处于平衡转换的状态。
[0051]
其中：
[0052][0053]
x
t+1
表示当前时刻的误差输出，z
t+1
表示当前时刻门控阀值，x
t
表示上一时刻误差输出，表示当前时刻候选记忆。
[0054]
本发明的有益效果是：
[0055]
将采集到的视觉图像导入基于mae神经网络中，通过mae自动掩码机制使得整个神经网络更加注重整体信息，从而实现图像增强的效果来在包含浮沉雾气等复杂背景中实现对钻杆的精准识别定位；通过将机械臂上的加速度传感器输出的机械臂抓取信息和基于mae神经网络输出的位置信息输入基于 gru的神经网络，通过gru网络模型将当前时刻的机械臂位姿误差输入与之前一定时刻的误差输出进行加权累积，得出当前时刻的误差输出，将次误差值与预设的误差阈值进行对比，当大于阈值时则对机械臂运行参数进行调整，实现实时误差纠正，当小于阈值则继续进行当前操作，根据每次机械臂抓取的情况对位移与姿态进行自适应调整，使得机械臂在长期工作中能够始终保持良好的精度，提高工作效率。
附图说明
[0056]
图1为本发明钻杆装卸结构示意图；
[0057]
图2为本发明基于mae的神经网络示意图；
[0058]
图3为本发明基于gru的神经网络示意图；
[0059]
图4为本发明钻杆装卸机械臂自动调节流程示意图。
[0060]
图中：1、钻杆装卸机械臂，2、加速度传感器,3、rgbd双目相机,4、钻杆库。
具体实施方式
[0061]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0062]
实施例一
[0063]
如图1至图3所示，一种基于视觉定位的煤矿井下机械臂抓取控制方法，包括钻杆装卸机械臂1，其为六轴机械臂，且所述钻杆装卸机械臂1的后端通过旋转底座与防冲钻孔机器人连接，所述钻杆装卸机械臂1的前端设有用于装卸钻杆的抓手；
[0064]
加速度传感器2，其通过获取机械臂的横滚角、俯仰角、角速度以及加速度的姿态参数，以解算出机械臂的实际位置，为机械臂误差校准提供数据，所述加速度传感器2设置有若干个，并分别安装的所述钻杆装卸机械臂1每节的两侧，每一节所述钻杆装卸机械臂1的机械臂上的两个加速度传感器2 通过相互抵消误差的影响以提高输出信号的信噪比；
[0065]
钻杆库4，其固定于防冲钻孔机器人上用于存放钻杆，且所述钻杆库4 位于钻杆装卸机械臂1的前侧；
[0066]
rgbd双目相机3，用于采集实时视频数据，并独立于所述钻杆装卸机械臂1设置，所述rgbd双目相机3安装于钻杆库4上方，且rgbd双目相机3 的最佳视角完全覆盖钻杆库4；
[0067]
数据处理中心，其基于fpga的运算单元实现对视频流数据的流水线处理和并行计算，并通过接收rgbd双目相机3所采集的实时视频数据来获取钻杆空间位置信息，所述数据处理中心包括完成mae和gru神经网络的预训练和实际工作时的计算，所述数据处理中心的mae神经网络具体包括编码器、解码器、定位算法，所述数据处理中心的gru神经网络具体包括输入，重置门，更新门，候选记忆和输出；
[0068]
所述数据处理中心具体调节方法包括以下步骤：
[0069]
步骤s1：搭建基于mae-gru神经网络：将transformer和gru两个主要模块耦合在一起，使用mae模块是因为它通过随机掩码机制来去除图像中的冗余信息，使得算法更多的注意到全局信息来提高对图像的识别分类能力，而gru层可以直接学习输入数据的多个并行序列，提高机械臂的自校准精度；
[0070]
步骤s2：基于mae的神经网络预训练：多次采集某一时刻rgbd双目相机2的井下视频数据，视频帧数默认取30帧，分辨率为1080
×
720，将采集的视频制作成样本集导入到基于mae的神经网络中完成模型预训练；
[0071]
步骤s3：将采集的rgbd视频流传输到数据处理中心，通过基于mae的神经网络输出视觉定位的钻杆空间位置信息并制作样本集，通过输入大量样本数据得到一个训练好的gru神经网络；
[0072]
步骤s4：将包含钻杆空间位置信息的样本集导入搭建好的gru神经网络，设置误差阈值t；
[0073]
步骤s5：在t时刻，将实时采集的rgbd输入基于mae的神经网络中，完成图像增强并输出钻杆的三维坐标信息s1，机械臂根据钻杆的三维坐标信息s1数进行抓取操作；
[0074]
步骤s6：根据加速度传感器2反馈的数字信号反向解算出机械臂完成抓取任务时的三维坐标信息s2；
[0075]
步骤s7：将视觉定位的钻杆的三维坐标信息s1和机械臂抓取时的三维坐标信息s2作差，取得此时的误差值t
t
，同时将此时gru网络的误差输出x
t
设置为误差值t
t
，先将误差输出x
t
和设置的误差阙值t进行比较，若误差值小于所设误差阈值，继续采集下一次抓取时刻t+1的误差数据t
t+1
，将t
t+1
与之前产生的误差进行误差累计获得累积误差输出x
t+1
，将所获得的误差输出x
t+1
与所设置的误差阙值t进行比较；
[0076]
步骤s8：重复步骤s4，直至所产生的累积误差输出x
t+n
大于所设误差阈值t，则结束
该循环，根据误差值相对于实际值方位关系对机械臂控制系统进行调节以抵消误差的影响，机械臂在工作过程中产生的误差会不断累积，通过设置误差阈值使得误差始终保持在不影响钻杆抓取操作的范围内。
[0077]
在本发明实施例中，构成所述数据处理中心mae神经网络的编码器结构具体包括：
[0078]
①
将rgbd双目相机2采集的井下视频数据转换为图片并制作样本集，将输入的图片按60*60划分成块，设置掩码率75％；
[0079]
②
给每一个图像块增加其对应的位置信息后组成向量，使用线性变换矩阵对向量进行线性映射；
[0080]
③
将向量序列随机打乱后，去掉最后一个元素，此时取向量前25％的元素，前25％的元素同时保留其对应的位置信息和特征信息，后75％的元素仅保留对应的位置信息后进行掩码操作；
[0081]
④
获得向量信息后将其传入transformer encoder进行特征提取。
[0082]
在本发明实施例中，构成所述数据处理中心mae神经网络的解码器结构具体包括：
[0083]
①
通过线性投影，将编码器输出维度转换为解码器输入维度；
[0084]
②
通过reshuffle将之前随机打乱的图片向量恢复到原来的顺序，更新其位置信息的向量；
[0085]
③
获得向量信息后将其传入transformer decoder进行特征提取，此时解码器需要处理的信息量为编码器的四分之一；
[0086]
④
将transformer blocks输出的向量通过mlp投影到像素空间，完成图像分类任务，并将输出数据与图像正态分布的数据计算损失函数；
[0087]
⑤
根据分类信息识别出图像中的钻杆，根据图像中钻杆库的位置确定出目标物体x-y轴的信息，同时叠加深度相机的深度信息获得z轴信息，得到待抓取钻杆的真实三维坐标s1。
[0088]
在本发明实施例中，构成所述数据处理中心gru神经网络的输入具体包括：
[0089]
将视觉定位的钻杆的三维坐标信息s1和机械臂抓取时的三维坐标信息s2作差，取得的误差值t
t+1
作为当前时刻输入x
t+1
。
[0090]
在本发明实施例中，构成所述数据处理中心gru神经网络的重置门具体包括：
[0091]
确定上一时刻误差输出x
t
并与当前时刻的误差值t
t+1
送入激活函数输出 [0,1]范围内的门控信号值，信号值越大，上一时刻误差输出x
t
的权重越大。
[0092]
其中：
[0093]rt+1
＝σ(wr·
[x
t
,t
t+1
]+br)
[0094]rt+1
表示当前时刻门控信号值，σ表示是sigmoid函数，wr表示门控信号值的权重，x
t
表示上一时刻误差输出，t
t+1
表示当前时刻的误差值，br表示门控信号值偏置量。
[0095]
在本发明实施例中，构成所述数据处理中心gru神经网络的新门具体包括：
[0096]
输入信息x
t
、t
t+1
经过激活函数得到门控阀值，从而将阈值分为z
t+1
和 1-z
t+1
两部分来实现新信息的输入和历史信息的遗弃。
[0097]
其中：
[0098]zt+1
＝σ(wr·
[x
t
,t
t+1
]+bz)
[0099]zt+1
表示当前时刻门控阀值，σ表示是sigmoid函数，wz表示门控阀值的权重，x
t
表示
上一时刻误差输出，t
t+1
表示当前时刻的误差值，bz表示门控阀值偏置量。
[0100]
在本发明实施例中，构成所述数据处理中心gru神经网络的候选记忆具体包括：
[0101]
候选记忆由两部分组成，一部分是通过重置门阀值信号决定的过往误差输出x
t
，另一部分是当前输入误差值t
t+1
。当门控值r
t+1
＝0时，表示完全遗弃过往信息，则只包含当前信息。
[0102]
其中：
[0103][0104]
表示当前时刻候选记忆，tanh表示是双曲正切函数，表示候选记忆值的权重，z
t+1
表示当前时刻门控阀值，x
t
表示上一时刻误差输出，t
t+1
表示当前时刻的误差值，bz表示门控信号值偏置量。
[0105]
在本发明实施例中，构成所述数据处理中心gru神经网络的输出具体包括：
[0106]
最终输出由更新门控制，一部分是决定从上一时刻误差输出x
t
遗忘信息的程度，另一部分是决定当前候选记忆加入到输出的程度。二者的控制系数分别由1-z
t+1
，和z
t+1
控制，这使得二者处于平衡转换的状态。
[0107]
其中：
[0108][0109]
x
t+1
表示当前时刻的误差输出，z
t+1
表示当前时刻门控阀值，x
t
表示上一时刻误差输出，表示当前时刻候选记忆。
[0110]
实施例二
[0111]
如图4所示，一种基于视觉定位的煤矿井下机械臂抓取控制方法，其具体调节方法包括以下步骤：
[0112]
步骤s1：搭建基于mae-gru神经网络：将transformer和gru两个主要模块耦合在一起，使用mae模块是因为它通过随机掩码机制来去除图像中的冗余信息，使得算法更多的注意到全局信息来提高对图像的识别分类能力，而gru层可以直接学习输入数据的多个并行序列，提高机械臂的自校准精度；
[0113]
步骤s2：基于mae的神经网络预训练：多次采集某一时刻rgbd双目相机2的井下视频数据，视频帧数默认取30帧，分辨率为1080
×
720，将采集的视频制作成样本集导入到基于mae的神经网络中完成模型预训练；
[0114]
步骤s3：将采集的rgbd视频流传输到数据处理中心，通过基于mae的神经网络输出视觉定位的钻杆空间位置信息并制作样本集，通过输入大量样本数据得到一个训练好的gru神经网络；
[0115]
步骤s4：将包含钻杆空间位置信息的样本集导入搭建好的gru神经网络，设置误差阈值t；
[0116]
步骤s5：在t时刻，将实时采集的rgbd输入基于mae的神经网络中，完成图像增强并输出钻杆的三维坐标信息s1，机械臂根据钻杆的三维坐标信息s1数进行抓取操作；
[0117]
步骤s6：根据加速度传感器2反馈的数字信号反向解算出机械臂完成抓取任务时
的三维坐标信息s2；
[0118]
步骤s7：将视觉定位的钻杆的三维坐标信息s1和机械臂抓取时的三维坐标信息s2作差，取得此时的误差值t
t
，同时将此时gru网络的误差输出x
t
设置为误差值t
t
，先将误差输出x
t
和设置的误差阙值t进行比较，若误差值小于所设误差阈值，继续采集下一次抓取时刻t+1的误差数据t
t+1
，将t
t+1
与之前产生的误差进行误差累计获得累积误差输出x
t+1
，将所获得的误差输出x
t+1
与所设置的误差阙值t进行比较；
[0119]
步骤s8：重复步骤s4，直至所产生的累积误差输出x
t+n
大于所设误差阈值t，则结束该循环，根据误差值相对于实际值方位关系对机械臂控制系统进行调节以抵消误差的影响，机械臂在工作过程中产生的误差会不断累积，通过设置误差阈值使得误差始终保持在不影响钻杆抓取操作的范围内。
[0120]
在本发明实施例中，将采集到的数据导入mae-gru网络架构进行训练以得到预测模型，这样做可以使所训练出来的模型更加可靠，通过将视觉定位的钻杆的三维坐标信息s1和机械臂抓取时的三维坐标信息s2进行对比并进行实时误差补偿，从而实现钻杆抓取机械臂位移与姿态的自动调节，提高钻杆装卸效率，提高钻孔泄压的无人化水平。
[0121]
工作原理：基于mae-gru网络架构，在获得更加精准的视觉定位的同时，通过基于门循环单元的机械臂自动校准系统，及时对机械臂的定位误差进行校准，使得机械臂的定位累积误差始终保持在不影响正常工作的合理范围内。
[0122]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0123]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。