掘锚机和锚杆台车的协同控制方法

本发明涉及掘进装备智能化，尤其涉及一种掘锚机和锚杆台车的协同控制方法。

背景技术：

1、随着科技的发展，煤矿智能化程度日益增高，掘进工作面包括掘锚机、锚杆台车、带式输送机等重要的掘进装备，掘锚机、锚杆台车作为重要的组成部分，保证着掘进的顺利进行。煤矿井下的恶劣环境为掘锚机和锚杆台车的视觉协同控制带来了很大的困难。

2、目前在对掘锚机和锚杆台车进行协同控制时，通常直接将煤矿井下视频监控系统采集的图像直接输入神经网络来实现。然而，但由于受粉尘、水雾及光照等因素的影响，视频监控系统采集的图像经常存在对比度低、细节模糊等问题，给视觉神经网络的识别带来了巨大的困难，导致识别精度低，进而导致协同控制误差大。另外，现有的神经网络模型计算量大、资源占用高，运行速度较慢且不适合在边缘嵌入式设备部署，这给掘锚机和锚杆台车的协同控制造成了很大的困难，导致识别速度慢，协同控制效果差。

技术实现思路

1、为解决上述技术问题，本发明提供一种掘锚机和锚杆台车的协同控制方法。本发明的技术方案如下：

2、一种掘锚机和锚杆台车的协同控制方法，其包括如下步骤：

3、s1，通过锚杆台车上安装的工业相机采集当前位置的初始掘锚机视觉图像；

4、s2，通过自适应直方图均衡化算法对所述初始掘锚机视觉图像进行去雾处理，得到目标掘锚机视觉图像；

5、s3，将所述目标掘锚机视觉图像处输入预先训练好的剪枝yolov3神经网络模型，根据所述剪枝yolov3神经网络模型的输出确定掘锚机的实际边界框，所述剪枝yolov3神经网络模型用于提取掘锚机的边界框；

6、s4，根据所述实际边界框和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随。

7、可选地，所述s3在将所述目标掘锚机视觉图像处输入预先训练好的剪枝yolov3神经网络模型之前，还包括如下步骤：

8、s31，通过锚杆台车上安装的工业相机获取在不同位置、不同角度采集的多张掘锚机尾部图像；

9、s32，将多张掘锚机尾部图像均通过自适应直方图均衡化算法进行去雾处理；

10、s33，通过去雾处理过的掘锚机尾部图像构建掘锚机图像数据集，并对掘锚机图像数据集进行掘锚机标注，构建训练数据集；

11、s34，对yolov3神经网络模型进行剪枝操作，得到初始剪枝yolov3神经网络模型；

12、s35，采用训练数据集对初始剪枝yolov3神经网络模型进行训练，得到训练好的剪枝yolov3神经网络模型。

13、可选地，所述s4在根据所述实际边界框和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随时，包括如下步骤：

14、s41，以锚杆台车的相机原点为焦点，建立垂直于锚杆台车相机光轴的图像坐标系，并在锚杆台车的像素坐标系下表示掘锚机的像素坐标；

15、s42，将掘锚机的像素坐标转化为掘锚机的实际边界框的坐标以及实际边界框的中心点坐标；

16、s43，根据所述实际边界框的坐标、实际边界框的中心点坐标和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随。

17、可选地，所述s42在将掘锚机的像素坐标转化为掘锚机的实际边界框的坐标以及实际边界框的中心点坐标时，包括如下步骤：

18、设定掘锚机的横滚角和俯仰角为0，令，，其中，b(t)为掘锚机的实际边界框的坐标，p(t)为实际边界框的中心点坐标，xmin(t)、ymin(t)、xmax(t)、ymax(t)分别为掘锚机的实际边界框的长度起点、宽度起点、长度终点、宽度终点。

19、可选地，所述s43在根据所述实际边界框的坐标、实际边界框的中心点坐标和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随时，包括如下步骤：

20、s431，设掘锚机和锚杆台车的控制量为u(t)＝[v(t)，ω(t)]，v(t)为掘锚机前进速度，ω(t)为掘锚机角速度，给锚杆台车输入控制量u(t)以驱使b(t)趋近于期望边界框，即使（1）；公式（1）中，为期望边界框的坐标；

21、s432，根据视觉成像原理可得，掘锚机和锚杆台车的相对位置包含在实际边界框中，实际边界框的坐标包含了相对位置信息，实际边界框的尺寸包含了相对距离信息，由此按照如下方式对公式（2）至公式（4）进行转化：

22、其中，，w(t)和h(t)分别为实际边界框的宽和高，；

23、s433，根据y(t)与控制锚杆台车对掘锚机进行自适应跟随。

24、可选地，所述s433在根据y(t)与控制锚杆台车对掘锚机进行自适应跟随时，包括：

25、根据y(t)与通过如下公式（5）控制锚杆台车对掘锚机进行自适应跟随；

26、（5）

27、公式（5）中，kp、ki分别为比例系数矩阵和积分系数矩阵，。上述所有可选技术方案均可任意组合，本发明不对一一组合后的结构进行详细说明。

28、借由上述方案，本发明的有益效果如下：

29、通过自适应直方图均衡化算法对初始掘锚机视觉图像进行去雾处理，可以克服由于受粉尘、水雾及光照等因素的影响而导致初始掘锚机视觉图像中存在的对比度低、细节模糊等问题，从而便于目标掘锚机视觉图像的识别。通过剪枝yolov3神经网络模型提取掘锚机的边界框，能够减小神经网络模型的计算量和资源占用量，提高运行速度，进而提高识别效率，保证掘锚机和锚杆台车的协同控制效果好。本发明具有简单，稳定，占用资源少，准确度高的特点，使掘锚机和锚杆台车的协同控制效果更好。

30、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

技术特征：

1.一种掘锚机和锚杆台车的协同控制方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的掘锚机和锚杆台车的协同控制方法，其特征在于，所述s3在将所述目标掘锚机视觉图像处输入预先训练好的剪枝yolov3神经网络模型之前，还包括如下步骤：

3.根据权利要求1或2所述的掘锚机和锚杆台车的协同控制方法，其特征在于，所述s4在根据所述实际边界框和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随时，包括如下步骤：

4.根据权利要求3所述的掘锚机和锚杆台车的协同控制方法，其特征在于，所述s42在将掘锚机的像素坐标转化为掘锚机的实际边界框的坐标以及实际边界框的中心点坐标时，包括如下步骤：

5.根据权利要求4所述的掘锚机和锚杆台车的协同控制方法，其特征在于，所述s43在根据所述实际边界框的坐标、实际边界框的中心点坐标和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随时，包括如下步骤：

6.根据权利要求5所述的掘锚机和锚杆台车的协同控制方法，其特征在于，所述s433在根据y(t)与控制锚杆台车对掘锚机进行自适应跟随时，包括：

技术总结
本发明涉及一种掘锚机和锚杆台车的协同控制方法，属于掘进装备智能化技术领域。包括：通过锚杆台车上安装的工业相机采集当前位置的初始掘锚机视觉图像；通过自适应直方图均衡化算法对所述初始掘锚机视觉图像进行去雾处理，得到目标掘锚机视觉图像；将所述目标掘锚机视觉图像处输入预先训练好的剪枝YOLOv3神经网络模型，根据所述剪枝YOLOv3神经网络模型的输出确定掘锚机的实际边界框；根据所述实际边界框和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随。本发明便于目标掘锚机视觉图像的识别，能够减小神经网络模型的计算量和资源占用量，提高运行速度，进而提高识别效率，保证掘锚机和锚杆台车的协同控制效果好。

技术研发人员：王宏伟,郄晨飞,杨彦群,李丽绒,董志勇,付翔,王浩然,曹文艳,杨焜,李正龙,李进,常鑫
受保护的技术使用者：太原理工大学
技术研发日：
技术公布日：2024/1/15