基于单目视觉自动标签的液压支架推进度检测方法及系统与流程

1.本发明涉及一种基于机器视觉的检测方法，具体的说，涉及了一种基于单目视觉自动标签的液压支架推进度检测方法及系统。


背景技术：

2.液压支架是煤矿井下工作面安全支护的核心设备。在工作面中，液压支架会在采煤机的截割煤壁后，往前推移刮板运输机，从而将工作面往回采方向推进。
3.在工作面回采过程中，刮板运输机的直线度直接决定了采煤机滚筒截割煤壁的厚度，进而确定割煤机单刀的采煤量。由于刮板运输机的直线度是由液压支架推移油缸确定，因此其直线度就确定了液压支架的空间分布。如果工作面直线度不好，有可能造成工作面安全支护失稳，导致安全事故。因此，工作面直线度检测是煤矿井下需要解决的重点难题。
4.工作面的直线度检测主要的方法有惯性导航装置检测、位移传感器检测两类。但是惯性导航检测成本高，且检测的工作面直线度仅为上一刀采煤机的运行轨迹，而非实时的工作面直线度，一定程度上没有发挥惯性导航装置的作用。而位移传感器检测方法主要是通过激光或声呐传感器，检测液压支架与刮板运输机的相对位移。这类方法需要在每一个液压液压支架前端安装一个位移传感器，从而确认整个工作面的直线度。由于落煤、浮煤等影响，这类传感器在使用过程中，容易被损坏或者出现数据错误。
5.也有基于机器视觉的直线度检测方法，其核心是通过摄像头检测液压支架的推移油缸的推进度。然而，在机器视觉领域，单目摄像头的检测位置通常可以采用相机内参数与世界坐标系标定的办法，通过拍摄的视频图像信息的像素来反演距离。然而，单目摄像头可以在水平轴和俯仰轴两个维度上动作，因此不能用单目摄像头的标定方法来确定动态不同角度情况下的成像畸变。此外，在液压支架的推进过程中，单目摄像头相对于地面的位置也会发生变化，从而导致摄像头拍摄环境出现很大的差异。因此，采用单目摄像头，通过标定的方法无法实现液压支架推移行程的精确检测。


技术实现要素：

6.本发明的目的是针对现有技术的不足，提供一种基于单目视觉自动标签的液压支架推进度检测方法及系统。
7.为了实现上述目的，本发明所采用的技术方案是：本发明第一方面提供了一种基于单目视觉自动标签的液压支架推进度检测方法，包括：部署检测系统将摄像头安装在液压支架上，使得摄像头的水平面0度线为液压支架顶梁中线，摄像头的俯仰面与液压支架顶梁垂直，摄像头的俯仰面0度线为液压支架顶梁中线张成的平面；摄像头俯拍液压支架的推移杆，在推移杆的两端的液压支架底座和刮板运输机十
字头上分别设置标识1和标识2；构建深度神经网络模型构建十层由一维卷积层conv1d(m，n)组成的深度残差网络模型，其中，m表示输入的通道数，n表示输出通道数，第一层卷积层为conv1d(3，64)，第二层卷积层为conv1d(64，128)，第三层卷积层为conv1d(128，128)，第四层卷积层为conv1d(128，64)，第五层卷积层为conv1d(64，64) ，第六层卷积层为conv1d(64，32) ，第七层卷积层为conv1d(32，32) ，第八层卷积层为conv1d(32，4) ，第九层卷积层为conv1d(4，2) ，第十层卷积层为conv1d(2，4)；基于自动标签的神经网络训练所述摄像头设置在云台上，能够记录并输出水平轴和俯仰轴的旋转角度信息。
8.基于上述，基于自动标签的神经网络训练时，控制器读取的摄像头的图像信息先进行直方图均衡化的增强预处理和对比度调整，其中对比度增强调节范围在+0.0~+1.0之间；读取的摄像头的图像信息中取当前液压架和左右邻液压架的推移杆图像信息。
9.基于上述，基于自动标签的神经网络训练时，控制器仅读取当前液压架和左右邻液压架的推移杆的推移距离，推移杆的推移距离通过传感器检测获得。
10.基于上述，根据摄像头的图像信息提取图像中的标识物的位置信息的方法为：在摄像头拍摄的图像中，需要确认当前液压支架、左右邻液压支架的端头信息，分为三种情况：摄像头左偏、摄像头置中、摄像头右偏；在增强后的图像中，分割出各个标识，并从上到下，从左到右编号；依据标识的在图像中的位置，首先将标识分为上下两排，然后从左往右进行标识配对；通过分割出来的标识中的横线和竖线的交叉点确认中心点，获得标识像素空间位置中心在坐标轴x0y上的坐标。
11.基于上述，所述摄像头为单目伺服摄像头，提供rgb三原色图像，分辨率为1920*1080。
12.基于上述，所述推移杆的推移距离的数据精度为0.01米。
13.基于上述，所述控制器的gpu选用nvidia t4 gpu显卡。
14.将构建深度神经网络模型置于控制器的gpu单元中，控制器定时读取摄像头的图像信息、摄像头的位置信息和推移杆的推移距离；根据摄像头的图像信息提取图像中的标识物的位置信息，即标识像素空间位置中心在坐标轴x0y上的坐标，共计4个数据；根据摄像头的角度信息提取摄像头的水平角和俯仰角信息，共计2个数据；将上述6个数据信息作为输入信号送入深度神经网络模型，将推移杆的推移距离作为深度神经网络模型的标签，当做输出信号送入深度神经网络模型，对深度神经网络模型进行训练；训练时，损失函数：log对数损失函数，式中，x为神经网络输入信号，y为对应的神经网络标签；训练方法：随机梯度下降法；训练结束标志：损失函数值小于0.001；推进度检测控制器读取摄像头的图像信息和摄像头的位置信息，根据摄像头的图像信息提取
标识像素空间位置中心在坐标轴x0y上的坐标，共计4个数据，根据摄像头的角度信息提取摄像头的水平角和俯仰角信息，共计2个数据；将该6个数据信息作为输入信号送入训练好的深度神经网络模型，即可输出推移杆的推移距离。
15.基于上述，所述标识1和所述标识2为5cm*5cm的红白相间反光贴。
16.基于上述，所述摄像头设置在云台上，能够记录并输出水平轴和俯仰轴的旋转角度信息。
17.基于上述，基于自动标签的神经网络训练时，控制器读取的摄像头的图像信息先进行直方图均衡化的增强预处理和对比度调整，其中对比度增强调节范围在+0.0~+1.0之间；读取的摄像头的图像信息中取当前液压架和左右邻液压架的推移杆图像信息。
18.基于上述，基于自动标签的神经网络训练时，控制器仅读取当前液压架和左右邻液压架的推移杆的推移距离，推移杆的推移距离通过传感器检测获得。
19.基于上述，根据摄像头的图像信息提取图像中的标识物的位置信息的方法为：在摄像头拍摄的图像中，需要确认当前液压支架、左右邻液压支架的端头信息，分为三种情况：摄像头左偏、摄像头置中、摄像头右偏；在增强后的图像中，分割出各个标识，并从上到下，从左到右编号；依据标识的在图像中的位置，首先将标识分为上下两排，然后从左往右进行标识配对；通过分割出来的标识中的横线和竖线的交叉点确认中心点，获得标识像素空间位置中心在坐标轴x0y上的坐标。
20.本发明第二方面提供了一种基于单目视觉自动标签的液压支架推进度检测系统，检测系统包括液压支架、摄像头和控制器，所述控制器设置gpu单元；所述液压支架、所述摄像头和所述控制器，用于完成权利要求1
‑
6任一项所述的基于单目视觉自动标签的液压支架推进度检测方法。
21.基于上述，所述摄像头为单目伺服摄像头，提供rgb三原色图像，分辨率为1920*1080。
22.基于上述，所述推移杆的推移距离的数据精度为0.01米。
23.基于上述，所述控制器的gpu选用nvidia t4 gpu显卡。
24.本发明相对现有技术具有突出的实质性特点和显著进步，具体的说，本发明具备以下有益效果：（1）仅采用一个单目伺服摄像头：摄像头安装在液压支架上，俯拍液压支架的推移杆，根据标识对摄像头拍摄的图像信息进行分割处理和标识匹配后，若一幅图像中有n对标识物，则一幅图像可提供n个样本参与训练，仅采用一个单目伺服摄像头即可提供多训练样本；（2）无需标定：采用深度神经网络模型对摄像头的图像信息、摄像头的位置信息和推移杆的推移距离进行训练，无需对摄像头的检测位置进行标定即可实现液压支架推移行程的精确检测；（3）无需人工提供标签：本发明的深度神经网络模型的标签为对应推移杆的推移距离，由控制器自动读取传感器检测的推移距离作为标签，无需人工提供标签；（4）可在线训练：采用深度神经网络模型对摄像头的图像信息、摄像头的位置信息
和推移杆的推移距离进行训练，其中，摄像头的图像信息、摄像头的位置信息和推移杆的推移距离，通过摄像头、传感器与控制器的通信连接，控制器即可在线定时读取到gpu进行训练。
附图说明
25.图1是本发明系统中摄像头在液压支架上的安装位置示意图。
26.图2是本发明系统中液压支架与刮板运输机的空间分布图。
27.图3是本发明系统中标识的空间位置图。
28.图4是本发明方法中摄像头拍摄三架液压支架的成像示意图。
29.图5是本发明方法中标识提取及编号坐标示意图。
30.图6是本发明方法中深度神经网络模型结构图。
31.图7是本发明系统框架结构图。
具体实施方式
32.下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
33.实施例1如图1
‑
7所示，本实施例提供了一种基于单目视觉自动标签的液压支架推进度检测系统，检测系统包括液压支架、摄像头和控制器，所述控制器设置gpu单元；所述液压支架、所述摄像头和所述控制器，用于完成基于单目视觉自动标签的液压支架推进度检测方法，包括：部署检测系统将摄像头安装在液压支架上，使得摄像头的水平面0度线为液压支架顶梁中线，摄像头的俯仰面与液压支架顶梁垂直，摄像头的俯仰面0度线为液压支架顶梁中线张成的平面；摄像头俯拍液压支架的推移杆，在推移杆的两端的液压支架底座和刮板运输机十字头上分别设置标识1和标识2；具体的，所述标识1和所述标识2为5cm*5cm的红白相间反光贴，在其它实施例中也可以直接采用液压支架底座和刮板运输机十字头上的其它起标识作用的标志物。
34.构建深度神经网络模型构建十层由一维卷积层conv1d(m，n)组成的深度残差网络模型，其中，m表示输入的通道数，n表示输出通道数，第一层卷积层为conv1d(3，64)，第二层卷积层为conv1d(64，128)，第三层卷积层为conv1d(128，128)，第四层卷积层为conv1d(128，64)，第五层卷积层为conv1d(64，64) ，第六层卷积层为conv1d(64，32) ，第七层卷积层为conv1d(32，32) ，第八层卷积层为conv1d(32，4) ，第九层卷积层为conv1d(4，2) ，第十层卷积层为conv1d(2，4)。
35.基于自动标签的神经网络训练（1）图像获取办法：所述摄像头设置在云台上，能够记录并输出水平轴和俯仰轴的旋转角度信息，所述摄像头为单目伺服摄像头，可直接购置；（2）信息获取及预处理：
为了确定推移杆在视频图像中的长度，检测系统提供三种信息：摄像头的图像信息；通过传感器检测的推移杆长度；摄像头的转动的俯仰角和水平角；摄像头提供rgb三原色图像，分辨率为1920*1080。控制器读取的摄像头的图像信息先进行直方图均衡化的增强预处理和对比度调整，其中对比度增强调节范围在+0.0~+1.0之间；读取的摄像头的图像信息中取当前液压架和左右邻液压架的推移杆图像信息，其他不做考虑。控制器也仅读取当前液压架和左右邻液压架的推移杆的推移距离，推移杆的推移距离通过传感器检测获得，所述推移杆的推移距离的数据精度为0.01米；（3）三架液压支架推移杆端头信息确定：在摄像头拍摄的图像中，需要确认当前液压支架、左右邻液压支架的端头信息，分为三种情况：摄像头左偏、摄像头置中、摄像头右偏；在增强后的图像中，分割出各个标识，并从上到下，从左到右编号；依据标识的在图像中的位置，首先将标识分为上下两排，然后从左往右进行标识配对，即实现摄像头的图像信息、推移杆长度、摄像头的转动的俯仰角和水平角的配对；通过分割出来的标识中的横线和竖线的交叉点确认中心点，获得标识像素空间位置中心在坐标轴x0y上的坐标，即两个标识中心点在坐标轴上的坐标，共计4个数据；（4）深度神经网络训练将构建深度神经网络模型置于控制器的gpu单元中，所述控制器的gpu选用nvidia t4 gpu显卡；控制器定时读取摄像头的图像信息、摄像头的位置信息和推移杆的推移距离；根据摄像头的图像信息提取图像中的标识物的位置信息，即标识像素空间位置中心在坐标轴x0y上的坐标；根据摄像头的角度信息提取摄像头的水平角和俯仰角信息，共计2个数据；将上述6个数据信息作为输入信号送入深度神经网络模型，将推移杆的推移距离作为深度神经网络模型的标签，当做输出信号送入深度神经网络模型，对深度神经网络模型进行训练；神经网络训练的主要技术参数包括：损失函数：log对数损失函数，式中，x为神经网络输入信号，y为对应的神经网络标签；训练方法：随机梯度下降法；训练结束标志：损失函数值小于0.001。
36.推进度检测控制器读取摄像头的图像信息和摄像头的位置信息，根据摄像头的图像信息提取标识像素空间位置中心在坐标轴x0y上的坐标，共计4个数据，根据摄像头的角度信息提取摄像头的水平角和俯仰角信息，共计2个数据；将该6个数据信息作为输入信号送入训练好的深度神经网络模型，即可输出推移杆的推移距离。
37.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。