一种悬臂式掘进机截割头位姿视觉测量方法与流程

本发明属于矿用设备运行状态监测领域，尤其涉及一种悬臂式掘进机截割头位姿视觉测量方法。

背景技术：

掘进机截割部旋转和抬升角度是掘进机工况的重要参数，因此掘进机角度检测非常必要。目前国内掘进机自动化程度低，机身及截割头自主定位技术落后，严重限制了自动截割系统的发展。目前常用接触式测量方法，这样方法往往无法满足工况要求，还使用旋转编码器对掘进机在工况条件下的旋转和抬升角度进行测量，这种测量方法存在较大的误差且安装困难。

技术实现要素：

针对现有制备技术的缺陷和不足，本发明的目的是提供一种悬臂式掘进机截割头位姿视觉测量方法，能够自动测量出掘进机视频图像中截割部的旋转角和抬升角，为煤矿井下掘进机截割部角度测量提供必要的技术支持。

为了实现上述目的，本发明采用如下技术方案予以实现：

一种悬臂式掘进机截割头位姿视觉测量方法，包括以下步骤：

步骤一：在掘进机截割头处安置方形定位标识，并通过摄像机对掘进机图像进行采集；

步骤二：对采集得到的目标图像进行降噪处理，提取降噪处理后图像中的定位标识；

步骤三：对定位标识进行边缘直线拟合，得到定位标识的四个顶点坐标，具体步骤为：

步骤3.1：对定位标识按照设定的中心间距和大小分布感受野，采用(r*2+1)*(r*2+1)的掩模，r为感受野细胞半径，掩模中心与感受野细胞中心重合；

步骤3.2：利用梯度算子计算每个感受野掩模梯度方向，通过掩模梯度方向对每个感受野方向进行定性判断，从而分别划分出定位标识的上边缘、下边缘、左边缘和右边缘上分布的感受野细胞；

步骤3.3：利用感受野模型，计算上边缘方向各个感受野的响应值，根据单个感受野内像素点形成的对比边缘位置与感受野中心距离的关系，确定每个感受野中心到感受野内对比边缘到感受野中心的距离，然后利用带约束的最小二乘法模型拟合出标识板上边缘所在直线；

步骤3.4：重复步骤3.3，分别对定位标识的下边缘、左边缘、右边缘所在直线进行拟合；

步骤3.5：根据拟合的上边缘、下边缘、左边缘和右边缘四条直线方程，得到定位标识的四个顶点坐标；

步骤四：计算掘进机截割头位的位姿；

步骤4.1：根据步骤三得到定位标识的四个顶点坐标，将其转化为图像坐标，根据图像坐标与光心坐标的关系，计算定位标识的法向量；

其中，为定位标识的法向量，a∈i，b∈i，c∈i，a≠b≠c，i＝1,2,3,4；

(xi,yi,zi)为定位标识顶点的光心坐标，(xi,yi)为定位标识顶点的图像坐标，c为摄像机的有效焦距；

b1＝x2y3-x4y3+x4y2-x2y4+x3y4-x3y2

b2＝x3y4-x4y3-x1y4+x4y1+x1y3-x3y1

b3＝x1y2-x4y2-x2y1-x1y4+x4y1+x2y4

b4＝x3y2-x2y3+x1y3+x2y1-x1y2-x3y1

其中，l为长方形定位标识的长边边长或正方形定位标识的边长；

步骤4.2：通过式(1)和式(2)计算掘进机截割部的水平摆动角γ和上下抬升角α，即掘进机截割头位的位姿；

γ＝θ-θ0(1)

α＝β-β0(2)

其中，θ为掘进机截割部在摆动过程中，定位标识的法向量与竖直方向的夹角，θ0为掘进机截割部在初始位置时，定位标识的法向量与竖直方向的夹角；β为掘进机截割部在上下抬升过程中，定位标识的法向量与水平方向的夹角，β0为掘进机截割部在初始位置时，定位标识的法向量与水平方向的夹角。

进一步的，所述的步骤二包括：

步骤2.1：对采集得到的目标图像进行自适应二值化预处理；

步骤2.2：利用基于连通分量的方法对预处理后的目标图像中的定位标识进行提取。

与现有技术相比，本发明的有益效果是：

本发明方法能准确测量出掘进机图像中截割部的水平摆动角和上下抬升角,为掘进机截割头的位置测量提供必要的技术支持,具有显著的经济效益和较高的工程应用价值。

附图说明

图1为本发明的流程图。

图2为本发明的掘进机中定位标识和摄像机的安装位置图。

图3为本发明方法采集的图像及其处理后的图像，(a)原始图像，(b)二值化预处理后的图像，(c)提取的定位标识。

以下结合实施例对本发明的具体内容作进一步详细解释说明。

具体实施方式

光心坐标系(相机坐标系)：以相机的光心为坐标原点，x轴、y轴分别平行于ccd平面的两条垂直边，z轴与相机的光轴重合。

图像坐标系：坐标原点在ccd图像平面的中心，x轴、y轴分别平行于ccd平面的两条垂直边。

像素坐标系：坐标原点在ccd图像平面的左上角，u轴、v轴分别平行于图像坐标的x轴、y轴。

本发明的悬臂式掘进机截割头位姿测量方法，包括以下步骤：

步骤一：在掘进机截割部处安置方形定位标识，并通过摄像机对掘进机图像进行采集，摄像机一般固定安装在掘进机机身上，如图1所示。

步骤二：对采集得到的目标图像进行降噪处理，提取预处理后图像中的定位标识，具体包括：

步骤2.1：对采集得到的每帧目标图像进行自适应二值化预处理；

步骤2.2：利用基于连通分量的方法对预处理后的目标图像中的定位标识进行提取；

步骤三：对每个定位标识进行边缘直线拟合，得到每个定位标识的四个顶点坐标，具体包括：

步骤3.1：对定位标识按照设定的中心间距和大小分布感受野，采用(r*2+1)*(r*2+1)的掩模，r为感受野细胞半径，掩模中心与感受野细胞中心重合；

步骤3.2：利用梯度算子计算每个感受野掩模梯度方向；

通过掩模梯度方向，对每个感受野方向进行定性判断，从而分别划分出定位标识上边缘、下边缘、左边缘、右边缘上分布的感受野细胞；

步骤3.3：利用感受野模型，计算上边缘方向各个感受野的响应值s，

s＝s1-s2(3)

其中，σd＝rd/4，σs＝rs/4；rd和rs分别表示感受野的中心区和外周区(也包含中心区的大圆)的半径，h(u,v,η)表示对比刺激覆盖率为η时，位于像素(u,v)的像素点刺激强度，对于二值图像中像素值为255的点取值为1，像素值为0的点取值为0；

s1为感受野中心区响应值，s2为感受野周边区域的响应值，dl为位于感受野中心区的像素点，se为位于感受野周边区域的像素点，l＝0,1,2,...,f，e＝1,2,...,m，f为位于感受野中心区的像素点，m为位于感受野周边区域的像素点个数。

根据单个感受野内像素点形成的对比边缘位置与感受野中心距离的关系，确定每个感受野中心到感受野内拟合对比边缘的距离dh，h＝1,2,...,n，其中n表示感受野细胞个数。

假设边缘所在直线方程(a,b)(u,v)^t+c＝0，根据点到直线的距离公式：

其中，(uh，vh)为感受野中心在像素坐标系上的坐标点。

利用带约束的最小二乘法模型对该边缘所在直线进行拟合；

其中，l(a,b,c,λ)表示拉格朗日函数，λ为参数；a，b，c为拟合的边缘所在直线方程系数，u、v均表示由感受野细胞中心的像素坐标组成的n*1矩阵，d表示dh组成的n*1矩阵；

在约束条件a²+b²＝1下，找到a，b，c最优解(a^*,b^*,c^*)；

步骤3.4：重复步骤3.3，分别对定位标识的下边缘、左边缘、右边缘所在直线进行拟合；

步骤3.5：根据拟合的上边缘、下边缘、左边缘和右边缘四条直线方程，得到定位标识的四个顶点坐标；

步骤四：计算掘进机截割部的水平摆动角γ和上下抬升角α，即掘进机截割头位的位姿，具体包括：

步骤4.1：根据步骤三得到每个定位标识的四个顶点坐标，将其转化为图像坐标，很据图像坐标与光心坐标的关系，计算定位标识的法向量；在计算法向量过程中，选择定位标识其中三个顶点坐标，通过三个顶点形成的向量即可确定定位标识所在空间平面，从而求得其法向量

其中，为定位标识的法向量，a∈i，b∈i，c∈i，a≠b≠c，i＝1,2,3,4；

(xi,yi,zi)为定位标识顶点的光心坐标，(xi,yi)为定位标识顶点的图像坐标，c为摄像机的有效焦距；

b1＝x2y3-x4y3+x4y2-x2y4+x3y4-x3y2

b2＝x3y4-x4y3-x1y4+x4y1+x1y3-x3y1

b3＝x1y2-x4y2-x2y1-x1y4+x4y1+x2y4

b4＝x3y2-x2y3+x1y3+x2y1-x1y2-x3y1。

其中，l为定位标识的边长，若定位标识为长方形，则l为长边的边长。

步骤4.2：通过式(1)和式(2)计算掘进机截割部的水平摆动角γ和上下抬升角α，即掘进机截割头位的位姿；

γ＝θ-θ0(1)

α＝β-β0(2)

其中，θ为掘进机截割部在摆动过程中，定位标识的法向量与竖直方向的夹角，θ0为掘进机截割部在初始位置时，定位标识的法向量与竖直方向的夹角；β为掘进机截割部在上下抬升过程中，定位标识的法向量与水平方向的夹角，β0为掘进机截割部在初始位置时，定位标识的法向量与水平方向的夹角。

以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

实施例

本实施例给出一种悬臂式掘进机截割头位姿测量方法，将掘进机截割头放置在水平摆角和上下抬升角均为零的位置处，摄像机采集掘进机上的方形定位标识板，如图3(a)所示；

对采集得到的目标图像进行降噪处理，对去噪后的掘进机图像进行自适应二值化处理，图3(b)表示二值化后图像；提取步骤二值化后的掘进机图像中的连通分量；利用连通分量的长短轴比和面积信息提取与分割掘进机图像中的定位标识，如图3(c)所示；

采用感受野细胞模型对定位标识进行边缘直线拟合：利用梯度算子计算每个感受野掩模梯度方向，通过梯度方向，对每个感受野方向进行定性判断，从而划分出定位标识四个边缘分布的感受野；

利用感受野模型，计算上边缘方向各个感受野的响应值，根据单个感受野内像素点形成的对比边缘位置与感受野中心距离的关系，确定每个感受野中心到感受野内对比边缘到感受野中心的距离，然后利用带约束的最小二乘法模型拟合出标识板上边缘所在直线；

重复上述过程，分别对定位标识的下边缘、左边缘、右边缘所在直线进行拟合；根据拟合的上边缘、下边缘、左边缘和右边缘四条直线方程，得到定位标识的四个顶点坐标。

计算定位标识的空间朝向，即定位标识的法向量根据定位标识的法向量与水平方形、竖直方向的夹角，计算得到掘进机截割部的水平摆动角为1.6742°，上下抬升角为5.6719°；说明掘进机机身上的相机的摆放位置不在水平面与竖直面上；

调整截割头的水平摆角为向右最大为33°30′41″，上下摆角为向上最大为31°45′30″时，进行图像采集，计算得此时掘进机截割头的水平摆角为34.8292°，上下抬升角为37.7276°，考虑相机自身的偏移，最终得到掘进机截割头实际的水平摆角为33.155°，上下抬升角为32.0557°，可以看出，本发明方法得到的掘进机截割头的位姿与截割头实际位姿很接近。