基于物体图像特征点像素空间位置组合控制方法与流程

本发明涉及一种7轴串联机械人(6轴机械人+滑轨(龙门))位置控制方法，特别是一种基于物体图像特征点像素空间位置组合控制方法。

背景技术：

现有的7轴串联机械人，一般由6轴机械人和滑轨(龙门)构成；其中的6轴机械人自带控制，6轴机械人的控制在与滑轨(龙门)动作电机控制配合时会出现精度失锁及回程误差情况，而且该误差会随着时间和往返累积加大，导致动作误差发散严重，进而导致控制信息精度较低。因此，现有的7轴串联机械人控制时存在着动作误差发散严重和控制信息精度较低的问题。

技术实现要素：

本发明的目的在于，提供一种基于物体图像特征点像素空间位置组合控制方法。本发明不仅能够抑制机械人动作误差，还能够提高控制信息精度。

本发明的技术方案：基于物体图像特征点像素空间位置组合控制方法，其特征在于，包括以下步骤：

a、安装2d视觉系统摄像头，使2d视觉系统摄像头的坐标系的x轴、y轴、z轴分别与机械人机体系的前后、左右、上下三个坐标轴相重合；

b、通过2d视觉系统摄像头进行机械人末端轴抓取物体特征的图像采集，在t0时刻采集到的图像为i0，在tn时刻采集到的图像为in；

c、采用orb特征点检测法检测出i0中的特征点的坐标集p0；

d、将i0、p0、in作为输入量，通过lk光流金字塔法得出i0中的特征点在in中的坐标集

e、将in、i0作为输入量，通过lk光流金字塔法得出特征点集pn在图i中的坐标集

f、计算和对应点之间的几何距离d0，然后求d0的均值，将几何距离d0大于d0的均值的点剔除；

g、将机器人空间运动坐标系(即机械人机体系)定义为x、y、z、b坐标系，计算物体水平方向的速度，得a速度；

h、使用a速度计算图像坐标系下的特征点速度，得b速度；

i、使用b速度计算图像坐标系下的特征点位移；

j、采用lk光流计算公式计算各个特征点光流的角误差，其中的n0个特征点光流的理想特征值，第ni个特征点使用lk金字塔光流算法所估计的光流变化值，k为两幅图像之间相隔的帧数；以机械人动作控制信息求解的特征点位移作为光流的理想特征值，将角误差较大的点剔除；

k、选取机械人动作控制系统的数学平台误差[σn、σe、σd]，三个方向速度误差xyz三个方向的位置误差[σx、σy、σz]及空间旋转b的误差[bwx、bwy、bwz]构成12维状量，

系统的噪声矩阵w设置为，

其中，为机械人伺服电机反馈编码的测量的白噪声，为运动加速度测量的白噪声；

计算特征点在像素坐标系下的动作速度误差，将特征点在像素坐标系下的动作速度误差作为控制量；通过dsp控制系统根据控制量进行控制。

前述的基于物体图像特征点像素空间位置组合控制方法中，所述步骤g中的物体水平方向的速度为，其中，[vbx,vby]^t为机械人末端轴在空间坐标系下水平方向速度的真实值，[δvbx,δvby]^t为速度动作误差。

前述的基于物体图像特征点像素空间位置组合控制方法中，所述步骤h中的图像坐标系下的特征点速度为，其中，f为2d视觉系统摄像头的焦距对焦值，z为2d视觉系统摄像头离地面的高度值。

前述的基于物体图像特征点像素空间位置组合控制方法中，所述步骤i中的特征点位移为

前述的基于物体图像特征点像素空间位置组合控制方法中，所述步骤k中的特征点在像素坐标系下的动作速度误差为

与现有技术相比，本发明使用2d视觉系统摄像头将机械人动作控制的速度信息转换到图像坐标系下，采用orb特征点检测法将图像特征点的像素速度作为量测量对光流和dsp的信息进行深度融合，从而利用光流的信息对机械人动作控制的误差进行修正，同时通过计算特征点光流的角误差，利用机械人动作控制的信息提升光流的可靠性；最后计算特征点在像素坐标系下的动作速度误差，以该动作速度误差作为控制量，输出给7轴串联机械人进行空间位置补偿调整；利用光流算法的速度信息来抑制机械人动作控制信息的发散，同时也可以利用机械人动作控制输出的信息来提升光流信息求解的精度，从而能够抑制机械人动作误差，还能够提高控制信息精度。本发明采用计算特征点作为与之间距离d0的方式来剔除光流算法跟踪出错的点，能够有效的提升光流算法的准确性；同时，利用推出的特征点像素速度来修正光流速度信息，有效的增强光流算法抵抗图像局部干扰的能力；从而最大程度地提高了控制信息精度，提高了7轴串联机械人在无人控制情况下的自主补偿调整能力和补偿调节精度。因此，本发明不仅能够抑制机械人动作误差，还能够提高控制信息精度，提高7轴串联机械人在无人控制情况下的自主补偿调整能力和补偿调节精度。

附图说明

图1是本发明的结构示意图；

图2是orb特征点光流检测流程图。

具体实施方式

下面结合实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例一。基于物体图像特征点像素空间位置组合控制方法，如图1所示，包括以下步骤：

a、安装2d视觉系统摄像头，使2d视觉系统摄像头的坐标系的x轴、y轴、z轴分别与机械人机体系的前后、左右、上下三个坐标轴相重合；

b、通过2d视觉系统摄像头进行机械人末端轴抓取物体特征的图像采集，在t0时刻采集到的图像为i0，在tn时刻采集到的图像为in；

c、采用orb特征点检测法检测出i0中的特征点的坐标集p0；

d、将i0、p0、in作为输入量，通过lk光流金字塔法得出i0中的特征点在in中的坐标集

e、将in、i0作为输入量，通过lk光流金字塔法得出特征点集pn在图i中的坐标集

f、计算和对应点之间的几何距离d0，然后求d0的均值，将几何距离d0大于d0的均值的点剔除；

g、将机器人空间运动坐标系定义为x、y、z、b坐标系，计算物体水平方向的速度，得a速度；

h、使用a速度计算图像坐标系下的特征点速度，得b速度；

i、使用b速度计算图像坐标系下的特征点位移；

j、采用lk光流计算公式计算各个特征点光流的角误差，其中的n0个特征点光流的理想特征值，第ni个特征点使用lk金字塔光流算法所估计的光流变化值，k为两幅图像之间相隔的帧数；以机械人动作控制信息求解的特征点位移作为光流的理想特征值，将角误差较大的点剔除；

k、选取机械人动作控制系统的数学平台误差[σn、σe、σd]，三个方向速度误差xyz三个方向的位置误差[σx、σy、σz]及空间旋转b的误差[bwx、bwy、bwz]构成12维状量，

系统的噪声矩阵w设置为，

其中，为机械人伺服电机反馈编码的测量的白噪声，为运动加速度测量的白噪声；

计算特征点在像素坐标系下的动作速度误差，将特征点在像素坐标系下的动作速度误差作为控制量；通过dsp控制系统根据控制量进行控制。

所述步骤g中的物体水平方向的速度为，其中，[vbx,vby]^t为机械人末端轴在空间坐标系下水平方向速度的真实值，[δvbx,δvby]^t为速度动作误差。所述步骤h中的图像坐标系下的特征点速度为，其中，f为2d视觉系统摄像头的焦距对焦值，z为2d视觉系统摄像头离地面的高度值。所述步骤i中的步骤i中的特征点位移为

所述步骤k中的特征点在像素坐标系下的动作速度误差为

实施例二。基于物体图像特征点像素空间位置组合控制方法，如图1所示，包括以下步骤：

a、安装2d视觉系统摄像头，使2d视觉系统摄像头的坐标系的x轴、y轴、z轴分别与机械人机体系的前后、左右、上下三个坐标轴相重合；

b、通过2d视觉系统摄像头进行机械人末端轴抓取物体特征的图像采集，在t0时刻采集到的图像为i0，在tn时刻采集到的图像为in；

c、采用orb特征点检测法检测出i0中的特征点的坐标集p0；

d、将i0、p0、in作为输入量，通过lk光流金字塔法得出i0中的特征点在in中的坐标集

e、将in、i0作为输入量，通过lk光流金字塔法得出特征点集pn在图i中的坐标集

f、计算和对应点之间的几何距离d0，然后求d0的均值，将几何距离d0大于d0的均值的点剔除；

g、将机器人空间运动坐标系定义为x、y、z、b坐标系，计算物体水平方向的速度为

其中，[vbx,vby]^t为机械人末端轴在空间坐标系下水平方向速度的真实值，[δvbx,δvby]^t为速度动作误差；得a速度；

h、使用a速度计算图像坐标系下的特征点速度为

其中，f为2d视觉系统摄像头的焦距对焦值，z为2d视觉系统摄像头离地面的高度值；得b速度；

i、使用b速度计算图像坐标系下的特征点位移为

j、采用lk光流计算公式(lk光流算法的光流特征及角误差计算，在百度文库中有详细论述，本发明直接套用其lk光流计算公式：lk＝lucaskanade，翻译为：卢卡斯-卡纳德算法)计算各个特征点光流的角误差，其中的n0个特征点光流的理想特征值，第ni个特征点使用lk金字塔光流算法所估计的光流变化值，k为两幅图像之间相隔的帧数；以机械人动作控制信息求解的特征点位移作为光流的理想特征值，将角误差较大的点剔除；由于2d视觉系统摄像头两帧之间的间隔很短，机械人动作控制信息的误差较小，以机械人动作控制信息求解的特征点位移作为光流的理想特征值，将角误差较大的点剔除，可以有效的降低图像出现局部干扰造成的光流估算误差。

k、选取机械人动作控制系统的数学平台误差[σn、σe、σd]，三个方向速度误差xyz三个方向的位置误差[σx、σy、σz]及空间旋转b的误差[bwx、bwy、bwz]构成12维状量，

系统的噪声矩阵w设置为，

其中，为机械人伺服电机反馈编码的测量的白噪声，为运动加速度测量的白噪声；

计算特征点在像素坐标系下的动作速度误差，将特征点在像素坐标系下的动作速度误差作为控制量；通过dsp控制系统根据控制量进行控制。

其中orb特征点光流算法流程的主要步骤为(如图2所示)：

1、2d视觉系统摄像头在t0时刻图像it0，并将其进行灰度变换得到灰度图

2、利用orb特征点检测算法，获取的局部特征点坐标

3、采集ti时刻图像进行灰度转换后得到灰度图

4、将作为输入，采用金字塔lk光流算法估算图像上特征点坐标

5、将作为输入，利用(4)中步骤，计算出gt图像特征点坐标

6、计算与之间的距离d并对其求均值，将大于均值的点认为是跟踪误差较大的点，进行剔除；

7、求解准确光流。