一种面向机械臂的视觉伺服轨迹跟踪控制方法及系统

1.本发明涉及机械臂控制领域，尤其涉及一种面向机械臂的视觉伺服轨迹跟踪控制方法及系统。


背景技术：

2.机器人视觉伺服是指利用从图像中提取的视觉信息作为反馈传感信号，进行机器人末端执行器闭环控制，在工业搬运、自动化装配等应用领域具有广泛的应用前景。机器人视觉伺服系统种类繁多，存在多种控制方式。但是目前的控制方法每次都需要为不同的机械臂建立一个运动学模型，在不同机器人上的可移植性较差，由于相机的参数引起的雅可比矩阵计算过程的不同，同样，在具有不同参数的摄像机上的可移植性也较差。


技术实现要素：

3.为了解决上述技术问题，本发明的目的是提供一种面向机械臂的视觉伺服轨迹跟踪控制方法及系统，能够在机械臂的运动学模型参数未知和摄像机参数未知的情况下，求解机械臂视觉伺服的逆运动学问题，实现机器臂的追踪控制。
4.本发明所采用的第一技术方案是：一种面向机械臂的视觉伺服轨迹跟踪控制方法，包括以下步骤：
5.获取机械臂的期望像素轨迹信息和机械臂特征点的像素位置信息,并计算得到第一误差函数；
6.将像素位置信息对时间求导并结合第一误差函数和第一递归神经网络模型，变换得到关于机械臂关节角度的微分方程；
7.将特征点的图像雅可比、机械臂雅可比与关节角速度相乘得到实际像素变化率；
8.将复合雅可比与关节角速度相乘得到像素变化率并结合实际像素变化率计算，得到第二误差函数；
9.将第二误差函数与第二递归神经网络模型结合，变换得到关于复合雅可比的微分方程；
10.将关于机械臂关节角度的微分方程和关于复合雅可比的微分方程联合求解得到角度信息；
11.根据角度信息对机械臂进行运动控制和轨迹跟踪。
12.进一步，所述获取机械臂的期望像素轨迹信息和机械臂特征点的像素位置信息,并计算得到第一误差函数这一步骤，其具体包括：
13.获取机械臂t时刻二维像素坐标系中的期望像素轨迹信息
14.获取摄像机投影下机械臂特征点的像素位置信息
15.根据机械臂t时刻二维像素坐标系中的期望像素轨迹信息和摄像机投影下机械臂特征点的像素位置信息计算得到第一误差函数e(t)。
16.进一步，所述第一误差函数e(t)的表达式如下：
17.e(t)＝p
d
(t)
‑
p
a
(t)
18.上式中，p
d
(t)表示机械臂t时刻二维像素坐标系中的期望像素轨迹信息，p
a
(t)表示摄像机投影下机械臂特征点的像素位置信息。
19.进一步，所述将像素位置信息对时间求导并结合第一误差函数和第一递归神经网络模型，变换得到关于机械臂关节角度的微分方程这一步骤，其具体包括：
20.将像素位置信息对时间求导，得到求导后的像素位置方程；
21.将第一误差函数、第一递归神经网络模型和求导后的像素位置方程结合，得到第一微分方程；
22.对第一微分方程进行变换，得到关于机械臂关节角度的微分方程。
23.进一步，所述一递归神经网络模型的表达式如下：
[0024][0025]
上式中，表示e(t)的时间导数，常数γ是递归神经网络模型的设计参数，设为γ＝100。
[0026]
进一步，所述求导后的像素位置方程的表达式如下：
[0027][0028]
上式中，表示复合雅可比与机械臂关节角速度相乘得到的像素变化率。
[0029]
进一步，所述关于机械臂关节角度的微分方程表达式如下：
[0030][0031]
上式中，表示复合雅可比矩阵的伪逆，是p
d
(t)的时间导数，表示期望像素轨迹信息。
[0032]
进一步，所述将第二误差函数与第二递归神经网络模型结合，变换得到关于复合雅可比的微分方程这一步骤，其具体包括：
[0033]
将第二误差函数与第二递归神经网络模型结合，得到第二微分方程；
[0034]
对第二微分方程进行变换，得到关于复合雅可比的微分方程。
[0035]
进一步，所述关于复合雅可比的微分方程表达式如下：
[0036][0037]
上式中，表示复合雅可比矩阵的时间导数，j(t)表示复合雅可比矩阵，表示机械臂关节角速度，是表示的时间导数，是机械臂关节转动的加速度，表示的时间导数，是实际像素变化率，表示向量的伪逆，常数μ是第二递归神经网络模型的设计参数，μ＝100。
[0038]
本发明所采用的第二技术方案是：一种面向机械臂的视觉伺服轨迹跟踪控制系统，包括：
[0039]
第一误差函数模块，用于获取机械臂的期望像素轨迹信息和机械臂特征点的像素位置信息,并计算得到第一误差函数；
[0040]
机械臂关节角度方程模块，将像素位置信息对时间求导并结合第一误差函数和第一递归神经网络模型，变换得到关于机械臂关节角度的微分方程；
[0041]
第二误差函数模块，用于将此时特征点的图像雅可比、机械臂雅可比与关节角速度相乘得到实际像素变化率，复合雅可比与关节角速度相乘得到像素变化率，这两者联合计算得到第二误差函数；
[0042]
复合雅可比方程模块，用于将第二误差函数与第二递归神经网络模型结合，变换得到关于复合雅可比的微分方程；
[0043]
求解模块，用于将关于机械臂关节角度的微分方程和关于复合雅可比的微分方程联合求解得到角度信息；
[0044]
控制跟踪模块，用于根据角度信息对机械臂进行运动控制和轨迹跟踪。
[0045]
本发明方法及系统的有益效果是：本发明通过递归神经网络模型来求解运动学模型未知的机械臂基于图像的视觉伺服的逆运动学问题、估算运动学模型未知的机械臂和未知参数的摄像机的复合雅可比矩阵，实现在机械臂的运动学模型参数未知和摄像机参数未知的情况下完成机器臂的追踪控制。
附图说明
[0046]
图1是本发明一种面向机械臂的视觉伺服轨迹跟踪控制方法的步骤流程图；
[0047]
图2是本发明一种面向机械臂的视觉伺服轨迹跟踪控制系统的结构框图；
[0048]
图3是本发明具体实施例所使用的puma560机械臂三维模型图；
[0049]
图4是本发明具体实施例任务空间中特征点在摄像机投影下的目标轨迹和实际轨迹；
[0050]
图5是本发明具体实施例随时间变化的期待轨迹与实际轨迹之间的(u，v)像素误差。
具体实施方式
[0051]
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0052]
本发明基于图像的视觉伺服的机械臂提出了一种无模型的追踪控制方案，即在机械臂的运动学模型参数未知和摄像机参数未知的情况下，求解机械臂视觉伺服的逆运动学问题，实现该机器臂的追踪控制。
[0053]
本实施例采用如图3所示的puma560机械臂。该冗余度机械臂由六个连杆组成，通过关节一(1)、关节二(2)、关节三(3)、关节四(4)、关节五(5)、关节六(6)、末端执行器(7)和微型摄像机(8)组成。此机械臂的关节数和任务空间的自由度相等，一般情况下其末端执行器可以到达工作空间内任意的位置和姿态，从而完成视觉伺服的多种任务要求。
[0054]
参照图1，本发明提供了一种面向机械臂的视觉伺服轨迹跟踪控制方法，该方法包括以下步骤：
[0055]
获取机械臂的期望像素轨迹信息和机械臂特征点的像素位置信息,并计算得到第一误差函数；
[0056]
将像素位置信息对时间求导并结合第一误差函数和第一递归神经网络模型，变换得到关于机械臂关节角度的微分方程；
[0057]
将特征点的图像雅可比、机械臂雅可比与关节角速度相乘得到实际像素变化率；
[0058]
将复合雅可比与关节角速度相乘得到像素变化率并结合实际像素变化率计算，得到第二误差函数；
[0059]
将第二误差函数与第二递归神经网络模型结合，变换得到关于复合雅可比的微分方程；
[0060]
将关于机械臂关节角度的微分方程和关于复合雅可比的微分方程联合求解得到角度信息；
[0061]
根据角度信息对机械臂进行运动控制和轨迹跟踪。
[0062]
具体地，使用puma560机械臂来验证本实施例，该机械臂共有6个自由度，给定初始的关节角度θ(0)＝[0；
‑
π/4；0；0；0；0]弧度和特征点在摄像机坐标系中的坐标p＝[0；0；0.2]，以及机械臂复合雅可比矩阵j
p
(0)j
r
(θ(0)，0)的初值j(0)。
[0063][0064]
并且在像素坐标系中定义期待的像素轨迹变化的数学表达式如下：
[0065][0066]
其中ι＝100像素表示目标轨迹的半径，t
d
＝5秒表示追踪任务的周期。预定义像素轨迹p
d
(t)在任务空间中的示意图如图4所示。
[0067]
图像的像素坐标方程可以用下式表示：
[0068]
p
a
(t)＝ρ(p，t)
ꢀꢀ
(1)
[0069]
其中，p是定点，非线性映射函数表示t时刻对p从摄像机坐标系到像素坐标系的映射。在公式(1)的两边同时对时间t求导可以得到：
[0070][0071]
其中，矩阵是在t时刻的图像雅可比矩阵，ξ是摄像机的位置和姿态，是机械臂在t时刻的雅可比矩阵，j(t)是复合雅可比矩阵j
p
(t)j
r
(θ，t)的简写，描述了机械臂关节角速度与图像特征变化之间的映射关系，是在t时刻机械臂关节角速度。
[0072]
进一步作为本方法的优选实施例，所述获取机械臂的期望像素轨迹信息和机械臂特征点的像素位置信息,并计算得到第一误差函数这一步骤，其具体包括：
[0073]
获取机械臂t时刻二维像素坐标系中的期望像素轨迹信息
[0074]
获取摄像机投影下机械臂特征点的像素位置信息
[0075]
根据机械臂t时刻二维像素坐标系中的期望像素轨迹信息和摄像机投影下机械臂特征点的像素位置信息计算得到第一误差函数e(t)。
[0076]
进一步作为本方法的优选实施例，所述第一误差函数e(t)的表达式如下：
[0077]
e(t)＝p
d
(t)
‑
p
a
(t)
ꢀꢀ
(3)
[0078]
上式中，p
d
(t)表示机械臂t时刻二维像素坐标系中的期望像素轨迹信息，p
a
(t)表示摄像机投影下机械臂特征点的像素位置信息。
[0079]
进一步作为本方法的优选实施例，所述将像素位置信息对时间求导并结合第一误差函数和第一递归神经网络模型，变换得到关于机械臂关节角度的微分方程这一步骤，其具体包括：
[0080]
将像素位置信息对时间求导，得到求导后的像素位置方程；
[0081]
将第一误差函数、第一递归神经网络模型和求导后的像素位置方程结合，得到第一微分方程；
[0082]
对第一微分方程进行变换，得到关于机械臂关节角度的微分方程。
[0083]
进一步作为本方法优选实施例，所述第一递归神经网络模型的表达式如下：
[0084][0085]
上式中，表示e(t)的时间导数，常数γ是递归神经网络模型的设计参数，设为γ＝100。
[0086]
将误差函数(3)代入到第一递归神经网络模型(4)中，并结合公式(2)可以得到：
[0087][0088]
其中，是p
d
(t)的时间导数，表示预定义的特征点目标像素变化率。
[0089]
进一步作为本方法优选实施例，对公式(5)进行变换，所述关于机械臂关节角速度的微分方程表达式如下：
[0090][0091]
上式中，表示复合雅可比矩阵的伪逆，是p
d
(t)的时间导数，表示期望像素轨迹信息。
[0092]
进一步作为本方法优选实施例，所述将第二误差函数与第二递归神经网络模型结合，变换得到关于复合雅可比的微分方程这一步骤，其具体包括：
[0093]
将第二误差函数与第二递归神经网络模型结合，得到第二微分方程；
[0094]
对第二微分方程进行变换，得到关于复合雅可比的微分方程。
[0095]
具体地，根据得到的t时刻特征点的实际像素变化率和复合雅可比与机械臂关节角速度相乘得到的像素变化率得到公式(7)所示的第二误差函数∈(t)：
[0096][0097]
另外，求取复合雅可比j(t)需要先获取该机械臂的实时雅可比矩阵j
r
(t)和图像雅可比矩阵j
p
(t)，再将两者相乘得到。为了获取未知的复合雅可比矩阵的值j(t)，本发明使用另一个递归神经网络模型，将误差函数∈(t)代入到递归神经网络模型，进行变换得到关于复合雅可比变化率的微分方程。
[0098]
引入公式(8)所示的第二递归神经网络模型：
[0099]
[0100]
其中表示∈(t)的时间导数，常数μ是递归神经网络模型的设计参数，用来调整误差收敛速度，此次实验中μ＝100。
[0101]
将第二误差函数(7)代入到第二递归神经网络模型(8)中，得到公式(9)所示的微分方程：
[0102][0103]
其中表示复合雅可比矩阵的时间导数，表示的时间导数，是机械臂关节的加速度。
[0104]
进一步作为本方法的优选实施例，对公式(9)进行变换得到，所述关于复合雅可比的微分方程表达式如下：
[0105][0106]
上式中，表示复合雅可比矩阵的时间导数，j(t)表示复合雅可比矩阵，表示机械臂关节角速度，是表示的时间导数，是机械臂关节转动的加速度，表示的时间导数，是实际像素变化率，表示向量的伪逆，常数μ是第二递归神经网络模型的设计参数，μ＝100。
[0107]
最后，将角度信息θ(t)从计算机设备传输给机械臂并控制其运动，使安装在其末端执行器的摄像机在任务空间中追踪特征点预定义的像素轨迹，机械臂完成轨迹追踪任务的示意图如图4所示，随时间变化的期待轨迹与实际轨迹之间的(u，v)像素误差如图5所示。分析运行结果，可以得知，本实施例可以在机械臂模型参数未知和摄像机参数未知的情况下，仅依靠目标轨迹信息和传感器的测量结果完成高精确度的跟踪任务。
[0108]
如图2所示，一种面向机械臂的视觉伺服轨迹跟踪控制系统，包括：
[0109]
第一误差函数模块，用于获取机械臂的期望像素轨迹信息和机械臂特征点的像素位置信息,并计算得到第一误差函数；
[0110]
机械臂关节角度方程模块，将像素位置信息对时间求导并结合第一误差函数和第一递归神经网络模型，变换得到关于机械臂关节角度的微分方程；
[0111]
第二误差函数模块，用于将此时特征点的图像雅可比、机械臂雅可比与关节角速度相乘得到实际像素变化率，复合雅可比与关节角速度相乘得到像素变化率，这两者联合计算得到第二误差函数；
[0112]
复合雅可比方程模块，用于将第二误差函数与第二递归神经网络模型结合，变换得到关于复合雅可比的微分方程；
[0113]
求解模块，用于将关于机械臂关节角度的微分方程和关于复合雅可比的微分方程联合求解得到角度信息；
[0114]
控制跟踪模块，用于根据角度信息对机械臂进行运动控制和轨迹跟踪。
[0115]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0116]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施
例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。