一种基于关键帧策略的移动机器人视觉伺服控制方法
【技术领域】
[0001] 本发明涉及一种机器人领域的视觉导航方法，特别是涉及一种基于关键帧策略的 移动机器人视觉伺服控制方法。
【背景技术】
[0002] 移动机器人视觉导航技术是以视觉系统作为反馈信息控制移动机器人运动的方 法，是移动机器人研宄的重要部分。视觉导航是目前移动机器人研宄中的热点和难点，在机 器人执行大环境或复杂环境下任务时起到重要的作用。
[0003] 移动机器人视觉导航技术可以分为基于位置的方法和基于图像的方法。其中，基 于位置的方法将视觉系统作为位置传感器使用，使用路标或视觉里程计等方式对机器人进 行定位，并依此控制机器人运动，这种方法控制器设计简单，适用于大范围的运动，但是导 航精度差，具有误差累积效应。基于图像的方法使用视觉系统反馈的图像作为反馈信息，控 制机器人运动到拍摄到与目标图像一致的场景处，这种方法导航精度高，但是需要对系统 在给定轨迹上预先进行训练，而且要求目标图像在整个运动过程中都可见。
【发明内容】
[0004] 本发明为了克服现有技术的不足，提供了一种基于关键帧策略的移动机器人视 觉伺服控制方法，该方法在保证导航精度的同时，不要求预先对机器人在给定轨迹上进行 训练，同时也不要求在运动过程中目标持续可见，只需要目标位置和参考轨迹，实现成本较 低。
[0005] 本发明的目的是通过以下技术方案来实现的：一种基于关键帧策略的移动机器人 视觉伺服控制方法，用于移动机器人在局部已知环境下的导航，所述的移动机器人为履带 式机器人，自带单目摄像头可实时采集图像信息。该方法将导航任务转化到基于图像单应 性定义的图像特征空间中，设计预测控制器在图像特征空间中进行轨迹跟踪控制，包括以 下步骤：
[0006] (1)将机器人放置在初始位置上，给定期望位置坐标，利用已知的机器人起始、终 止位置结合机器人自身的非完整约束规划出机器人在二维平面下的移动路径；
[0007] (2)根据步骤（1)得到的机器人移动路径，通过利用单应性关系定义图像特征，并 从单应性矩阵中选取合适的元素作为系统状态量，进而将该路径转化到图像特征空间里， 生成一组图像空间特征即系统状态；
[0008] (3)机器人开始移动后，由摄像头获取图像信息，首先把第一帧作为关键帧，之后 基于当前图像帧与关键帧之间的单应性关系定义图像特征，以图像特征隐式表达机器人 的运动情况。其中关键帧在机器人移动过程中需要进行切换，而切换需满足一定的条件： a.目标物体对于当前帧不可见，但是对于下一帧可见；b.切换的关键帧与上一可见帧之间 应存在一定的时间间隔；c.当系统状态有接近奇异的趋势；d.关键帧切换的时间间隔不应 太长。且在每一次关键帧切换之后，需要重新对路径进行规划，然后通过步骤（2)转化为图 像空间轨迹；
[0009] (4)将步骤⑵得到的图像空间轨迹的系统状态作为设定值，步骤（3)中实时得到 的当前系统状态作为测量值，共同作为控制器的输入信号，再由控制器输出信号驱动机器 人运动，控制器采用模型预测控制，其中相互关系模型通过如下方式建立：基于机器人运动 学模型和相机模型，经过系统状态对时间的微分最终得出系统状态关于速度的图像雅可比 矩阵即作为相互关系模型；
[0010] (5)机器人接收驱动信号进行移动，同时利用摄像头获取实时图像，进而得到系统 状态，结合规划的图像空间特征，判断是否达到目标位置，若没有则继续上述步骤（4)，需要 切换关键帧则进行步骤（3);若达到目标，则方法结束。
[0011] 步骤（1)中所述在二维平面下机器人移动轨迹满足的约束根据公式（1)和（2)进 行，公式⑴和⑵分别为：
[0012] P (y, z) = 0
[0013] sincpdz - coscpdy = 0
[0014] 式中（y，Z)表示机器人在二维坐标系（坐标轴为y轴和Z轴）下的坐标，P表示 移动轨迹，φ表示机器人的偏转角度。
[0015] 步骤（1)中在控制过程中的机器人几何中心的起始、终止坐标分别表示为公式 (5)，公式（5)为：
[0016]
【主权项】
1. 一种基于关键帧策略的移动机器人视觉伺服控制方法，用于移动机器人在局部已知 环境下的导航，所述的移动机器人为履带式机器人，自带单目摄像头可实时采集图像信息。 其特征在于，该方法将导航任务转化到基于图像单应性定义的图像特征空间中，设计预测 控制器在图像特征空间中进行轨迹跟踪控制，包括以下步骤： (1)将机器人放置在初始位置上，给定期望位置坐标，利用已知的机器人起始、终止位 置结合机器人自身的非完整约束规划出机器人在二维平面下的移动路径； ⑵根据步骤⑴得到的机器人移动路径，通过利用单应性关系定义图像特征，并从单 应性矩阵中选取合适的元素作为系统状态量，进而将该路径转化到图像特征空间里，生成 一组图像空间特征即系统状态； (3) 机器人开始移动后，由摄像头获取图像信息，首先把第一帧作为关键帧，之后基于 当前图像帧与关键帧之间的单应性关系定义图像特征，以图像特征隐式表达机器人的运动 情况。 其中关键帧在机器人移动过程中需要进行切换，而切换需满足一定的条件：a.目标物 体对于当前帧不可见，但是对于下一帧可见；b.切换的关键帧与上一可见帧之间应存在一 定的时间间隔；c.当系统状态有接近奇异的趋势；d.关键帧切换的时间间隔不应太长。且 在每一次关键帧切换之后，需要重新对路径进行规划，然后通过步骤（2)转化为图像空间 轨迹； (4) 将步骤（2)得到的图像空间轨迹的系统状态作为设定值，步骤（3)中实时得到的当 前系统状态作为测量值，共同作为控制器的输入信号，再由控制器输出信号驱动机器人运 动， 控制器采用模型预测控制，其中相互关系模型通过如下方式建立：基于机器人运动学 模型和相机模型，经过系统状态对时间的微分最终得出系统状态关于速度的图像雅可比矩 阵即作为相互关系模型； (5) 机器人接收驱动信号进行移动，同时利用摄像头获取实时图像，进而得到系统状 态，结合规划的图像空间特征，判断是否达到目标位置，若没有则继续上述步骤（4)，需要切 换关键帧则进行步骤（3);若达到目标，则方法结束。
2. 根据权利要求1所述的方法，其特征在于：步骤（1)中所述在二维平面下机器人移 动轨迹满足的约束根据公式（1)和（2)进行，公式（1)和（2)分别为： P(y,z) = 0
式中（y，Z)表示机器人在二维坐标系（坐标轴为y轴和z轴）下的坐标，P表示移动 轨迹，9表示机器人的偏转角度。
3. 根据权利要求1所述的方法，其特征在于：步骤（1)中在控制过程中的机器人几何 中心的起始、终止坐标分别表示为公式（5)，公式（5)为：
其中（yD,zu,tpu)表示机器人几何中心的初始坐标，（yf,zf,(pf)表示机器人几何中心的终 止位置坐标，（y，z，cp)表示相机中心的终止位置坐标，为待辨识参数，具体定义见权利要求 8〇
4. 根据权利要求1所述的方法，其特征在于：步骤（2)中所述的单应性图像特征由公 式（6)定义，公式（6)为：
其中，H即为单应性矩阵，（R，t)表示了机器人的运动状态，n为相机坐标系下地面的法 向量，d为相机坐标系原点与地面之间的距离，K为相机内部参数矩阵。
5. 根据权利要求1所述的方法，其特征在于：步骤⑵中单应性图像特征的获取以及 系统状态变量的定义分别由公式（10)和（11)决定，公式（10)和（11)分别为：
其中fu、fv分别表示焦距在像素坐标轴上对应的像素点数目，0是相机光轴与地面的 夹角，（P是机器人期望位姿下的偏转角度。
6. 根据权利要求1所述的方法，其特征在于：步骤⑷中所述的机器人运动学模型根 据公式（12)确定，公式（12)为：
其中Vv、Vz、W分别表示相机的侧向、前向线速度和角速度，Vl、Vl^分别为左右两条履带 的速度，yicVyicVZra分别表示三个旋转瞬心的坐标。
7. 根据权利要求1所述的方法，其特征在于：步骤（4)中新定义了一种位姿参数，根据 公式（13)进行，公式（13)为：
其中s为系统状态变量，（>V, 9)为相机中心的期望位置坐标，其余参数定义参照上 文。
8. 根据权利要求1所述的方法，其特征在于：步骤（4)中所述的相互关系模型由公式 (14)和（15)确定，公式（14)和（15)分别为： V _
7 - 」 其H
s为被控变量
为待辨识参 数。
9. 根据权利要求1所述的方法，其特征在于：步骤⑷中所述的根据线性化相互关系 模型得出的代价函数由公式（17)定义，公式（17)为：
其中Q，R分别是加权矩阵，se=s-s1?为当前系统状态变量与过去生成的参考轨迹状态 变量的偏差，N是预测时域。
【专利摘要】本发明公开了一种基于关键帧策略的移动机器人视觉伺服控制方法，包含以下步骤：1）根据给定条件规划机器人移动路径；2）将视觉导航任务中的物理轨迹跟踪和目标可见下的姿态调整转化到图像特征空间中的轨迹；3）基于当前图像帧与关键帧之间的单应性关系定义图像特征，以图像特征隐式表达了机器人的运动情况；4）基于机器人运动学模型和相机模型建立视觉控制系统的相互关系模型，设计预测控制器跟踪轨迹。本发明不要求预先对机器人在给定轨迹上进行训练，也不要求在运动过程中目标持续可见，同时在一定程度上保证了机器人的导航精度。
【IPC分类】G05B19-414
【公开号】CN104808590
【申请号】CN201510081317
【发明人】刘山, 曹雨, 贾丙西
【申请人】浙江大学
【公开日】2015年7月29日
【申请日】2015年2月14日