专利名称：一种基于手势的移动机器人控制方法
技术领域：
本发明涉及一种基于手势的移动机器人控制方法，主要是将在触屏设备上的手势操作映射为移动机器人、移动机器人上搭载的云台和云台上搭载的摄像机的控制指令，实现利用手势控制移动机器人、云台和摄像机运动的目的，属于移动机器人人机交互控制技术领域。
背景技术：
由于环境复杂，系统处理信息能力有限，目前移动机器人主要依靠操作人员手动
操作控制。传统的移动机器人控制方法主要有两种，一种是在控制盒面板上使用操纵杆(或摇杆)结合按键对机器人进行控制。其优点是形象直观，缺点是控制盒体型庞大，影响便携运输及操作使用；另ー种是在计算机软件界面上使用按钮结合外接操纵杆(或摇杆)对机器人进行控制。其优点是省去了部分控制盒面板的空间，缺点是操作复杂，无法摆脱对操纵杆的依赖。因此，传统的移动机器人控制方法，操作难度大，不便于操作人员的携帯和运输，因而在对移动机器人直接控制时受到局限。
发明内容
本发明的技术解决问题针对现有移动机器人控制终端体形庞大、操作复杂的问题，提供ー种利用在触屏设备上的手势操作直接控制移动机器人的方法。该方法可以简化控制终端设备，使之便于携帯；利用手势控制移动机器人，更加符合人的操作习惯，简化操作，可以让操作人员更加方便的控制移动机器人运动。本发明基于手势的移动机器人控制方法是在以下硬件载体上实现的具有触摸显示屏的控制終端设备以及移动机器人。以上硬件的连接方式如图I所示将在控制终端设备触摸显示屏上的操作映射为移动机器人的运动控制指令，并发送给移动机器人，移动机器人执行该控制指令；移动机器人上搭载的摄像机拍摄环境视频，反馈到控制終端设备显示屏显示，以便操作人员观察操作。其中，控制终端设备可选用平板电脑。平板电脑作为悉知的触摸输入设备，具有完整的计算机的功能，可以将已编译好的软件在平板电脑上运行，井能实现与机器人的信息交互。其中，移动机器人可选用轮式或履带机器人，移动机器人上安装两自由度云台和变焦摄像机，云台的俯仰角和偏转角以及变焦摄像机的焦距可通过指令进行控制。本发明基于手势的移动机器人控制方法，其控制方法流程框图如图2所示，由以下具体步骤实现(I)建立移动机器人控制系统，实现为(I. I)选择具有触摸功能的计算显示设备作为控制終端设备；
(1.2)控制对象为移动机器人，该移动机器人上搭载的设备至少包括两自由度云台和云台上搭载的变焦摄像机；(I. 3)建立控制终端设备与移动机器人的通讯通道；(I. 4)在控制终端设备上显摄像机拍摄的视频图像；(2)建立手势与移动机器人运动状态的映射关系，所述映射关系为(2. I)当仅有ー个手指触摸屏幕并在屏幕上视频图像的有效显示区域滑动时，如图3所示，手指滑动动作映射为对云台的控制指令，具体为(2. I. I)当手指在屏幕上滑动距离超过预定阈值时，开始产生对云台的控制指
令；(2. I. 2)手指在屏幕上水平方向和竖直方向的滑动分量分别映射为对云台偏转角和俯仰角的控制。云台偏转角改变方向与手指水平滑动分量方向相同；云台俯仰角改变方向与手指竖直滑动分量方向相同；(2. I. 3)当手指离开屏幕，停止对云台的控制；(2. 2)当仅有ー个手指触摸屏幕并在屏幕上视频图像的有效显示区域双击时，如图4所示，云台产生复位动作，回到初始位置；(2. 3)当有两个手指触摸屏幕并在屏幕上视频图像的有效显示区域都产生滑动时，如图5所示，手指滑动动作映射为对摄像机焦距的控制指令，具体为(2. 3.1)当两个手指在屏幕上的相对距离变化超过预定阈值吋，开始产生对摄像机焦距的控制指令；(2. 3. 2)当两手指相对距离増加吋，即两手指分离运动时，表示对当前图像进行放大操作，控制摄像机焦距增加以拉近观察；(2. 3. 3)当两手指相对距离减小吋，即两手指相向运动时，表示对当前图像进行缩小操作，控制摄像机焦距变小以增加观察视野；(2. 3. 4)当两手指停止运动或离开屏幕时，停止对摄像机焦距的控制；(2. 4)当有两个手指触摸屏幕，但只有ー个手指在屏幕上视频图像的有效显示区域产生滑动而另外一手指静止不动时，如图6所示，手指滑动动作映射为对移动机器人的运动控制指令，具体为(2. 4. I)当ー个手指触摸屏幕静止不动而另ー个手指在屏幕上滑动距离超过预定阈值时，开始产生对移动机器人的运动控制指令；(2. 4. 2)以滑动手指的初始触摸点为原点，以滑动手指滑动中的触摸点为终点建立矢量，滑动的距离映射为对移动机器人移动速率或者转动速率的控制，矢量的方向映射为对移动机器人运动方向的控制当矢量方向与屏幕竖直方向的夹角小于设定阈值时，移动机器人向前或向后移动；当矢量方向与屏幕水平方向的夹角小于设定阈值时，移动机器人原地转向或平行侧向移动；当矢量方向与屏幕水平方向和竖直方向的夹角都不小于设定阈值时，移动机器人在行进过程中产生转向或侧向移动；(2. 4. 3)当有ー个手指离开屏幕时，停止对移动机器人的运动控制，移动机器人停止运动。本发明与现有技术相比的优点在于传统移动机器人的控制盒包含操纵杆、控制按键与显示屏等部件，控制盒较重且体积庞大，不便于操作人员的携帯和运输。本发明技术方案利用手势实现对移动机器人的交互控制，可以省去控制盒上操纵杆和按键等部件，简化控制盒组成，有效增加显示面积，既有助于操作人员对移动机器人进行操作监控，也有助于操作人员进行背负运输。同时利用手势控制移动机器人方便直观，操作简单；触屏设备方便携帯，也扩大了本发明的适用范围。另外，触屏设备的大規模普及，使本发明具有广泛应用前景。
图I为本发明方法实现的硬件连接示意图；图2为本发明方法的控制流程框图；图3为滑动手势示意图；图4为双击手势示意图；图5为缩放手势示意图；图6为拖动手势示意图。
具体实施例方式下面通过具体实施例结合所选用的具体硬件载体对本发明基于手势的移动机器人控制方法进行详细叙述，如图1-6所示。( I)建立移动机器人控制系统；具体为选择预定的控制终端设备，本发明实施例采用ViewSonic公司的ViewPad97i平板电脑作为控制終端设备，选择一台无线路由器作为信息交互设备，选择北京博创公司生产的UP-Voyager II双轮驱动机器人作为被控制移动机器人，并在该移动机器人上搭载索尼EVI-D80P摄像头作为被控制云台和摄像机。控制终端设备通过无线路由器实现与移动机器人的信息交互。在Windows XP操作系统下,利用Microsoft公司的Visual C++开发的平板电脑控制程序对移动机器人进行控制。控制终端设备上的手势与移动机器人运动状态的映射变换由该控制程序完成。(2)当上述移动机器人控制系统建立完毕后，建立手势与移动机器人运动状态的映射关系，所述映射关系为(2. I)当仅有ー个手指触摸屏幕并在屏幕上视频图像的有效显示区域滑动时，如图3所示，手指滑动动作映射为对云台的控制指令，具体为(2.1.1)当手指在屏幕上滑动距离超过预定阈值R1吋，开始产生对云台的控制指令。此处，も=30像素；(2. I. 2)手指在屏幕上竖直方向的滑动分量映射为对云台俯仰角的控制，俯仰角6 ! = hXy，云台俯仰角变化的方向与手指竖直滑动分量方向相同；手指在屏幕上水平方向的滑动分量映射为对云台偏转角的控制，偏转角9 2 = k2Xx，云台偏转角变化的方向与手指水平滑动分量方向相同。此处，1，X分别为手指在屏幕上的竖直和水平方向的滑动分量，k1； k2分别为云台俯仰角增益系数和偏转角增益系数。此处，k^k^O. 216 ；(2. I. 3)当手指离开屏幕，停止对云台的控制；(2. 2)当仅有ー个手指触摸屏幕并在屏幕上视频图像的有效显示区域双击时，如图4所示，云台产生复位动作，回到初始位置；
(2. 3)当有两个手指触摸屏幕并在屏幕上视频图像的有效显示区域都产生滑动时，如图5所示，手指滑动动作映射为对摄像机焦距的控制指令，具体为(2. 3.1)当两个手指在屏幕上的相对距离变化超过预定阈值R2吋，开始产生对摄像机焦距的控制指令。此处，R2=30像素；(2. 3. 2)当两手指相对距离増加吋，即两手指分离运动时，表示对当前图像进行放大操作，控制摄像机焦距增加以拉近观察；(2. 3. 3)当两手指相对距离减小吋，即两手指相向运动时，表示对当前图像进行缩小操作，控制摄像机焦距变小以增加观察视野；(2. 3. 4)当两手指停止运动或离开屏幕时，停止对摄像机焦距的控制；(2. 4)当有两个手指触摸屏幕，但只有ー个手指在屏幕上视频图像的有效显示区域产生滑动而另外一手指静止不动时，如图6所示，手指滑动动作映射为对移动机器人的运动控制指令，具体为(2. 4. I)当ー个手指触摸屏幕静止不动而另ー个手指在屏幕上滑动距离超过预定阈值R3吋，开始产生对移动机器人的运动控制指令。此处，Rs=30像素。(2. 4. 2)以滑动手指的初始触摸点为原点，以滑动手指滑动中的触摸点为终点建立矢量，滑动的距离映射为对移动机器人移动速率或者转动速率的控制，移动速率或转动速率V = k3Xl，矢量的方向映射为移动机器人方向的控制当矢量方向与屏幕竖直方向的夹角小于设定阈值a时，移动机器人向前或向后移动；当矢量方向与屏幕水平方向的夹角小于设定阈值P时，移动机器人原地转向或平行侧向移动；当矢量方向与水平方向和竖直方向的夹角都不小于设定阈值时，移动机器人在行进过程中产生转向。其中，I为滑动手指移动的距离，、为速率增益系数。此处，k3=0. 53，a = ￠=5° ;(2. 4. 3)当有ー个手指离开屏幕时，停止对移动机器人的运动控制，移动机器人停止运动。总之，本发明具有以下优势利用手势实现对移动机器人的运动控制，操作直观简便，符合人操作习惯；能简化移动机器人控制终端，减小体积重量，便于携带运输。本发明说明书未详细阐述部分属于本领域技术人员的公知技木。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1.一种基于手势的移动机器人控制方法，其特征在于实现步骤如下 (1)建立移动机器人控制系统，实现为 (I. I)选择具有触摸功能的计算显示设备作为控制终端设备； (I. 2)控制对象为移动机器人，该移动机器人上搭载的设备至少包括两自由度云台和云台上搭载的变焦摄像机； (I. 3)建立控制终端设备与移动机器人的通讯通道； (I. 4)在控制终端设备上显不摄像机拍摄的视频图像； (2)建立手势与移动机器人运动状态的映射关系，所述映射关系为 (2. I)当仅有一个手指触摸屏幕并在屏幕上视频图像的有效显示区域滑动时，手指滑动动作映射为对云台的控制指令，具体为 (2. I. I)当手指在屏幕上滑动距离超过预定阈值时，开始产生对云台的控制指令； (2. I. 2)手指在屏幕上水平方向和竖直方向的滑动分量分别映射为对云台偏转角和俯仰角的控制。云台偏转角改变方向与手指水平滑动分量方向相同；云台俯仰角改变方向与手指竖直滑动分量方向相同； (2. I. 3)当手指离开屏幕，停止对云台的控制； (2.2)当仅有一个手指触摸屏幕并在屏幕上视频图像的有效显示区域双击时，云台产生复位动作，回到初始位置； (2. 3)当有两个手指触摸屏幕并在屏幕上视频图像的有效显示区域都产生滑动时，手指滑动动作映射为对摄像机焦距的控制指令，具体为 (2. 3. I)当两个手指在屏幕上的相对距离变化超过预定阈值时，开始产生对摄像机焦距的控制指令； (2. 3. 2)当两手指相对距离增加时，即两手指分离运动时，表示对当前图像进行放大操作，控制摄像机焦距增加以拉近观察； (2. 3. 3)当两手指相对距离减小时，即两手指相向运动时，表示对当前图像进行缩小操作，控制摄像机焦距变小以增加观察视野； (2. 3. 4)当两手指停止运动或离开屏幕时，停止对摄像机焦距的控制； (2. 4)当有两个手指触摸屏幕，但只有一个手指在屏幕上视频图像的有效显示区域产生滑动而另外一手指静止不动时，手指滑动动作映射为对移动机器人的运动控制指令，具体为 (2. 4. I)当一个手指触摸屏幕静止不动而另一个手指在屏幕上滑动距离超过预定阈值时，开始产生对移动机器人的运动控制指令； (2. 4. 2)以滑动手指的初始触摸点为原点，以滑动手指滑动中的触摸点为终点建立矢量，滑动的距离映射为对移动机器人移动速率或者转动速率的控制，矢量的方向映射为对移动机器人运动方向的控制当矢量方向与屏幕竖直方向的夹角小于设定阈值时，移动机器人向前或向后移动；当矢量方向与屏幕水平方向的夹角小于设定阈值时，移动机器人原地转向或平行侧向移动；当矢量方向与水平方向和竖直方向的夹角都不小于设定阈值时，移动机器人在行进过程中产生转向或侧向移动； (2. 4. 3)当有一个手指离开屏幕时，停止对移动机器人的运动控制，移动机器人停止运动。
2.根据权利要求I所述的基于手势的移动机器人控制方法，其特征在于所述控制终端设备为包含触摸屏的交互设备，如平板电脑、触摸屏智能手机等。
3.根据权利要求I所述的基于手势的移动机器人控制方法，其特征在于所述控制对象为具有视频监控和视频侦察功能的移动机器人。
4.根据权利要求I所述的基于手势的移动机器人控制方法，其特征在于手势是指手指在触摸屏上的触摸点位置变化，用于控制移动机器人的手势有四种单个手指接触屏幕并移动形成滑动手势；单个手指在短时间内连续两次触摸屏幕形成双击手势；两个手指同时在屏幕上滑动形成缩放手势；一个手指接触屏幕不动而另一个手指滑动形成拖动手势。
5.根据权利要求I所述的基于手势的移动机器人控制方法，其特征在于滑动手势映射为云台的俯仰、偏转运动控制；双击手势映射为云台的复位控制；缩放手势映射为摄像机焦距的控制；拖动手势映射为移动机器人的运动控制。
全文摘要
一种基于手势的移动机器人控制方法，步骤实现选择适当的控制终端设备和移动机器人，建立移动机器人控制系统；将操作员在控制终端触摸屏上所作的手势映射为移动机器人运动控制指令并发送给移动机器人，移动机器人按运动控制指令实现运动。本发明具有以下优势利用手势实现对移动机器人的运动控制，操作直观简便，符合人操作习惯；能简化移动机器人控制终端，减小体积重量，便于携带运输。
文档编号G06F3/033GK102789327SQ20121027958
公开日2012年11月21日 申请日期2012年8月7日 优先权日2012年8月7日
发明者孟偲, 曲圣悦, 郭树德 申请人:北京航空航天大学