一种遥操作服务机器人系统的制作方法
【专利摘要】本发明公开一种遥操作服务机器人系统，包括通过无线通讯网络连接的机器人本体和远程操作终端，机器人系统内设有语音交互模块、视频监控模块、状态监控模块、任务管理模块和任务操作终端，任务管理模块设于机器人本体上，任务操作终端设于远程操作终端上；语音交互模块包括两个语音交互终端，分别设于机器人本体上和远程操作终端上；视频监控模块包括设于机器人本体上的图像采集传输子模块和设于远程操作终端上的图像接收显示子模块，状态监控模块包括设于机器人本体上的状态采集发送子模块和设于远程操作终端上的状态接收显示子模块。本遥操作服务机器人系统提供简便的方式让用户操控机器人，降低服务机器人的开发难度和用户的使用难度。
【专利说明】一种遥操作服务机器人系统
【技术领域】
[0001]本发明涉及机器人【技术领域】，特别涉及一种用于迎宾接待或互动娱乐表演的遥操作服务机器人系统。
【背景技术】
[0002]目前，机器人的智能水平仍未达到可以独立自主完成复杂的任务，尤其在动态变化的非结构化环境下(如需要和人交互的迎宾接待以及互动活动表演等场合)，采取机器人自动化控制加上人工远程辅助操作的方式将更适合这种场合下机器人的应用。
[0003]传统的主从式人机交互系统通常由操作人员根据现场环境，近距离对机器人发出单一的动作指令，再由机器人完成相应的动作。该方式操作比较复杂，而且操作的内容比较固定，机器人只适合于固定应用的场合，如果需要更改操作功能，往往需要专业技术人员进行再次开发，使用成本相当高。而对于迎宾接待、互动娱乐表演等场合，机器人的工作内容是复杂多变的，并且需要在现场很短的时间内就修改完成。因此，传统的主从式人机交互机器人并不适用。
【发明内容】
[0004]本发明的目的在于克服现有技术的不足，针对迎宾接待或互动娱乐表演，提供一种使用方便、开发成本也较低的遥操作服务机器人系统。
[0005]本发明的技术方案为:一种遥操作服务机器人系统，包括机器人本体和远程操作终端，机器人本体和远程操作终端之间通过无线通讯网络连接；机器人系统内设有语音交互模块、视频监控模块、状态监控模块、任务管理模块和任务操作终端，任务管理模块设于机器人本体上，任务操作终端设于远程操作终端上；语音交互模块包括两个语音交互终端，两个语音交互终端分别设于机器人本体上和远程操作终端上；视频监控模块包括图像采集传输子模块和图像接收显示子模块，图像采集传输子模块设于机器人本体上，图像接收显示子模块设于远程操作终端上；状态监控模块包括状态采集发送子模块和状态接收显示子模块，状态采集发送子模块设于机器人本体上，状态接收显示子模块设于远程操作终端上；
[0006]其中，任务管理模块用于编辑并执行任务文件，编辑并解释感知文件；
[0007]任务操作终端作为操作人员的操作执行工具；
[0008]语音交互模块用于操作人员和机器人周围的人进行互动，实时捕捉机器人周围的声音并通过无线通讯网络传输到远程操作终端，同时将操作人员发出的声音采集后通过无线通讯网络发送给机器人本体，经过变声处理后，由机器人本体上的音箱播放出来；
[0009]视频监控模块用于将机器人本体上摄像头采集到的图像实时传输到远程操作终端;
[0010]状态监控模块用于实时检测机器人本体的电源电压和周围环境障碍物的方向，并向远端操作终端发送电压和障碍物的方向数据，使操作人员可以在远程操作终端上查看到机器人本体的电压和机器人本体周围环境的障碍物情况。
[0011]其中，任务管理模块内设有任务解释子模块，任务解释子模块用于对任务文件的脚本指令进行解释，并根据指令和函数的映射关系，调用指令对应的函数执行指令；
[0012]任务管理模块所编辑并执行的任务文件主要由机器人本体的脚本指令组成，各脚本指令包含指令名和参数两部分，按用途可将脚本指令划分为移动指令、肢体指令、表情指令、语音指令和系统指令等，任务文件可以作为函数被脚本指令调用；任务文件可以被保存为文本格式或是XML文件格式；当任务文件为XML文件格式时，用XML节点作为指令节点来描述指令，分别用XML节点的属性描述指令名和参数；
[0013]任务管理模块所编辑并解释的感知文件保存为XML文件格式，感知文件描述感知和行为之间的对应关系，即根据感知文件描述的内容，当某个特定的感知发生时，通过对感知文件的解释，机器人本体会执行相应的行为；感知为自定义的事件(如游戏手柄按钮按下的事件)，则行为用机器人本体的脚本指令描述；在感知文件中，用一个XML节点描述感知，用该XML节点的属性来描述感知的类型和感知的数据，用一个指令节点、多个指令节点或作为感知节点的子节点来描述感知对应的行为；
[0014]非技术开发人员可以根据感知集和指令集的内容，使用文本文件编辑软件以及XML文件编辑软件编辑任务文件和感知文件，以达到自己定义机器人功能的目的。
[0015]所述机器人本体内还设有移动模块和肢体动作模块，移动模块和肢体动作模块分别与任务管理模块连接；
[0016]其中，移动模块用于控制机器人本体前进、后退、转弯并移动到指定坐标；
[0017]肢体动作模块用于控制机器人本体完成头部、手部和腿部的肢体动作。
[0018]所述机器人本体上还设有音箱、麦克风、摄像头和障碍物检测传感器，音箱和麦克风分别与设于机器人本体上的语音交互终端连接，摄像头与图像采集传输子模块连接，障碍物检测传感器与状态采集发送子模块连接。
[0019]所述远程操作终端为具有触摸屏的智能移动设备或游戏手柄。
[0020]所述具有触摸屏的智能移动设备为手机或平板电脑；
[0021]当远程操作终端为游戏手柄时，游戏手柄上设有两个摇杆，一个摇杆用于远程控制机器人本体的移动动作，另一个摇杆用于远程控制机器人本体的肢体动作；用户可通过感知文件将游戏手柄上每个按钮按下的事件和对应的行为关联起来，通过编辑感知文件来定义每个按钮按下去之后机器人对应要执行的行为文件；
[0022]当远程操作终端为手机或平板电脑时，远程操作终端的用户界面上设有虚拟摇杆区域，通过用户手指在虚拟摇杆区域内的位置转换控制机器人本体的移动动作和肢体动作；具体是:在虚拟摇杆区域内检测用户手指所在的位置，并将用户手指位置转换为对应的位置数据或速度数据，然后根据虚拟摇杆的操作内容转换为机器人本体对应的脚本指令，并通过无线网络发送到机器人本体，通过任务解释子模块进行解释并执行。
[0023]通过虚拟摇杆，远程操作者可以控制机器人本体的移动速度和移动方向，同时控制机器人本体的肢体动作的角度(如点头、摇头角度、抬手、摆手等)。远程操作终端包括一个或多个的虚拟摇杆。一般包括2个虚拟摇杆,其中一个虚拟摇杆用于控制机器人的前进、后退、转弯和停止等移动动作，当用户手指离开虚拟摇杆的区域时，虚拟摇杆会指定复位到零位，这时候机器人将停止；另一个虚拟摇杆用于控制机器人的点头、摇头或其它肢体动作，当用户手指离开虚拟摇杆的区域时，摇杆会保持当前的位置不动，即让机器人保持对应的肢体角度不变。
[0024]所述远程操作终端为手机或平板电脑时，远程操作终端的用户界面上设有任务按钮区域、视频监控区域、语音对话区域、状态监控区域、第一虚拟摇杆区域、第二虚拟摇杆区域和停止按钮，任务按钮区域、第一虚拟摇杆区域、第二虚拟摇杆区域和停止按钮分别与远程操作终端内的任务操作终端连接，视频监控区域与图像接收显示子模块连接，语音对话区域与设于远程操作终端上的语音交互终端连接，状态监控区域与状态接收显示字模块连接；任务按钮区域内设有至少一种场景模式。
[0025]通过增加场景以及场景的任务按钮，可增加机器人本体的功能。任务按钮和行为文件关联，当按下任务按钮时，任务操作终端将该按钮对应的行为文件名组合成执行行为文件的脚本指令，通过无线通讯网络发送到机器人本体，由任务管理模块内的任务解释子模块负责解释执行。
[0026]其中，任务按钮可编辑的数据包括按钮显示的文本以及按钮对应的行为文件名，可以在远程操作终端上直接修改数据，也可以通过编辑指定的XML文件，然后由任务操作终端解释该XML文件，自动生成场景以及任务按钮。
[0027]语音对话区域中，使用麦克风采集环境的音频信号并通过无线通讯网络发送给机器人本体，同时接收从机器人本体发送过来的音频数据并播放。
[0028]视频监控区域用于接收和显示从机器人本体发送过来的图像数据。
[0029]状态监控区域用于接收和显示从机器人本体发送过来的电压数据和障碍物状态数据。
[0030]本遥操作服务机器人系统运行时，通过在机器人本体和远程操作终端之间无线传输数据完成工作。对于语音交互模块，由远程操作终端的语音交互终端发送监听或对话指令到机器人本体的语音交互终端，并开发音频的采集、发送以及监听接收和播放；机器人本体的语音交互终端收到指令后，采集音频数据发送到远程操作终端的语音交互终端，并播放从远程操作终端发送过来的音频数据；由远程操作终端控制语音监听和对话的结束。对于视频监控模块和状态监控模块，其工作过程与语音交互模块类似，都是由远程操作终端发出相应的指令，由机器人本体上对应的模块进行接收并处理，采集图像数据、状态数据，然后传输回远程操作终端进行显示。对于机器人本体的操作部分，如通过手柄或者是任务按钮操作机器人，远程操作终端首先将在界面上的操作转换为对应的机器人脚本指令，通过无线通讯网络将指令发送到机器人本体上，并由任务管理模块进行解释和执行。
[0031]本发明相对于现有技术，具有以下有益效果:
[0032]1、本遥操作服务机器人系统是针对迎宾接待或互动娱乐表演而提出的，使用方便，开发成本也较低，能够由非专业技术人员根据任务执行要求对机器人进行控制、任务编辑、并控制机器人完成指定的任务；该遥操作服务机器人系统提供简便的方式让用户操控机器人，达到了降低服务机器人的开发难度和用户的使用难度的目的，进一步推动了机器人在社会生活中的普及。
[0033]2、本遥操作服务机器人系统中，远程操作终端可同时兼容游戏手柄和其它智能移动设备。对于简单的任务(一般不超过10个任务)，可采用游戏手柄操作，操作手感好并且系统简单。对于较复杂的任务，可以通过智能移动设备(如Android平板电脑、手机等)对机器人进行遥操作。远程操作人员不需要在机器人附近，通过语音对话模块，视频监控模块和状态监控模块就能够感知到周围的环境。通过任务操作终端还可以自定义场景和任务按钮的功能，没有任务数量上的限制。
[0034]3、在本遥操作服务机器人系统的基础上，将机器人本体和远程操作终端通过广域网或者互联网进行通讯，则使得机器人具有替身作用，可以用机器人代替远端操作者参加重要会议、办公、面试等，减少了交流的空间限制。
【专利附图】
【附图说明】
[0035]图1为本遥操作服务机器人系统的原理示意图。
[0036]图2为本要操作服务机器人系统中远程操作终端的用户界面布局图。
【具体实施方式】
[0037]下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。
[0038]实施例
[0039]本实施例一种遥操作服务机器人系统，如图1所示，包括机器人本体和远程操作终端，机器人本体和远程操作终端之间通过无线通讯网络连接；机器人系统内设有语音交互模块、视频监控模块、状态监控模块、任务管理模块和任务操作终端，任务管理模块设于机器人本体上，任务操作终端设于远程操作终端上；语音交互模块包括两个语音交互终端，两个语音交互终端分别设于机器人本体上和远程操作终端上；视频监控模块包括图像采集传输子模块和图像接收显示子模块，图像采集传输子模块设于机器人本体上，图像接收显示子模块设于远程操作终端上；状态监控模块包括状态采集发送子模块和状态接收显示子模块，状态采集发送子模块设于机器人本体上，状态接收显示子模块设于远程操作终端上；
[0040]其中，任务管理模块用于编辑并执行任务文件，编辑并解释感知文件；
[0041 ] 任务操作终端作为操作人员的操作执行工具；
[0042]语音交互模块用于操作人员和机器人周围的人进行互动，实时捕捉机器人周围的声音并通过无线通讯网络传输到远程操作终端，同时将操作人员发出的声音采集后通过无线通讯网络发送给机器人本体，经过变声处理后，由机器人本体上的音箱播放出来；
[0043]视频监控模块用于将机器人本体上摄像头采集到的图像实时传输到远程操作终端;
[0044]状态监控模块用于实时检测机器人本体的电源电压和周围环境障碍物的方向，并向远端操作终端发送电压和障碍物的方向数据，使操作人员可以在远程操作终端上查看到机器人本体的电压和机器人本体周围环境的障碍物情况。
[0045]其中，任务管理模块内设有任务解释子模块，任务解释子模块用于对任务文件的脚本指令进行解释，并根据指令和函数的映射关系，调用指令对应的函数执行指令；
[0046]任务管理模块所编辑并执行的任务文件由机器人本体的脚本指令组成，各脚本指令包含指令名和参数两部分，按用途可将脚本指令划分为移动指令、肢体指令、表情指令、语音指令和系统指令等，任务文件可以作为函数被脚本指令调用；任务文件可以被保存为文本格式或是XML文件格式；当任务文件为XML文件格式时，用XML节点作为指令节点来描述指令，分别用XML节点的属性描述指令名和参数；
[0047]任务管理模块所编辑并解释的感知文件保存为XML文件格式，感知文件描述感知和行为之间的对应关系，即根据感知文件描述的内容，当某个特定的感知发生时，通过对感知文件的解释，机器人本体会执行相应的行为；感知为自定义的事件(如游戏手柄按钮按下的事件)，则行为用机器人本体的脚本指令描述；在感知文件中，用一个XML节点描述感知，用该XML节点的属性来描述感知的类型和感知的数据，用一个指令节点、多个指令节点或作为感知节点的子节点来描述感知对应的行为；
[0048]非技术开发人员可以根据感知集和指令集的内容，使用文本文件编辑软件以及XML文件编辑软件编辑任务文件和感知文件，以达到自己定义机器人功能的目的。
[0049]机器人本体内还设有移动模块和肢体动作模块，移动模块和肢体动作模块分别与任务管理模块连接；
[0050]其中，移动模块用于控制机器人本体前进、后退、转弯并移动到指定坐标；
[0051]肢体动作模块用于控制机器人本体完成头部、手部和腿部的肢体动作。
[0052]机器人本体上还设有音箱、麦克风、摄像头和障碍物检测传感器，音箱和麦克风分别与设于机器人本体上的语音交互终端连接，摄像头与图像采集传输子模块连接，障碍物检测传感器与状态采集发送子模块连接。
[0053]远程操作终端为具有触摸屏的智能移动设备或游戏手柄。
[0054]具有触摸屏的智能移动设备可为手机或平板电脑；
[0055]当远程操作终端为游戏手柄时，游戏手柄上设有两个摇杆，一个摇杆用于远程控制机器人本体的移动动作，另一个摇杆用于远程控制机器人本体的肢体动作；用户可通过感知文件将游戏手柄上每个按钮按下的事件和对应的行为关联起来，通过编辑感知文件来定义每个按钮按下去之后机器人对应要执行的行为文件；
[0056]当远程操作终端为手机或平板电脑时，远程操作终端的用户界面上设有虚拟摇杆区域，通过用户手指在虚拟摇杆区域内的位置转换控制机器人本体的移动动作和肢体动作；具体是:在虚拟摇杆区域内检测用户手指所在的位置，并将用户手指位置转换为对应的位置数据或速度数据，然后根据虚拟摇杆的操作内容转换为机器人本体对应的脚本指令，并通过无线网络发送到机器人本体，通过任务解释子模块进行解释并执行。
[0057]通过虚拟摇杆，远程操作者可以控制机器人本体的移动速度和移动方向，同时控制机器人本体的肢体动作的角度(如点头、摇头角度、抬手、摆手等)。远程操作终端包括一个或多个的虚拟摇杆。一般包括2个虚拟摇杆,其中一个虚拟摇杆用于控制机器人的前进、后退、转弯和停止等移动动作，当用户手指离开虚拟摇杆的区域时，虚拟摇杆会指定复位到零位，这时候机器人将停止；另一个虚拟摇杆用于控制机器人的点头、摇头或其它肢体动作，当用户手指离开虚拟摇杆的区域时，摇杆会保持当前的位置不动，即让机器人保持对应的肢体角度不变。
[0058]远程操作终端为手机或平板电脑时，远程操作终端的用户界面如图2所示，用户界面上设有任务按钮区域1、视频监控区域2、语音对话区域3、状态监控区域4、第一虚拟摇杆区域5、第二虚拟摇杆区域6和停止按钮7，任务按钮区域、第一虚拟摇杆区域、第二虚拟摇杆区域和停止按钮分别与远程操作终端内的任务操作终端连接，视频监控区域与图像接收显示子模块连接，语音对话区域与设于远程操作终端上的语音交互终端连接，状态监控区域与状态接收显示字模块连接；任务按钮区域内设有至少一种场景模式(如图2中所示，为场景1-1和场景1_2)。
[0059]通过增加场景以及场景的任务按钮，可增加机器人本体的功能。任务按钮和行为文件关联，当按下任务按钮时，任务操作终端将该按钮对应的行为文件名组合成执行行为文件的脚本指令，通过无线通讯网络发送到机器人本体，由任务管理模块内的任务解释子模块负责解释执行。
[0060]其中，任务按钮可编辑的数据包括按钮显示的文本以及按钮对应的行为文件名，可以在远程操作终端上直接修改数据，也可以通过编辑指定的XML文件，然后由任务操作终端解释该XML文件，自动生成场景以及任务按钮。
[0061]语音对话区域中，使用麦克风采集环境的音频信号并通过无线通讯网络发送给机器人本体，同时接收从机器人本体发送过来的音频数据并播放。
[0062]视频监控区域用于接收和显示从机器人本体发送过来的图像数据。
[0063]状态监控区域用于接收和显示从机器人本体发送过来的电压数据和障碍物状态数据。
[0064]本遥操作服务机器人系统运行时，通过在机器人本体和远程操作终端之间无线传输数据完成工作。对于语音交互模块，由远程操作终端的语音交互终端发送监听或对话指令到机器人本体的语音交互终端，并开发音频的采集、发送以及监听接收和播放；机器人本体的语音交互终端收到指令后，采集音频数据发送到远程操作终端的语音交互终端，并播放从远程操作终端发送过来的音频数据；由远程操作终端控制语音监听和对话的结束。对于视频监控模块和状态监控模块，其工作过程与语音交互模块类似，都是由远程操作终端发出相应的指令，由机器人本体上对应的模块进行接收并处理，采集图像数据、状态数据，然后传输回远程操作终端进行显示。对于机器人本体的操作部分，如通过手柄或者是任务按钮操作机器人，远程操作终端首先将在界面上的操作转换为对应的机器人脚本指令，通过无线通讯网络将指令发送到机器人本体上，由并由任务管理模块进行解释和执行。
[0065]如上所述，便可较好地实现本发明，上述实施例仅为本发明的较佳实施例，并非用来限定本发明的实施范围；即凡依本
【发明内容】
所作的均等变化与修饰，都为本发明权利要求所要求保护的范围所涵盖。
【权利要求】
1.一种遥操作服务机器人系统，其特征在于，包括机器人本体和远程操作终端，机器人本体和远程操作终端之间通过无线通讯网络连接；机器人系统内设有语音交互模块、视频监控模块、状态监控模块、任务管理模块和任务操作终端，任务管理模块设于机器人本体上，任务操作终端设于远程操作终端上；语音交互模块包括两个语音交互终端，两个语音交互终端分别设于机器人本体上和远程操作终端上；视频监控模块包括图像采集传输子模块和图像接收显示子模块，图像采集传输子模块设于机器人本体上，图像接收显示子模块设于远程操作终端上；状态监控模块包括状态采集发送子模块和状态接收显示子模块，状态采集发送子模块设于机器人本体上，状态接收显示子模块设于远程操作终端上； 其中，任务管理模块用于编辑并执行任务文件，编辑并解释感知文件； 任务操作终端作为操作人员的操作执行工具； 语音交互模块用于操作人员和机器人周围的人进行互动，实时捕捉机器人周围的声音并通过无线通讯网络传输到远程操作终端，同时将操作人员发出的声音采集后通过无线通讯网络发送给机器人本体，经过变声处理后，由机器人本体上的音箱播放出来； 视频监控模块用于将机器人本体上摄像头采集到的图像实时传输到远程操作终端； 状态监控模块用于实时检测机器人本体的电源电压和周围环境障碍物的方向，并向远端操作终端发送电压和障碍物的方向数据，使操作人员可以在远程操作终端上查看到机器人本体的电压和机器人本体周围环境的障碍物情况。
2.根据权利要求1所述一种遥操作服务机器人系统，其特征在于，所述任务管理模块内设有任务解释子模块，任务解释子模块用于对任务文件的脚本指令进行解释，并根据指令和函数的映射关系，调用指令对应的函数执行指令； 其中，任务管理模块所编辑`并执行的任务文件主要由机器人本体的脚本指令组成,各脚本指令包含指令名和参数两部分，脚本指令包括移动指令、肢体指令、表情指令、语首指令和系统指令，任务文件作为函数被脚本指令调用；任务文件被保存为文本格式或是XML文件格式；当任务文件为XML文件格式时，用XML节点作为指令节点来描述指令，分别用XML节点的属性描述指令名和参数； 任务管理模块所编辑并解释的感知文件保存为XML文件格式，感知文件描述感知和行为之间的对应关系；感知为自定义的事件，则行为用机器人本体的脚本指令描述；在感知文件中，用一个XML节点描述感知，用相应XML节点的属性描述感知的类型和感知的数据，用一个指令节点、多个指令节点或作为感知节点的子节点描述感知对应的行为。
3.根据权利要求1所述一种遥操作服务机器人系统，其特征在于，所述机器人本体内还设有移动模块和肢体动作模块，移动模块和肢体动作模块分别与任务管理模块连接； 其中，移动模块用于控制机器人本体前进、后退、转弯并移动到指定坐标； 肢体动作模块用于控制机器人本体完成头部、手部和腿部的肢体动作。
4.根据权利要求1所述一种遥操作服务机器人系统，其特征在于，所述机器人本体上还设有音箱、麦克风、摄像头和障碍物检测传感器，音箱和麦克风分别与设于机器人本体上的语音交互终端连接，摄像头与图像采集传输子模块连接，障碍物检测传感器与状态采集发送子模块连接。
5.根据权利要求1所述一种遥操作服务机器人系统，其特征在于，所述远程操作终端为具有触摸屏的智能移动设备或游戏手柄。
6.根据权利要求5所述一种遥操作服务机器人系统，其特征在于，所述具有触摸屏的智能移动设备为手机或平板电脑； 当远程操作终端为游戏手柄时，游戏手柄上设有两个摇杆，一个摇杆用于远程控制机器人本体的移动动作，另一个摇杆用于远程控制机器人本体的肢体动作； 当远程操作终端为手机或平板电脑时，远程操作终端的用户界面上设有虚拟摇杆区域，通过用户手指在虚拟摇杆区域内的位置转换控制机器人本体的移动动作和肢体动作。
7.根据权利要求6所述一种遥操作服务机器人系统，其特征在于，所述远程操作终端为手机或平板电脑时，远程操作终端的用户界面上设有任务按钮区域、视频监控区域、语音对话区域、状态监控区域、第一虚拟摇杆区域、第二虚拟摇杆区域和停止按钮，任务按钮区域、第一虚拟摇杆区域、第二虚 拟摇杆区域和停止按钮分别与远程操作终端内的任务操作终端连接，视频监控区域与图像接收显示子模块连接，语音对话区域与设于远程操作终端上的语音交互终端连接，状态监控区域与状态接收显示字模块连接；任务按钮区域内设有至少一种场景模式。
【文档编号】G05B19/418GK103631221SQ201310589961
【公开日】2014年3月12日 申请日期:2013年11月20日 优先权日:2013年11月20日
【发明者】马琼雄, 林颖, 邱育波, 麦昌边, 冯家浩 申请人:华南理工大学广州学院