一种机器人多通道人机交互式导航方法与流程

文档序号:16527623发布日期:2019-01-05 10:28阅读:202来源:国知局
一种机器人多通道人机交互式导航方法与流程

本发明涉及智能机器人领域,特别是一种机器人多通道人机交互式导航方法。



背景技术:

随着计算机技术的不断发展以及人工智能技术的不断进步,机器人的应用也越来越广泛。当前机器人发展为通过按键操作、遥控操作、单一的语音、肢体动作与用户交互。虽然这在一定程度上丰富了交互形式,但是面对复杂的应用场景,交互的多样性、准确性有着更高层次的要求。

发明专利201610179223.8中公开了一种机器人交互方法以及机器人系统。包括:采集多模态的外界输入信息,所述外界输入信息包含文字信息、图像信息、声音信息、机器人自检信息和感应信息;分析所述外界输入信息以获取交互输入信息、交互对象特征信息以及交互环境特征信息;对所述交互对象特征信息以及所述交互环境特征信息进行分析以获取匹配的交互情景限定;对所述交互输入信息进行语义解析以获取交互对象的交互意图;在所述交互情景限定下,根据所述交互意图进行多模态的交互行为输出。与现有技术相比,该申请的方法及系统可以更好的模拟人与人交互过程中人类交互行为的分析生成过程,从而获得更加自然生动的交互输出,大大提高了机器人的应用体验。

发明专利(申请号201610078417.9)中公开了一种机器人系统及交互方法及系统包括:采集模块,其配置为采集多模态的外部输入信息,所述采集模块包含语音采集单元、视觉传感器和触摸传感器;交互处理模块,其配置为对多模态的所述外部输入信息进行决策与分析,其包括,分别针对每一种模态的所述外部输入信息进行分析并综合各个模态的分析结果输出多模态的交互输出结果信息;交互输出模块,其配置为根据多模态的所述交互输出结果信息控制机器人做出匹配的多模态交互回应。与现有技术相比,根据该申请的机器人系统以及方法能够进行多模态的交互信息采集以及交互信息输出,从而实现用户与机器人之间的多模态,不仅扩展了机器人的应用范围,而且大大提高了机器人的用户体验。

发明专利201410026255.5中提供了一种基于生物信号的人机面部表情交互系统,包括:头戴式肌电采集仪和具有感官及表情功能的机器人头部;所述机器人头部具有两个颈部运动自由度、两个嘴唇运动自由度、两个眼睛运动自由度,可以实现眼、唇等面部器官的运动,形成各种表情,提供多种与操作者的交互通道。该申请提出了基于生物信号的方法与数字图像处理相结合交互获取人面部表情的方法,克服了传统表情交互系统中人必须面对摄像头、使用环境必须有光照等限制,极大的提高了使用的灵活性。经过实验验证,本发明具有可行性,且能克服传统表情交互系统无法克服的使用环境限制,具有很好的使用灵活性。

上述现有技术存在以下缺陷:机器人导航地图的构建灵活性差,对于机器人深层次的人机交互形式单一。运行环境的变动,无法及时地更新到地图。若要更新,只能选择重新构建一次地图;若不更新,则机器人按照原地图进行路径规划、导航行走的效率会大大下降。另外,假如变动的环境是机器人无法感知到的,如深坑、明火,会给机器人带来一定的安全隐患。用户无法自主地选择机器人的通行区域。如用户不希望机器人通过某区域,甚至远离某区域,由于路径规划算法并未考虑到该区域不可通行,则机器人仍有可能运动到该区域。



技术实现要素:

本发明所要解决的技术问题是,针对现有技术不足,提供一种机器人多通道人机交互式导航方法。

为解决上述技术问题,本发明所采用的技术方案是:一种机器人多通道人机交互式导航方法,该方法主要实现过程为:启动导航功能,加载导航的栅格地图,对栅格地图进行实时修改,然后机器人导航地图同步更新,完成交互式导航。

所述交互式导航方法为触摸交互式导航,所述触摸交互式导航包括增加障碍物、删除障碍物、移动障碍物;其中,

增加障碍物的步骤包括:

1)终端显示栅格地图后,在栅格地图区域选择多个点连成一片封闭区域;

2)在所述封闭区域内增加障碍物,若需要重新选择封闭区域,则选择放弃增加障碍物,并返回步骤1);

3)确定封闭区域的各个点二维坐标点集(x0,y0)......(xn,yn);

4)验证点集是否封闭,若未封闭,则返回相应提示并重新选点;若二位坐标点集围成的区域封闭,验证封闭区域是否已经是障碍物区,若区域全部已在障碍物区则返回步骤1),并给出相应提示;若封闭区域有部分或全部不在障碍物区,则验证成功;

5)验证成功后,进行地图更新、同步;

6)将栅格地图中封闭区域中所有栅格的属性值设置为障碍物区域,更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端;

删除障碍物的步骤包括:

1)终端显示栅格地图后,在栅格地图区域选择多个点连成一片封闭区域;

2)在所述封闭区域内删除障碍物,若需要重新选择封闭区域,则选择放弃删除障碍物,并返回步骤1);

3)确定封闭区域的各个点的二维坐标点集(x0,y0)......(xn,yn);

4)验证点集是否封闭,若未封闭,则返回相应提示并重新选点;若二位坐标点集围成的区域封闭,验证所选区域是否为可通行区域,若封闭区域全部已在可通行区域内,则返回步骤1),并给出相应提示;若封闭区域有部分或全部不在可通行区域,则验证成功;

5)验证成功后,进行地图更新、同步;

6)将栅格地图中封闭区域中所有栅格的属性值设置为可通行区域,更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端;

移动障碍物的步骤包括:

1)终端显示栅格地图后,在栅格地图区域选择多个点连成一片封闭区域;

2)在所述封闭区域内移动障碍物,若需要重新选择封闭区域,则选择放弃移动障碍物,并返回步骤1);

3)确定封闭区域的各个点的二维坐标点集(x0,y0)......(xn,yn);

4)验证点集是否封闭,若未封闭,则返回相应提示并重新选点;若二位坐标点集围成的区域封闭,验证封闭区域是否为可通行区域,若封闭区域全部已在可通行区域内,则返回步骤1),并给出相应提示;若封闭区域有部分或全部不在可通行区域,则验证成功;

5)验证成功后,拖动封闭区域至目标位置;

6)将栅格地图中原所选区域中所有栅格属性值都设置为可通行区,目标位置所对应的封闭区域的属性值则替换为原所选区域,更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端:

所述交互式导航方法为语音交互式导航,所述语音交互式导航包括增加障碍物、删除障碍物;其中,

增加障碍物的步骤包括:

1)进入语音交互模式,感应控制终端显示栅格地图的区域拆分地图;

2)语意判断,选择所述终端显示区域拆分地图中,增加的障碍区域;

3)确定增加的障碍区域的边界栅格点二维坐标点集(x0,y0)......(xn,yn);

4)验证增加的障碍区域是否已经是障碍物区,若区域全部已在障碍物区则返回步骤1),并给出相应提示;若封闭区域有部分或全部不在障碍物区,则验证成功;

5)验证成功后,进行地图更新、同步。

6)将区域拆分地图中增加的障碍区域中所有栅格的属性值设置为障碍物区域,更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端;

删除障碍物的步骤包括:

1)进入语音交互模式,感应控制终端显示栅格地图的区域拆分地图;

2)语意判断,选择所述终端显示区域拆分地图中,删除的障碍区域;

3)确定删除的障碍区域的边界栅格点二维坐标点集(x0,y0)......(xn,yn);

4)验证删除的障碍区域是否为可通行区域,若删除的障碍区域全部已在可通行区域内,则返回步骤1),并给出相应提示;若封闭区域有部分或全部不在可通行区域,则验证成功;

5)验证成功后,进行地图更新、同步。

6)将区域拆分地图中增加的障碍区域中所有栅格的属性值设置为可通行区域,更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端;

所述交互式导航方法为眼动交互式导航,所述眼动交互式导航包括增加障碍物、删除障碍物;其中,

增加障碍物的步骤包括:

1)进入眼动交互模式,感应控制终端显示栅格地图的区域拆分地图;

2)眼动判断,选择所述终端显示区域拆分地图中,增加的障碍区域;

3)确定增加的障碍区域的边界栅格点二维坐标点集(x0,y0)......(xn,yn);

4)验证增加的障碍区域是否已经是障碍物区,若区域全部已在障碍物区则返回步骤1),并给出相应提示;若封闭区域有部分或全部不在障碍物区,则验证成功;

5)验证成功后,进行地图更新、同步。

6)将区域拆分地图中增加的障碍区域中所有栅格的属性值设置为障碍物区域,更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端;

删除障碍物的步骤包括:

1)进入眼动交互模式,感应控制终端显示栅格地图的区域拆分地图;

2)眼动判断,选择所述终端显示区域拆分地图中,删除的障碍区域;

3)确定删除的障碍区域的边界栅格点二维坐标点集(x0,y0)......(xn,yn);

4)验证删除的障碍区域是否为可通行区域,若删除的障碍区域全部已在可通行区域内,则返回步骤1),并给出相应提示;若封闭区域有部分或全部不在可通行区域,则验证成功;

5)验证成功后,进行地图更新、同步。

6)将区域拆分地图中增加的障碍区域中所有栅格的属性值设置为可通行区域,更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端;

与现有技术相比,本发明所具有的有益效果为:本发明通过触摸控制、语音控制、眼动控制多通道的方式,可以更好的模拟人与人交互过程中人类交互行为的分析生成过程,从而获得更加自然生动、便捷有效的交互输出,大大提高了机器人的应用体验;导航灵活,用户可以自主地选择机器人的通行区域。

附图说明

图1为本发明方法流程图;

图2为本发明触摸交互导航流程图;

图3为本发明语音交互导航流程图;

图4为本发明眼动交互导航流程图。

具体实施方式

通常而言,机器人路径规划所依赖的地图需要提前离线构建,最为通用的地图格式为栅格地图。栅格地图以二维网格来存储地图信息,每个网格中按照可通行区域或障碍区分别存储不同属性值。栅格地图一旦被机器人加载运行后,路径规划算法便会在可通行的网格中选取一条路径。由于栅格地图是提前构建的,在运行过程中往往不可修改。而交互式导航可以通过触摸交互、语音交互、眼动交互方式实现地图的实时修改,修改的地图即刻同步给机器人自主导航程序,之后的自主导航路径规划都是基于新修改过的地图导航。具体如图1所示。

本发明触摸交互式导航流程见图2。

(a)增加障碍物:

终端上选择欲修改区域:终端(pc或手机)显示地图后,用鼠标(pc)或触摸(手机)在地图区域选择多个点连成一片封闭区域(可以是方形、圆形或是多点连线)。

选择修改操作:选择‘增加障碍物’,若需要重新选择区域,则选择放弃。

坐标换算:终端记录封闭区域的各个点二维坐标点集(x0,y0)......(xn,yn)。此坐标点为终端显示地图的坐标,是原栅格地图经过终端屏幕缩放、移动、旋转后的,需进行坐标转换后得到栅格地图上对应的坐标点。

验证区域选择的有效性:首先验证点集是否封闭,若未封闭,则返回相应提示并重新选点;若区域封闭,还需验证所选区域是否已经是障碍物区,若区域全部已在障碍物区则返回步骤1,并给出相应提示。若所选区域有部分不在或全部不在障碍区,则验证成功。

确认增加操作:验证成功后,弹出确认操作对话框,选择‘确认’,进入地图更新、同步;选择‘取消’,则取消以上操作,退回步骤1;

地图更新、同步:终端将栅格地图中所选区域中所有栅格的属性值设置为障碍物区域。更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端。

(b)删除障碍物:

终端上选择欲修改区域:终端(pc或手机)显示地图后,用鼠标(pc)或触摸(手机)在地图区域选择多个点连成一片封闭区域(可以是方形、圆形或是多点连线)。

选择修改操作:选择‘删除障碍物’,若需要重新选择区域,则选择放弃。

坐标换算:终端记录封闭区域的各个点二维坐标点集(x0,y0)......(xn,yn)。此坐标点为终端显示地图的坐标,是原栅格地图经过终端屏幕缩放、移动、旋转后的,需进行坐标转换后得到栅格地图上对应的坐标点。

验证区域选择的有效性:首先验证点集是否封闭,若未封闭,则返回相应提示并重新选点;若区域封闭,还需验证所选区域是否是可通行区域。若区域全部都在可通行区则返回步骤1,并给出相应提示。若所选区域有部分不在或全部不在可通行区,则验证成功。

确认增加操作:验证成功后,弹出确认操作对话框,选择‘确认’,进入地图更新、同步;选择‘取消’,则取消以上操作,退回步骤1;

地图更新、同步:终端将栅格地图中所选区域中所有栅格的属性值都设置为可通行区。更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端。

(c)移动障碍物:

终端上选择欲修改区域:终端(pc或手机)显示地图后,用鼠标(pc)或触摸(手机)在地图区域选择多个点连成一片封闭区域(可以是方形、圆形或是多点连线)。

选择修改操作:选择‘移动障碍物’,若需要重新选择区域,则选择放弃。

坐标换算:终端记录封闭区域的各个点二维坐标点集(x0,y0)......(xn,yn)。此坐标点为终端显示地图的坐标,是原栅格地图经过终端屏幕缩放、移动、旋转后的,需进行坐标转换后得到栅格地图上对应的坐标点。

验证区域选择的有效性:首先验证点集是否封闭,若未封闭,则返回相应提示并重新选点;若区域封闭,则进入下一步骤。

确认增加操作:验证成功后,用户拖动所选区域至目标位置;

确认移动:拖动完成后,弹出对话框,用户选择‘放弃移动’,则以上所有操作取消,重新回到步骤1;若选择‘重选目标位置’,则用户可重新拖动;若选择‘确认’,进入下一步骤;

地图更新、同步:终端将栅格地图中原所选区域中所有栅格属性值都设置为可通行区,而目标位置所对应的区域的属性值则替换为原所选区域。更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端。

本发明语音交互式导航流程见图3。语音交互是指通过语音实时感知(麦克风声音收录),应用语音语意的解析技术(现有技术,主要通过声纹识别,判断语音内容)实现交互操作。语音交互式导航在用户通过特定词汇或语句唤醒感应控制终端后,例如“进入语音交互模式”,机器人回复“语音交互模式开启”,进入语音交互式导航模式。

(a)增加障碍物:

终端上选择欲修改区域:终端(pc或手机)显示栅格地图的区域拆分地图后,识别实时感知的语音命令,如“增加障碍区a区”,栅格地图的区域拆分地图被拆分为a区的部分,开始在终端区别显示,如颜色区分。

坐标换算:终端记录增加障碍区(a区)的边界栅格点二维坐标点集(x0,y0)......(xn,yn)。此坐标点为终端显示地图的坐标,是区域拆分地图进行坐标转换后得到原栅格地图上对应的坐标点。

验证区域选择的有效性:验证所选增加障碍区(a区)是否已经是障碍物区,若区域全部已在障碍物区则返回步骤1,并给出相应提示(如a区增加无效)。若所选区域有部分不在或全部不在障碍区,则验证成功,并给出相应提示(如开始增加障碍区a区)。

地图更新、同步:终端将栅格地图中所选增加障碍区(a区)所有栅格的属性值设置为障碍物区域。更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端。

(b)增加障碍物:

终端上选择欲修改区域:终端(pc或手机)显示栅格地图的区域拆分地图后,识别实时感知的语音命令,如“删除障碍区a区”,栅格地图的区域拆分地图被拆分为a区的部分,开始在终端区别显示,如颜色区分。

坐标换算:终端记录删除障碍区(a区)的边界栅格点二维坐标点集(x0,y0)......(xn,yn)。此坐标点为终端显示地图的坐标,是区域拆分地图进行坐标转换后得到原栅格地图上对应的坐标点。

验证区域选择的有效性:验证所选删除障碍区(a区)是否是可通行区域,若区域全部都在可通行区则返回步骤1,并给出相应提示(如a区删除无效)。若所选区域有部分不在或全部不在可通行区,则验证成功,并给出相应提示(如开始删除障碍区a区)。

地图更新、同步:终端将栅格地图中所选增加障碍区(a区)所有栅格的属性值设置为可通行区域。更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端。

本发明眼动交互式导航流程见图4。眼动交互是指通过对眼动信息的实时感知(通过眼动仪收录信息),应用眼动追踪技术(现有技术,主要通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪,判断眼动含义)实现交互操作。眼动交互式导航在用户眼睛进入感应位置唤醒感应控制终端后,机器人回复“眼动交互模式开启”,进入眼动交互式导航模式。

(a)增加障碍物:

终端上选择欲修改区域:终端(pc或手机)显示栅格地图的区域拆分地图后,识别实时感知的眼动命令。首先用户增加/删减注视点的“眼跳”完成增加/删减界面的切换,其次,通过眼动是选取区域选取框调整到增加障碍物区(a区),眨眼1次,栅格地图的区域拆分地图被拆分为a区的部分,开始在终端区别显示,如颜色区分。

坐标换算:终端记录增加障碍区(a区)的边界栅格点二维坐标点集(x0,y0)......(xn,yn)。此坐标点为终端显示地图的坐标,是区域拆分地图进行坐标转换后得到原栅格地图上对应的坐标点。

验证区域选择的有效性:验证所选增加障碍区(a区)是否已经是障碍物区,若区域全部已在障碍物区则返回步骤1,并给出相应提示(如a区增加无效)。若所选区域有部分不在或全部不在障碍区,则验证成功,并给出相应提示性询问(您确定增加障碍区a区?)。

确认增加:终端识别实时感知的眼动命令,用户眼动输出确定指令(快速眨眼2次),则确认增加,并给出相应提示(开始增加障碍区a区);用户眼动输出否认指令(眼动任意方向),则否认增加并返回步骤1,同时给出相应提示(增加失败)。

地图更新、同步:终端将栅格地图中所选增加障碍区(a区)所有栅格的属性值设置为障碍物区域。更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端。

(b)增加障碍物:

终端上选择欲修改区域:终端(pc或手机)显示栅格地图的区域拆分地图后,识别实时感知的眼动命令。首先用户增加/删减注视点的“眼跳”完成增加/删减界面的切换,其次,通过眼动是选取区域选取框调整到删除障碍物区(a区),眨眼1次,栅格地图的区域拆分地图被拆分为a区的部分,开始在终端区别显示,如颜色区分。

坐标换算:终端记录删除障碍区(a区)的边界栅格点二维坐标点集(x0,y0)......(xn,yn)。此坐标点为终端显示地图的坐标,是区域拆分地图进行坐标转换后得到原栅格地图上对应的坐标点。

验证区域选择的有效性:验证所选删除障碍区(a区)是否是可通行区域,若区域全部都在可通行区则返回步骤1,并给出相应提示(如a区删除无效)。若所选区域有部分不在或全部不在可通行区,则验证成功,并给出相应提示性询问(您确定删除障碍区a区?)。

确认增加:终端识别实时感知的眼动命令,用户眼动输出确定指令(快速眨眼2次),则确认删除,并给出相应提示(开始删除障碍区a区);用户眼动输出否认指令(眼动任意方向),则否认删除并返回步骤1,同时给出相应提示(删除失败)。

地图更新、同步:终端将栅格地图中所选删除障碍区(a区)所有栅格的属性值设置为可通行区域。更新完毕后,将修改后的地图同步给机器人导航程序以及显示终端。

机器人一般具备多种附加功能,如机械手、探照灯、娱乐交互等。机器人在应用功能的操作中,同样可以通过触摸交互、语音交互、眼动交互等一种或多种组合的方式实现。机器人多通道的人机交互方式,可根据需要单独或组合使用,大大提高了机器人的交互能力。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1