一种利用智能终端识别动作并控制机器人的系统的制作方法

文档序号:15270533发布日期:2018-08-28 22:22阅读:169来源:国知局

本发明属于智能科技领域,尤其包括一种利用智能终端识别动作并控制机器人的系统和方法。



背景技术:

当控制者需要远程控制一台机器人装置时,通过智能终端上的软件界面操作是一种比较普及的方法,技术很成熟。在图像识别技术得到发展后,机器人通过自身的视觉系统近距离获取控制者的动作指令也成为现实。借助特种体感识别设备对人体动作的捕获能力,控制者也可以通过肢体动作远程控制一台机器人,但目前体感设备成本高昂、体积较大,不易于日常携带实现随时随地的控制,且其应用单一,主要用来实现游戏电玩等不具备良好社会功效的场景。



技术实现要素:

本发明主要愿景是解决远程助老帮幼机器人的远程控制的技术问题,在目前手机等智能终端功能越来越强大的状况下,利用智能终端捕获人体动作,使得远程机器人模拟动作,即可辅助老年人和儿童。为此,本发明提供了下文所述的智能终端识别动作并控制机器人的系统和方法。

本发明提供了一种利用智能终端识别动作并控制机器人的系统,包括安装有动作识别装置的智能终端和接受智能终端控制的机器人,动作识别装置包括摄像头模组、处理器和应用软件,摄像头模组摄取外部影像信息,处理器和应用软件处理摄像头模组摄取的信息,识别出控制者的动作过程序列,智能终端将动作过程序列的信息发送到机器人,机器人根据动作序列,模拟控制者的动作。

优选的,所述机器人有多个可产生相对运动的结构单元,所述智能终端包括肢体识别模块,肢体识别模块预先获取机器人的各结构单元的形状、位置和关联信息,并根据各结构单元的信息,在屏幕上显示出机器人的结构单元的形状、位置和关联的影像,影像中显示的各结构单元的相对空间位置根据预设的程序产生一序列变化,控制者根据这种变化做出一序列肢体动作,所述摄像头模组摄取控制者的一序列肢体动作的影像信息,肢体识别模块将一序列肢体动作的影像信息中产生相对位置变化的部分做最大似然分割,记录最大似然分割得到的各分割部分的影像特征,并将最大似然分割得到的各分割部分与机器人各结构单元形成一一对应的关系。

优选的,所述智能终端还包括动作校验模块,控制者做出肢体动作,所述摄像头模组摄取控制者的动作影像信息,所述动作识别装置识别出控制者的动作过程序列,动作校验模块将动作过程序列形成机器人动作模拟画面显示在智能终端的屏幕上,供控制者校验,当控制者认可画面显示的动作过程序列,则通过按键或者语音产生认可命令,智能终端接收到认可命令后,将动作过程序列的信息发送到机器人。

优选的,所述处理器和应用软件处理摄像头模组摄取的信息,识别出控制者的动作过程序列,包括:当摄像头模组在部分时刻摄取不到完整的控制者作出动作的肢体的影像时,对控制者的动作过程序列做最大似然估计。

优选的,所述摄像头模组包括两组对应的透镜和感光器件,分别摄取两种不同波长段的光线以形成两组影像,所述处理器和应用软件对同一时刻形成的两组影像做差分对比,所述肢体识别模块参考这种差分对比结果,做最大似然分割。

本发明提供了一种利用智能终端识别动作并控制机器人的方法,包括如下步骤:

s11,摄像头模组摄取外部影像信息;

s12,处理器和应用软件处理摄像头模组摄取的信息,识别出控制者的动作过程序列;

s13,智能终端将动作过程序列的信息发送到机器人;

s14,机器人根据动作序列,模拟控制者的动作。

优选的,所述方法还包括如下步骤:

s01,肢体识别模块预先获取机器人的各结构单元的形状、位置和关联信息,并根据各结构单元的信息,在屏幕上显示出机器人的结构单元的形状、位置和关联的影像;

s02,影像中显示的各结构单元的相对空间位置根据预设的程序产生一序列变化;

s03,控制者根据上述一序列变化做出一序列肢体动作;

s04,所述摄像头模组摄取控制者的一序列肢体动作的影像信息;

s05,肢体识别模块将一序列肢体动作的影像信息中产生相对位置变化的部分做最大似然分割,记录最大似然分割得到的各分割部分的影像特征,并将最大似然分割得到的各分割部分与机器人各结构单元形成一一对应的关系。

优选的,还包括如下步骤:

s21,控制者做出肢体动作;

s22,所述摄像头模组摄取控制者的动作影像信息;

s23,所述动作识别装置处理动作影像信息,识别出控制者的动作过程序列;

s24,动作校验模块将动作过程序列形成机器人动作模拟画面显示在智能终端的屏幕上,供控制者校验;

s25,当控制者认可画面显示的动作过程序列,则通过按键或者语音产生认可命令;

s26,智能终端接收到认可命令后,将动作过程序列的信息发送到机器人。

优选的,所述步骤s12还包括:当摄像头模组在部分时刻摄取不到完整的控制者作出动作的肢体的影像时,处理器和应用软件对控制者的动作过程序列做最大似然估计。

优选的,所述摄像头模组包括两组对应的透镜和感光器件,分别摄取两种不同波长段的光线以形成两组影像,所述步骤s05还包括处理器和应用软件对同一时刻形成的两组影像做差分对比,所述肢体识别模块参考这种差分对比结果,做最大似然分割。

附图说明

附图1为一种利用智能终端识别动作并控制机器人的系统的示意图。

具体实施方式

为了更清楚地展现本发明的技术方案,接下来将结合实施例对本发明的技术方案做出示例性的描述,本领域的技术人员应能理解这种实施例是较佳的实施例,但并非唯一实施例,在不作出创造性劳动的情况下,对下文所述的实施例做出修改和调整,也应当落在本发明所述技术方案的保护范围之内。

参见图1所示的一种利用智能终端识别动作并控制机器人的系统,包括安装有动作识别装置的智能终端和接受智能终端控制的机器人。在本实施例中,智能终端为一部iphonex手机。动作识别装置包括手机的摄像头模组、手机的各类处理器和定制的应用软件。控制者打开定制的应用软件,在手机摄像头视场范围内做出肢体动作,摄像头模组摄取外部影像信息,其中包含控制者做出的肢体动作的信息,处理器和应用软件处理摄像头模组摄取的信息,将一个完整的动作视频分割和取样,得到一组根据时间顺序排列的图样,在图样中得到肢体各个部分在各图样标示时间点的分布情况,识别出控制者的动作过程序列,用一组根据时间顺序排列的标示了肢体各部分的相对空间坐标和角度的结构化数据信息,智能终端将动作过程序列的信息发送到机器人,机器人根据动作序列中根据时间序列排列的标示了肢体各部分的空间坐标和角度的结构化数据信息,调整自身各结构单元的相对空间坐标和角度,模拟控制者的动作。

所述机器人有多个可产生相对运动的结构单元,例如手臂相对身体做一定自由度的旋转,腰部以上可以相对腰部以下做一定角度的旋转,上下唇可以做相对接近和远离的运动等。所述智能终端包括肢体识别模块,包括软件和软件赖以运行的处理器和实现交互的显示屏等硬件资源,肢体识别模块预先获取机器人的各结构单元的形状、位置和关联信息,例如机械臂、机械指的数量、长度、可弯曲度、相对角度、与机械手掌连接情况等,并根据各结构单元的信息,在屏幕上显示出机器人的结构单元的形状、位置和关联的影像。影像中显示的各结构单元的相对空间位置根据预设的程序产生一序列变化,控制者根据这种变化做出一序列肢体动作,所述摄像头模组摄取控制者的一序列肢体动作的影像信息,肢体识别模块将一序列肢体动作的影像信息中产生相对位置变化的部分做最大似然分割,记录最大似然分割得到的各分割部分的影像特征,并将最大似然分割得到的各分割部分与机器人各结构单元形成一一对应的关系,例如控制者的拇指、食指和机器人的机械拇指、机械食指分别对应,形成动作模拟关系。在实际应用中,为了达到更高的精度,可多次根据预设的程序产生一序列变化,实现上述识别和分割过程。因为摄像头模组摄取的控制者做肢体动作的影像可能会出现一部分肢体被前方肢体遮挡的情况,所述最大似然分割算法结合肢体的形状、肢体各部分的关联关系,以最大的概率估计被遮挡的肢体的状况。

所述智能终端还包括动作校验模块,包括软件和软件赖以运行的处理器和实现交互的显示屏等硬件资源。控制者做出肢体动作,所述摄像头模组摄取控制者的动作影像信息,所述动作识别装置识别出控制者的动作过程序列,动作校验模块利用肢体识别模块获取的控制者肢体各分割部分与机器人各结构单元形成一一对应的关系,将动作过程序列形成机器人动作模拟画面显示在智能终端的屏幕上,供控制者校验,当控制者认可画面显示的动作过程序列,则通过按键或者语音产生认可命令,智能终端接收到认可命令后,将动作过程序列的信息发送到机器人。

所述处理器和应用软件处理摄像头模组摄取的信息,识别出控制者的动作过程序列,还包括:当摄像头模组在部分时刻摄取不到完整的控制者作出动作的肢体的影像时,对控制者的动作过程序列做最大似然估计,利用已知信息,通过插值和概率计算的方法,补充未摄取到的肢体状态信息。

所述摄像头模组包括两组对应的透镜和感光器件,分别摄取两种不同波长段的光线以形成两组影像,所述处理器和应用软件对同一时刻形成的两组影像做差分对比,所述肢体识别模块参考这种差分对比结果,做最大似然分割。

本发明还提供了一种利用智能终端识别动作并控制机器人的方法,包括如下步骤:

s11,摄像头模组摄取外部影像信息;

s12,处理器和应用软件处理摄像头模组摄取的信息,识别出控制者的动作过程序列;

s13,智能终端将动作过程序列的信息发送到机器人;

s14,机器人根据动作序列,模拟控制者的动作。

优选的,在上述方法之前,还包括步骤s01~s05:

s01,肢体识别模块预先获取机器人的各结构单元的形状、位置和关联信息,并根据各结构单元的信息,在屏幕上显示出机器人的结构单元的形状、位置和关联的影像;

s02,影像中显示的各结构单元的相对空间位置根据预设的程序产生一序列变化;

s03,控制者根据上述一序列变化做出一序列肢体动作;

s04,所述摄像头模组摄取控制者的一序列肢体动作的影像信息;

s05,肢体识别模块将一序列肢体动作的影像信息中产生相对位置变化的部分做最大似然分割,记录最大似然分割得到的各分割部分的影像特征,并将最大似然分割得到的各分割部分与机器人各结构单元形成一一对应的关系。

优选的,还包括如下步骤:

s21,控制者做出肢体动作;

s22,所述摄像头模组摄取控制者的动作影像信息;

s23,所述动作识别装置处理动作影像信息,识别出控制者的动作过程序列;

s24,动作校验模块将动作过程序列形成机器人动作模拟画面显示在智能终端的屏幕上,供控制者校验;

s25,当控制者认可画面显示的动作过程序列,则通过按键或者语音产生认可命令;

s26,智能终端接收到认可命令后,将动作过程序列的信息发送到机器人。

优选的,上述方法的步骤s12还包括:当摄像头模组在部分时刻摄取不到完整的控制者作出动作的肢体的影像时,处理器和应用软件对控制者的动作过程序列做最大似然估计。

优选的,上述方法中,所述摄像头模组包括两组对应的透镜和感光器件,分别摄取两种不同波长段的光线以形成两组影像,所述步骤s05还包括处理器和应用软件对同一时刻形成的两组影像做差分对比,所述肢体识别模块参考这种差分对比结果,做最大似然分割。

结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于ram、闪存、rom、eprom、eeprom、寄存器或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的方法中,模块和单元的具体特性和工作过程,可以参考前述系统实施例中的对应情况,在此不再赘述。

本领域技术人员应该可以意识到,在上述一个或多个实施例中,本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。多个模块或单元可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。

以上实施例仅用以说明本申请的技术方案,而非对其限制,尽管参照前述实施例对本申请进行了较为详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1