一种人体辅助机器人的控制方法及装置与流程

本发明涉及自动控制领域，具体而言，涉及一种人体辅助机器人的控制方法及装置。

背景技术：

随着自动控制技术的提高，人工辅助的机器人在各领域均得到了广泛的应用。常见的领域如机器制造领域、护理领域。

针对护理领域而言，机器人更多的作用是帮助被护理人员完成某些动作，如位置移动、抓取物品等。

相关技术中，被护理人员在控制机器人的时候通常是通过手持的遥控器完成控制指令的下达。

技术实现要素：

本发明的目的在于提供一种人体辅助机器人的控制方法。

第一方面，本发明实施例提供了一种人体辅助机器人的控制方法，其特征在于，包括：

获取用户的第一人眼视角数据和对应的环境图像；

根据第一人眼视角数据，从环境图像中选择用户的感兴趣对象；

根据感兴趣对象的位置生成机器人控制指令。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述方法作用于人体辅助机器人，所述人体辅助机器人包括手臂；

步骤根据感兴趣对象的位置生成机器人控制指令包括：

根据感兴趣对象的位置和人体辅助机器人手臂的位置生成手臂移动指令。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述方法作用于人体辅助机器人，所述人体辅助机器人包括行动部；步骤根据感兴趣对象的位置生成机器人控制指令包括：

根据感兴趣对象的位置和人体辅助机器人的位置生成整体移动指令。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，步骤根据第一人眼视角数据，从环境图像中选择用户的感兴趣对象包括：

根据第一人眼视角数据，从环境图像中选择用户的感兴趣区域；

选择位于感兴趣区域中的对象作为感兴趣对象。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，步骤选择位于感兴趣区域中的对象作为感兴趣对象包括：

若感兴趣区域中存在多个候选对象，则将感兴趣区域中存在多个候选对象进行输出；

根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定的候选对象作为感兴趣对象。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，步骤将感兴趣区域中存在多个候选对象进行输出包括：

将放大后的感兴趣区域的图像在ar眼镜上显示；

步骤根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定的候选对象作为感兴趣对象包括：

获取用户观察ar眼镜所产生的第二人眼视角数据；所述第一选择指令为第二人眼视角数据；

根据第二人眼视角数据，选择感兴趣区域中的指定对象作为感兴趣对象。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，步骤选择位于感兴趣区域中的对象作为感兴趣对象包括：

对感兴趣区域进行前景提取，以确定前景对象；

从目标数据库中提取参考图像；

将前景对象中，与参考图像的相似度符合预设要求的对象作为感兴趣对象。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，还包括：

对感兴趣区域进行前景提取，以确定前景对象；

从目标数据库中提取参考图像；

将前景对象中，与参考图像的相似度符合预设要求的对象作为候选对象。

结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，还包括：

根据获取到的第二选择指令，从候选数据库中选择目标数据库；候选数据库包括家庭环境数据库、医疗环境数据库、室外环境数据库。

结合第一方面，本发明实施例提供了第一方面的第九种可能的实施方式，其中，还包括：

获取当前位置信息；

查找与当前位置信息相对应的地点信息；

根据地点信息生成第二选择指令。

结合第一方面，本发明实施例提供了第一方面的第十种可能的实施方式，其中，

第二选择指令是用户所下达的数据库选择指令。

结合第一方面，本发明实施例提供了第一方面的第十一种可能的实施方式，其中，步骤根据第一人眼视角数据，从环境图像中选择用户的感兴趣对象包括：

根据第一人眼视角数据，从环境图像中选择第一待确认对象；

分别输出每个第一待确认对象的提示信息；

若获取到响应于提示信息的确认指令，则将确认指所对应的第一待确认对象作为感兴趣对象。

结合第一方面，本发明实施例提供了第一方面的第十二种可能的实施方式，其中，步骤根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定的候选对象作为感兴趣对象包括：

选择与第一选择指令相对应的对象作为第二待确认对象；

分别输出每个与第二待确认对象相对应的提示信息；

若获取到与提示信息相对应的确认指令，则将对应的第二待确认对象作为感兴趣对象。

结合第一方面，本发明实施例提供了第一方面的第十三种可能的实施方式，其中，

步骤分别输出每个与第一待确认对象相对应的提示信息包括：

在显示屏上显示与第一对待确认对象相对应的图像信息；

和/或，播放第一对待确认对象的名称的语音信息；

步骤分别输出每个与第二待确认对象相对应的提示信息包括：

在显示屏上显示与第二对待确认对象相对应的图像信息；

和/或，播放第二对待确认对象的名称的语音信息。

结合第一方面，本发明实施例提供了第一方面的第十四种可能的实施方式，其中，在步骤输出与待确认对象相对应的提示信息后，还包括：

获取用户行为；

若用户行为符合预设的标准行为要求，则确定获取到与提示信息相对应的确认指令。

结合第一方面，本发明实施例提供了第一方面的第十五种可能的实施方式，其中，标准行为要求包括：用户完成以下指定一个或多个行为：

眨眼、张嘴、伸舌头、吹气、头部移动、语音行为、眼动行为。

第二方面，本发明实施例还提供了一种人体辅助机器人的控制装置，包括：

第一获取模块，用于获取用户的第一人眼视角数据和对应的环境图像；

第一选择模块，用于根据第一人眼视角数据，从环境图像中选择用户的感兴趣对象；

第一生成模块，用于根据感兴趣对象的位置生成机器人控制指令。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述装置作用于人体辅助机器人，所述人体辅助机器人包括手臂；

第一生成模块包括：

第一生成单元，用于根据感兴趣对象的位置和人体辅助机器人手臂的位置生成手臂移动指令。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述装置作用于人体辅助机器人，所述人体辅助机器人包括行动部；第一生成模块包括：

第二生成单元，用于根据感兴趣对象的位置和人体辅助机器人的位置生成整体移动指令。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，第一选择模块包括：

第一选择单元，用于根据第一人眼视角数据，从环境图像中选择用户的感兴趣区域；

第二选择单元，用于选择位于感兴趣区域中的对象作为感兴趣对象。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，第二选择单元包括：

第一输出子单元，若感兴趣区域中存在多个候选对象，则用于将感兴趣区域中存在多个候选对象进行输出；

第一选择子单元，用于根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定的候选对象作为感兴趣对象。

结合第二方面，本发明实施例提供了第二方面的第五种可能的实施方式，其中，第一输出子单元进一步用于：将放大后的感兴趣区域的图像在ar眼镜上显示；

第一选择子单元进一步用于：获取用户观察ar眼镜所产生的第二人眼视角数据；所述第一选择指令为第二人眼视角数据；并根据第二人眼视角数据，选择感兴趣区域中的指定对象作为感兴趣对象。

结合第二方面，本发明实施例提供了第二方面的第六种可能的实施方式，其中，第二选择单元包括：

第一提取子单元，用于对感兴趣区域进行前景提取，以确定前景对象；

第二提取子单元，用于从目标数据库中提取参考图像；

第一操作子单元，用于将前景对象中，与参考图像的相似度符合预设要求的对象作为感兴趣对象。

结合第二方面，本发明实施例提供了第二方面的第七种可能的实施方式，其中，还包括：

第三提取子单元，用于对感兴趣区域进行前景提取，以确定前景对象；

第四提取子单元，用于从目标数据库中提取参考图像；

第二操作子单元，用于将前景对象中，与参考图像的相似度符合预设要求的对象作为候选对象。

结合第二方面，本发明实施例提供了第二方面的第八种可能的实施方式，其中，还包括：

第二选择模块，用于根据获取到的第二选择指令，从候选数据库中选择目标数据库；候选数据库包括家庭环境数据库、医疗环境数据库、室外环境数据库。

结合第二方面，本发明实施例提供了第二方面的第九种可能的实施方式，其中，还包括：

第二获取模块，用于获取当前位置信息；

第一查找模块，用于查找与当前位置信息相对应的地点信息；

第二生成模块，用于根据地点信息生成第二选择指令。

结合第二方面，本发明实施例提供了第二方面的第十种可能的实施方式，其中，

第二选择指令是用户所下达的数据库选择指令。

结合第二方面，本发明实施例提供了第二方面的第十一种可能的实施方式，其中，第一选择模块包括：

第三选择单元，用于根据第一人眼视角数据，从环境图像中选择第一待确认对象；

第一输出单元，用于分别输出每个第一待确认对象的提示信息；

操作单元，用于若获取到响应于提示信息的确认指令，则将确认指所对应的第一待确认对象作为感兴趣对象。

结合第二方面，本发明实施例提供了第二方面的第十二种可能的实施方式，其中，第一选择子单元包括：

第二选择子单元，用于选择与第一选择指令相对应的对象作为第二待确认对象；

第二输出子单元，用于分别输出每个第一待确认对象的提示信息；

第三操作子单元，用于若获取到响应于提示信息的确认指令，则将确认指所对应的第一待确认对象作为感兴趣对象。

结合第二方面，本发明实施例提供了第二方面的第十三种可能的实施方式，其中，第一输出单元，进一步用于在显示屏上显示与第一对待确认对象相对应的图像信息；

和/或，播放第一对待确认对象的名称的语音信息；

第二输出子单元，进一步用于在显示屏上显示与第二对待确认对象相对应的图像信息；

和/或，播放第二对待确认对象的名称的语音信息。

结合第二方面，本发明实施例提供了第二方面的第十四种可能的实施方式，其中，还包括：

第三获取模块，用于获取用户行为；

第一确定模块，若用户行为符合预设的标准行为要求，则用于确定获取到与提示信息相对应的确认指令。

结合第二方面，本发明实施例提供了第二方面的第十五种可能的实施方式，其中，标准行为要求是，用户完成以下指定一个或多个行为：

眨眼、张嘴、伸舌头、吹气、头部移动、语音行为、眼动行为。

第三方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行第一方面任一所述方法。

第四方面，本发明实施例还提供了一种计算设备包括：处理器、存储器和总线，存储器存储有执行指令，当计算设备运行时，处理器与存储器之间通过总线通信，处理器执行存储器中存储的如第一方面任一所述方法。

本发明实施例提供的人体辅助机器人的控制方法，采用眼动控制的方式，其先获取了用户的第一人眼视角数据和对应的环境图像；而后，根据第一人眼视角数据，从环境图像中选择用户的感兴趣对象；最后根据感兴趣对象的位置生成机器人控制指令。使得用户可以通过转动眼镜就可以下达对应的控制指令，提高了使用的便捷程度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的人体辅助机器人的控制方法的基本流程图；

图2示出了本发明实施例所提供的透过ar眼镜观察真实的环境图像的示意图；

图3示出了本发明实施例所提供的在显示器上显示环境图像的第一种情况的示意图；

图4示出了本发明实施例所提供的在显示器上显示环境图像的第一种情况的示意图；

图5示出了本发明实施例所提供的通过ar眼镜观察真实环境图像的示意图；

图6示出了本申请实施例所提供的第一计算设备的示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，人体辅助机器人的受用群体主要是伤病患者和需要进行辅助操作的用户(进而，本申请所提供的方法的技术领域也可以理解为对对用户起到辅助操作作用的机器人)，伤病患者受到自身条件的约束(如偏瘫患者、截瘫患者的部分身体无法运动)，不方便进行某些动作(如移动和抓取)，因此，传统的人体辅助机器人一般至少应当能够完成移动和抓取的任务。

人体辅助机器人完成抓取和移动的动作的前提条件是接收到用户所下达的操作指令，通常情况下，用户是通过手柄控制器来完成操作指令的下达。但对于某些伤病患者而言，是不便于使用手柄控制器的，甚至在使用手柄控制器的时候会出现误操作，进而引发危险。

针对这种情况，本申请提供了一种人体辅助机器人的控制方法，如图1所示，包括：

s101，获取用户的第一人眼视角数据和对应的环境图像；

s102，根据第一人眼视角数据，从环境图像中选择用户的感兴趣对象；

s103，根据感兴趣对象的位置生成机器人控制指令。

其中，第一人眼视角数据可以是通过眼球追踪技术对用户的眼球进行检测后得到的，第一人眼视角数据应当至少反映了用户的眼球所观察的角度。对用户的眼球进行检测的设备可以是红外设备，也可以是一般的图像采集设备，此处的图像采集设备可以是一般的电脑摄像头，也可以是手机或者是其他终端上的摄像头。即，步骤s101在具体实现时，可以是通过图像采集设备对用户的眼球图像进行拍摄，以得到眼球运动图像；并对眼球运动图像进行分析，以确定用户的第一人眼视角数据。其中，图像采集设备可以是以下的任意一种：眼动传感器、小型摄像头、电脑摄像头、智能终端(手机、平板电脑)上的摄像头。步骤对眼球运动图像进行分析，以确定用户的第一人眼视角数据的执行主体可以是人体辅助机器人上的处理器完成的，也可以是独立于人体辅助机器人上的处理器来完成的。

环境图像与人眼视角数据是相关联的，一般来说，环境图像优选是按照用户的视角获取到的(环境图像的拍摄视角和用户人眼的观察视角应当是基本相同的)，环境图像可以是通过设置在用户头部(更具体而言，可以是设置在用户的眼部附近)上的摄像机获取到的真实环境图像，也可以是拍摄到的在显示屏上显示出来的虚拟/半虚拟(如ar)图像。也就是，环境图像可以是通过设置在用户头部的摄像机获取到的，也可以是，环境图像是显示在显示屏上的图像(该显示在显示屏上的图像可以是在显示屏上显示的真实的环境图像，也可以是在显示屏上显示的虚拟的环境图像)。当环境图像是显示在显示屏上的图像时，也就可以不再通过摄像机获取环境图像了，而是可以直接从显示屏或者给显示屏传输信号的处理器处获取环境图像。不论环境图像是通过什么方式获取环境图像，该环境图像都应当是用户能够通过肉眼直接观看到的图像。

当环境图像是显示在显示屏上的图像时，本申请所提供的方法中，优选是通过佩戴在用户的头部上的眼镜(ar眼镜)的镜片显示环境图像(也就是显示屏是ar眼镜的镜片)。当然，还可以是通过其他显示器来显示环境图像(显示器如设置在人体辅助机器人上的显示器，或者是如手机或平板电脑之类的智能终端上的显示器)。

如图2所示，示出了透过ar眼镜观察真实的环境图像的示意图(或者可以说是通过裸眼直接观察真实环境的图像)，通过该图可以看到，出现在用户视线中的对象有对象a、对象b和对象c。如图5所示，示出了通过ar眼镜观察到环境图像的结果，图5中，对象a为椅子，对象b为桌子，对象c为电脑。

除了透过ar眼镜/通过肉眼直接观察真实环境中的对象以外，还可以是系统直接在ar眼镜的镜片上投影，以在ar眼镜上显示出真实环境的图像(真实环境的图像中，各个景物的位置和大小，与真实环境中各个景物的位置和大小均是相同)，或者是显示出模拟真实环境的虚拟图像(模拟真实环境的虚拟图像中，各个景物的位置和大小均是可以进行设置的，不要求与真实环境中各个景物的位置和大小均是相同)。显示出模拟真实环境的虚拟图像时，需要通过录像的方式获取到真实环境的图像之后，需要采用前景识别的方式，从真实环境的图像中识别出前景物体，如桌子、椅子等，之后再使用识别出的前景物体所对应的图标组成模拟真实环境的虚拟图像

如图3所示，示出了在显示器(如平板电脑、手机等显示设备)上显示环境图像的第一种情况。即，在显示器上显示的环境图像也可以是通过对真实环境进行视频拍摄所得到的真实环境图像(类似于录像后，在显示器上播放录像)，也可以是显示出模拟真实环境的虚拟图像。模拟真实环境的虚拟图像中，显示出的各个物体的分布和大小与真实环境中各个对象的分布和大小均是相同的。

如图4所示，示出了在显示器(如平板电脑、手机等显示设备)上显示环境图像的第二种情况。在显示器上显示环境图像的第一种情况相比，很明显的，第二种情况下不再是显示真实环境所对应的图像了，而是在显示器上列出(呈阵列状列出)真实环境中的对象的图标。

也就是，步骤s101可以按照如下方式执行：

通过设置在用户头部的摄像头获取环境图像，所述环境图像是以下的任意一种图像：

真实环境的图像、显示在显示屏上的模拟真实环境的图像(模拟真实环境的图像中每个不同对象的相对大小和相对位置关系与真实环境中不同对象的相对大小和相对位置关系是相同的)、由目标对象的图标所组成的图像(图4中所呈现的图像)；其中，目标对象是出现在真实环境中的对象。

进而，当环境图像是显示在显示屏上的模拟真实环境的图像时，本申请所提供的方法还包括：

在显示屏上显示模拟真实环境的图像。

当环境图像是由目标对象的图标所组成的图像时，本申请所提供的方法还包括：

在显示屏上显示由目标对象的图标所组成的图像；目标对象是出现在真实环境中的对象。此时，步骤s101中所出现的环境图像就可以是对显示屏进行拍照所得到的图像的，也可以是不通过拍照的方式获得，而是直接从数据源处获取到在显示屏上显示由目标对象的图标所组成的图像所对应的图像代码，这样系统也能够清楚的知晓具体的图像内容是什么。

更优选的，在显示屏上所显示的目标对象的图标呈阵列状排列。此处的阵列状指的是方形阵列、圆形阵列或者是其他形状的阵列。

在获取到第一人眼视角数据和环境图像之后，根据第一人眼视角数据就可以知道用户在盯着环境图像中的哪个对象(如环境图像中的桌子、椅子)，也就是，根据第一人眼视角数据所确定出的用户盯着看的对象就是用户的感兴趣对象。

最后，根据感兴趣对象的位置生成机器人控制指令即可。

此处的机器人控制指令可以分为两种，分别是人体辅助机器人的整体移动指令(驱动人体辅助机器人朝向感兴趣对象移动的指令)和抓取感兴趣对象的指令(驱动人体辅助机器人抓取感兴趣对象的指令)。当然，此处的机器人控制指令还可以是指移动到指定的位置后进行抓取。

当机器人控制指令是整体移动指令的时候，本申请所提供的方法作用于人体辅助机器人，所述人体辅助机器人包括行动部；步骤根据感兴趣对象的位置生成机器人控制指令包括：

根据感兴趣对象的位置和人体辅助机器人的位置生成整体移动指令。

进而，人体辅助机器人在接收到整体移动指令之后，就可以通过驱动行动部来朝向感兴趣对象进行移动了。其中，感兴趣对象的位置和人体辅助机器人的位置都可以理解为在空间中的坐标值。感兴趣对象的坐标(位置)有多种获取方式，下面仅列举其中的几种：

第一种，通过设置在感兴趣对象上的定位器和无线信号发送器来实现。具体实现的时候，可以驱动感兴趣对象上的定位器先获取位置信号，并通过无线信号发送器将位置信号发送给系统(本申请所提供的方法的执行主体)。也就是，本申请所提供的方法中，感兴趣对象的位置可以是通过设置在感兴趣对象上的定位器获取到的。

第二种，通过设置外部定位装置来获取感兴趣对象的位置，比如可以通过超声波定位器、wifi定位器等设备进行定位，或者是进一步通过实际环境的照片进行辅助定位来确定感兴趣对象的位置。

第三种，某些感兴趣对象的位置是确定的，比如用户期望去厕所，或者是去床边，厕所和床的位置在一个房间内是相对固定的，此时，可以在系统中预存这些位置相对固定的对象的位置信息，而后，在使用时，直接调取这些位置即可。此种情况下，本申请所提供的方法中，感兴趣对象的位置可以是按照如下方式确定的：

从预存在位置数据库内的对象位置列表中查找感兴趣对象的位置；所述对象位置列表中记载有指定对象和位置的对应关系，在用户确定了感兴趣对象后，也就可以通过查表的方式来查询到感兴趣对象的位置了。

也就是，当对象是床、厕所这些一般不会发生移动的物体时，可以不使用临时定位的方式来确定其位置，而是采用在系统中预存位置，并在使用的时候通过查找的方式来确定位置。

在确定了感兴趣对象的位置之后，就可以驱动人体辅助机器人朝向感兴趣对象移动了。当然，在人体辅助机器人移动的时候，应当考虑到避障的问题，比如可以使用超声波传感器来避免撞到障碍物。在确定机器人控制指令的时候，如果需要确定人体辅助机器人的位置，也可以参照前文中获取感兴趣对象的位置的方式来确定人体辅助机器人的位置。

具体的，为了提高移动的准确度，步骤s103中，机器人控制指令优选为指向感兴趣对象的导航线路(躲避障碍物、躲避不便通行的道路的线路)。

类似的，当控制指令是手臂移动指令(抓取指令)的时候，本申请所提供的方法作用于人体辅助机器人，所述人体辅助机器人包括行动部；步骤根据感兴趣对象的位置生成机器人控制指令包括：

根据感兴趣对象的位置和人体辅助机器人手臂的位置生成手臂移动指令。

其中，人体辅助机器人手臂的位置主要是指人体辅助机器人能够进行抓取的结构的位置。在控制指令是手臂移动指令时，感兴趣对象的位置的获取方式可以参照前文中的方式，此处不过多描述。

本申请所提供的方法中，人体辅助机器人的主要功能之一是运载用户移动，也就是，在人体辅助机器人按照整体移动指令朝向感兴趣对象移动的时候，也同时在运载这用户朝向感兴趣对象移动。本申请所提供的方法优选应用在室内，比如优选在用户的家中、医院中等环境较为简单的场地中使用本申请的方法。由此，本申请所提供的方法中，人体辅助机器人在按照机器人控制指令进行移动的时候，同时会携带用户进行移动，而不是人体辅助机器人是脱离开用户进行移动的。本申请所提供的方法也可以理解为是一种在相对封闭/环境相对固定的室内所应用的人体辅助机器人的控制方法。

本申请所提供的方法能够根据用户的第一人眼视角数据来确定用户的感兴趣对象，从而向人体辅助机器人下达朝向感兴趣对象运动的指令或者是抓取感兴趣对象的指令，使得用户可以自动的完成指令的下达任务。

在实际使用的时候，由于感兴趣对象并不必然是平均分布在用户的视线中的，所以就可能会造成，在某个区域中，感兴趣对象比较多，在某一个区域中，可以作为感兴趣对象的对象比较少，又或者是不同的对象可能会有阻挡或者是重叠的情况，此时，可以根据用户的视线先确定某一个区域作为感兴趣区域，而后，再从位于这个区域内的对象中选择出感兴趣对象。

也就是，本申请所提供的方法中，步骤s102，根据第一人眼视角数据，从环境图像中选择用户的感兴趣对象包括：

根据第一人眼视角数据，从环境图像中选择用户的感兴趣区域；

选择位于感兴趣区域中的对象作为感兴趣对象。

其中，感兴趣区域指的是用户眼镜盯着的一块区域，确定感兴趣区域的时候，可以按照如下方式执行：

根据第一人眼视角数据确定用户在环境图像中的注视点；

以注视点为基准点，选择与注视点的距离小于预设阈值的区域作为感兴趣区域。

比如，可以在环境图像上画出以注视点作为圆心，半径为5厘米的圆，将圆内的区域作为感兴趣区域。类似的，也可以以注视点为中心点，画一个方形，并将方形内的区域作为感兴趣区域。

除了采用此种以注视点为基准点，来圈画出感兴趣区域的方式，还可以是先将环境图像分为预设的多个区域，而后，看注视点落在了哪个区域中，就将哪个区域作为感兴趣区域，即，确定感兴趣区域的时候，可以按照如下方式执行：

根据环境图像中候选对象的密集程度，将环境图像划分为多个不同的候选区域；

根据第一人眼视角数据确定用户在环境图像中的注视点；

将注视点所在的候选区域作为感兴趣区域。

使用的时候在确定注视点之前，将环境图像进行划分为多个候选区域，可以降低注视点的位置对划分的影响，而对环境图像进行更为合理的划分。

一般情况下，环境图像中候选对象越密集的区域，所划分出的候选区域就应当越多，反之，则越少；或者说候选对象的数量与候选区域的数量呈正相关性。

在确定了感兴趣区域之后，就可以从感兴趣区域中找到指定的候选对象作为感兴趣对象了。

步骤选择位于感兴趣区域中的对象作为感兴趣对象，有如下四种实现方式：

第一种选择位于感兴趣区域中的对象作为感兴趣对象的方式：

若感兴趣区域中只存在一个候选对象，则将存在于感兴趣区域中的候选对象作为感兴趣对象。

此种执行方式相对简单，由于感兴趣区域中只有一个候选对象，因此，用户只可能选择该候选对象作为感兴趣对象。

第二种选择位于感兴趣区域中的对象作为感兴趣对象的方式：

若感兴趣区域中存在多个候选对象，则将感兴趣区域中存在多个候选对象进行输出；

根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定的候选对象作为感兴趣对象。

也就是，在感兴趣区域中有多个候选对象的时候，系统无法直接确定哪个候选对象可以作为感兴趣对象，此时，只能是把感兴趣区域中存在的多个候选对象输出，而后根据用户所下达的第一选择指令来确定哪个候选对象作为感兴趣对象。

具体而言，将感兴趣区域中存在多个候选对象进行输出的方式有如下几种：

将感兴趣区域放大，并将放大后的感兴趣区域显示在显示屏；此处的显示屏指的是如人体辅助机器人上的显示屏，或者是某些移动终端上的显示屏(手机或平板电脑上的显示屏)或者是ar眼镜上的显示屏；

将位于感兴趣区域中的候选对象所对应的图标在显示屏上进行显示；此处的显示屏指的是如人体辅助机器人上的显示屏，或者是某些移动终端上的显示屏(手机或平板电脑上的显示屏)或者是ar眼镜上的显示屏；

将位于感兴趣区域中的候选对象所对应的名称进行语音播放(也就是，如果候选对象为床，则系统可以直接通过语音的方式播放“床”的语音)。

对应的，用户所下达的第一选择指令也有几种具体的形式，第一选择指令可以是语音指令，可以是通过遥控器(如手柄式遥控器)所下达的指令，还可以是通过第二人眼视角数据所下达的指令(如在将放大后的感兴趣区域或候选对象的图标显示在显示器上之后，可以通过用户盯着哪看(通过第二人眼视角数据来确定用户盯着哪看)，来确定哪个候选对象作为感兴趣对象，进而，第二人眼视角数据就是能够反应用户在盯着某个对象看的数据)。

也就是，在某种优选的实施例中，步骤将感兴趣区域中存在多个候选对象进行输出包括：

将放大后的感兴趣区域的图像在ar眼镜/显示屏上显示；

步骤根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定的候选对象作为感兴趣对象包括：

获取用户观察ar眼镜/显示屏所产生的第二人眼视角数据；所述第一选择指令为第二人眼视角数据；

根据第二人眼视角数据，选择感兴趣区域中的指定对象作为感兴趣对象。

第三种选择位于感兴趣区域中的对象作为感兴趣对象的方式：

获取用户的历史操作习惯；

根据历史操作习惯，确定位于感兴趣区域中指定的候选对象作为感兴趣对象。

其中，历史操作习惯通常包括两种行为习惯，分别是按照用户的行为内容与行为发生时间的对应关系确定的第一行为习惯，和按照用户行为的前后顺序统计出的第二行为习惯。

通常，第一行为习惯反应了用户的行为所发生的时间的习惯，或者是第一行为习惯反应了用户在不同的时间中所发生的行为的习惯。比如，用户经常/必须在早上八点左右去厕所，用户经常/必须在十二点半左右会向床移动等；或者是用户的向床移动的时间分别是十二点半和二十一点这两个时间；这三个习惯都可以作为第一行为习惯。第一行为习惯通常是根据大量的历史行为统计出的，也可以是预先录入好的。在确定了第一行为习惯之后，只要确定当前时间，就可以知晓用户更期望去哪个候选对象处。

通常，第二行为习惯反应了用户的不同行为之间的先后顺序。比如，用户在去厕所之后通常会朝向椅子移动；又比如，用户在去厨房之后，通常会朝向餐桌移动。由于第二行为习惯反应了用户不同行为之间的先后顺序，因此，在确定了用户的上一个行为之后，就可以更准确的确定用户更期望去的下一个对象处是哪。

进而，在具体执行的时候，可以只使用第一行为习惯来确定感兴趣对象，也可以只使用第二行为习惯来确定感兴趣对象，还可以是同时使用第一行为习惯和第二行为习惯来确定感兴趣对象。

具体的，步骤根据历史操作习惯，确定位于感兴趣区域中指定的候选对象作为感兴趣对象，可以按照如下方式执行：

根据历史操作习惯(第一行为习惯，和/或第二行为习惯)，计算每个位于感兴趣区域中的候选对象的参考值；

选择参考值最高的候选对象作为感兴趣对象，或选择参考值超过预设数值的候选对象作为感兴趣对象。

第四种选择位于感兴趣区域中的对象作为感兴趣对象的方式：

对感兴趣区域进行前景提取，以确定前景对象；

从目标数据库中提取参考图像；

将前景对象中，与参考图像的相似度符合预设要求的对象作为感兴趣对象。

其中，前景对象是对感兴趣区域进行前景提取所得到的前景图像，或是前景图像中的一部分，前景图像如果分为多块(不相连的多块)，则每一块都可以作为一个前景图像，当然，确定前景对象的方式还可以是将提取到的图像与目标数据库中的参考图像进行对比，并根据参考图像的情况确定感兴趣区域中所出现的前景对象。

参考图像是预存在目标数据库中的(目标数据库中可以根据用户的选择，存储有桌子椅子等物品)，为了保证计算的准确度，应当是在目标数据库中针对每个候选对象都存储有多个不同视角的参考图像，在计算的时候，可以将每个视角的参考图像都与前景对象进行相似度计算，并将相似度的最大值作为该前景对象的相似度。

和前三种相比，第四种方式可能无法确定唯一的感兴趣对象。也就是感兴趣区域中依旧可能存在有多个感兴趣对象，但使用第四种方式是无法区别出来哪个感兴趣对象是用户真正感兴趣的。但第四种方式和前三种方式相比，依旧有其优势，主要是参照物能够更加准确的确定(使用预存在数据库中的参考图像进行对比，以提高确定的准确程度)，进而，可以将第四种方式与前三种方式进行结合。也就是，本申请所提供的方法中，候选对象可以按照如下方式确定：

对感兴趣区域进行前景提取，以确定前景对象；

从目标数据库中提取参考图像；

将前景对象中，与参考图像的相似度符合预设要求的对象作为候选对象。

其中，前景对象是感兴趣区域的前景图像，前景图像如果分为多块(不相连的多块)，则每一块都可以作为一个前景对象，当然，确定前景对象的方式还可以是将提取到的图像与目标数据库中的参考图像进行对比，并根据参考图像的情况确定感兴趣区域中所出现的前景对象。

与参考图像的相似度符合预设要求的对象，指的是与参考图像的相似度最高的对象。步骤将前景对象中，与参考图像的相似度符合预设要求的对象作为候选对象在具体执行的时候，可以是先计算每个前景对象所对应的参考图像的相似度(计算前景对象所对应的多个相似度)，之后选择相似度最大值作为该前景对象的相似度。之后，再将相似度最高的前景对象作为候选对象。

上述部分方案中使用到了目标数据库，也就是，目标数据库能够决定参考图像，因此，不同的目标数据库能够帮助准确确定不同的对象。根据本方案所适用的情况，发明人认为，可以将数据库分为如下几种类型：

家庭环境数据库、医疗环境数据库、室外环境数据库。

其中，家庭环境数据库中所存放的参考图像主要有如下几种：

桌子图像、椅子图像、厕所图像。

医疗环境数据库中所存放的参考图像主要有如下几种：

各个科室的图像、病床图像、厕所图像。

室外环境数据库中所存放的参考图像主要有如下几种：

附近各个楼宇的图像、主要商家的图像。

对应的，本申请所提供的方法还包括如下步骤：

根据获取到的第二选择指令，从候选数据库中选择目标数据库；候选数据库包括家庭环境数据库、医疗环境数据库、室外环境数据库。

进而，在确定了目标数据库之后，再从目标数据库中提取的参考图像的时候，就可以提取到对应的参考图像了，进而，使用相对应的参考图像能够更加准确的完成识别。

其中，第二选择指令可以是用户(使用人体辅助机器人的操作者)所下达的，也可以是由第三方用户下达的，还可以是系统响应于外部环境所生成的。

也就是，当第二选择指令是系统响应于外部环境所生成的，则本申请所提供的方法还包括：

获取当前位置信息；

查找与当前位置信息相对应的地点信息；

根据地点信息生成第二选择指令。

其中，当前位置信息反映了人体辅助机器人当前所处的位置，而后，可以利用电子地图技术查找与当前位置信息相对应的地点信息，地点信息可以是医院、家庭、公园等等地点。之后，根据地点信息生成第二选择指令，如果地点信息是医院，则生成的第二选择指令则可以是用于选择医疗环境数据库；如果地点信息是家庭，则生成的第二选择指令则可以是用于选择家庭数据库。

对应的，当第二选择指令是用户所下达的，则本申请所提供的方法还包括：

接收用户所下达的数据库选择指令。

该用户所下达的数据库选择指令可以是用户通过操作手持遥控器上的按键下达的，也可以是通过声控指令下达的。

本申请所提供的方案中，用户在选择感兴趣对象的时候，系统会自动的帮助用户进行选择，如前文中所示的情况，当环境图像的某一个区域中存在过多的对象的时候，系统可能无法准确的确定用户到底是在看哪个对象，此时，系统可以采取局部放大的形式来帮助用户进行确认。除了这种方式以外，还可以通过与用户确认的方式来帮助用户进行确认，比如系统根据第一人眼视角数据确定出用户在观察a区域，目前a区域中共有三个对象，分别是桌子、花瓶和桌布，此时，系统可以和用户确认，以确定用户具体是看哪个对象。

也就是，本申请所提供的方法中，步骤s102可以按照如下方式执行：

步骤1021，根据第一人眼视角数据，从环境图像中选择第一待确认对象；

步骤1022，分别输出每个第一待确认对象的提示信息；

步骤1023，若获取到响应于提示信息的确认指令，则将确认指所对应的第一待确认对象作为感兴趣对象。

其中，待确认对象可以理解为在第一人眼视角数据所对应的视角下可能看到的对象，比如在某个视角下，用户可能可以看到桌子和床。步骤1022中，输出的提示信息就可以是桌子和床所对应的信息了。需要说明的是，步骤1022中，输出的形式可以是多种多样的，比如，可以以图像信息的方式输出，也可以是以语音的方式输出。以图像信息的方式输出，具体可以是在显示屏上显示桌子和床的文字或者图形，以让用户下达确认指令。以语音信息的方式输出，则可以是系统自动播放床和桌子的名称，以让用户下达确认指令。即，步骤分别输出每个与第一待确认对象相对应的提示信息包括：

在显示屏上显示与第一对待确认对象相对应的图像信息；和/或，播放第一对待确认对象的名称的语音信息。

更具体的，在输出提示信息的时候，可以是系统同时将多个对象同时显示在显示屏上，如将床和桌子的文字同时显示在显示屏上，也可以是系统在显示屏上循环的显示不同的对象，如第1-5、11-15秒显示桌子，第6-10、16-20秒显示床，则用户只需要按下一个确认按钮，系统就可以根据按下确认按钮时，当前所显示的对象来确定用户所期望选择的是哪个了。比如用户在第8秒(显示床的时间段)按下的确认按钮，则系统就可以判定用户是期望选择床作为感兴趣对象了。

对应的，步骤根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定对象作为感兴趣对象可以按照如下方式实现：

选择与第一选择指令相对应的对象作为第二待确认对象；

分别输出每个与第二待确认对象相对应的提示信息；

若获取到与提示信息相对应的确认指令，则将对应的第二待确认对象作为感兴趣对象。

其中，第一选择指令是用户针对显示屏所下达的，在用户下达了第一选择指令之后，系统可以确定出对应的第二待确认对象。步骤输出与第二待确认对象相对应的提示信息，与步骤1022的实现方式相同，步骤将对应的第二待确认对象作为感兴趣对象与步骤1023相同，此处不再重复说明。

类似的，步骤分别输出每个与第二待确认对象相对应的提示信息包括：

在显示屏上显示与第二对待确认对象相对应的图像信息；

和/或，播放第二对待确认对象的名称的语音信息。

输出第一待确认对象或第二待确认对象的提示信息之后，用户可以通过多种不同的方式进行确认，比如可以通过语音进行确认，可以通过眼动进行确认。

进而，本申请所提供的方案中，在步骤输出与待确认对象相对应的提示信息后，还包括：

获取用户行为；

若用户行为符合预设的标准行为要求，则确定获取到与提示信息相对应的确认指令。

其中，标准行为要求包括：用户完成以下指定一个或多个行为：

眨眼、张嘴、伸舌头、吹气、头部移动、语音行为、眼动行为。

在具体实现的额时候，标准行为要求，指的是用户同时完成以下指定一个行为：

眨眼、张嘴、伸舌头、吹气、头部移动、语音行为、眼动行为；

或者是同时完成以下指定至少两个行为：

眨眼、张嘴、伸舌头、吹气、头部移动、语音行为、眼动行为。

需要说明的是，当需要用户同时完成至少两个行为的时候，通常是需要确认的对象较多的情况，此时可以向用户进行一定的提示。具体而言，在执行步骤1022的同时，还可以执行如下步骤：

分别输出与每个第一待确认对象相对应的标准行为要求。

其中，所输出的标准行为要求就是需要用户做出的动作，比如，在显示屏上显示“床”(提示信息的一种)的同时，还显示眨眼和伸舌头，这就表示用户必须同时眨眼和伸舌头，才会被系统认为用户期望选择床作为感兴趣对象。

与上述方法相对应的，本申请还提供了一种人体辅助机器人的控制装置，包括：

第一获取模块，用于获取用户的第一人眼视角数据和对应的环境图像；

第一选择模块，用于根据第一人眼视角数据，从环境图像中选择用户的感兴趣对象；

第一生成模块，用于根据感兴趣对象的位置生成机器人控制指令。

优选的，所述装置作用于人体辅助机器人，所述人体辅助机器人包括手臂；

第一生成模块包括：

第一生成单元，用于根据感兴趣对象的位置和人体辅助机器人手臂的位置生成手臂移动指令。

优选的，所述装置作用于人体辅助机器人，所述人体辅助机器人包括行动部；第一生成模块包括：

第二生成单元，用于根据感兴趣对象的位置和人体辅助机器人的位置生成整体移动指令。

优选的，第一选择模块包括：

第一选择单元，用于根据第一人眼视角数据，从环境图像中选择用户的感兴趣区域；

第二选择单元，用于选择位于感兴趣区域中的对象作为感兴趣对象。

优选的，第二选择单元包括：

第一输出子单元，若感兴趣区域中存在多个候选对象，则用于将感兴趣区域中存在多个候选对象进行输出；

第一选择子单元，用于根据用户针对显示屏所下达的第一选择指令，选择感兴趣区域中的指定的候选对象作为感兴趣对象。

优选的，第一输出子单元进一步用于：将放大后的感兴趣区域的图像在ar眼镜上显示；

第一选择子单元进一步用于：获取用户观察ar眼镜所产生的第二人眼视角数据；所述第一选择指令为第二人眼视角数据；并根据第二人眼视角数据，选择感兴趣区域中的指定对象作为感兴趣对象。

优选的，第二选择单元包括：

第一提取子单元，用于对感兴趣区域进行前景提取，以确定前景对象；

第二提取子单元，用于从目标数据库中提取参考图像；

第一操作子单元，用于将前景对象中，与参考图像的相似度符合预设要求的对象作为感兴趣对象。

优选的，还包括：

第三提取子单元，用于对感兴趣区域进行前景提取，以确定前景对象；

第四提取子单元，用于从目标数据库中提取参考图像；

第二操作子单元，用于将前景对象中，与参考图像的相似度符合预设要求的对象作为候选对象。

优选的，还包括：

第二选择模块，用于根据获取到的第二选择指令，从候选数据库中选择目标数据库；候选数据库包括家庭环境数据库、医疗环境数据库、室外环境数据库。

优选的，还包括：

第二获取模块，用于获取当前位置信息；

第一查找模块，用于查找与当前位置信息相对应的地点信息；

第二生成模块，用于根据地点信息生成第二选择指令。

优选的，第二选择指令是用户所下达的数据库选择指令。

优选的，第一选择模块包括：

第三选择单元，用于根据第一人眼视角数据，从环境图像中选择第一待确认对象；

第一输出单元，用于分别输出每个与第一待确认对象相对应的提示信息；

操作单元，用于若获取到与提示信息相对应的确认指令，则将对应的第一待确认对象作为感兴趣对象。

优选的，第一选择子单元包括：

第二选择子单元，用于选择与第一选择指令相对应的对象作为第二待确认对象；

第二输出子单元，用于分别输出每个与第二待确认对象相对应的提示信息；

第三操作子单元，用于若获取到与提示信息相对应的确认指令，则将对应的第二待确认对象作为感兴趣对象。

优选的，第一输出单元，进一步用于在显示屏上显示与第一对待确认对象相对应的图像信息；

和/或，播放第一对待确认对象的名称的语音信息；

第二输出子单元，进一步用于在显示屏上显示与第二对待确认对象相对应的图像信息；

和/或，播放第二对待确认对象的名称的语音信息。

优选的，还包括：

第三获取模块，用于获取用户行为；

第一确定模块，若用户行为符合预设的标准行为要求，则用于确定获取到与提示信息相对应的确认指令。

优选的，标准行为要求是，用户完成以下指定一个或多个行为：

眨眼、张嘴、伸舌头、吹气、头部移动、语音行为、眼动行为。

本申请所提供的方法还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述人体辅助机器人的控制方法。

如图6所示，为本申请实施例所提供的第一计算设备示意图，该第一计算设备1000包括：处理器1001、存储器1002和总线1003，存储器1002存储有执行指令，当第一计算设备运行时，处理器1001与存储器1002之间通过总线1003通信，处理器1001执行存储器1002中存储的如信号灯周期确定方法的步骤。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。