基于人脸识别的移动机器人人机交互控制方法
【专利摘要】本发明公开了一种基于人脸识别的移动机器人人机交互控制方法，包括步骤：移动机器人通过体感传感器实时侦测行进前方的视野内是否有人；当检测到视野内有人时，对视野内所有人进行追踪，实时监视被追踪者的脸部动作和\或眼部动作；判断被追踪者的脸部动作和\或眼部动作是否符合第一授权条件；使符合第一授权条件的被追踪者成为授权人，获得移动机器人的控制权。如果机器人在安全距离内没有发现符合授权条件的授权人，它将以语音形式发出控制提醒信号。本发明采用脸部动作和\或眼部动作进行指令识别，识别准确率高计算迅速，不受电梯、工厂等拥挤嘈杂的环境限制，使得人机交互更自然准确，移动机器人应用更广泛、方便和安全。
【专利说明】
基于人脸识别的移动机器人人机交互控制方法
技术领域
[0001]本发明涉及移动机器人领域，尤其涉及一种基于人脸识别的移动机器人人机交互控制方法。
【背景技术】
[0002]在复杂室内环境中，如现代实验室、运输物流工厂等，移动机器人常用来替代人员执行简单、危险、重复性的任务，以节省大量的人力资源成本。在流程控制特别繁琐的室内环境中，如在化学实验室中，移动机器人的运用能减少科研人员接触危险品的机会，不仅能够保证实验的准确性，而且能有效地降低事故发生几率。
[0003]人机交互是移动机器人智能化的重要组成部分，如今，人类已经从通过触摸式，如鼠标、键盘、按钮等媒介，对机器进行指令发送发展到通过各种传感器(如声音传感器，红外传感器等)的运用给机器下达各种任务指令。微软公司Kinect传感器的出现，使人机交互方式又迈出了一大步，基于Kinect传感器开发的交互界面下，人身体本身就可以成为控制器。譬如，使用双臂完成几种姿势来操控机器人完成任务(如申请号201210267315.3公开了《一种双臂机器人基于Kinect的人机交互方法》和申请号201310327955.3公开了《基于kinect人体骨骼跟踪控制的智能机器人人机交互方法》)，但是这种应用场景范围非常受限。
[0004]例如:当机器人面对与双手紧抱重物或手持物品的工作人员进行人机交互，或者机器人面对电梯里挤满不同工作单位的人员时，该如何听从指令;此外，还需要一些与特定的操作任务无关的手势用于改变机器人的操作模式，这些都造成了操作任务的交流不自然。因此需要一种自然的容易被操作人员理解记忆的控制方法。
[0005]当然，我们也可以利用语音来进行操作(如申请号201410057451.9公开了《一种基于单人手势和语音信息的机器人人工导航方法》)，但是如果在工厂里或者声音嘈杂的实验室环境下，移动机器人如何正确的接收并分析识别所下达的语音指令也是一个难题。
【发明内容】
[0006]本发明目的在于提供一种基于人脸识别的移动机器人人机交互控制方法，以解决现有移动机器人指令识别应用场景范围受限的技术问题。
[0007]为实现上述目的，本发明提供了一种基于人脸识别的移动机器人人机交互控制方法，包括以下步骤:
[0008]S1:移动机器人通过体感传感器实时侦测行进前方的视野内是否有人；
[0009]S4:当检测到视野内有人时，对视野内所有人进行追踪，实时监视被追踪者的脸部动作和\眼部动作；
[0010]S5:判断被追踪者的脸部动作和\或眼部动作是否符合第一授权条件；
[0011 ] S9:使符合第一授权条件的被追踪者成为授权人，获得移动机器人的控制权。
[0012]优选地，步骤S9完成后，方法还包括:
[0013]SI 1:实时监视授权人的脸部动作和\或眼部动作，识别脸部动作和\或眼部动作所对应的指令；
[0014]S12:根据指令的识别结果，移动机器人执行指令对应的操作，操作包括停止等待、按行走方向行走和按退避方向退避。
[0015]优选地，步骤SI完成后，步骤S4进行之前，方法还包括:
[0016]S2:统计前方的视野内的人数；
[0017]步骤S2完成后，方法还包括:
[0018]S3:根据前方的视野内的人数调节指令接收方式如下:
[0019]S301A:当前方的视野内只有一人时，将第一授权条件设置为人眼睛闭合时长大于给定阈值；
[0020]S301B:当前方的视野内多于一人时，按照人眼睛闭合时间线性增加调整第一授权条件。
[0021]优选地，步骤SI中实时侦测行进前方的视野内是否有人，实现方式包括:
[0022]SlOl:移动机器人通过体感传感器实时获取行进前方的彩色图像集，并通过体感传感器获取人身体数据源；
[0023]步骤S2，包括以下步骤:
[0024]S201:当获取到人身体数据源时，移动机器人计算与视野内最近的人的距离是否大于预设的安全距离；
[0025]S202:当移动机器人与视野内最近的人的距离大于预设的安全距离时，移动机器人统计体感传感器前方扇形视野范围内的人数；
[0026]S203:当移动机器人与视野内最近的人的距离小于预设的安全距离时，停止等待接收指令，当停止等待接收指令时间超过预设值时，移动机器人发出控制提醒语音。
[0027]优选地，步骤S4中，对视野内所有人进行追踪，包括:向视野内所有人分配追踪号；实时监视被追踪者的脸部动作和\眼部动作包括实时获取追踪号对应人的所有单个眼睛或双眼的控制信息。
[0028]优选地，步骤S5包括以下步骤:
[0029]S501:记录所有追踪号下人的眼睛闭合状态以及眼睛闭合的时间总长度，眼睛闭合状态包括:仅左眼闭合、仅右眼闭合、双眼闭合后左眼睁开和双眼闭合后右眼睁开；
[0030]S502:判断眼睛闭合的时间总长度是否大于给定阈值，给定阈值为2秒；
[0031]S503:当符合大于给定阈值的人数大于一人时，判断是否双眼闭合时间大于I秒；
[0032]S504:双眼闭合时间大于I秒的人数仍大于一人时，判断选择距离机器人最近的准授权人符合第一授权条件。
[0033]优选地，步骤S5完成后，方法还包括以下步骤:
[0034]S6:如果准授权人数为零，返回步骤S4;如果准授权人数为一人，判断准授权人符合第一授权条件，进入步骤S9;如果人数大于一人，进入步骤S7;
[0035]S7:根据剩余准授权人的追踪号，提取对应眼睛闭合状态;选出眼睛闭合状态为双眼闭合的准授权人，保存追踪号和眼睛闭合状态数据，进入步骤S8;如果没有准授权人的眼睛闭合状态为双眼闭合，保留所有准授权人信息，进入步骤S8;
[0036]S8:如果准授权人数至此只有一人，那么进入步骤S9;如果大于一人，则读取各自追踪号下，人中心点在照相机空间下的三维坐标值，计算人中心点与体感传感器原点的欧式距离；比较欧式距离大小，判断选择距离机器人最近的准授权人符合第一授权条件，并删除其他的追踪号，停止追踪其他的准授权人。
[0037]优选地，步骤S9完成后，方法还包括:
[0038]S10:判断授权人是左眼闭合还是右眼闭合，根据判断结果将机器人调整为对应的人脸识别方式:
[0039]S1001A:根据授权人追踪号下眼部状态“左眼闭合”，移动机器人选择第一指令识别方式识别授权人的脸部动作和\眼部动作所对应的指令；
[0040]S1002B:根据授权人追踪号下眼部状态“右眼闭合”，移动机器人选择第二指令识别方式识别授权人的脸部动作和\眼部动作所对应的指令。
[0041 ]优选地，第一指令识别方式和第二指令识别方式包括:人脸朝向识别、指令意图分析、人脸转向速度识别以及脸部特征向量的神经网络分类识别中的一种或者任意几者的组入口 ο
[0042]优选地，步骤Sll中，根据指令的识别结果之后，且移动机器人执行指令对应的操作前，移动机器人先对指令进行安全校验，包括以下步骤:
[0043]SllOl:移动机器人先对指令结果的安全执行校验，如果指令可安全执行，那么按指令方向和得出的角度方向进行移动；
[0044]S1102:如果指令不可执行则移动机器人不移动仅原地等待。
[0045]本发明具有以下有益效果:
[0046]1、本发明的人脸识别的移动机器人的人机交互控制方法，采用脸部动作和\或眼部动作进行指令识别，识别准确率高计算迅速，使用方便，安全。
[0047]2、在优选方案中，本发明的人脸识别的移动机器人的人机交互控制方法，引入利用眼部闭合状态能区别一般的自然行为和控制指令行为，并且结合闭眼时间长短和各种闭眼组合方式可以有效地、方便地、直接地引导机器人接收正确的指令信息，同时也保证了控制指令的准确性和组合唯一性。由于眼部组合方式多样性，因此可以赋予其更多的指令内容，具有控制自然、高精度和实时性高的特点。
[0048]除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
【附图说明】
[0049]构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0050]图1是本发明优选实施例的人脸识别的移动机器人的人机交互控制方法的流程示意图；
[0051]图2是本发明另一优选实施例的人脸识别的移动机器人的人机交互控制方法的流程不意图；
[0052]图3是本发明另一优选实施例的根据被追踪人者的眼睛闭合状态筛选准授权人的步骤流程示意图。
【具体实施方式】
[0053]以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
[0054]参见图1，本发明的基于人脸识别的移动机器人人机交互控制方法，包括以下步骤:
[0055]S1:移动机器人通过体感传感器实时侦测行进前方的视野内是否有人；
[0056]S4:当检测到视野内有人时，对视野内所有人进行追踪，实时监视被追踪者的脸部动作和\或眼部动作；
[0057]S5:判断被追踪者的脸部动作和\或眼部动作是否符合第一授权条件；
[0058]S9:使符合第一授权条件的被追踪者成为授权人，获得移动机器人的控制权。
[0059]通过以上步骤，本发明采用脸部动作和\或眼部动作进行指令识别，识别准确率高计算迅速，不受电梯、工厂等拥挤嘈杂的环境限制，使得人机交互更自然准确，移动机器人应用更广泛、方便和安全。
[0060]在实际应用中，参见图2，在上述步骤的基础上，本发明的基于人脸识别的移动机器人人机交互控制方法还可增加步骤进行优化，优化后的步骤如下:
[0061]S1:移动机器人通过体感传感器(本实施例中采用微软的Kinect传感器)实时侦测行进前方的视野内是否有人。实现方式如下:
[0062]SlOl:移动机器人通过体感传感器实时获取行进前方的彩色图像集，并通过体感传感器获取人身体数据源。
[0063]S2:统计前方的视野内的人数。包括以下步骤:
[0064]S201:当获取到人身体数据源时，移动机器人计算与视野内最近的人的距离是否大于预设的安全距离；
[0065]S202:当移动机器人与视野内最近的人的距离大于预设的安全距离时，移动机器人统计体感传感器前方扇形视野范围内的人数；
[0066]S203:当移动机器人与视野内最近的人的距离小于预设的安全距离时，即机器人处于安全距离外，停止等待接收指令，当停止等待接收指令时间超过预设值时，移动机器人发出控制提醒语音。
[0067]安全距离:对于移动运输机器人，有时候执行的是运输危险化学物品，所以为了防止移动中的机器人与行人碰撞危险，有必要设定一个安全距离，也就是机器人与工作人员需保持的距离范围。这个值原则上可以任意设置，但是考虑到Kinect传感器的测量距离是
0.5m到Sm，因此这个值不能超过这个范围，否则设置的值无效。所以安全区域就是指超出安全距离而又能被移动机器人检测到的范围。机器人会计算所有视野内也就是传感器测量到的所有人与机器人之间的距离，取最小距离值就是“移动机器人与视野内最近的人的距离”，假设为A。预设的安全距离指预先设置的机器人需与周围人保持的最小距离值，假设为B。“机器人处于安全距离外”是指当A小于B。也就是说，某人过于靠近移动中的机器人(当A小于B)机器人会原地停止等待接收指令，根据指令继续直行前进，还是左右避让前进等。如果在预设的最大停止等待接收时间内，仍然没有找到授权人，那么机器人将主动以语音的形式发出控制提醒信号，提醒所有人要给出授权指令和移动指令。
[0068]S3:根据前方的视野内的人数调节指令接收方式如下:
[0069]S301A:当前方的视野内只有一人时，将第一授权条件设置为人眼睛闭合时长大于给定阈值；
[0070]S301B:当前方的视野内多于一人时，按照人眼睛闭合时间线性增加调整第一授权条件。
[0071 ]当前方的视野内多于一人时，使用单个体感传感器时此处通常指人数为2-6人时，按照眼部闭合时间线性增加来调节所述第一授权条件。由于一个Kinect传感器最多可以追踪6个人，但是对于更多的人也可以通过增加传感器数量简单实现。本实施例使用三个传感器安装在机器人顶部，面朝三个方向围城一个三角形形状，这个机器人可以进行360度检测，最多可以同时追踪18个人。
[0072]S4:当检测到视野内有人时，对视野内所有人进行追踪，实时监视被追踪者的脸部动作和\或眼部动作;步骤S4中，对视野内所有人进行追踪，包括:向视野内所有人分配追踪号;实时监视被追踪者的脸部动作和\或眼部动作包括实时获取追踪号对应人的所有眼部信息(包括单个眼睛或双眼的控制信息)。
[0073]步骤S3和S4的顺序可以互换。但是，无论是先调节指令接收方式或者先分配追踪号之前都必须先进行人数判断。知道人数后才知道要分配几个追踪号。另外，一个Kinect传感器本身最多能追踪6个人。如果人数较多，可以通过增加传感器的数量提高追踪人数。
[0074]S5:判断被追踪者的脸部动作和\或眼部动作是否符合第一授权条件。包括以下步骤:
[0075]S501:记录所有追踪号下人的眼睛闭合状态以及眼睛闭合的时间总长度(也就是开始单眼闭合到双眼全部睁开时之间的时间长度)，眼睛闭合状态包括:仅左眼闭合、仅右眼闭合、双眼闭合后左眼睁开(可以理解为双眼闭合+右眼闭合)和双眼闭合后右眼睁开(可以理解为双眼闭合+左眼闭合)；
[0076]S502:判断眼睛闭合的时间总长度是否大于给定阈值，给定阈值为2秒。2秒是通过具体实验测试后得出的一个最优的经验值。这个参数称为控制竞胜参数，这个值在步骤2中会首先自动预设，也可以根据实际情况手动调节。这个阈值不能设置的过低，如果过低比如低于2秒，由于人的眼睛是在不断的自然眨眼中，过低的话，所有的自然眨眼(眼睛闭的时间很短)都会被视为该人员想要获取控制权而给出的指令，实际上他没有这个意图。也就是要消除这个自然行为的影响，值越高越能健壮这个指令。但是如果过高，那么会影响使用人员的交互过程的舒适程度，不得不闭眼较长时间，并且这个时间过长的话，授权人本人也不好把握是否达到这个时间长度，进而影响了机器人接收下步指令内容和分析内容，也就是要消除刻意行为带来的影响。比如，控制权获取指令要求闭眼8秒，但是实际上闭眼了 10秒，那么接下来指令采集中有2秒是无效的内容(头部无动作，仍在闭眼)，这会影响指令意图的分析。相反，如果闭眼时间短，这个误差就越小。因此，对于这个参数调节，需要同时考虑自然行为影响和刻意行为的影响。
[0077]眼睛闭合的时间总长度(也就是开始单眼闭合到双眼全部睁开时之间的时间长度)用于第一步筛选所有准授权人(即是有意图想获取控制权的所有人)，筛选条件是眼睛闭合的时间总长度大于步骤2中设定的阈值(指令接收方式为眼睛闭合大于给定阈值，阈值大小由人数确定)。然后，如果这步筛选后剩余的准授权人数多于I人，也就是意味着要进一步筛选。
[0078]为了判断这些状态，首先，我们对于每个追踪号下，定义2个计数器:左眼是否闭合，右眼是否闭合。初始值都为O，如果哪只眼闭合那么相应计数器值加I。也就是每获取一帧，判断哪只眼睛闭合，如果闭合相应的计数器就加KKinect每秒采集30帧)，阈值为2秒时(也就是控制权获取方式为人眼闭合的时间长度)，那么具体体现也就是Kinect采集60帧，计数器值为60时，判定为获取控制权。然后，具体情形处理方式流程如图3所示，具体流程如下:
[0079]获取一个彩色图像帧。获取眼部状态数据，左眼是否闭合着？右眼是否闭合着？如果眼睛闭合着，那么在相应的追踪号下的相应的计数器值加I，进入下一步。如果否，那么相应计数器重置归0，并回到第一步。判断计数器是否大于给定的阈值，如果否，那么回第一步。如果是表示该追踪号已经眼睛闭合时长满足给定要求，判定该人为准授权人。记录保存这些准授权人的追踪号和两个计数器值。
[0080]S503:当符合大于给定阈值的人数大于一人时，判断是否双眼闭合时间大于I秒。第二步筛选条件是，判断是否双眼闭合时间大于I秒(I秒也是经验值)。根据追踪号下的两个计数器值可以判定该人的眼睛闭合状态，判定方法如下:假设给定阈值大小为a，检测两个计数器的值，如果左眼计数器值大于30且小于给定30a，那么眼睛闭合状态为双眼闭合左眼睁开，如果左眼计数器小于30，眼睛闭合状态为右眼闭合，如果右眼计数器值大于30且小于给定30a，那么眼睛闭合状态为双眼闭合右眼睁开，如果右眼计数器小于30，眼睛闭合状态为左眼闭合。如果有的准授权的眼睛闭合状态判定为双眼闭合模式(包括双眼闭合后左眼睁开，双眼闭合后右眼睁开)，那么这些准授权人为进行第二轮准授权人筛选后胜利的人，保存追踪号和眼睛闭合状态数据。如果剩余人数仍然大于I人，需进行第三步筛选。如果没有准授权的眼睛闭合状态为双眼闭合，那么表示此轮筛选没有选出优先级高的人，保留所有准授权人信息。
[0081 ] S504:双眼闭合时间大于I秒的人数仍大于一人时，判断选择距离机器人最近的准授权人符合第一授权条件。第三部筛选方法是，在剩余的准授权人中选择距离机器人最近的准授权人作为最终授权人。
[0082]S6:如果准授权人数为零，返回步骤S4;如果准授权人数为一人，判断准授权人符合第一授权条件，进入步骤S9;如果人数大于一人，进入步骤S7;
[0083]S7:根据剩余准授权人的追踪号，提取对应眼睛闭合状态;选出眼睛闭合状态为双眼闭合的准授权人，保存追踪号和眼睛闭合状态数据，进入步骤S8;如果没有准授权人的眼睛闭合状态为双眼闭合，保留所有准授权人信息，进入步骤S8;
[0084]S8:如果准授权人数至此只有一人，那么进入步骤S9;如果大于一人，则读取各自追踪号下，人中心点在照相机空间下的三维坐标值，计算人中心点与体感传感器原点的欧式距离；比较欧式距离大小，判断选择距离机器人最近的准授权人符合第一授权条件，并删除其他的追踪号，停止追踪其他的准授权人。
[0085]S9:使符合第一授权条件的被追踪者成为授权人，获得移动机器人的控制权。
[0086]S10:判断授权人是左眼闭合还是右眼闭合，根据判断结果将机器人调整为对应的人脸识别方式:
[0087]S1001A:根据授权人追踪号下眼部状态“左眼闭合”，移动机器人选择第一指令识别方式识别授权人的脸部动作和\眼部动作所对应的指令；
[0088]S1002B:根据授权人追踪号下眼部状态“右眼闭合”，移动机器人选择第二指令识别方式识别授权人的脸部动作和\眼部动作所对应的指令。
[0089]判断授权人是左眼闭合还是右眼闭合的(如果是双眼闭合后左眼睁开理解为右眼闭合方式，如果是双眼闭合后右眼睁开理解为左眼闭合方式)，根据闭合方式采用下一步的人脸识别算法。第一指令识别方式和第二指令识别方式包括:人脸朝向识别、指令意图分析、人脸转向速度识别以及脸部特征向量的神经网络分类识别中的一种或者任意几者的组入口 ο
[0090]SI 1:实时监视授权人的脸部动作和\或眼部动作，识别脸部动作和\或眼部动作所对应的指令，根据指令的识别结果之后，且移动机器人执行指令对应的操作前，移动机器人先对指令进行安全校验，包括以下步骤:
[0091]SllOl:移动机器人先对指令结果的安全执行校验，如果指令可安全执行，那么按指令方向和得出的角度方向进行移动；
[0092]S1102:如果指令不可执行则移动机器人不移动仅原地等待。
[0093]S12:根据指令的识别结果，移动机器人执行指令对应的操作，操作包括停止等待、按行走方向行走和按退避方向退避。
[0094]本发明采用人类社会中一种重要的交流媒介一一人脸，并以人脸中的两个既准确又自然的参数一一人脸旋转方向和人眼闭合状态及他们的组合，智能地完成机器人各种交互行为控制。此外，Kinect传感器本身拥有廉价而又优越的硬件条件，如深度传感器，红外传感器和普通摄像头可以提供可达每秒30帧的1SOp高清图像，这些高清图像足够可以应付要求达到高识别率的人脸识别技术并且可以构建清晰的人脸三维模型，通过人的脸部与眼部行为来对机器人获取控制权和下达指令。本发明不同于普通的人脸识别方式，普通的人脸识别都是基于静态单帧图像处理或者只关注于脸部细微特征变化，虽然可以达到很高的人脸识别准确率，但是由于缺少基于脸部多特征混合所带来的控制命令唯一性和无法避免脸部在人们正常交流中自然脸部行为的干扰，因此不能应用于移动机器人诸如退避等人机交互的动态过程，本发明采用人眼部识别方式自然而且表达清晰。
[0095]—般的人脸识别方法去控制机器人，没有引入控制权获取这个阶段，会导致机器人无法区别一般的自然行为和控制指令行为，也就是说，对于机器人视野内人的随意的头部转动也会误认为是发出的指令，会导致最后碰撞事故的发生，而本发明引入的利用眼部闭合状态解决了这个问题，并且结合闭眼时间长短和各种闭眼组合方式可以有效地、方便地、直接地弓I导机器人接收正确的指令信息。
[0096]本发明相比于其他脸部识别，由于眼部组合方式多样性，因此可以赋予其更多的指令内容。另外，通过眼部状态识别和头部转动的组合方式实现的人脸识别控制机器人，可面向处于任何状态的人群，包括正在交谈的，手脚不变的，语言不通的等等，也不需要要求用户佩戴任何额外设备。而在大多数开放文献中提出的传统面部或脸部识别，仅仅限制于识别人的五官(即眼鼻口等特征)的准确度，这些识别出的孤立信息参数是难以成为机器人交互控制指令的。此外，传统人脸识别方法所识别出的五官状态(如闭眼，闭口)，也是仅仅限制于五官状态的识别，也就是某个时间点的识别，而不是一种基于人脸的连续性状态过程的识别，而本发明所述，采用了一系列连续动作的图像集，并将采集到的各个图像集的人脸和眼睛状态参数及他们的不同组合方式转化成实际的控制指令传递给机器人，不仅可以有效的区分人的自然行为，同时也保证了控制指令的准确性和组合唯一性。本专利提出的方法具有控制自然、高精度和实时性高的特点。
[0097]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种基于人脸识别的移动机器人人机交互控制方法，其特征在于，包括以下步骤: S1:移动机器人通过体感传感器实时侦测行进前方的视野内是否有人； S4:当检测到视野内有人时，对视野内所有人进行追踪，实时监视被追踪者的脸部动作和\或眼部动作； S5:判断所述被追踪者的脸部动作和\或眼部动作是否符合第一授权条件； S9:使符合第一授权条件的被追踪者成为授权人，获得所述移动机器人的控制权。2.根据权利要求1所述的人机交互控制方法，其特征在于，所述步骤S9完成后，所述方法还包括: 511:实时监视所述授权人的脸部动作和\或眼部动作，识别所述脸部动作和\或眼部动作所对应的指令； S12:根据指令的识别结果，所述移动机器人执行所述指令对应的操作，所述操作包括停止等待、按行走方向行走和按退避方向退避。3.根据权利要求1或2所述的人机交互控制方法，其特征在于，所述步骤SI完成后，所述步骤S4进行之前，所述方法还包括: 52:统计前方的视野内的人数； 所述步骤S2完成后，所述方法还包括: 53:根据前方的视野内的人数调节指令接收方式如下: S301A:当前方的视野内只有一人时，将所述第一授权条件设置为人眼睛闭合时长大于给定阈值； S301B:当前方的视野内多于一人时，按照人眼睛闭合时间线性增加调整所述第一授权条件。4.根据权利要求3所述的人机交互控制方法，其特征在于，所述步骤SI中实时侦测行进前方的视野内是否有人，实现方式包括: SlOl:移动机器人通过体感传感器实时获取行进前方的彩色图像集，并通过体感传感器获取人身体数据源； 所述步骤S2，包括以下步骤: S201:当获取到人身体数据源时，移动机器人计算与视野内最近的人的距离是否大于预设的安全距离； S202:当所述移动机器人与视野内最近的人的距离大于预设的安全距离时，移动机器人统计体感传感器前方扇形视野范围内的人数； S203:当所述移动机器人与视野内最近的人的距离小于预设的安全距离时，停止等待接收指令，当停止等待接收指令时间超过预设值时，移动机器人发出控制提醒语音。5.根据权利要求3所述的人机交互控制方法，其特征在于，所述步骤S4中，对视野内所有人进行追踪，包括:向视野内所有人分配追踪号;实时监视被追踪者的脸部动作和\或眼部动作包括实时获取追踪号对应人的所有单个眼睛或双眼的控制信息。6.根据权利要求5所述的人机交互控制方法，其特征在于，所述步骤S5包括以下步骤: S501:记录所有追踪号下人的眼睛闭合状态以及眼睛闭合的时间总长度，所述眼睛闭合状态包括:仅左眼闭合、仅右眼闭合、双眼闭合后左眼睁开和双眼闭合后右眼睁开； S502:判断眼睛闭合的时间总长度是否大于给定阈值，所述给定阈值为2秒； S503:当符合大于给定阈值的人数大于一人时，判断是否双眼闭合时间大于I秒； S504:双眼闭合时间大于I秒的人数仍大于一人时，判断选择距离机器人最近的准授权人符合第一授权条件。7.根据权利要求6所述的人机交互控制方法，其特征在于，所述步骤S5完成后，所述方法还包括以下步骤: S6:如果准授权人数为零，返回步骤S4;如果准授权人数为一人，判断所述准授权人符合第一授权条件，进入步骤S9;如果人数大于一人，进入步骤S7; S7:根据剩余准授权人的追踪号，提取对应眼睛闭合状态;选出眼睛闭合状态为双眼闭合的准授权人，保存追踪号和眼睛闭合状态数据，进入步骤S8;如果没有准授权人的眼睛闭合状态为双眼闭合，保留所有准授权人信息，进入步骤S8; S8:如果准授权人数至此只有一人，那么进入步骤S9;如果大于一人，则读取各自追踪号下，人中心点在照相机空间下的三维坐标值，计算人中心点与体感传感器原点的欧式距离;比较所述欧式距离大小，判断选择距离机器人最近的准授权人符合第一授权条件，并删除其他的追踪号，停止追踪其他的准授权人。8.根据权利要求6所述的人机交互控制方法，其特征在于，所述步骤S9完成后，所述方法还包括: SlO:判断所述授权人是左眼闭合还是右眼闭合，根据判断结果将所述机器人调整为对应的人脸识别方式: S1001A:根据授权人追踪号下眼部状态“左眼闭合”，移动机器人选择第一指令识别方式识别授权人的脸部动作和\眼部动作所对应的指令； S1002B:根据授权人追踪号下眼部状态“右眼闭合”，移动机器人选择第二指令识别方式识别授权人的脸部动作和\眼部动作所对应的指令。9.根据权利要求8所述的人机交互控制方法，其特征在于，所述第一指令识别方式和所述第二指令识别方式包括:人脸朝向识别、指令意图分析、人脸转向速度识别以及脸部特征向量的神经网络分类识别中的一种或者任意几者的组合。10.根据权利要求2至9中任一项所述的人机交互控制方法，其特征在于，所述步骤Sll中，根据指令的识别结果之后，且所述移动机器人执行所述指令对应的操作前，所述移动机器人先对指令进行安全校验，包括以下步骤: SllOl:移动机器人先对指令结果的安全执行校验，如果指令可安全执行，那么按指令方向和得出的角度方向进行移动； SI 102:如果指令不可执行则移动机器人不移动仅原地等待。
【文档编号】G06F3/01GK105912120SQ201610230284
【公开日】2016年8月31日
【申请日】2016年4月14日
【发明人】刘辉, 李燕飞, 张雷, 张健
【申请人】中南大学