基于灵敏度参数的人脸朝向识别方法

基于灵敏度参数的人脸朝向识别方法
【专利摘要】本发明公开了一种基于灵敏度参数的人脸朝向识别方法，包括步骤：S1：对采集到的单帧图像逐一进行静态人脸朝向识别，根据人脸旋转的角度大小判断单帧图像的人脸朝向是正面、朝左还是朝右；S2：在给定的采集时间内，对采集到的所有单帧图像都进行静态人脸朝向识别，得出一个按照时序依次排列的人脸朝向结果集；S3：对人脸朝向结果集进行过程分析，识别指令意图，得出人脸朝向过程给出的指令结果。本发明结合简单的面部特征与实时捕捉头部动态过程结果作为相应指令匹配方式，能准确识别移动机器人人机交互过程中的面部转动指令，这种方式自然而且表达清晰，不受环境的限制，适用范围广。
【专利说明】
基于灵敏度参数的人脸朝向识别方法
技术领域
[0001] 本发明涉及移动机器人，尤其涉及一种用于机器人的基于灵敏度参数的人脸朝向 识别方法。
【背景技术】
[0002] 在复杂室内环境中，如现代实验室、运输物流工厂等，移动机器人常用来替代人员 执行简单、危险、重复性的任务，以节省大量的人力资源成本。在流程控制特别繁琐的室内 环境中，如在化学实验室中，移动机器人的运用能减少科研人员接触危险品的机会，不仅能 够保证实验的准确性，而且能有效地降低事故发生几率。
[0003] 人机交互是移动机器人智能化的重要组成部分，如今，人类已经从通过触摸式，如 鼠标、键盘、按钮等媒介，对机器进行指令发送发展到通过各种传感器(如声音传感器，红外 传感器等）的运用给机器下达各种任务指令。微软公司Kinect传感器的出现，使人机交互方 式又迈出了一大步，基于Kinect传感器开发的交互界面下，人身体本身就可以成为控制器。 譬如，使用双臂完成几种姿势来操控机器人完成任务(如申请号201210267315.3公开了《一 种双臂机器人基于Kinect的人机交互方法》和申请号201310327955.3公开了《基于kinect 人体骨骼跟踪控制的智能机器人人机交互方法》），但是这种应用场景范围非常受限。
[0004] 例如：当机器人面对与双手紧抱重物或手持物品的工作人员进行人机交互，或者 机器人面对电梯里挤满不同工作单位的人员时，该如何听从指令;此外，还需要一些与特定 的操作任务无关的手势用于改变机器人的操作模式，这些都造成了操作任务的交流不自 然。因此需要一种自然的容易被操作人员理解记忆的控制方法。
[0005] 当然，我们也可以利用语音来进行操作（如申请号201410057451.9公开了《一种基 于单人手势和语音信息的机器人人工导航方法》），但是如果在工厂里或者声音嘈杂的实验 室环境下，移动机器人如何正确的接收并分析识别所下达的语音指令也是一个难题。
[0006] 这些公开的档案中，很多都侧重于或只考虑人的肢体行为，只依赖于Kinect传感 器提供的骨骼数据，而忽略了人类社会中另一种重要的交流媒介一一人脸，并且Kinect传 感器本身拥有廉价而又优越的硬件条件，如深度传感器，红外传感器和普通摄像头可以提 供可达到每秒30帧的1080p高清图像，这些高清图像足够可以应付要求达到高识别率的人 脸识别技术并且可以构建清晰的人脸三维模型，通过人脸面部与头部行为来对机器人获取 控制权和下达指令。
[0007] 然而，普通的人脸识别都是基于静态单帧图像处理或者只关注于脸部细微特征变 化(如申请号201410848027.6公开了《基于Kinect及人脸识别的疲劳驾驶检测方法》），虽然 可以达到很高的人脸识别准确率，但是不能应用于与移动机器人交互的动态过程中，因为， 如果运用脸部表情刻意变化去表征某个指令，对于用户来说不够自然感到不适并且表情细 微的变化特征抖动会限制指令正确识别率。此外，如果只处理单个时间点的数据帧，当机器 人捕捉到的人脸本身就是有旋转角度的人脸图像，譬如，机器人首先捕捉到朝右的人脸图 像，过了两秒后捕捉到人脸图像又是朝右，是否一定能判断此人做出的行为一定是头部向 右转动?答案是否定的，因为在2秒这段时间内人的头部行为是未知的，这就降低了识别的 准确率。因此，在实际运用中必须要实时的动态的识别人的脸部状态，这就既要求高识别准 确率又要求短的计算时间。

【发明内容】

[0008] 本发明目的在于提供一种基于灵敏度参数的人脸朝向识别方法，以解决现有面部 识别应用于与移动机器人交互的动态过程中识别的准确率不高的技术问题。
[0009] 为实现上述目的，本发明提供了一种基于灵敏度参数的人脸朝向识别方法，包括 以下步骤：
[0010] S1:对采集到的单帧图像逐一进行静态人脸朝向识别，根据人脸旋转的角度大小 判断单帧图像的人脸朝向是正面、朝左还是朝右；
[0011 ] S2:在给定的米集时间内，对米集到的所有单帧图像都进行静态人脸朝向识别，得 出一个按照时序依次排列的人脸朝向结果集；
[0012] S3:对人脸朝向结果集进行过程分析，识别指令意图，得出人脸朝向过程给出的指 令结果。
[0013] 作为本发明的方法的进一步改进：
[0014] 优选地，步骤S1包括以下步骤：
[0015] S101:对采集到的单帧图像，获取头部原点四元数，采用如下公式计算起始时刻头 部旋转的角度的欧拉角（cp e 〇))的大小：
(U
[0017]其中，四元数是由实数w加上三个虚数单位i，j，k组成的超复数，表示为w+xi+yj+ zk，其中i的旋转代表X轴与Y轴相交平面中X轴正向向Y轴正向的旋转，j旋转代表Z轴与X轴 相交平面中Z轴正向向X轴正向的旋转，k旋转代表Y轴与Z轴相交平面中Y轴正向向Z轴正向 的旋转，_i、_ j、_k分别代表i、j、k旋转的反向旋转；
[0018] S102:根据欧拉角中co值大小，判断人脸朝向：如果起始时刻《大于左灵敏度阈 值，判断起始人脸朝向为朝左；如果起始时刻《处于左灵敏度阈值与右灵敏度阈值之间或 者等于左灵敏度阈值与右灵敏度阈值时，判断起始人脸朝向为正面;如果起始时刻《小于 右灵敏度阈值，判断起始人脸朝向为朝右；
[0019] S103:记录人脸朝向状态。
[0020]优选地，在步骤S102中，左灵敏度阈值为0或者根据用户动作习惯设置的第一定 值;右灵敏度阈值为〇或者根据用户动作习惯设置的第二定值。
[0021] 优选地，人脸朝向结果集包括人脸朝向数组，步骤S2包括以下步骤：
[0022] S201:获取在给定的采集时间内按照采集频率采集的多个单帧图像；
[0023] S202:采用步骤S101对采集到的所有单帧图像都计算起始时刻头部旋转的角度的 欧拉角:(.中8 M )_的大小，得出一个按照时序依次排列的向量〇 = ( 〇 1，〇 2,…，W i,…，《 3〇t) 且t = l，2,3,…;其中t为单帧图像采集的时序编号；
[0024] S204:采用步骤S102判断向量〇中的每个元素的人脸朝向，得出人脸朝向数组r = (ri，r2，…，ri，…，r3〇t)且t = l，2,3,…，ri = 0，1，2〇
[0025]优选地，人脸朝向结果集还包括角度差值数组，在步骤S204完成后，步骤S2包括以 下步骤：
[0026] S205:计算向量〇中的每个元素与起始时刻〇值的差值绝对值d的大小，(1=||〇- ? i I I，并保存入角度差值数组d = (cU，d2，…，di，…，d30t)且t = 1，2，3，…，角度差值数组中 的元素与人脸朝向数组中的元素一一对应。
[0027] 优选地，在步骤S204进行之前，步骤S2还包括以下步骤：
[0028] S203:判断当前单帧图像当前时刻是否已经超出给定采集时间的长度阀值，如果 否，进入步骤S204。
[0029]优选地，指令结果，包括转动朝向，转动朝向包括正面、朝左及朝右，步骤S3包括以 下步骤：
[0030] S301:如果起始人脸朝向为正面，遍历人脸朝向结果集中的后续值，如果后续值都 是正面则指令结果为正面;如果遍历时出现的第一个不为正面的值是朝左则判断指令结果 为朝左，如果遍历时出现的第一个不为正面的值是朝右则判断指令结果为朝右；
[0031] S302:如果起始人脸朝向为朝左，遍历人脸朝向结果集中的后续值，直到出现第一 个不是朝左的值，如果这个值为正面，则继续遍历;如果继续遍历出现的值为朝右则判断指 令结果为朝右；如果只有正面和朝左那么统计后续值分别为正面和朝左的数量，如果朝左 的数量多那么判断指令结果为朝左;反之结果为朝右;如果没有非值是朝左的其他值，则指 令结果为正面；
[0032] S303:如果起始人脸朝向为朝右，遍历人脸朝向结果集中的后续值，直到出现第一 个不是朝右的值，如果这个值为正面，则继续遍历;如果继续遍历出现的值为朝左则判断指 令结果为朝左；如果只有正面和朝右那么统计后续值分别为正面和朝右的数量，如果朝右 的数量多那么结果为朝右，反之结果为朝左;如果没有非值是朝右的其他值，则指令结果为 正面。
[0033] 优选地，指令结果还包括朝向角度，在步骤S301至步骤S303中，遍历人脸朝向结果 集时，在记录所有单帧图像的角度差值数组中，根据得出的转动朝向的相应的最大时刻点 的角度差值作为朝向角度的大小输出。
[0034] 优选地，步骤S3完成后，将指令结果输送给移动机器人的执行部件以控制移动机 器人按照指令结果中的转动朝向和朝向角度行进或退避。
[0035] 优选地，采集到的单帧图像为获取了移动机器人控制权的授权人的身体数据帧和 面部数据帧的彩色图像。
[0036]本发明具有以下有益效果：
[0037] 1、本发明的基于灵敏度参数的人脸朝向识别方法，结合简单的面部特征与实时捕 捉头部动态过程结果作为相应指令匹配方式，能准确识别移动机器人人机交互过程中的面 部转动指令，这种方式自然而且表达清晰，不受环境的限制，适用范围广。
[0038] 2、在优选的方案中，本发明的基于灵敏度参数的人脸朝向识别方法，可以识别多 角度人脸朝向，工作人员可以指定角度大小，机器人按照指定角度进行有角度朝向行进避 让。使用灵敏度参数中人脸转向幅度参数进行调节，适应各种光照不同的环境下人机交互 控制的使用，提高了人脸位置的识别正确率。
[0039] 除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。 下面将参照附图，对本发明作进一步详细的说明。
【附图说明】
[0040] 构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实 施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0041] 图1是本发明优选实施例的基于灵敏度参数的人脸朝向识别方法的流程示意图；
[0042] 图2是本发明另一优选实施例的基于灵敏度参数的人脸朝向识别方法的流程示意 图；
[0043] 图3是本发明优选实施例的授权人发出指令朝右避让可能出现的指令形式示意 图。
【具体实施方式】
[0044]以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定 和覆盖的多种不同方式实施。
[0045] 本实施例中所称的灵敏度参数是指根据不同人员的脸部转向习惯而定义的用于 实现移动机器人交互控制的一组参数，包括人脸转向速度、人脸转向幅度和控制权竞胜。人 脸转向速度代表个体头部转向速度的快慢。人脸转向幅度是指人脸正对于机器人正面所旋 转的具体角度。在高质量的移动机器人运输交互控制中，除了人脸转向速度和人脸转向幅 度非常重要，控制权竞胜参数也直接影响着交互控制的智能化水平。例如，当机器人视野内 出现多名工作人员，而这些工作人员中存在一名或几名想与机器人进行交互，除此外其他 人员没有有与机器人进行交互的意愿，如果机器人没有预先考虑这个参数，机器人会实时 进行指令侦听，这样有可能那些没有意愿给机器人下达指令的人的一些无意识的转头动 作，机器人会误以为该个体给他下达了相关指令内容，譬如假设该人无意识的进行了头部 右转动作，这个头部右转动作预设的指令内容是朝右前进，那么机器人如果执行这个指令 可能会与朝右前进的路线上的某物体或其他人产生碰撞，产生严重事故。因此，这个参数是 至关重要的，个体若想对机器人下达指令，也就是想要获取机器人的临时控制权，那么事先 可以通过给出这个参数值告知机器人本人想要下达指令，说明接下来的指令动作是有效 的，其他人未首先给出有效的控制权竞胜参数，那么接下的下达的指令视为无效。该参数可 以由眼部闭合状态、个体头部抬头或低头具体角度大小或者混合方式来表征。本实施例仅 表述与以头部转动过程结果作为相应的指令内容，告知机器人停止等待、行走方向和相应 的退避方向的相关内容。本实施例包括但不限于采用微软生产的Kinect传感器实现彩色图 像的米集。
[0046] 参见图1，本发明的基于灵敏度参数的人脸朝向识别方法，包括以下步骤：
[0047] S1:对采集到的单帧图像逐一进行静态人脸朝向识别，根据人脸旋转的角度大小 判断单帧图像的人脸朝向是正面、朝左还是朝右；
[0048] S2:在给定的米集时间内，对米集到的所有单帧图像都进行静态人脸朝向识别，得 出一个按照时序依次排列的人脸朝向结果集；
[0049] S3:对人脸朝向结果集进行过程分析，识别指令意图，得出人脸朝向过程给出的指 令结果。
[0050] 以上步骤，结合简单的面部特征与分析实时捕捉头部动态过程结果作为相应指令 匹配方式，能准确识别移动机器人人机交互过程中的面部转动指令，这种方式自然而且表 达清晰，不受环境的限制，适用范围广。
[0051] 在实际应用中，在上述步骤的基础上，本发明的基于灵敏度参数的人脸朝向识别 方法还可步骤进行优化，以下说明另一个优化后的实施例，参见图2,在进行本发明的识别 之前，移动机器人先进行如下工作：
[0052] 实时检测侦听模块完成后，从它获取检测到的人数结果和所有相应追踪号。然后 从Kinetc传感器获取身体数据帧(源于Kinect传感器SDK类库的BodyFrameSource参数)和 面部数据帧(源于Kinect传感器SDK类库的faceFrameSources参数）。
[0053]判断指令触发状态变量，是否已经收到指令触发命令(眼睛闭合状态数据）。如果 是，表示有人通过眼睛闭合状态给出指令，有意图要控制机器人，因此寻找授权人，并且如 果找到授权人，则获取授权人的追踪号和采集时间长度；如果否，表示没有人想控制机器 人，机器人获取下一人身体数据帧和面部数据帧，进行持续监测。
[0054]运用寻找授权人方法，寻找授权人，并记录追踪号。如果没有找到授权人那么获取 身体数据帧和面部数据帧。获取授权人的追踪号后，对授权人发出的指令采用本实施例的 方法进行识别，以授权人的头部转动过程结果作为相应的指令内容，告知机器人停止等待、 行走方向和相应的退避方向。
[0055] 参见图2,本实施例的基于灵敏度参数的人脸朝向识别方法，包括以下步骤：
[0056] S1:对采集到的单帧图像(采集到的单帧图像是获取了移动机器人控制权的授权 人的身体数据帧和面部数据帧的彩色图像，授权人即有权限的指令发起人)逐一进行静态 人脸朝向识别，根据人脸旋转的角度大小判断单帧图像的人脸朝向是正面、朝左还是朝右； 具体包括以下步骤：
[0057] S101:对采集到的单帧图像，获取头部原点四元数，采用如下公式计算起始时刻头 部旋转的角度的欧拉角（cpe?)的大小：
(1)
[0059]其中，四元数是由实数w加上三个虚数单位i，j，k组成的超复数，表示为w+xi+yj+ zk，对于虚数单位i，j，k本身的几何意义可以理解为一种旋转，其中i的旋转代表X轴与Y轴 相交平面中X轴正向向Y轴正向的旋转，j旋转代表Z轴与X轴相交平面中Z轴正向向X轴正向 的旋转，k旋转代表Y轴与Z轴相交平面中Y轴正向向Z轴正向的旋转，-i、-j、-k分别代表i、j、 k旋转的反向旋转。此处头部原点位置指由眼睛连线与鼻梁纵向直线相交点位置代表确定， 根据此点在空间内的坐标位置变化可计算出代表头部旋转的四元数值。在具体实现时，四 元数值可由Kinect体感传感器直接实时测量获得，然后计算对应的头部旋转欧拉角。
[0060] S102:根据欧拉角中《值大小，判断人脸朝向：如果起始时刻《大于左灵敏度阈 值，判断起始人脸朝向为朝左；如果起始时刻《处于左灵敏度阈值与右灵敏度阈值之间或 者等于左灵敏度阈值与右灵敏度阈值时，判断起始人脸朝向为正面;如果起始时刻《小于 右灵敏度阈值，判断起始人脸朝向为朝右;左灵敏度阈值为0或者根据用户动作习惯设置的 第一定值;右灵敏度阈值为0或者根据用户动作习惯设置的第二定值。
[0061 ]左灵敏度阈值和右灵敏度阈值可手动调节人脸转向幅度参数，左灵敏度阈值人脸 朝左转动幅度大小，假设此值设为10°，那么表示只有当授权人人脸向左转动角度超过10° 时机器人才视为向左转动，也就是说明了值越大，指令灵敏度越低，安全性越高，微小的转 动不会产生错误的指令下达，可依据个人习惯而确定。同样的，右灵敏度阈值指的是右转灵 敏度。此外，当应用环境内光照强烈时，需调高此参数来保障机器人指令识别正确率。在实 际应用中，对于这两个个参数值，可采用人脸识别习惯记忆方式自动调节。
[0062] S103:记录人脸朝向状态。
[0063] S2:在给定的采集时间内，对采集到的所有单帧图像(连续帧，一般是每秒30帧)都 进行静态人脸朝向识别，得出一个按照时序依次排列的人脸朝向结果集;人脸朝向结果集 包括人脸朝向数组角度差值数组。给定的采集时间，具体包括以下步骤：
[0064] S201:获取在给定的采集时间内按照采集频率采集的多个单帧图像；
[0065] S202:采用步骤S101对采集到的所有单帧图像都计算起始时刻头部旋转的角度的 欧拉角（<P 0⑴）的大小，得出一个按照时序依次排列的向量《 = ( ? 1，《 2,…，W i,…，《 3〇t) 且t = l，2,3,…;其中t为单帧图像采集的时序编号；
[0066] S203:判断当前单帧图像当前时刻是否已经超出给定采集时间的长度阀值，如果 否，进入步骤S204。设定的采集时间长度阀值t，采集时间长度阀值确定采集数据帧的时间 段。本实施例中通过帧到达计数确定，每秒30帧，则若设定t值为2秒，则采集60帧。
[0067] S204:采用步骤S102判断向量〇中的每个元素的人脸朝向，得出人脸朝向数组r = (ri，r2，…，ri，…，r3〇t)且t = l，2,3,…，ri = 0，1，2〇
[0068] S205:计算向量〇中的每个元素与起始时刻〇值的差值绝对值d的大小，(1=||〇- ? i I I，并保存入角度差值数组d = (cU，d2，…，di，…，d30t)且t = 1，2，3，…，角度差值数组中 的元素与人脸朝向数组中的元素一一对应。
[0069] S3:对人脸朝向结果集进行过程分析，识别指令意图，得出人脸朝向过程给出的指 令结果。指令结果包括转动朝向，转动朝向包括正面、朝左及朝右。
[0070] 实时的人脸朝向识别算法主要难点在于授权人通过头部转动发出指令的行为的 不确定性，譬如，在给定的采集图像时间区域内，授权人初始状态是正面面对机器人，此时 初始头部旋转角度为〇°，接下来，授权人意图告知机器人右转，于是授权人先进行头部右 转，考虑到采集时间长短与授权人头部转动速度快慢，可能在既定的图像采集时间段内，如 果授权人头部转动速度比较慢，那么在既定采集时间段内，机器人采集到的授权人头部运 动过程是从正朝对机器人到右转，如果授权人头部转动速度较快，那么采集到的过程可能 是先正朝对机器人，然后右转，然后又是左转复位。因此，如果单纯从采集的几个片段判断 授权人意图是不正确的，可能采集到的人脸图朝向识别结果是朝左，但是实际是朝右，对于 一般的只采集几个时间点进行识别的方法中这些类似的错误结果发生的概率很大。
[0071] 所以为了解决这个过程性问题，首先本实施例大致把指令意图与实际头部行为分 为如图3所示几种情况（图中说明的是一个过程，只列出授权人指令意图是朝右，朝左情形 与图示类似），其中图3a表示起始时刻脸正面朝对机器；图3b表示起始时刻脸朝右对机器 人;图3c表示起始时刻脸朝左对机器人。
[0072]上述情况如果用数字1代表正脸面对，2代表朝左，3代表朝右则可分别表述为：
[0073] 情形一：起始时刻采集到的脸朝向为1，正常时间范围内状态过程可表述为如 11133333。如果采集时间（人脸转向速度参数)很长则可能出现如11133331111情形。
[0074] 情形二：起始时刻采集到的脸朝向为3,正常时间范围内状态过程可表述为如 33333333。如果采集时间（人脸转向速度参数)很长则可能出现如33333331111情形。
[0075]情形三：起始时刻采集到的脸朝向为2,正常时间范围内状态过程可表述为如 222111。如果采集时间很长(人脸转向速度参数)则可能出现如222111(333111)222情形。
[0076] 因此，本实施例中步骤S3具体采用以下步骤实现：
[0077] S301:如果起始人脸朝向为1，遍历人脸朝向结果集中的后续值，如果后续值都是1 则指令结果为1;如果遍历时出现的第一个不为1的值是2则判断指令结果为2,如果遍历时 出现的第一个不为1的值是3则判断指令结果为3;遍历人脸朝向结果集时，在记录所有单帧 图像的角度差值数组中（即步骤S204所得人脸朝向数组），根据得出的转动朝向的相应的最 大时刻点的角度差值作为朝向角度的大小输出。也就是，人脸朝向最终结果为朝右，那么在 y中遍历寻找连续出现值为3的最后一个时刻点j，那么输出角度为山。归纳就是，已知人脸 朝向结果为a，如果y i = a且y j<i = a且y j>i = a，则输出角度为di。
[0078] S302:如果起始人脸朝向为2,遍历人脸朝向结果集中的后续值，直到出现第一个 不是2的值，如果这个值为1，则继续遍历；如果继续遍历出现的值为3则判断指令结果为3; 如果只有1和2那么统计后续值分别为1和2的数量，如果2的数量多那么判断指令结果为2; 反之结果为3;如果没有非值是2的其他值，则指令结果为1(可能存在授权人意图发出右转 命令或左转，但是转动角度实在太小默认为没转动，如果有这样的需求，可以采用方式一， 调节灵敏度通过头部转动角度可以精确的判断，如果后续角度大于阀值结果2,如果小于阀 值为3,阀值内为1);遍历人脸朝向结果集时，在记录所有单帧图像的角度差值数组中（即步 骤S204所得人脸朝向数组），根据得出的转动朝向的相应的最大时刻点的角度差值作为朝 向角度的大小输出。
[0079] S303:如果起始人脸朝向为3,遍历人脸朝向结果集中的后续值，直到出现第一个 不是3的值，如果这个值为1，则继续遍历；如果继续遍历出现的值为2则判断指令结果为2; 如果只有1和3那么统计后续值分别为1和3的数量，如果3的数量多那么结果为3,反之结果 为2;如果没有非值是3的其他值，则指令结果为1(可能存在授权人意图发出右转命令或左 转，但是转动角度实在太小默认为没转动，如果有这样的需求，可以采用方式一，调节灵敏 度通过头部转动角度可以精确的判断，如果后续角度大于阀值结果2,如果小于阀值为3,阀 值内为1)。遍历人脸朝向结果集时，在记录所有单帧图像的角度差值数组中（即步骤S204所 得人脸朝向数组），根据得出的转动朝向的相应的最大时刻点的角度差值作为朝向角度的 大小输出。
[0080] 得到指令结果后，将指令结果输送给移动机器人的执行部件以控制移动机器人按 照指令结果中的转动朝向和朝向角度行进或退避。
[0081] 综上可知，本发明的基于灵敏度参数的人脸朝向识别方法，可以识别多角度人脸 朝向，工作人员可以指定角度大小，机器人按照指定角度进行有角度朝向行进避让。使用灵 敏度参数中人脸转向幅度参数进行调节，适应各种光照不同的环境下人机交互控制的使 用，提高了人脸位置的识别正确率。本发明计算简单，执行效率高，可通过调节灵敏度适应 不同场合，可输出朝向结果的同时精确的给出朝向角度，通过旋转角度的提供可进行扩展 性的开发出更多指令内容，延展性好。
[0082]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技 术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种基于灵敏度参数的人脸朝向识别方法，其特征在于，包括以下步骤： S1:对采集到的单帧图像逐一进行静态人脸朝向识别，根据人脸旋转的角度大小判断 所述单帧图像的人脸朝向是正面、朝左还是朝右； S2:在给定的采集时间内，对采集到的所有单帧图像都进行静态人脸朝向识别，得出一 个按照时序依次排列的人脸朝向结果集； S3:对所述人脸朝向结果集进行过程分析，识别指令意图，得出人脸朝向过程给出的指 令结果。2. 根据权利要求1所述的人脸朝向识别方法，其特征在于，所述步骤S1包括以下步骤： S101:对采集到的单帧图像，获取头部原点四元数，采用如下公式计算起始时刻头部旋 转的角度的欧拉角（φ β ω )的大小：其中，四元数是由实数w加上三个虚数单位i，j，k组成的超复数，表示为w+xi+yj+zk，其 中i的旋转代表X轴与Y轴相交平面中X轴正向向Y轴正向的旋转，j旋转代表Z轴与X轴相交平 面中Z轴正向向X轴正向的旋转，k旋转代表Y轴与Z轴相交平面中Y轴正向向Z轴正向的旋 转，_i、- j、_k分别代表i、j、k旋转的反向旋转； S102:根据欧拉角中ω值大小，判断人脸朝向：如果起始时刻ω大于左灵敏度阈值，判 断起始人脸朝向为朝左;如果起始时刻ω处于左灵敏度阈值与右灵敏度阈值之间或者等于 左灵敏度阈值与右灵敏度阈值时，判断起始人脸朝向为正面;如果起始时刻ω小于右灵敏 度阈值，判断起始人脸朝向为朝右； S103:记录人脸朝向状态。3. 根据权利要求2所述的人脸朝向识别方法，其特征在于，在所述步骤S102中，所述左 灵敏度阈值为〇或者根据用户动作习惯设置的第一定值;所述右灵敏度阈值为〇或者根据用 户动作习惯设置的第二定值。4. 根据权利要求3所述的人脸朝向识别方法，其特征在于，所述人脸朝向结果集包括人 脸朝向数组，所述步骤S2包括以下步骤： S201:获取在给定的采集时间内按照采集频率采集的多个单帧图像； S202:采用步骤S101对采集到的所有单帧图像都计算起始时刻头部旋转的角度的欧拉 角?φ:0ω:.〉的大小，得出一个按照时序依次排列的向量ω =( ω1; ω2，···，c〇i，···，ω3(Η)且t =1，2，3，…;其中t为所述单帧图像采集的时序编号； S204:采用步骤S102判断向量ω中的每个元素的人脸朝向，得出人脸朝向数组r = (ri， Γ2,··· ,Γ?,··· ,r3〇t)iit = 1,2,3,··· ,π = 0,1,2〇5. 根据权利要求4所述的人脸朝向识别方法，其特征在于，所述人脸朝向结果集还包括 角度差值数组，在所述步骤S204完成后，所述步骤S2包括以下步骤： S205:计算向量ω中的每个元素与起始时刻ω值的差值绝对值d的大小，d= | | ω-coi | ，并保存入角度差值数组…，扎…，d3Qt)且t = l，2,3,…，所述角度差值数组中 的元素与所述人脸朝向数组中的元素一一对应。6. 根据权利要求5所述的人脸朝向识别方法，其特征在于，在所述步骤S204进行之前， 所述步骤S2还包括以下步骤： S203:判断当前单帧图像当前时刻是否已经超出给定采集时间的长度阀值，如果否，进 入步骤S204。7. 根据权利要求1至6中任一项所述的人脸朝向识别方法，其特征在于，所述指令结果， 包括转动朝向，所述转动朝向包括正面、朝左及朝右，所述步骤S3包括以下步骤： S301:如果起始人脸朝向为正面，遍历人脸朝向结果集中的后续值，如果后续值都是正 面则指令结果为正面;如果遍历时出现的第一个不为正面的值是朝左则判断指令结果为朝 左，如果遍历时出现的第一个不为正面的值是朝右则判断指令结果为朝右； S302:如果起始人脸朝向为朝左，遍历人脸朝向结果集中的后续值，直到出现第一个不 是朝左的值，如果这个值为正面，则继续遍历;如果继续遍历出现的值为朝右则判断指令结 果为朝右；如果只有正面和朝左那么统计后续值分别为正面和朝左的数量，如果朝左的数 量多那么判断指令结果为朝左;反之结果为朝右;如果没有非值是朝左的其他值，则指令结 果为正面； S303:如果起始人脸朝向为朝右，遍历人脸朝向结果集中的后续值，直到出现第一个不 是朝右的值，如果这个值为正面，则继续遍历;如果继续遍历出现的值为朝左则判断指令结 果为朝左；如果只有正面和朝右那么统计后续值分别为正面和朝右的数量，如果朝右的数 量多那么结果为朝右，反之结果为朝左；如果没有非值是朝右的其他值，则指令结果为正 面。8. 根据权利要求7所述的人脸朝向识别方法，其特征在于，所述指令结果还包括朝向角 度，在所述步骤S301至所述步骤S303中，遍历所述人脸朝向结果集时，在记录所有单帧图像 的角度差值数组中，根据得出的转动朝向的相应的最大时刻点的角度差值作为朝向角度的 大小输出。9. 根据权利要求1或8所述的人脸朝向识别方法，其特征在于，所述步骤S3完成后，将所 述指令结果输送给移动机器人的执行部件以控制所述移动机器人按照所述指令结果中的 转动朝向和朝向角度行进或退避。10. 根据权利要求1至6中任一项所述的人脸朝向识别方法，其特征在于，所述采集到的 单帧图像为获取了移动机器人控制权的授权人的身体数据帧和面部数据帧的彩色图像。
【文档编号】G06K9/00GK105930775SQ201610230028
【公开日】2016年9月7日
【申请日】2016年4月14日
【发明人】刘辉, 李燕飞, 张雷
【申请人】中南大学