视线跟踪人机交互方法及装置的制作方法

文档序号:6608790阅读:186来源:国知局
专利名称:视线跟踪人机交互方法及装置的制作方法
技术领域
本发明涉及人机交互方法及装置,尤其涉及视线跟踪人机交互方法及装 置,属于人机交互领域。
背景技术
键盘、鼠标、游戏杆等设备提供了机器与操作者之间的通讯接口,实现 了人机交互。近年来,随着视线跟踪技术的发展,基于视线跟踪的鼠标模拟 以及键盘模拟已在人机交互领域得以研究与应用,诸如辅助残疾人士完成人 机通讯,辅助航空驾驶员操作计算机等。在个人电脑上,视线跟踪的结果可 以控制鼠标指针的运动,从而可以替代鼠标实现人机交互的功能。在一些工 业控制、航空应用场景或紧急状况中,用户的手可能都被用于操作除计算机 外的其它控制机构,这时只有视线可以被用来操作计算机。
现有技术使用鼠标设备辅助实现跟踪的人机交互过程。当需要进行目标 选取时,用户的视线落在需要选择的目标上后,再按下鼠标键完成选择。在 移动一个目标时,用户的视线落在需要选择的目标上后,按下鼠标键选中该
目标,然后用户移动^L线至一个新的位置,松开鼠标按钮后目标即停留在新 的位置。在实现本发明过程中,发明人发现该技术中至少存在如下问题
(1) 采用鼠标设备作为辅助输入,在交互过程中使用手的运动来控制鼠 标按下与松开的动作。这样对于航空驾驶等特殊场合无法利用手进行操作的 情况下就无法应用, 一些手部无法动作的残疾人也不能使用该系统。
(2) 在把该系统用于公共设施时,由于需要接触鼠标设备,从而增加了 人群中传染疾病的可能性。目前还存在一种根据视线停留时间或眨眼选择控制选项的方法。操作 者在某处注视点停留达一定时间后,当前交互工作模式转入精细调整模式。 在该模式下,程序先记下当前光标点位置,然后屏幕上出现一个弹出菜单, 包含"单击、双击、左键、右键"等选项,然后视线控制光标移动到菜单 中的某一项上,并停留一定时间或眨眼来选"l奪该项,^v而实现"单击、双
击"等动作。在实现本发明过程中,发明人发现该方法中至少存在如下问题 注视停留时间很难选择较合适的值,若选择较小的数值,则容易造成 误操作,因为当视线稍做停顿,就会出现弹出菜单,而操作者并不希望做 任何动作,这种情况在一些特定操作中(如阅读文章、观看视频等)尤其 明显。如果选择较大的数值,则会延长操作指令的执行时间,大大降低交 互的效率。另外,弹出菜单在很多场合也会影响操作者对屏幕内容的观察。 总之,这样的交互协议会导致交互过程不够人性化,效率也较低,容易产 生误操作。

发明内容
本发明实施例的目的在于提供一种非接触且交互协议简单的视线跟踪人 机交互方法及装置。
为实现上述目的,本发明视线跟踪人机交互方法的实施例中,包括采 集视线跟踪信息,并根据所述视线跟踪信息获取视线焦点位置;采集面部图 像信息,并根据所述面部图像信息识别出面部动作;根据所述视线焦点位置 输出与所述面部动作对应的控制指令。
为实现上述目的,本发明实现跟踪人机交互装置的实施例中,包括视 线跟踪处理单元,用于进行视线跟踪操作,所述视线跟踪操作包括采集视线 跟踪信息并根据所述视线跟踪信息获取视线焦点位置;面部动作识别单元, 用于采集面部图像信息并根据所述面部图像信息识别出面部动作;以及控制 指令输出单元,与所述视线跟踪处理单元及所述面部动作识别单元分别连接,用于根据所述视线焦点位置输出与所述面部动作对应的控制指令。
本发明实现跟踪人机交互方法的实施例通过采集视线跟踪信息获取视线 焦点位置,采集面部图像信息识别出面部动作,最后根据所述视线焦点位置
输出与所述面部动作对应的控制指令;在整个过程中,由于操作者的手无需 接触键盘或鼠标或操作杆等外设,这样使得航空驾驶等特殊场合无法利用手 进行操作的情况下得以顺利地应用,另还能够方便一些手部无法动作的残疾 人;采用面部动作及视线焦点位置同时作为控制指令输出的依据条件,使得 交互协议简单、控制指令的输出更为准确。
本发明实现跟踪人机交互装置的实施例通过在原有视线跟踪处理单元的 基础上增设面部动作识别单元,由控制指令输出单元根据所述视线焦点位置 输出与所述面部动作对应的控制指令,实现了非接触的控制方式,提高了用 户使用的舒适度,避免了公共设备使用过程中由于操作者的手接触键盘或鼠 标或操作杆等外设而造成的疾病的传播。


图1为本发明视线跟踪人机交互方法的实施例一的流程图2为面部动作A示意图3为面部动作B示意图4为面部动作C示意图5为面部动作D示意图6为本发明视线跟踪人机交互方法的实施例二的流程图; 图7为本发明视线跟踪人机交互方法的实施例三的流程图; 图8为本发明视线跟踪人机交互方法的实施例四的流程图; 图9为本发明视线跟踪人机交互方法的实施例五的流程图; 图10为本发明视线跟踪人机交互方法的实施例六的流程图; 图11为本发明视线跟踪人机交互方法的实施例七的流程图;图12为本发明视线跟踪人机交互装置的实施例一的结构图 图13为本发明视线跟踪人机交互装置的实施例二的结构图 图14为本发明视线跟踪人机交互装置的实施例三的结构图 图15为本发明视线跟踪人机交互装置的实施例四的结构图 图16为本发明视线跟踪人机交互装置的实施例五的结构图 图17为本发明视线跟踪人机交互装置的实施例六的结构图 图18为本发明视线跟踪人机交互装置的实施例七的结构图; 图19为本发明视线跟踪人机交互装置的实施例八的结构图。
具体实施例方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
图1为本发明视线跟踪人机交互方法的实施例一的流程图,包4舌
步骤l、采集视线跟踪信息。
步骤2、根据所述视线跟踪信息获取视线焦点位置。
步骤3、采集面部图像信息。采集面部图像信息的方式可以为选择具有一 定分辨率的图像设备拍摄操作者的脸部图像。
步骤4、根据所述面部图像信息识别出面部动作。如根据面部图像信息中 的某几个信息点,如眼睛、嘴巴、眉毛等五官的动作信息及其组合,识别出 面部动4乍。
步骤5、根据所述视线焦点位置输出与所述面部动作对应的控制指令。视 线焦点位置对应着需要控制的目标项,如页面、文件、文件夹等。例如,视 线焦点位置对应于页面,面部动作对应的控制指令为滚动,则显示屏上就会 显示出类似于鼠标滚轴键滚动页面的操作。
视线跟踪技术的最根本问题是要测量眼睛的注视方向,测量方法有许多 种,包括瞳孔-角膜反射向量法、眼电图法(E0G)、虹膜-巩膜边缘法、角 膜反射法、接触镜法等方法。这些方法中,最适合在人机交互场景应用的是瞳孔-角膜反射向量法,也是当前视线跟踪产品中运用较多的一种方法。该
方法的基本原理如下当用一红外辅助光源照射人的脸部,在眼睛角膜表面 形成反射像,此反射像被称为普尔钦(Purkinje)斑点。人眼在盯视计算机屏 幕上的不同位置,眼球会发生相应的转动。假定实验者的头在不动的情况下, 由于红外发光二极管的位置是固定的,而眼球是一个近似的球体所以当眼球 转动时,可以认为普尔钦斑点的绝对位置是不变的;而虹膜与瞳孔的位置要 发生相应的变化,这样红外辅助光源在角膜上形成的普尔钦斑点和瞳孔与虹 膜的相对位置关系也将发生变化,这种相对位置关系的确定可以通过图像处 理来实现。然后由它们之间的相对位置关系,得出视线输入的方向。根据视 线输出的方向获取视线焦点位置。
在Ekman的面部运动编码系统(Facail Action Coding System,简称FACS ) 中详细定义了面部动作的具体形式,它们被称为运动单元(Action Unit,简 称AU)。 FACS中定义了 44种AU,但是其中许多AU在日常生活中是很少出现 的,甚至有些AU对于普通人来说很难做出。为了使操作者在人机交互中能够 较容易的做出这些AU,本发明的实施例中仅需选用其中的某些较容易做出且 计算机识别率较高的几种AU或者AU的组合,特别地,可以由操作者在计算 机可识别的AU之中根据自己的情况选择合适的AU。为了保证识别的准确性, 可以在本装置开始使用之前可以通过面部动作训练器向操作者发出针对某一 面部动作的训练提示,如眉毛上升并净大眼睛,操作者按照提示进行相应搡 作,当操作者没有达到训练器要求的标准范围时,训练器可以向操作者发出 提示信息,直到操作者达到了训练器要求的标准范围。在该实施例以及以后 的实施例中,选择如图2、图3、图4、图5所示的几种AU或者AU的组合作 为与特定控制指令对应的预设面部动作。其中,图2代表的动作是眉毛下降 并且柠在一起(皱眉),简称面部动作A;图3代表眉毛上升并峥大眼睛,简 称面部动作B;图4代表嘴巴张开,简称面部动作C。面部动作A代表的控制 指令为左键单击,面部动作B代表的控制指令为左键双击,面部动作C代表 的控制指令为右键单击。在输出控制指令之前,即执行步骤5之前,都需要执行上述步骤l、步骤
2、步骤3以及步骤4,其中步骤1和步骤2在时间上具有先后链式关系,步 骤3和步骤4在时间上具有先后^f连式关系。步骤1和步骤3,步骤2和步骤4 在时间上不具有先后链式关系。
该实施例通过采集视线跟踪信息获取视线焦点位置,采集面部图像信息 识别出面部动作,最后根据所述视线焦点位置输出与所述面部动作对应的控 制指令;在整个过程中,由于操作者的手无需接触键盘或鼠标或操作杆等外 设,这样使得航空驾驶等特殊场合无法利用手进行操作的情况下得以顺利地 应用,另还能够方便一些手部无法动作的残疾人;采用面部动作及视线焦点 位置同时作为控制指令输出的依据条件,使得交互协议简单、控制指令的输 出更为准确。
视线跟踪操作在给操作者带来便利的同时,由于操作者的视线发出的随 意性,如果缺乏启动或关闭视线跟踪操作的指令信息,有可能会产生误操作, 如操作者视线停留在某个位置,嘴巴张开时,可能并不代表要发出的指令为 右键单击操作。因此可以设置一预设开关动作,当检测到面部动作为所述预 设开关动作时,启动或停止视线跟踪操作。图5代表鼻子用力卑起并形成皱 紋,简称面部动作D。实施例二以及以后的实施例预先设定面部动作D为预设 开关动作,当检测到面部动作为面部动作D时,启动或关闭视线跟踪操作, 若未检测到面部动作为面部动作D,则检测所述面部动作是否为预设开关动 作。以操作计算机为例,实施例二与实施例一的区别在于,当计算机开机时, 首先启动面部动作识别单元,采集面部图像信息,当根据所述面部图像信息 首次识别出面部动作D时启动视线跟踪处理单元,相应地启动视线跟踪操作。 图6为本发明视线跟踪的人机交互方法的实施例二的流程图,与本发明一见线 跟踪人才几交互方法的实施例一相比,还包括
步骤la、采集面部图像信息。
步骤2a、根据所述面部图像信息识別出面部动作。步骤3a、;险测所述面部动作是否为面部动作D,若所述面部动作为面部 动作D,则执行步骤l;若否,则返回执行步骤la、检测所述面部动作是否为 面部动作D。
该实施例中,当计算机开机时,首先启动面部动作识别单元,当首次才企 测到所述面部动作为预设开关动作时,启动视线跟踪操作,所述^L线跟踪操 作包括采集视线跟踪信息及根据所述视线跟踪信息获取视线焦点位置,从而 减少了误操作出现的可能性。
计算机开机以后,可以通过判断根据面部图像信息识别出的面部动作是 否为预设开关动作,当前出现次数为奇数次(或非零偶数),启动(或关闭) 视线跟踪操作。图7为本发明视线跟踪人机交互方法的实施例三的流程图, 与本发明视线跟踪人机交互方法的实施例 一相比,还包括
步骤lb、采集面部图像信息。
步骤2b、冲艮据所述面部图像信息识别出面部动作。
步骤3b、检测所述面部动作是否为面部动作D,若所述面部动作为面部 动作D,则执行步骤4b;若否,则返回执行步骤lb、检测所述面部动作是否 为面部动作D。
步骤4b、判断面部动作D出现次数是否为奇数,若为奇数次,则执行步 骤l;若否,执行步骤5b。
步骤5b、停止视线跟踪操作,转到步骤lb。
该实施例中,当计算4几开机以后时,通过才企测面部动作是否为预i殳开关 动作,且当前出现次数是否为奇数次,来决定是启动还是关闭视线跟踪操作, 从而进一 步减少了误操作出现的可能性。
视线焦点位置对应着需要控制的目标项,当视线跟踪信息中的视线不在 预设视线位置范围内时,视线焦点位置就相应的在预设视线焦点位置范围之 外,因此可以通过设定预设视线位置范围,判断视线跟踪信息中的视线是否 预设视线位置范围内。当确认视线跟踪信息中的视线在预设视线位置范围内时,再进行下一步识别出面部动作的搡作。具体为检测所述视线跟踪信息 中的视线是否在预设视线位置范围内,若所述视线在预设视线位置范围内时, 面部动作识别单元工作,即采集当前的面部图像信息,根据当前的面部图像
信息识别出面部动作;视线跟踪处理单元停止工作,停止视线跟踪操作。若 视线跟踪信息中的视线在预设视线位置范围外,面部动作识别单元停止工作, 视线跟踪处理单元工作,执行视线跟踪操作。
实施例四中,以控制屏幕上的目标项为例,该实施例,预设视线位置范 围为屏幕范围。图8为本发明视线跟踪人机交互方法的实施例四的流程图, 与本发明一见线跟踪人机交互方法的实施例三相比,还包括
步骤20、检测所述视线跟踪信息中的视线是否在屏幕范围内,若所述视 线跟踪信息中的视线在屏幕范围内,则执行步骤3;否则,执行步骤l。该实 施例中,通过增加检测视线跟踪信息中的视线是否在预设视线位置范围内的 步骤,当视线不在预设视线位置范围内时,可停止面部图像采集及识别操作, 从而更进一步减少了误操作出现的可能性。
图9为本发明碎见线跟踪人机交互方法的实施例五的流程图,该实施例与 上一实施例的区别在于,检测视线跟踪信息中的视线是否在预设视线位置范 围内的步骤设置在步骤1后,并且向操作者发出警告信息,用于提示操作者 调整视线。具体为
步骤10、检测所述视线跟踪信息中的视线是否在屏幕范围内,若所述视 线跟踪信息中的视线在屏幕范围内,执行步骤2;否则,执行步骤10';
步骤IO,、发提示音,该提示音用于提示操作者调整视线。
该实施例中,通过在采集到视线跟踪信息后,增加检测视线跟踪信息中 的视线是否在预设视线位置范围内的步骤,使得能够迅速地对视线是否在预 设视线位置范围内做出判断,并通过向操作者发提示音,引导操作者,使操 作者及时地调整视线,以达到及时控制目标项的目的。
面部动作对应着需要发出的控制指令,当采集的面部图像信息中面部转角不在预设面部转角范围内时,识别出的面部动作可能出现不准确的情况。 因此可以通过设定预设面部转角范围,判断面部图像信息中的面部转角是否 在预设面部转角范围内。当确认面部图像信息中的面部转角在预设面部转角 范围内时,再进行下一步识别面部动作的操作。
图10为本发明视线跟踪人机交互方法的实施例六的流程图,与本发明视 线跟踪人机交互方法的实施例四区别在于,在确认视线跟踪信息中的视线在
预设视线位置范围内之后,识别出面部动作之前,还包括
步骤30、检测所述面部图像信息中的面部转角是否在预设面部转角范围 内,若所述面部转角在预设面部转角范围内,执行步骤4;否则,执行步骤 10。
人脸相对于屏幕在水平方向的转动角度为面部转角,当面部转角在预设 面部转角范围外时,停止面部图像信息的识别,转到视线跟踪操作,检测所 述视线跟踪信息中的视线是否在预设视线位置范围内。实施例六中还发出警 告信息以说明交互系统已停止工作,提示操作者调整视线。面部转角的估计 方法是,利用公知的人眼定位技术在图像上自动的测量双眼中心的距离,并 计算与人脸正面时双眼中心之间的距离的比值,该值可以衡量面部转角的大小。
该实施例中,当检测到所述视线在预设视线位置范围内时,进一步检测 面部图像信息中的面部转角是否在预设面部转角范围内,当面部转角在预设 面部转角范围外时,停止面部图像信息的识别,转到视线跟踪操作,不进 行面部图像信息的识别搡作,从而保证了识别的准确度。
特定的面部动作对应着特定的控制指令, 一般预设一些操作者可以方便 做出,且便于识别的面部动作对应特定的控制指令。预设面部动作包括预设 开关动作和预设控制动作。在识别出面部动作之后,根据所述视线焦点位置 输出与所述面部动作对应的控制指令之前还包括确认所述面部动作为预设 面部动作且非预设开关动作,即确认所述面部动作为预设控制动作。图ll为本发明视线跟踪人机交互方法的实施例七的流程图。该实施例与上一实施例 的区别在于,在识别出面部动作之后,根据所述视线焦点位置输出与所述面
部动作对应的控制指令之前还包括
步骤40、检测所述面部动作是否为预设面部动作,若所述面部动作为 预设面部动作A,则执行步骤51;若所述面部动作为预设面部动作B,则执 行步骤52;若所述面部动作为预设面部动作C,则执行步骤53;若所述面部 动作为预设面部动作D,则执行步骤5b;若所述面部动作非预设面部动作, 执行步骤10',发出警告音,提示用户重新调整面部图像,当用户调整面 部图像时,相应的视线跟踪信息中视线也就会变化,因此需检测所述视线 是否在预设视线位置范围内。
步骤51、根据所述视线焦点位置输出与所述面部动作A对应的左键单击控 制指令。
步骤52、根据所述视线焦点位置输出与所述面部动作B对应的左键双击控 制指令。
步骤5 3、根据所述视线焦点位置输出与所述面部动作C对应的右键单击控 制指令。
以上视线跟踪人机交互方法的实施例中,面部动作对应的控制指令可 以为系统的缺省设置,也可以灵活的调整。当用户对系统缺省设置的面部 动作与控制指令的对应映射不习惯时,可以根据自己的个人偏好与习惯灵 活地选定面部动作及其对应映射的控制指令,也即用户可以更新面部动作 与控制指令的映射关系,具体为更新与所述面部动作对应的控制指令或更 新与所述控制指令对应的面部动作。该方法使得面部动作与控制指令实现 灵活配置,最大限度地按照用户的个人情况配置,而不局限于缺省配置, 使得用户使用起来更方便。
图12为本发明视线跟踪人机交互装置的实施例一的结构图,包括视
线跟踪处理单元IOO,用于进行视线跟踪操作,所述视线跟踪操作包括采集 视线跟踪信息并根据所述视线跟踪信息获取视线焦点位置;面部动作识别单元200,用于釆集面部图像信息并根据所述面部图像信息识别出面部动 作;以及控制指令输出单元300,与所述视线跟踪处理单元100及所述面部 动作识别单元200分别连接,用于根据所述视线焦点位置输出与所述面部动 作对应的控制指令。
该实施例通过在原有视线跟踪处理单元的基础上增设面部动作识别 单元,由控制指令输出单元根据所述视线焦点位置输出与所述面部动作对应 的控制指令,实现了非接触的控制方式,提高了用户使用的舒适度,避免 了公共设备使用过程中由于操作者的手接触键盘或鼠标或操作杆等外设而 造成的疾病的传播。
图13为本发明视线跟踪人机交互装置的实施例二的结构图。该实施例 与上一实施例的区别在于,通过面部动作识别单元来开启和关闭视线跟踪 处理单元,具体为,面部动作识别单元200与视线跟踪处理单元100连接, 当检测到所述面部动作为预设开关动作时,用于通知视线跟踪处理单元 100,相应地启动或停止视线跟踪操作,所述视线跟踪操作包括采集视线跟 踪信息及根据所述视线跟踪信息获取视线焦点位置。当计算机开机时,首 先启动面部动作识别单元,当首次;险测到面部动作为预设开关信息时,通 知视线跟踪处理单元IOO启动视线跟踪操作,具体为检测面部动作是否为 预设开关动作,若是,则开启视线跟踪处理单元,若否,则采集面部图像 信息以及根据面部图像信息识别面部动作,直至所述面部动作为预设开关 动作再开启视线跟踪处理单元。
该实施例中,当计算机开机时,首先面部动作识别单元,当首次4企测 到面部动作为预设开关动作时,启动视线跟踪操作,从而减少了误操作出 现的可能性。
图14为本发明视线跟踪人机交互装置的实施例三的结构图。该实施例 与本发明视线跟踪人际交互装置的实施一的区别在于还包括同步处理模块 400,视线跟踪处理单元100通过同步处理模块400与面部动作识别单元200连接,当检测所述视线跟踪信息中的视线在预设视线位置范围内时, 用于通过同步处理模块400通知面部动作识别单元200,根据当前的面部 图像信息识别出面部动作。
图15为本发明视线跟踪人机交互装置的实施例四的结构图。该实施例 与上一实施例的区别在于,面部动作识别单元200还通过同步处理才莫块400 与视线跟踪处理单元100,当检测所述面部图像信息中的面部转角在预设面部 转角范围外时,用于通过所述同步处理模块400通知视线跟踪处理单元100, 检测所述视线跟踪信息中的视线是否在预设视线位置范围内。
图16为本发明视线跟踪人机交互装置的实施例五的结构图。面部动作 识别单元200与视线跟踪处理单元100连接,当检测到所述面部动作为预 设开关动作时,相应地启动或停止视线跟踪操作,所述视线跟踪操作包括 采集视线跟踪信息及根据所述视线跟踪信息获取视线焦点位置;同步处理 模块400与面部动作识别单元200及视线跟踪处理单元IOO分别连接,视 线跟踪处理单元100通过同步处理模块400与面部动作识别单元200连接, 当检测所述视线跟踪信息中的视线在预设视线位置范围内时,用于通过同 步处理;漠块400通知面部动作识别单元200,根据当前的面部图像信息识 别面部动作;面部动作识别单元200通过同步处理才莫块400与^L线跟踪处理 单元100,当检测所述面部图像信息中的面部转角在预设面部转角范围外时, 用于通过所述同步处理模块400通知视线跟踪处理单元100,检测所述视线跟 踪信息中的视线是否在预设视线位置范围内。
图17为本发明视线跟踪人机交互装置的实施例六的结构图。该实施例 中,视线跟踪处理单元IOO包括视线跟踪采集模块IOI,用于采集视线跟踪 信息;以及视线跟踪处理模块102,与视线跟踪采集模块101连接,用于根据 视线跟踪信息获取视线焦点位置。面部动作识别单元200包括面部图像采 集模块201,用于采集面部图像信息;以及面部动作识别模块202,与面部图 像采集模块201连接,用于根据面部图像信息识别面部动作。面部动作识别 模块202与视线跟踪采集模块101及视线跟踪处理模块102连接,当检测到所述面部动作为预设开关动作时,相应地启动或停止视线跟踪操作,所述 视线跟踪操作包括采集视线跟踪信息及根据所述视线跟踪信息荻取视线焦
点位置,即相应地启动或关闭^L线跟踪处理单元;同步处理才莫块400与面 部图像采集模块201及视线跟踪采集模块101分别连接,视线跟踪采集模 块101通过同步处理模块400与面部图像模块201连接,当检测所述视线 跟踪信息中的视线在预设视线位置范围内时,用于通过同步处理模块400 通知面部图像采集模块201,将当前的面部图像信息发送至面部动作识别 模块202,面部动作识别模块202根据当前的面部图像信息识别面部动作; 面部图像采集模块201通过同步处理模块400与视线跟踪采集模块101,当检 测所述面部图像信息中的面部转角在预设面部转角范围外时,用于通过所述 同步处理模块400通知视线跟踪采集模块101,检测所述视线跟踪信息中的视 线是否在预设视线位置范围内。
图18为本发明视线跟踪人机交互装置的实施例七的结构图。控制指令 输出单元中存储的面部动作与控制指令的映射关系可以为系统的缺省设置, 也可以灵活的调整,因此视线跟踪人机交互装置还可以包括一更新模块 500,与控制指令输出单元300连接,用于更新所述控制指令输出单元300 中的面部动作与控制指令的映射关系。
图19为本发明视线跟踪人机交互装置的实施例八的结构图。该实施例 中,控制指令输出单元300中的面部动作与控制指令的映射关系可以存储在 一数据库中,因此控制指令输出单元300还可以包括一数据库301,该数据库 301用于存储面部动作与控制指令的映射关系。该数据库301中存储的面部动 作与控制指令的映射关系可以为系统的缺省设置,也可以灵活的调整。控制 指令输出单元300还包括一更新模块302,该更新模块302与数据库301连 接,用于更新数据库301中的面部动作与控制指令的映射关系。
当用户对系统缺省设置的面部动作与控制指令的对应映射不习惯时,
指令,也即用户可以更新面部动作与控制指令的映射关系,具体为更新与 所述面部动作对应的控制指令或更新与所述控制指令对应的面部动作。该方法使得面部动作与控制指令实现灵活配置,最大限度地按照用户的个人 情况配置,而不局限于缺省配置,使得用户使用起来更方便。
上述视线跟踪人机交互方法及装置的实施例通过采集视线跟踪信息获得 视线焦点位置,以及采集面部图像信息识别出面部动作,最后根据视线焦点 位置输出与面部动作对应的控制指令。在整个过程中,搡作者的手无需接触 键盘或鼠标或操作杆等外设,可以完全模拟鼠标等外设输入设备,避免了公
共设备使用过程中疾病的传播;还可在航空驾驶等特殊场合无法利用手进行 操作的情况下,为操作人员的方便操作;另外还能够方便一些手部无法动作 的残疾人方便的操作计算机等。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制, 尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当 理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技 术方案的精神和范围。
权利要求
1、 一种视线跟踪人机交互方法,其特征在于,包括 采集视线跟踪信息,并根据所述视线跟踪信息获取视线焦点位置; 采集面部图像信息,并根据所述面部图像信息识别出面部动作; 根据所述视线焦点位置输出与所述面部动作对应的控制指令。
2、 根据权利要求1所述的方法,其特征在于,所述的面部动作预设开关动作,所述方法具体包括采集面部图像信息,根据所述面部图像信息首次识别出所述预设开关动作或识别出所述预设开关动作的次数为奇数后,执行以下步骤釆集视线跟踪信息,并根据所述视线跟踪信息获取视线焦点位置; 采集面部图像信息,并根据所述面部图像信息识别出面部动作; 根据所述视线焦点位置输出与所述面部动作对应的控制指令。
3、 根据权利要求1或2所述的方法,其特征在于,在识别出面部动作之 后,根据所述视线焦点位置输出与所述面部动作对应的控制指令之前还包括确认识别到面部动作非预设开关动作。
4、 根据权利要求1或2所述的方法,其特征在于,在采集视线跟踪信息 之后识别出面部动作之前还包括确认视线跟踪信息中的视线在预设视线位置范围内。
5、 根据权利要求4所述的方法,其特征在于,在确认视线跟踪信息中的 视线在预设视线位置范围内之后,识别出面部动作之前还包括确认面部图像信息中的面部转角在预设面部转角范围内。
6、 根据权利要求1或2所述的方法,其特征在于,在识别出面部动作之 后,根据所述视线焦点位置输出与所述面部动作对应的控制指令之前还包括确认所述面部动作为预设面部动作且非预设开关动作。
7、 根据权利要求1或2所述的方法,其特征在于,还包括更新面部动 作与控制指令的映射关系。
8、 一种视线跟踪人机交互装置,其特征在于,包括 视线跟踪处理单元,用于进行视线跟踪操作,所述视线跟踪操作包括采集视线跟踪信息并根据所述视线跟踪信息获取视线焦点位置;面部动作识别单元,用于釆集面部图像信息并根据所述面部图像信息识别出面部动作;以及控制指令输出单元,与所述视线跟踪处理单元及所述面部动作识别单元 分别连接,用于根据所述视线焦点位置输出与所述面部动作对应的控制指令。
9、根据权利要求8所述的装置,其特征在于,所述面部动作识别单元与 所述视线跟踪处理单元连接,当检测到所述面部动作为预设开关动作时,用 于通知视线跟踪处理单元,相应地启动或停止视线跟踪搡作。
10、 根据权利要求8所述的装置,其特征在于,还包括同步处理模块, 所述视线跟踪处理单元通过所述同步处理模块与所述面部动作识别单元连 接,当检测所述视线跟踪信息中的视线在预设视线位置范围内时,用于通过 所述同步处理模块通知面部动作识别单元,根据当前面部图像信息识别出当 前面部动作。
11、 根据权利要求9所述的装置,其特征在于,所述面部动作识別单元 通过所述同步处理模块与所述视线跟踪处理单元连接,当检测所述面部图像 信息中的面部转角在预设面部转角范围外时,用于通过所述同步处理模块通 知视线跟踪处理单元,检测所述视线跟踪信息中的视线是否在预设视线位置 范围内。
12、 根据权利要求8-ll所述的任一装置,其特征在于,还包括更新模块,与所述控制指令输出单元连接,用于更新所述控制指令输出单元中的面 部动作与控制指令的映射关系。
13、 根据权利要求8-11所述的任一装置,其特征在于,所述视线跟踪处 理单元包括视线跟踪采集模块,用于采集视线跟踪信息;以及 视线跟踪处理模块,与所述视线跟踪采集模块连接,用于根据视线跟踪 信息获取视线焦点位置。
14、 根据权利要求8-11所述的任一装置,其特征在于,所述面部动作识 别单元包括面部图像采集模块,用于采集面部图像信息;以及面部动作识别模块,与所述面部图像采集模块连接,用于根据面部图像 信息识别出面部动作。
15、 根据权利要求8-11所述的任一装置,其特征在于,所述控制指令输 出单元还包括数据库,用于存储面部动作与控制指令的映射关系。
16、 根据权利要求15所述的装置,其特征在于,所述控制指令输出单元 还包括更新模块,与所述数据库连接,用于更新所述数据库中的面部动作 与控制指令的映射关系。
全文摘要
本发明涉及一种视线跟踪人机交互方法,其中包括采集视线跟踪信息,并根据所述视线跟踪信息获取视线焦点位置;采集面部图像信息,并根据所述面部图像信息识别出面部动作;根据所述视线焦点位置输出与所述面部动作对应的控制指令。本发明还涉及一种视线跟踪人机交互装置,包括视线跟踪处理单元,用于进行视线跟踪操作;面部动作识别单元,用于采集面部图像信息并根据所述面部图像信息识别出面部动作;以及控制指令输出单元,与视线跟踪处理单元及面部动作识别单元分别连接,用于根据所述视线焦点位置输出与所述面部动作对应的控制指令。本发明的实施例提供了一种非接触且交互协议简单的视线跟踪人机交互方法及装置。
文档编号G06F3/01GK101311882SQ20071009951
公开日2008年11月26日 申请日期2007年5月23日 优先权日2007年5月23日
发明者左坤隆 申请人:华为技术有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1