界面操作的方法和系统与流程

本发明属于机器视觉技术领域，具体涉及一种界面操作的方法和系统。

背景技术：

目前，眼动跟踪技术被广泛应用于新型人机交互(用眼睛打字、玩游戏、操作电脑)、医学诊断、用户体验研究、心理与认知研究、教育辅助等领域。

眼动跟踪技术是指：利用眼动测量设备，以毫秒级捕捉使用者眼睛图像，通过分析瞳孔轮廓、虹膜轮廓、瞳孔中心、虹膜中心及外界光源在角膜上的反射点等特征的相对位置，估计视线方向或者视线落点。

眼动跟踪技术可应用于图形界面操作，从而实现智能人机交互。例如，通过眼动跟踪技术最快定位到用户欲操作的界面控件，然后对定位到的界面控件进行操作，从而替代传输的键盘鼠标操控方式，提高用户的交互体验。

然而，在实现本发明的过程中，发明人发现，现有技术至少存在以下不足：

在基于眼动跟踪技术实现图形界面操作时，有时候，用户仅仅是持续注视某个界面控件，而并非想对注视的界面控件进行操作，而现有的眼控模型只要识别出用户持续注视某个界面控件，都统一判定为用户欲对该界面控件进行操作，难免会发出误操作的问题，从而降低用户体验。

为解决上述问题，目前普遍的方案是增加触发操作所需的延时，但是，这种方案会降低交互效率，同时也难以彻底杜绝误操作。

另外，现有技术中也出现了眼动结合手势或语音进行操作的方法，从而提高操作的准确性，但是，将眼动与手势或语音结合，其使用场景受到一定的限制：(1)将眼动与手势结合时，一般需要添加触摸板，操控杆等硬件设备，如果采用摄像头采集手势图像，可见范围的限制要求用户距离摄像头保持一段距离，而一般人们使用电脑时，手都在桌面以下，使用手机时，手被占用，如果有意暴露手势给摄像头又会遮挡眼部，导致眼动跟踪失败；可见，将眼动与手势结合时，具有用户体验度差的问题。(2)将眼动与语音结合时，由于语音识别要求环境较安静，当环境噪音较高时，会降低语音识别的准确率，因此，使用场景受限；此外，当用户进行语音时，语音也会导致周围环境比较吵闹，又不适宜在图书馆等安静环境使用，使用场景仍然受限；此外，大多数用户并不习惯操作电脑时一直进行语音说话，因此，仍然具有用户体验度差的问题。

技术实现要素：

针对现有技术存在的缺陷，本发明提供一种界面操作的方法和系统，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种界面操作的方法，包括以下步骤：

信息获取步骤，实时获取眼部图像信息和头部运动信息；

头部动作获取步骤，对某一时间段T1内的头部运动信息进行分析，获取头部动作；

操作目标获取步骤，对某一时间段T2内的某一时刻t或某一时间段T2内的眼部图像信息进行分析，得到所述时间段T2内的时刻t或所述时间段T2内的注视点位置，根据所得到的注视点位置获取操作目标；

执行步骤，根据头部动作、操作目标与操作指令的对应关系，获取操作指令，并将所述操作指令作用于所述操作目标，对所述操作目标进行操作。

优选的，所述信息获取步骤具体为：

所述眼部图像信息通过以下方法获得：

通过图像采集装置实时采集得到眼部图像信息；

所述头部运动信息通过以下方法获得：

通过头部运动信息采集装置实时采集得到头部运动信息。

优选的，所述头部运动信息采集装置为图像采集装置；

所述头部运动信息通过以下方法获得：

头部图像信息采集步骤，通过所述图像采集设备实时采集得到头部图像信息；

头部运动信息获取步骤，对所述头部图像信息进行分析后，得到头部运动信息。

优选的，所述头部运动信息采集装置为头部动作传感器；

所述头部运动信息通过以下方法获得：通过所述头部动作传感器实时采集得到头部运动信息。

优选的，所述头部动作传感器为头部附带陀螺仪和/或头部体感贴片和/或红外激光雷达基站和/或超声波定位器和/或激光定位器和/或电磁跟踪器。

优选的，对某一时间段T1内的头部运动信息进行分析，具体包括：

头部特征提取步骤，对采集得到的某一时间段T1内的头部运动信息进行特征提取，提取到某一时间段T1内的头部特征信息；

头部特征分析步骤，对提取到的时间段T1内的头部特征信息进行分析。

优选的，所述头部动作获取步骤中，还包括有效头部动作判断步骤，具体为：

判断所述头部动作是否为有效头部动作；如果是，则执行操作目标获取步骤或执行步骤。

优选的，所述操作目标获取步骤中，对某一时间段T2内的某一时刻t或某一时间段T2内的眼部图像信息进行分析，包括如下步骤：

眼部特征提取步骤，对某一时间段T2内的某一时刻t或某一时间段T2内的眼部图像信息进行特征提取，提取到眼部特征信息；

眼部特征分析步骤，对提取到的眼部特征信息进行分析。

优选的，所述时间段TI与所述时间段T2满足预设关系，具体为：

(1)预定义时间段TI的起始时刻为t10，结束时刻为t11；

预定义时间段T2的起始时刻为t20，结束时刻为t21；

(2)若t20＝t11+T_i或t10＝t21+T_i，则视为TI与T2为固定的时间间隔T_i；其中，T_i为预定义值，或满足预设规则条件；

(3)若t11＝t20或t10＝t21，则视为TI与T2是连续的；

(4)若t10≤t20≤t11或t20≤t10≤t21，则视为TI与T2是有重合。

优选的，所述头部动作获取步骤，具体为：

(1)预定义纵向位移：在预定义的时间段T_Y内，头部位置纵向变化区间为[Y₁—Y₂]；

预定义横向位移：在预定义的时间段T_x内，头部位置横向变化区间为[X₁—X₂]；

(2)若在T1时间段内，首先发生一次向下或向上的纵向位移，则视为发生一次下或上位移；然后，在预定义的间隔时间T_i内，又发生一次上或下位移，则视为发生一次点头的头部动作；其中，T_i小于T1；

(3)若在T1时间段内，首先发生一次向左或向右的横向位移，则视为发生一次左或右位移；然后，在预定义的间隔时间T_i内，又发生一次右或左位移。则视为发生一次左摇头或右摇头的头部动作；其中，T_i小于T1。

优选的，执行步骤中，头部动作、操作目标与操作指令的对应关系具体包括：

当操作目标为屏幕右/左/下/上侧边缘，头部动作为左/右/上/下位移时，所对应的操作指令为：屏幕向左/右/上/下滚动操作；

当操作目标为屏幕非边缘的某个位置时，视为选中某个操控控件；则：

点头一次对应的操作指令为：单击操作；

点头两次对应的操作指令为：双击操作；

左/右摇头一次对应的操作指令为：取消操作；

右位移一次对应的操作指令为：右击操作；

点头一次后，左/右/上/下位移一次，再点头一次对应的操作指令为：向左/右/上/下拖拽操作，所述左/右/上/下位移与操作目标位移一致。

优选的，操作目标获取步骤之前，还包括：提醒步骤；

提醒步骤，在所述头部动作获取步骤完成时，通过图片、文字、语音或视频输出操作，提醒用户进行操作目标获取步骤。

本发明还提供一种界面操作的系统，包括：

信息获取模块，用于实时获取眼部图像信息和头部运动信息；

头部动作获取模块，用于对某一时间段T1内的头部运动信息进行分析，获取头部动作；

操作目标获取模块，用于对某一时间段T2内的某一时刻t或某一时间段T2内的眼部图像信息进行分析，得到所述时间段T2内的时刻t或所述时间段T2内的注视点位置，根据所得到的注视点位置获取操作目标；

执行模块，用于根据头部动作、操作目标与操作指令的对应关系，获取操作指令，并将所述操作指令作用于所述操作目标，对所述操作目标进行操作。

优选的，所述信息获取模块包括：眼部图像信息获取子模块和头部运动信息获取子模块；

所述眼部图像信息获取子模块用于实时采集得到眼部图像信息；

所述头部运动信息获取子模块用于实时采集得到头部运动信息。

优选的，所述头部运动信息获取子模块为图像采集装置；

所述头部运动信息获取子模块具体用于：通过所述图像采集设备实时采集得到头部图像信息；然后，对所述头部图像信息进行分析后，得到头部运动信息。

优选的，所述头部运动信息获取子模块为头部动作传感器；

所述头部运动信息获取子模块具体用于：通过所述头部动作传感器实时采集得到头部运动信息。

优选的，所述头部动作传感器为头部附带陀螺仪和/或头部体感贴片和/或红外激光雷达基站和/或超声波定位器和/或激光定位器和/或电磁跟踪器。

优选的，所述头部动作获取模块包括：

头部特征提取子模块，用于对采集得到的某一时间段T1内的头部运动信息进行特征提取，提取到某一时间段T1内的头部特征信息；

头部特征分析子模块，用于对提取到的时间段T1内的头部特征信息进行分析。

优选的，还包括有效头部动作判断模块；

所述有效头部动作判断模块，用于判断所述头部动作是否为有效头部动作；如果是，则向所述操作目标获取模块和所述执行模块发送通知消息。

优选的，所述操作目标获取模块包括：

眼部特征提取子模块，用于对某一时间段T2内的某一时刻t或某一时间段T2内的眼部图像信息进行特征提取，提取到眼部特征信息；

眼部特征分析子模块，用于对提取到的眼部特征信息进行分析。

优选的，所述时间段TI与所述时间段T2满足预设关系，具体为：

(1)预定义时间段TI的起始时刻为t10，结束时刻为t11；

预定义时间段T2的起始时刻为t20，结束时刻为t21；

(2)若t20＝t11+T_i或t10＝t21+T_i，则视为TI与T2为固定的时间间隔T_i；其中，T_i为预定义值，或满足预设规则条件；

(3)若t11＝t20或t10＝t21，则视为TI与T2是连续的；

(4)若t10≤t20≤t11或t20≤t10≤t21，则视为TI与T2是有重合。

优选的，所述头部动作获取模块具体用于：

(1)预定义纵向位移：在预定义的时间段T_Y内，头部位置纵向变化区间为[Y₁—Y₂]；

预定义横向位移：在预定义的时间段T_x内，头部位置横向变化区间为[X₁—X₂]；

(2)若在T1时间段内，首先发生一次向下或向上的纵向位移，则视为发生一次下或上位移；然后，在预定义的间隔时间T_i内，又发生一次上或下位移，则视为发生一次点头的头部动作；其中，T_i小于T1；

(3)若在T1时间段内，首先发生一次向左或向右的横向位移，则视为发生一次左或右位移；然后，在预定义的间隔时间T_i内，又发生一次右或左位移。则视为发生一次左摇头或右摇头的头部动作；其中，T_i小于T1。

优选的，所述执行模块在执行过程时，头部动作、操作目标与操作指令的对应关系具体包括：

当操作目标为屏幕右/左/下/上侧边缘，头部动作为左/右/上/下位移时，所对应的操作指令为：屏幕向左/右/上/下滚动操作；

当操作目标为屏幕非边缘的某个位置时，视为选中某个操控控件；则：

点头一次对应的操作指令为：单击操作；

点头两次对应的操作指令为：双击操作；

左/右摇头一次对应的操作指令为：取消操作；

右位移一次对应的操作指令为：右击操作；

点头一次后，左/右/上/下位移一次，再点头一次对应的操作指令为：向左/右/上/下拖拽操作，所述左/右/上/下位移与操作目标位移一致。

优选的，还包括提醒模块；

所述提醒模块用于：在所述头部动作获取模块执行完成时，通过图片、文字、语音或视频输出操作，提醒用户进行操作目标获取步骤。

本发明提供的界面操作的方法和系统具有以下优点：

采用注视点定位用户欲操作的目标，具有直观迅速，持续注视配合头部姿势能大大杜绝误操作情况，提高操作的准确识别率。

附图说明

图1为本发明提供的界面操作的方法的流程示意图；

图2为本发明提供的界面操作的系统的结构示意图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供的界面操作的方法和系统，为基于机器视觉领域的眼动跟踪技术与姿态识别领域的头部动作识别技术的综合应用，应用于新型人机交互场景，如PC机、手机、虚拟现实眼镜内的菜单操作、游戏动作触发等。具有精确、快捷的识别用户的操作意愿，达到智能人机交互的效果。

实施例一：

结合图1，本发明提供一种界面操作的方法，包括以下步骤：

(一)信息获取步骤，实时获取眼部图像信息和头部运动信息；

本步骤根据眼部图像信息和头部运动信息的来源不同，具体区分以下两种情况：

情况一：未配置头部动作传感器、仅配置图像采集装置

本种情况中，眼部图像信息和头部运动信息均通过图像采集装置获得。图像采集装置可以为红外摄像机，红外摄像机配置有红外灯和相关的控制电路，用于以毫秒级采集用户眼部图像和头部运动信息。

其中，眼部图像信息通过以下方法获得：通过图像采集装置实时采集得到眼部图像信息；

头部运动信息通过以下方法获得：通过头部运动信息采集装置实时采集得到头部运动信息。其中，头部运动信息采集装置即为图像采集装置。具体的，头部运动信息通过以下方法获得：

头部图像信息采集步骤，通过所述图像采集设备实时采集得到头部图像信息；

头部运动信息获取步骤，对所述头部图像信息进行分析后，得到头部运动信息。

情况二：同时配置头部动作传感器和图像采集装置

眼部图像信息仍然通过图像采集装置实时采集得到；

所述头部运动信息通过以下方法获得：通过所述头部动作传感器实时采集得到头部运动信息。其中，头部动作传感器为头部附带陀螺仪和/或头部体感贴片和/或红外激光雷达基站和/或超声波定位器和/或激光定位器和/或电磁跟踪器。

(二)头部动作获取步骤，对某一时间段T1内的头部运动信息进行分析，获取头部动作；

本步骤具体包括：

头部特征提取步骤，对采集得到的某一时间段T1内的头部运动信息进行特征提取，提取到某一时间段T1内的头部特征信息；

头部特征分析步骤，对提取到的时间段T1内的头部特征信息进行分析。

为提高界面操作的准确性，防止误操作，头部动作获取步骤中，还包括有效头部动作判断步骤，具体为：

判断所述头部动作是否为有效头部动作；如果是，则执行操作目标获取步骤或执行步骤。其中，通过以下方法判断是否为有效头部动作：

(1)预定义纵向位移：在预定义的时间段T_Y内，头部位置纵向变化区间为[Y₁—Y₂]；

预定义横向位移：在预定义的时间段T_x内，头部位置横向变化区间为[X₁—X₂]；

(2)若在T1时间段内，首先发生一次向下或向上的纵向位移，则视为发生一次下或上位移；然后，在预定义的间隔时间T_i内，又发生一次上或下位移，则视为发生一次点头的头部动作；其中，T_i小于T1；

(3)若在T1时间段内，首先发生一次向左或向右的横向位移，则视为发生一次左或右位移；然后，在预定义的间隔时间T_i内，又发生一次右或左位移。则视为发生一次左摇头或右摇头的头部动作；其中，T_i小于T1。

(三)操作目标获取步骤，对某一时间段T2内的某一时刻t或某一时间段T2内的眼部图像信息进行分析，得到所述时间段T2内的时刻t或所述时间段T2内的注视点位置，根据所得到的注视点位置获取操作目标；

其中，操作目标获取步骤中的时间段T2与头部动作获取步骤中的时间段T1满足预设关系，具体为：

(1)预定义时间段TI的起始时刻为t10，结束时刻为t11；

预定义时间段T2的起始时刻为t20，结束时刻为t21；

(2)若t20＝t11+T_i或t10＝t21+T_i，则视为TI与T2为固定的时间间隔T_i；其中，T_i为预定义值，或满足预设规则条件；

(3)若t11＝t20或t10＝t21，则视为TI与T2是连续的；

(4)若t10≤t20≤t11或t20≤t10≤t21，则视为TI与T2是有重合。

本步骤中，对某一时间段T2内的某一时刻t或某一时间段T2内的眼部图像信息进行分析，包括如下步骤：

眼部特征提取步骤，对某一时间段T2内的某一时刻t或某一时间段T2内的眼部图像信息进行特征提取，提取到眼部特征信息；眼动特征信息包括但不限于用户瞳孔位置、瞳孔半径和、普尔钦斑等特征，

眼部特征分析步骤，对提取到的眼部特征信息进行分析。

(四)执行步骤，根据头部动作、操作目标与操作指令的对应关系，获取操作指令，并将所述操作指令作用于所述操作目标，对所述操作目标进行操作。例如，弹出菜单、打开链接、翻到下一页、右击或左击某个界面控制等等。

头部动作、操作目标与操作指令的对应关系具体包括：

当操作目标为屏幕右/左/下/上侧边缘，头部动作为左/右/上/下位移时，所对应的操作指令为：屏幕向左/右/上/下滚动操作；

当操作目标为屏幕非边缘的某个位置时，视为选中某个操控控件；则：

点头一次对应的操作指令为：单击操作；

点头两次对应的操作指令为：双击操作；

左/右摇头一次对应的操作指令为：取消操作；

右位移一次对应的操作指令为：右击操作；

点头一次后，左/右/上/下位移一次，再点头一次对应的操作指令为：向左/右/上/下拖拽操作，所述左/右/上/下位移与操作目标位移一致。

实际应用中，根据实际需求，操作目标获取步骤之前，还可以包括：提醒步骤；

提醒步骤，在所述头部动作获取步骤完成时，通过图片、文字、语音或视频输出操作，提醒用户进行操作目标获取步骤。

需要强调的是，本发明中，头部动作获取步骤和操作目标获取步骤的先后次序关系是可互换或同时进行的。

实施例二：

本实施例提供一种结合注视点与头部动作进行界面操作的方法，应用于头戴式显示设备中，结合注视点与头部点头动作，达到操作注视目标的效果；通过摇头一次，达到撤销(与返回)的效果。

具体方法如下：

(1)头戴式显示设备上的硬件改造

主流的头戴式显示设备都配备有头部动作传感器，因此，头部动作是可以采用头戴式显示设备原有装备，即头部动作传感器直接识别。其中，头部动作传感器可以为头部附带陀螺仪和/或头部体感贴片和/或红外激光雷达基站和/或超声波定位器和/或激光定位器和/或电磁跟踪器等。在头戴式显示设备中，实现注视点识别需要添加眼部摄像机、控制电路和/或红外光源。

(2)实时计算用户注视点

眼部摄像机以毫秒级采集用户的眼部图像，并从眼部图像中实时提取其眼动特征信息，包括用户瞳孔位置、瞳孔半径和、普尔钦斑等特征，根据提取的眼动特征信息实时计算屏幕注视点位置。

(3)实时监控用户头部姿势，并判断是否发生头部动作

实时监控用户头部姿势，对T1时间段内的头部特征信息进行分析，获取头部姿态变化信息；判断所述头部姿态变化信息是否为头部动作，其中，头部动作包括：点头的头部动作、左摇头或右摇头的头部动作。判断方法为：

1)预定义纵向位移：在预定义的时间段T_Y内，头部位置纵向变化区间为[Y₁—Y₂]；

预定义横向位移：在预定义的时间段T_x内，头部位置横向变化区间为[X₁—X₂]；

2)若在T1时间段内，首先发生一次向下或向上的纵向位移，则视为发生一次下或上位移；然后，在预定义的间隔时间T_i内，又发生一次上或下位移，则视为发生一次点头的头部动作；其中，T_i小于T1；

3)若在T1时间段内，首先发生一次向左或向右的横向位移，则视为发生一次左或右位移；然后，在预定义的间隔时间T_i内，又发生一次右或左位移。则视为发生一次左摇头或右摇头的头部动作；其中，T_i小于T1。

(4)头部姿势与注视点联合判断

当用户在T1时间段内发生一次头部动作时，判断在用户完成头部动作过程中，用户是否在时间段T2内的时刻t或时间段T2内持续注视某一可操作的图形用户界面目标。如果是，则视为一次执行操作。即：点头解析为操作注视目标；摇头解析为撤销操作。

其中，所述时间段TI与所述时间段T2满足预设关系，具体为：

(1)预定义时间段TI的起始时刻为t10，结束时刻为t11；

预定义时间段T2的起始时刻为t20，结束时刻为t21。

(2)若t20＝t11+T_i或t10＝t21+T_i，则视为TI与T2为固定的时间间隔T_i；其中，T_i为预定义值，或满足预设规则条件。

即：当用户在T1时间段内完成头部动作完成之后，判断经过时间间隔T_i后，用户是否在时间段T2内持续注视或在时间段T2内的时刻t注视某一可操作的图形用户界面目标，如果是，执行相应的界面操作。

(3)若t11＝t20或t10＝t21，则视为TI与T2是连续的。

(4)若t10≤t20≤t11或t20≤t10≤t21，则视为TI与T2是有重合。

本实施例利用头戴式显示设备中的头部动作传感器，例如陀螺仪，并增设眼动跟踪设备，实现在头戴式显示设备中结合注视点与头动对目标进行操作的目的。利用眼动跟踪技术快捷性、高带宽的同时，采用主动的头部动作，可有效杜绝误操作。

需要强调的是，本实施例仅为一种具体示例，方法上略为变更即可实施到其他应用场景，例如，如果用在PC机中，则需要采用图像处理算法代替陀螺仪实现头部动作识别，但对头部动作与注视点结合实现操作的基本方法大体一致。

实施例三：

本实施例为在PC机使用中，结合注视点与头部动作，达到操作界面的效果。

(1)PC机使用本系统需增加的硬件

需要眼动跟踪仪器设备，眼动跟踪仪器主要由摄像机、控制电路和/或红外光源组成，可通过USB、无线等方式与电脑连接。

(2)实时计算用户视点

与实施例二的步骤(2)基本一致。

(3)实时监控用户头部姿势，并判断是否发生头部动作

实时监控用户头部姿势，对T1时间段内的头部特征信息进行分析，获取头部姿态变化信息；判断所述头部姿态变化信息是否为头部动作，其中，头部动作包括：点头的头部动作、左摇头或右摇头的头部动作。判断方法为：

1)预定义纵向位移：在预定义的时间段T_Y内，头部位置纵向变化区间为[Y₁—Y₂]；

预定义横向位移：在预定义的时间段T_x内，头部位置横向变化区间为[X₁—X₂]；

2)若在T1时间段内，首先发生一次向下或向上的纵向位移，则视为发生一次下或上位移；然后，在预定义的间隔时间T_i内，又发生一次上或下位移，则视为发生一次点头的头部动作；其中，T_i小于T1；

3)若在T1时间段内，首先发生一次向左或向右的横向位移，则视为发生一次左或右位移；然后，在预定义的间隔时间T_i内，又发生一次右或左位移。则视为发生一次左摇头或右摇头的头部动作；其中，T_i小于T1。

(4)头部姿势与注视点联合判断

当用户在T1时间段内发生一次头部动作时，判断在用户完成头部动作过程中，用户在时间段T2内的时刻t或时间段T2内是否持续注视某一可操作的图形用户界面目标。如果是，则视为一次执行操作。

例如：当操作目标为屏幕右/左/下/上侧边缘，有效头部动作为有效左/右/上/下位移时，所对应的操作指令为：屏幕向左/右/上/下滚动操作；

当操作目标为屏幕非边缘的某个位置时，视为选中某个操控控件；则：

持续注视目标并点头一次对应的操作指令为：单击操作；

持续注视目标并点头两次对应的操作指令为：双击操作；

持续注视目标并左/右摇头一次对应的操作指令为：取消操作；

持续注视目标并右位移一次对应的操作指令为：右击操作；

持续注视目标并点头一次后，左/右/上/下位移一次，再点头一次对应的操作指令为：向左/右/上/下拖拽操作，所述有效左/右/上/下位移与操作目标位移一致。

本实施例利用眼动仪，实现在PC中结合注视点与头动对目标进行操作的目的。利用眼动跟踪技术快捷性、高带宽的同时，采用主动的头部动作杜绝“迈达斯接触”，即误操作。

本实施例只为举例用，方法上略为变更即可实施到其他应用场景。

实施例四：

结合图2，本发明还提供一种界面操作的系统，包括：

(1)信息获取模块，用于实时获取眼部图像信息和头部运动信息；

信息获取模块包括：眼部图像信息获取子模块和头部运动信息获取子模块；其中，所述眼部图像信息获取子模块用于实时采集得到眼部图像信息；

所述头部运动信息获取子模块用于实时采集得到头部运动信息。

当部运动信息获取子模块为图像采集装置时，头部运动信息获取子模块具体用于：通过所述图像采集设备实时采集得到头部图像信息；然后，对所述头部图像信息进行分析后，得到头部运动信息。

当头部运动信息获取子模块为头部动作传感器时，例如，头部附带陀螺仪和/或头部体感贴片和/或红外激光雷达基站和/或超声波定位器和/或激光定位器和/或电磁跟踪器，头部运动信息获取子模块具体用于：通过所述头部动作传感器实时采集得到头部运动信息。

(2)头部动作获取模块，用于对某一时间段T1内的头部运动信息进行分析，获取头部动作；

头部动作获取模块包括：

头部特征提取子模块，用于对采集得到的某一时间段T1内的头部运动信息进行特征提取，提取到某一时间段T1内的头部特征信息；

头部特征分析子模块，用于对提取到的时间段T1内的头部特征信息进行分析。

头部动作获取模块通过以下方法判断头部动作的种类：

1)预定义纵向位移：在预定义的时间段T_Y内，头部位置纵向变化区间为[Y₁—Y₂]；

预定义横向位移：在预定义的时间段T_x内，头部位置横向变化区间为[X₁—X₂]；

2)若在T1时间段内，首先发生一次向下或向上的纵向位移，则视为发生一次下或上位移；然后，在预定义的间隔时间T_i内，又发生一次上或下位移，则视为发生一次点头的头部动作；其中，T_i小于T1；

3)若在T1时间段内，首先发生一次向左或向右的横向位移，则视为发生一次左或右位移；然后，在预定义的间隔时间T_i内，又发生一次右或左位移。则视为发生一次左摇头或右摇头的头部动作；其中，T_i小于T1。

(3)操作目标获取模块，用于对某一时间段T2内的某一时刻t或某一时间段T2内的眼部图像信息进行分析，得到所述时间段T2内的时刻t或所述时间段T2内的注视点位置，根据所得到的注视点位置获取操作目标；

时间段TI与所述时间段T2满足预设关系，具体为：

1)预定义时间段TI的起始时刻为t10，结束时刻为t11；

预定义时间段T2的起始时刻为t20，结束时刻为t21；

2)若t20＝t11+T_i或t10＝t21+T_i，则视为TI与T2为固定的时间间隔T_i；其中，T_i为预定义值，或满足预设规则条件；

3)若t11＝t20或t10＝t21，则视为TI与T2是连续的；

4)若t10≤t20≤t11或t20≤t10≤t21，则视为TI与T2是有重合。

操作目标获取模块包括：

眼部特征提取子模块，用于对某一时间段T2内的某一时刻t或某一时间段T2内的眼部图像信息进行特征提取，提取到眼部特征信息；

眼部特征分析子模块，用于对提取到的眼部特征信息进行分析。

(4)执行模块，用于根据头部动作、操作目标与操作指令的对应关系，获取操作指令，并将所述操作指令作用于所述操作目标，对所述操作目标进行操作。

所述执行模块在执行过程时，头部动作、操作目标与操作指令的对应关系具体包括：

当操作目标为屏幕右/左/下/上侧边缘，头部动作为左/右/上/下位移时，所对应的操作指令为：屏幕向左/右/上/下滚动操作；

当操作目标为屏幕非边缘的某个位置时，视为选中某个操控控件；则：

点头一次对应的操作指令为：单击操作；

点头两次对应的操作指令为：双击操作；

左/右摇头一次对应的操作指令为：取消操作；

右位移一次对应的操作指令为：右击操作；

点头一次后，左/右/上/下位移一次，再点头一次对应的操作指令为：向左/右/上/下拖拽操作，所述左/右/上/下位移与操作目标位移一致。

另外，本发明还包括有效头部动作判断模块；所述有效头部动作判断模块，用于判断所述头部动作是否为有效头部动作；如果是，则向所述操作目标获取模块和所述执行模块发送通知消息。

本发明根据实际需求，还可设置提醒模块；提醒模块用于：在所述头部动作获取模块执行完成时，通过图片、文字、语音或视频输出操作，提醒用户进行操作目标获取步骤。

本发明提供的界面操作的方法和系统，采集到用户发生有效头部动作后再结合用户注视点，确定用户对图形界面的操作意愿。优点如下：

(1)采用注视点定位用户欲操作的目标，具有直观迅速，持续注视配合头部姿势能大大杜绝误操作情况，提高操作的准确识别率；

(2)可用于注视点识别的摄像头与处理器完全可以达到头部动作识别的需要，不需要添加额外硬件，只需添加头部动作识别算法，具有易实现的优点；

(3)只要能追踪到注视点的场景，则一般也可以方便的追踪头部动作，不需要用户调整使用距离，不需重新定义使用场景，具有用户体验好的优点；

(4)诸如点头、摇头等动作符合一般人的操作心理映射，用户学习成本低，适合广泛推广使用。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。