一种人机交互控制方法及电子终端与流程

本发明涉及计算机技术领域，尤其涉及一种人机交互控制方法及电子终端。

背景技术：
随着计算机技术的发展和消费者需求的增多，越来越多的电子产品问世，而且对这些电子产品的控制技术也越来越多，例如通过鼠标、触控板进行控制，为了更方便用户使用电子产品，现有技术中出现了眼动控制，即通过检测用户的眼动，进而确认用户的视点，并通过眨眼的动作进行确认，对于如眼镜式电子终端的电子产品而言，眼动控制是一种比较方便的控制方式，但是因为通过眨眼确认，所以控制难度比较大，效率较低，而且容易误操作。

技术实现要素：
本发明提供一种人机交互控制方法及电子终端，用以解决现有技术中存在的通过眨眼确认眼动控制光标输入产生的控制难度大，效率低且容易误操作，以及用户体验差的问题。本发明一方面提供了一种人机交互控制方法，应用于一具有显示单元的电子终端，所述方法包括：监测用户的眼动；根据所述眼动确定所述用户的视点；将所述视点确认在所述显示单元上的坐标点；识别所述用户的头部动作；根据所述头部动作对所述坐标点对应的操作对象进行相应的操作。优选地，在所述将所述视点确认在所述显示单元上的坐标点时，将所述显示单元上的光标移动到所述坐标点对应的位置上。优选地，在所述根据所述头部动作对所述坐标点对应的操作对象进行相应的操作之前，还判断所述头部动作是否满足预定条件。优选地，所述根据所述眼动确定所述用户的视点具体为：计算所述用户的两只眼睛的视线的交汇点。优选地，所述将所述视点确认在所述显示单元上的坐标点具体为：计算所述交汇点在所述显示单元上的坐标位置。优选地，所述根据所述眼动确定所述用户的视点具体为：计算所述用户的至少一个瞳孔在眼睛中的移动距离。优选地，所述将所述视点确认在所述显示单元上的坐标点具体为：基于一移动距离和显示单元之间的对应关系表，及根据所述移动距离获得所述视点在所述显示单元上的坐标点。优选地，所述电子终端还包括结构部件、眼动监测部件和传感器，所述结构部件用于将所述电子终端佩戴于所述用户的身体上，所述眼动监测部件位于所述结构部件上，当所述电子终端佩戴于所述用户的身体上时，所述监测用户的眼动具体为：通过所述眼动监测部件监测所述用户的眼动。优选地，所述传感器位于所述结构部件上，所述识别所述用户的头部动作具体为：通过所述传感器识别所述用户的头部动作。优选地，所述电子终端还包括按键，在所述根据所述头部动作对所述坐标点对应的操作对象进行相应的操作之前，还判断所述按键是否被按下，如果是，则根据所述头部动作和所述按键被按下的状态对所述坐标点对应的操作对象进行相应的操作。本发明另一方面还提供一种电子终端，包括：显示单元；眼动监测部件，用于监测所述用户的眼动；处理单元，用于根据所述眼动确定所述用户的视点，并将所述视点确认在所述显示单元上的坐标点；头部动作识别部件，用于识别所述用户的头部动作；以及，控制单元，用于根据所述头部动作对所述坐标点对应的操作对象进行相应的操作。优选地，所述电子终端为眼镜式电子终端，所述终端还包括结构部件，用于将所述电子终端佩戴于用户的身体上。优选地，所述眼动监测部件位于所述结构部件上。优选地，所述头部动作识别部件位于所述结构部件上。优选地，所述眼动监测部件为摄像头。优选地，所述头部动作识别部件为摄像头或重力传感器。优选地，所述电子终端还包括按键，所述控制单元在根据所述头部动作对所述坐标点对应的操作对象进行相应的操作之前，所述控制单元还判断所述按键是否被按下，如果是，所述控制单元则根据所述头部动作和所述按键被按下的状态对所述坐标点对应的操作对象进行相应的操作。优选地，所述电子终端还包括判断单元，用于判断所述头部动作识别部件识别的所述头部动作是否满足预定条件，如果是，则所述控制单元根据所述头部动作对所述坐标点对应的操作对象进行相应的操作。本发明有益效果如下：本发明一实施例通过监测用户的眼动，进而确定用户的视点在显示单元上的位置，然后通过用户的头部动作触发对视点选中的操作对象的相应操作，该技术方案触发确认是通过头部动作，所以容易控制，效率高，不容易误操作。进一步，本发明一实施例中还判断头部动作是否满足预定条件，如果满足，才对相应操作对象进行操作，如果不满足，则不操作，所以可以进一步提高控制效率，避免了误操作。更进一步，本发明一实施例中还提供了按键，结合手指按压按键的状态和头部动作一起触发相应的操作，如此可以增加头部动作所对应的操作，所以使得操作更加丰富，更方便控制电子终端。再进一步，本发明一实施例中在眼镜式电子终端上集合了眼动监测部件和传感器，所以当用户戴上眼镜式电子终端时，眼动监测部件可以监测用户的眼动，传感器可以感知用户的头部动作，所以用户可以很方便的控制和操作该眼镜式电子终端。附图说明图1为本发明一实施例中的人机交互控制方法的流程图；图2为本发明第一实施例中的电子终端的功能框图；图3为本发明一实施例中的眼镜式电子终端的结构图；图4为本发明一实施例中眼镜式电子终端的功能框图；图5A-图5B为本发明一实施例中放大图像的原理图。具体实施方式本发明一实施例提供一种人机交互控制方法，应用于一电子终端，该电子终端例如为手机、、笔记本电脑、平板电脑、眼镜式电子终端或掌上游戏机或其他电子终端。该电子终端包括一显示单元，请参考图1，图1为本实施例中人机交互控制方法的流程图，该方法包括：步骤101：监测用户的眼动；步骤102：根据眼动确定用户的视点；步骤103：将视点确认在显示单元上的坐标点；步骤104：识别用户的头部动作；步骤105：根据头部动作对坐标点对应的操作对象进行相应的操作。在步骤102中，根据眼动确定用户的视点，具体有但不限于以下两种：第一种，当步骤101中监测到用户的眼动了，则计算用户的两只眼睛的视线的交汇点，该交汇点则确定为用户的视点；第二种，当步骤101中监测到用户的眼动了，可以只监测用户的一只眼睛的瞳孔相对前一次在眼睛中的位置的变化，例如计算瞳孔移动的距离，进一步可以监测瞳孔移动的方向，确定瞳孔移动的距离和/或瞳孔移动的方向即为确定用户的视点，当然，在其他实施例中，也可以监测两个瞳孔位置的变化，也可以采用其他方法确认视点，本发明不作限制。进一步，在第一种情况下，步骤103的实施具体为：将步骤102确认出的交汇点在显示单元上的坐标位置确认出来，所以即可确定出视点所选中的操作对象。在第二种情况下，步骤103的实施具体为：在步骤102中已确定出瞳孔的移动距离和/或瞳孔移动的方向，所以可以通过查表的形式获得视点在显示单元上的坐标点，即瞳孔移动距离和/或瞳孔移动方向和显示单元之间具有对应关系，然后将这种对应关系制成一个查询表，可以保存在电子终端中，当确定出瞳孔移动距离和/或瞳孔移动方向时，即可查询此表，就可得知视点在显示单元上的坐标点。进一步，为了更人性化的操作电子终端，实现对电子终端的眼动控制，在步骤103，将视点确认在显示单元上的坐标点时，还将显示单元上的光标移动到坐标点对应的位置上，用户可以有光标随着眼动而动的感觉，所以用户体验好。在步骤104中，可以通过重力传感器或者摄像头识别用户的头部动作，这些动作对应不同的指令，而不同的指令可以实现不同的操作，例如当步骤103中确定出的坐标点对应的是一个窗口的关闭按钮，这时用户的头部动作为点头，则表示确认，所以就会产生一指令，关闭了该窗口(即执行步骤105)，即例如是单击鼠标左键的功能。再例如，当识别出用户的头部动作是向左转头，则坐标点对应的操作对象就会被执行返回操作；当识别出用户的头部动作是向上仰头，则坐标点对应的操作对象就会被执行出菜单的操作；当识别出用户的头部动作是向前倾，则坐标点对应的操作对象就会被放大；当识别出用户的头部动作是向后倾，则坐标点对应的操作对象就会被缩小。在本实施例中，头部动作和对应的操作也可以制作成表，当识别出头部动作，就进行查表，就可查到头部动作对应的操作。为了进一步增加头部动作的数量，进而增加操作的数量，可在电子终端上设置按键，例如是触摸按键或者是实体按键，用户可以结合手指按压按键的状态和头部动作一起触发相应的操作。所以在执行步骤105之前，还判断按键是否被按下，例如当判断结果为用户单指按压按键时，而且步骤104识别出用户的头部动作为上下摆头，则坐标点对应的操作对象被执行上下滚屏的操作；如果步骤104识别出用户的头部动作为左右摆头，则坐标点对应的操作对象被执行左右滚屏的操作。当判断结果为用户两指按下按键时，而且步骤104识别出用户的头部动作为左右摆头时，则坐标点对应的操作对象被执行翻页的操作。当然，在其他实施例中，也可以是其他数量的手指按下按键，配合头部动作实现更多的操作。进一步，用户可以结合手指按压按键的状态和眼动对电子终端进行控制，例如，当用户三指按下按键时，且瞳孔从左往右移动时，可生成将坐标点对应的操作对象(例如图标或者窗口)从左往右移动的指令，使得图标或者窗口的位置从左往右移动；在另一实施例中，例如当三指按下按键时，转动瞳孔可以实现圈选的特殊操作。当然，在其他实施例中，也可以是其他数量的手指按下按键，配合眼动实现更多的操作。为了更准确的控制电子终端，避免误操作，在步骤105之前还判断头部动作是否满足预定条件，例如判断向左转头的头部动作是否转动超过10度，头部动作为向前倾是不是超过20度等，只有当满足预定条件时，才执行步骤105。在另一实施例中，电子终端例如是眼镜式电子终端，电子终端包括结构部件，眼动监测部件和传感器，结构部件例如为镜架，用于将电子终端佩戴于用户的身体上，眼动监测部件可位于结构部件上，当电子终端佩戴于用户的身体上，通过眼动监测部件监测用户的眼动，进一步，传感器也可位于结构部件上，例如是重力传感器，通过传感器可以识别用户的头部动作。因此，当用户将电子终端佩戴在身体上时，可方便的通过眼动和头部动作，进一步还可以通过按键结合来控制电子终端，控制效率高，不容易误操作。以上各实施例中的控制方法可以单独使用，也可结合使用，本领域技术人员可根据实际情况设置。本发明另一实施例中还提供一种电子终端，请参考图2，该电子终端包括：显示单元201；眼动监测部件202，用于监测用户的眼动；处理单元203，用于根据眼动确定用户的视点，并将视点确认在显示单元201上的坐标点；头部动作识别部件204，用于识别用户的头部动作；以及，控制单元205，用于根据头部动作对坐标点对应的操作对象进行相应的操作。其中，眼动监测部件202例如为摄像头，处理单元203和控制单元205可以是独立的单元也可以是同一个单元，头部动作识别部件204例如也可以是摄像头。进一步，电子终端例如是眼镜式电子终端，请参考图3，眼镜式电子终端包括结构部件300，结构部件包括鼻托301和耳架302，用于将该电子终端佩戴于用户的身体上；眼动监测部件202可位于结构部300上，例如位于鼻托301处，也可以位于显示单元201上，只要能监测到用户的眼动即可。当电子终端佩戴于用户的身体上，通过眼动监测部件202监测用户的眼动，进一步，头部动作识别部件204也可位于结构部件300上，例如是耳架302上，当然也可以位于鼻托301上，只要头部动作识别部件204可以接触到用户的头部并能识别头部动作即可；头部识别部件204例如是重力传感器，通过重力传感器可以识别用户的头部动作。因此，当用户将电子终端佩戴在身体上时，可方便的通过眼动和头部动作对电子终端进行控制，控制效率高，不容易误操作。在本实施例中，显示单元201例如是眼镜式电子终端的镜片本身，所以用户可以观看眼镜式电子终端的镜片上的内容，但是用户也可以观看显示在虚拟的显示空间中的内容，这样，显示的内容离用户眼睛有一定距离，所以用户看起来会更舒服，在下文中，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。如图4所示，眼镜式电子终端还包括图像处理单元410、第一光学系统430和第一视窗440。图像处理单元410可提供第一图像。第一图像可以是，例如，图片、视频图像或者文本，图片，文本和图片的组合等。图像处理单元410可以是眼镜式电子终端的中央处理单元(例如CPU)，可替换地，也可以是在物理或逻辑上独立设置的图像处理单元。显示单元201可显示图像处理单元410提供的第一图像。根据本发明的一个示例，显示单元201可以是其屏幕的尺寸小于现有电子终端的屏幕的尺寸的微型显示单元。在本发明的实施例中，显示单元201的尺寸为与该眼镜式电子终端的镜片尺寸一致。该镜片与人眼的标准尺寸相符。此外，根据本发明的另一实施例，显示单元201具有较高的分辨率。具体地，显示单元201的屏幕的分辨率可高于现有电子终端的屏幕的分辨率。例如，显示单元201可采用符合高清或全高清标准的分辨率。第一光学系统430可接收从显示单元201发出的光线，并对从显示单元201发出的光线进行光路转换，以形成第一放大虚像，其中第一光学系统430与显示单元201之间的光路的长度小于第一光学系统的焦距。也就是说，第一光学系统430具有正屈光力。可预先设定第一光学系统430的放大倍数。可替换地，第一光学系统430可包括第一调节部件以调整第一光学系统430的放大倍数，稍后将对此进行详细描述。第一放大虚像的面积大于第一显示单元的显示区域的面积。根据本发明的一个示例，第一光学系统430至少包括具有正屈光力的透镜组件。图5A是示出根据本发明的一个示例的透镜组件的示意图。如图5A所示，透镜组件可包括一个凸透镜510。凸透镜510可接收从显示单元201发出的光线，并对从显示单元201发出的光线进行光路转换，以形成第一放大虚像520。虽然在图5A中以一条光线为例描述了对从显示单元201发出的光线进行的光路转换，但是应注意实际上从显示单元201发出的为由多条光线构成的一组光线，并且该组光线通过凸透镜510进行光路转换，以形成第一放大虚像520。此外，为了减少像差、避免色散等对成像造成的干扰，带给用户更好的视觉体验，也可由包含凸透镜和凹透镜的多个透镜形成透镜组件。如上所述，该多个透镜形成透镜组件具有正屈光力，即，可等效为凸透镜。图5B是示出根据本发明的另一示例的透镜组件的示意图。如图5B所示，透镜组件可包括单凸透镜520、单凸透镜530和凹凸镜540。图像处理单元410、显示单元201和第一光学系统430可设置在眼镜式电子终端的内部。第一视窗440可是设置在眼镜式电子终端的第一外表面上，当用户佩戴上所述眼镜式电子终端时，第一视窗440正对着用户的眼睛。用户能够通过第一光学系统430观看到第一放大虚像520。根据本发明的一个示例，第一视窗440的大小可与人眼的大小相对应，优选的，第一视窗440可以与眼镜式电子终端的镜片大小一致。根据本发明的一个示例，在眼镜式电子终端中，显示单元201设置在第一光学系统430的一侧，第一光学系统430允许用户在与显示单元201相对的、该第一光学系统430的另一侧，观看第一放大虚像520。通过上述本发明实施例提供的眼镜式电子终端，用户可观看的图像尺寸不受眼镜式电子终端自身镜片(即屏幕)尺寸的限制，用户可通过该眼镜式电子终端观看到具有较大尺寸的显示图像。换句话说，当用户佩戴上该眼镜式电子终端时，看到显示图像的尺寸比所述眼镜式电子终端的镜片(即，屏幕)的尺寸大，同时看到的显示图像的距离大于人眼到镜片(佩戴上该眼镜式电子终端)的距离。进一步，电子终端还包括按键，可以是触摸按键也可以是实体按键，用户可以结合手指按压按键的状态和头部动作一起触发相应的操作。所以控制单元205在根据头部动作对坐标点对应的操作对象进行相应操作之前，还判断按键是否被按下，如果是，则控制单元205根据头部动作和按键被按下的状态对该操作对象进行相应的操作。因此，增加了头部动作的数量，进而增加了操作的数量。在另一实施例中，电子终端还包括判断单元，用于判断头部动作识别部件识别的头部动作是否满足预定条件，如果是，则控制单元205根据头部动作对坐标点对应的操作对象进行相应的操作，例如判断向左转头的头部动作是否转动超过10度，头部动作为向前倾是不是超过20度等，所以可以更准备的控制电子终端，避免误操作。本实施例中的电子终端和前述实施例中的人机交互控制方法是基于同一构思下的发明，通过前述对第一实施例中人机交互控制方法及其各种变化形式的详细描述，本领域技术人员可以清楚的了解本实施例中电子终端的实施过程，所以为了说明书的简洁，在此不再赘述。通过本发明中的上述实施例中的一个实施例或多个实施例，至少可以实现如下技术效果：本发明一实施例通过监测用户的眼动，进而确定用户的视点在显示单元上的位置，然后通过用户的头部动作触发对视点选中的操作对象的相应操作，该技术方案触发确认是通过头部动作，所以容易控制，效率高，不容易误操作。进一步，本发明一实施例中还判断头部动作是否满足预定条件，如果满足，才对相应操作对象进行操作，如果不满足，则不操作，所以可以进一步提高控制效率，避免了误操作。更进一步，本发明一实施例中还提供了按键，结合手指按压按键的状态和头部动作一起触发相应的操作，如此可以增加头部动作所对应的操作，所以使得操作更加丰富，更方便控制电子终端。再进一步，本发明一实施例中在眼镜式电子终端上集合了眼动监测部件和传感器，所以当用户戴上眼镜式电子终端时，眼动监测部件可以监测用户的眼动，传感器可以感知用户的头部动作，所以用户可以很方便的控制和操作该眼镜式电子终端。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。