一种电子设备界面的控制方法及电子设备与流程

本发明涉及电子设备控制领域，特别涉及一种电子设备界面的控制方法及电子设备。

背景技术：

随着科技的迅猛发展，电子设备在人们的生活中已经越来越普及，例如智能手机、平板电脑、智能手表等。人们可以通过这类电子设备在日常生活中获取信息，例如查询交通信息、天气信息、娱乐设施信息、新闻资讯等。因此，对于这类产品的应用，已经渗透到了人们生活中的方方面面。

目前，对于这类产品界面的控制方式基本上为触摸式，需要用户用手触摸其屏幕进行操作，当用户双手拿着东西或者单手操作不稳的情况下，虽然已经实现了语音控制功能，但这种功能的应用也受到了限制，例如在公共场合，周围环境较为嘈杂时，语音控制功能的效果并不理想，导致了用户在这类情况下对电子设备的操作不便。

技术实现要素：

本发明实施例提供了一种电子设备界面的控制方法及电子设备，以期提供一种当用户双手拿着东西或者单手操作不稳时，能用眼睛控制电子设备界面的方法，方便用户使用，同时也丰富了电子设备的操作方式，增加用户使用电子设备的趣味性，提升用户体验。

本发明实施例第一方面提供了一种电子设备界面的控制方法，包括：

通过电子设备的视线采集装置获取用户视线；

对所述用户视线进行分析，得到所述用户视线的变化轨迹信息；

根据所述用户视线的变化轨迹信息生成控制指令；

根据所述控制指令对所述电子设备当前显示界面进行控制。

结合本发明实施例第一方面，在本发明实施例第一方面的第一种实现方式中，所述通过电子设备视线采集装置获取用户视线，包括：采用所述电子设备的前置摄像头对所述用户的眼球进行追踪，识别出所述用户眼球的位置及方向，根据所述用户眼球的位置及方向分析所述用户瞳孔聚焦的投射点在所述电子设备当前显示界面投射的具体位置，从而获取所述用户视线。

结合本发明实施例第一方面，在本发明实施例第一方面的第二种实现方式中，所述通过电子设备视线采集装置获取用户视线，包括：采用红外摄像头，通过所述用户眼睛的瞳孔反射的红外光来获取所述用户视线。

结合本发明实施例第一方面或本发明实施例第一方面的第一种至第二种中的任一种实现方式，在本发明实施例第一方面的第三种实现方式中，所述用户视线的变化轨迹信息包括以下至少一种：

左移信息、右移信息、上移信息、下移信息、至少一次眨眼信息、固定投射信息；其中所述固定投射信息是指所述用户视线固定投射在所述当前显示界面预设区域的时长达到预设时间阈值。

结合本发明实施例第一方面或本发明实施例第一方面的第一种至第三种中的任一种实现方式，在本发明实施例第一方面的第四种实现方式中，所述控制指令包括以下至少一种：

左滑、右滑、上滑、下滑、缩放、截图、点击、长按、拖拽。

本发明实施例第二方面提供了一种电子设备，包括：

获取单元，用于通过电子设备的视线采集装置获取用户视线；

分析单元，用于对所述用户视线进行分析，得到所述用户视线的变化轨迹信息；

指令生成单元，用于根据所述用户视线的变化轨迹信息生成控制指令；

执行单元，用于根据所述控制指令对所述电子设备当前显示界面进行控制。

结合本发明实施例第二方面，在本发明实施例第二方面的第一种实现方式中，所述获取单元还包括：

追踪识别单元，用于采用所述电子设备的前置摄像头对所述用户的眼球进行追踪，识别出所述用户眼球的位置及方向；

分析获取单元，用于根据所述用户眼球的位置及方向分析所述用户瞳孔聚焦的投射点在所述电子设备当前显示界面投射的具体位置，从而获取所述用户视线。

结合本发明实施例第二方面，在本发明实施例第二方面的第二种实现方式中，所述获取单元具体用于，采用红外摄像头，通过所述用户眼睛的瞳孔反射的红外光来获取所述用户视线。

结合本发明实施例第二方面或本发明实施例第二方面的第一种至第二种中的任一种实现方式，在本发明实施例第二方面的第三种实现方式中，所述用户视线的变化轨迹信息包括以下至少一种：

左移信息、右移信息、上移信息、下移信息、至少一次眨眼信息、固定投射信息；其中所述固定投射信息是指所述用户视线固定投射在所述当前显示界面预设区域的时长达到预设时间阈值。

结合本发明实施例第二方面或本发明实施例第二方面的第一种至第三种中的任一种实现方式，在本发明实施例第二方面的第四种实现方式中，所述控制指令包括以下至少一种：

左滑、右滑、上滑、下滑、缩放、截图、点击、长按、拖拽。

可以看出，本实施例的方案简化了用户对电子设备的操作方法，当用户双手拿着东西或者单手操作不稳时，能用眼睛对电子设备界面进行控制，方便用户使用，同时也丰富了电子设备的操作方式，增加用户使用电子设备的趣味性，提升用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子设备界面的控制方法流程图；

图2-a为本发明实施例提供一种场景演示流程图；

图2-b为本发明实施例提供的一种场景示意效果图；

图3为本发明实施例提供的一种电子设备结构示意图；

图4为本发明实施例提供的一种获取单元的结构示意图；

图5为本发明实施例提供的另一种电子设备结构示意图。

具体实施方式

本发明实施例提供了一种电子设备界面的控制方法及电子设备，以期提供一种当用户双手拿着东西或者单手操作不稳时，能用眼睛控制电子设备界面的方法，方便用户使用，同时也丰富了电子设备的操作方式，增加用户使用电子设备的趣味性，提升用户体验。

本发明说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面首先结合相关附图来举例介绍下本申请实施例方案可能用到的流程图。

具体参见图1所示，图1为本发明实施例提供的一种电子设备界面的控制方法流程图，具体包括：

步骤S101、通过电子设备的视线采集装置获取用户视线。

其中，本发明实施例中提及的电子设备例如可为手机、平板电脑、掌上电脑、智能手表或其它移动终端。

其中，本发明实施例中提及的视线采集装置例如可为前置摄像头、红外摄像头、传感器等。

可选的，采用所述电子设备的前置摄像头对所述用户的眼球进行追踪，识别出所述用户眼球的位置及方向，根据所述用户眼球的位置及方向分析所述用户瞳孔聚焦的投射点在所述电子设备当前显示界面投射的具体位置，从而获取所述用户视线。

可选的，采用红外摄像头和前置摄像头，通过前置摄像头来搜集所述用户眼睛的瞳孔反射的由红外摄像头发出的红外光，从而获取所述用户视线。

步骤S102、对所述用户视线进行分析，得到所述用户视线的变化轨迹信息。

其中，所述用户视线的变化轨迹信息可以包括以下至少一种：

左移信息、右移信息、上移信息、下移信息、至少一次眨眼信息、固定投射信息；其中所述固定投射信息是指所述用户视线固定投射在所述当前显示界面预设区域的时长达到预设时间阈值。可以理解，所述用户视线变化轨迹信息不限定于已列出的这几种。

其中，至少一次眨眼信息可以包括一次眨眼信息和两次眨眼信息；当一次眨眼之后的停顿时间大于时间阈值X时(X的值例如可为1s、1.5s、2s)，判断眨眼动作结束，系统保存一次眨眼信息；当连续眨眼次数为两次且第二次眨眼之后的停顿时间大于时间阈值X时，判断眨眼动作结束，系统保存两次眨眼信息。

其中，所述用户视线固定投射在所述当前显示界面预设区域的时长达到预设时间阈值Y时(Y的值例如可为1s、1.5s、2s)，判断为固定投射动作，系统保存固定投射信息。

步骤S103、根据所述用户视线的变化轨迹信息生成控制指令。

其中，所述控制指令可以包括以下至少一种：左滑、右滑、上滑、下滑、缩放、截图、点击、长按、拖拽。可以理解，所述控制指令不限定于已列出的这几种。

优选的，用户可以根据自己的使用习惯，在电子设备上预设控制指令库，不同的视线变化轨迹对应于不同的控制指令。当用户视线发生变化时，可以在预设的控制指令库内，根据用户视线的变化轨迹信息，调用相应的控制指令。

可选的，电子设备自带一个控制指令库，特定的视线变化轨迹信息对应于特定的控制指令。用户可以根据说明，用特定的视线变化轨迹信息，来调用相应的控制指令。

例如，当得到的用户视线变化轨迹信息为左移信息时，生成界面左滑的控制指令；

当得到的用户视线变化轨迹信息为右移信息时，生成界面右滑的控制指令；

当得到的用户视线变化轨迹信息为上移信息时，生成界面上滑的控制指令；

当得到的用户视线变化轨迹信息为下移信息时，生成界面下滑的控制指令；

当得到的用户视线变化轨迹信息为右移信息和上移信息或者左移信息和下移信息时，生成界面放大的指令；其中，右移信息和上移信息可以同时得到；左移信息和下移信息可以同时得到；

当得到的用户视线变化轨迹信息为右移信息和下移信息或者左移信息和上移信息时，生成界面缩小的控制指令；其中，右移信息和下移信息可以同时得到；左移信息和上移信息可以同时得到；

当得到的用户视线变化轨迹信息为一次眨眼信息时，生成点击控制指令；

当得到的用户视线变化轨迹信息为两次眨眼信息时，生成截图控制指令；

当得到的用户视线变化轨迹信息为固定投射信息时，生成长按控制指令；其中所述固定投射信息是指所述用户视线固定投射在所述当前显示界面预设区域的时长达到预设时间阈值；

当得到的用户视线变化轨迹信息为固定投射信息和移动信息时，生成拖拽指令；其中移动信息可以包括：左移信息、右移信息、上移信息、下移信息，生成的拖拽指令包含的拖拽方向指令与移动信息包含的方向信息相对应。

以上根据用户视线变化轨迹信息产生的相应的控制指令为优选方案，但是不限定于此方案，也可以有其它的方案。

又例如，当得到的用户视线变化轨迹信息为左移信息时，生成界面右滑的控制指令；

当得到的用户视线变化轨迹信息为右移信息时，生成界面左滑的控制指令；

当得到的用户视线变化轨迹信息为上移信息时，生成界面下滑的控制指令；

当得到的用户视线变化轨迹信息为下移信息时，生成界面上滑的控制指令；

当得到的用户视线变化轨迹信息为右移信息和上移信息或者左移信息和下移信息时，生成界面缩小的指令；其中，右移信息和上移信息可以同时得到；左移信息和下移信息可以同时得到；

当得到的用户视线变化轨迹信息为右移信息和下移信息或者左移信息和上移信息时，生成界面放大的控制指令；其中，右移信息和下移信息可以同时得到；左移信息和上移信息可以同时得到。

步骤S104、根据所述控制指令对所述电子设备当前显示界面进行控制。

可选的，当所述控制指令为左滑时，所述电子设备的当前显示界面往左滑；

当所述控制指令为右滑时，所述电子设备的当前显示界面往右滑；

当所述控制指令为上滑时，所述电子设备的当前显示界面往上滑；

当所述控制指令为下滑时，所述电子设备的当前显示界面往下滑；

当所述控制指令为放大时，所述电子设备的当前显示界面被放大；

当所述控制指令为缩小时，所述电子设备的当前显示界面被缩小；

当所述控制指令为点击时，所述用户视线固定投射在所述当前显示界面的预设区域被点击；

当所述控制指令为截图时，所述电子设备的当前显示界面被截图，并保存截图结果；

当所述控制指令为长按时，所述用户视线固定投射在所述当前显示界面的预设区域被长按；

当所述控制指令为拖拽时，所述用户视线固定投射在所述当前显示界面的预设区域被拖拽；其中，此预设区域内可包含功能图标。

可以看出，本实施例的方案简化了用户对电子设备的操作方法。当用户双手拿着东西或者单手操作不稳时，能用眼睛对电子设备界面进行控制，方便用户使用，同时也丰富了电子设备的操作方式，增加用户使用电子设备的趣味性，提升用户体验。

为了更好地理解和实施本发明实施例的上述方法以及使用效果，下面结合具体的应用场景来进行举例说明。

请参见图2-a和图2-b，图2-a为本发明实施例提供一种场景演示流程图；图2-b为本发明实施例提供的一种场景示意效果图，以手机为例。其中，210为手机的前置摄像头，220为用户的眼睛。

其中，如图2-a所示，当用户需要手机显示解锁界面时，该过程可以包括以下步骤：

步骤S201、用户按下电源键，手机屏幕点亮，当前显示界面显示“滑动来解锁”；如图2-b用户眼睛移动之前的手机显示界面所示；

步骤S202、用户眼睛盯着手机屏幕任一位置从左往右看；

步骤S203、手机的前置摄像头获取用户视线；

步骤S204、对用户视线进行分析，得到用户视线的变化轨迹信息为右移信息；

步骤S205、根据得到的右移信息生成右移控制指令，手机屏幕右移，显示“请输入密码”的解锁界面；如图2-b用户眼睛移动之后的手机显示界面所示。

可以看出，本实施例的方案简化了用户对电子设备的操作方法。当用户双手拿着东西或者单手操作不稳时，能用眼睛对电子设备界面进行控制，方便用户使用，同时也丰富了电子设备的操作方式，增加用户使用电子设备的趣味性，提升用户体验。

为了更好地实施本发明实施例的上述方案，本发明还对应提供了一种电子设备，如图3示出的本发明的一个实施例提供的一种电子设备结构示意图，电子设备300可以包括：获取单元310、分析单元320、指令生成单元330和执行单元340。

其中，获取单元310，用于通过电子设备的视线采集装置获取用户视线。

具体地，如图4示出的本发明实施例提供的一种获取单元的结构示意图，获取单元310包括：追踪识别单元3110和分析获取单元3120，其中，

追踪识别单元3110，用于采用所述电子设备的前置摄像头对所述用户的眼球进行追踪，识别出所述用户眼球的位置及方向；

分析获取单元3120，用于根据所述用户眼球的位置及方向分析所述用户瞳孔聚焦的投射点在所述电子设备当前显示界面投射的具体位置，从而获取所述用户视线。

可选的，所述获取单元具体用于，采用红外摄像头和前置摄像头，通过前置摄像头来搜集所述用户眼睛的瞳孔反射的由红外摄像头发出的红外光，从而获取所述用户视线。

分析单元320，用于对所述用户视线进行分析，得到所述用户视线的变化轨迹信息。

其中，所述用户视线的变化轨迹信息可以包括以下至少一种：左移信息、右移信息、上移信息、下移信息、至少一次眨眼信息、固定投射信息；其中所述固定投射信息是指所述用户视线固定投射在所述当前显示界面预设区域的时长达到预设时间阈值。可以理解，所述用户视线的变化轨迹信息不限定于已列出的这几种。

其中，至少一次眨眼信息可以包括一次眨眼信息和两次眨眼信息；当一次眨眼之后的停顿时间大于时间阈值X时(X的值例如可为1s、1.5s、2s)，判断眨眼动作结束，系统保存一次眨眼信息；当连续眨眼次数为两次且第二次眨眼之后的停顿时间大于时间阈值X时，判断眨眼动作结束，系统保存两次眨眼信息。

其中，所述用户视线固定投射在所述当前显示界面预设区域的时长达到预设时间阈值Y时(Y的值例如可为1s、1.5s、2s)，判断为固定投射动作，系统保存固定投射信息。

指令生成单元330，用于根据所述用户视线的变化轨迹信息生成控制指令。

其中，所述控制指令可以包括以下至少一种：左滑、右滑、上滑、下滑、缩放、截图、点击、长按、拖拽。可以理解，所述控制指令不限定于已列出的这几种。

优选的，用户可以根据自己的使用习惯，在电子设备上预设控制指令库，不同的视线变化轨迹对应于不同的控制指令。当用户视线发生变化时，可以在预设的控制指令库内，根据用户视线的变化轨迹信息，调用相应的控制指令。

可选的，电子设备自带一个控制指令库，特定的视线变化轨迹信息对应于特定的控制指令。用户可以根据说明，用特定的视线变化轨迹信息，来调用相应的控制指令。

例如，当得到的用户视线变化轨迹信息为左移信息时，生成界面左滑的控制指令；

当得到的用户视线变化轨迹信息为右移信息时，生成界面右滑的控制指令；

当得到的用户视线变化轨迹信息为上移信息时，生成界面上滑的控制指令；

当得到的用户视线变化轨迹信息为下移信息时，生成界面下滑的控制指令；

当得到的用户视线变化轨迹信息为右移信息和上移信息或者左移信息和下移信息时，生成界面放大的指令；其中，右移信息和上移信息可以同时得到；左移信息和下移信息可以同时得到；

当得到的用户视线变化轨迹信息为右移信息和下移信息或者左移信息和上移信息时，生成界面缩小的控制指令；其中，右移信息和下移信息可以同时得到；左移信息和上移信息可以同时得到；

当得到的用户视线变化轨迹信息为一次眨眼信息时，生成点击控制指令；

当得到的用户视线变化轨迹信息为两次眨眼信息时，生成截图控制指令；

当得到的用户视线变化轨迹信息为固定投射信息时，生成长按控制指令；其中所述固定投射信息是指所述用户视线固定投射在所述当前显示界面预设区域的时长达到预设时间阈值；

当得到用的户视线变化轨迹信息为固定投射信息和移动信息时，生成拖拽指令；其中移动信息包括：左移信息、右移信息、上移信息、下移信息，生成的拖拽指令包含的拖拽方向指令与移动信息包含的方向信息相对应。

以上根据用户视线变化轨迹信息产生的相应的控制指令为优选方案，但是不限定于此方案，也可以有其它的方案。

又例如，当得到的用户视线变化轨迹信息为当得到的用户视线变化轨迹信息为左移信息时，生成界面右滑的控制指令；

当得到的用户视线变化轨迹信息为右移信息时，生成界面左滑的控制指令；

当得到的用户视线变化轨迹信息为上移信息时，生成界面下滑的控制指令；

当得到的用户视线变化轨迹信息为下移信息时，生成界面上滑的控制指令；

当得到的用户视线变化轨迹信息为右移信息和上移信息或者左移信息和下移信息时，生成界面缩小的指令；其中，右移信息和上移信息可以同时得到；左移信息和下移信息可以同时得到；

当得到的用户视线变化轨迹信息为右移信息和下移信息或者左移信息和上移信息时，生成界面放大的控制指令；其中，右移信息和下移信息可以同时得到；左移信息和上移信息可以同时得到。

执行单元340，用于根据所述控制指令对所述电子设备当前显示界面进行控制。

可选的，当所述控制指令为左滑时，所述电子设备的当前显示界面往左滑；

当所述控制指令为右滑时，所述电子设备的当前显示界面往右滑；

当所述控制指令为上滑时，所述电子设备的当前显示界面往上滑；

当所述控制指令为下滑时，所述电子设备的当前显示界面往下滑；

当所述控制指令为放大时，所述电子设备的当前显示界面被放大；

当所述控制指令为缩小时，所述电子设备的当前显示界面被缩小；

当所述控制指令为截图时，所述电子设备的当前显示界面被截图，并保存截图结果；

当所述控制指令为点击时，所述用户视线固定投射在所述当前显示界面的预设区域被点击；

当所述控制指令为长按时，所述用户视线固定投射在所述当前显示界面的预设区域被长按；

当所述控制指令为拖拽时，所述用户视线固定投射在所述当前显示界面的预设区域被拖拽；其中，此预设区域内可包含功能图标。

可以看出，本实施例的方案简化了用户对电子设备的操作方法。当用户双手拿着东西或者单手操作不稳时，能用眼睛对电子设备界面进行控制，方便用户使用，同时也丰富了电子设备的操作方式，增加用户使用电子设备的趣味性，提升用户体验。

请参阅图5，图5是本发明实施例提供的另一种电子设备结构示意图。其中，如图5所示，电子设备500可以包括：至少一个处理器510，例如CPU，用户接口530，存储器540，至少一个通信总线520以及显示屏550。其中，通信总线520用于实现这些组件之间的连接通信。其中，用户接口530可以是前置摄像头。存储器540可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器540可选的还可以是至少一个位于远离前述处理器510的存储系统。如图5所示，作为一种计算机存储介质的存储器540中可以包括操作系统、网络通信模块、用户接口模块以及界面控制程序。

在图5所示的电子设备500中，处理器510可以用于调用存储器540中存储的界面控制程序，并执行以下操作：

通过用户接口530获取用户视线；

对所述用户视线进行分析，得到所述用户视线的变化轨迹信息；

根据所述用户视线的变化轨迹信息生成控制指令；

根据所述控制指令对所述电子设备当前显示界面进行控制，通过显示屏550显示出来。

具体地，用户接口530获取用户视线，可以包括：采用前置摄像头对所述用户的眼球进行追踪，识别出所述用户眼球的位置及方向，根据所述用户眼球的位置及方向分析所述用户瞳孔聚焦的投射点在所述电子设备当前显示界面投射的具体位置，从而获取所述用户视线。

用户接口530获取用户视线，还可以包括：采用红外摄像头，通过所述用户眼睛的瞳孔反射的红外光来获取所述用户视线。

具体的，所述用户视线的变化轨迹信息可以包括以下至少一种：

左移信息、右移信息、上移信息、下移信息、至少一次眨眼信息、固定投射信息；其中所述固定投射信息是指所述用户视线固定投射在所述当前显示界面预设区域的时长达到预设时间阈值。可以理解，所述用户视线变化轨迹信息不限定于已列出的这几种。

具体的，所述控制指令可以包括以下至少一种：

左滑、右滑、上滑、下滑、缩放、截图、点击、长按、拖拽。可以理解，所述控制指令不限定于已列出的这几种。

可以看出，本实施例的方案简化了用户对电子设备的操作方法。当用户双手拿着东西或者单手操作不稳时，能用眼睛对电子设备界面进行控制，方便用户使用，同时也丰富了电子设备的操作方式，增加用户使用电子设备的趣味性，提升用户体验。

以上对本发明实施例所提供的一种电子设备界面的控制方法及电子设备进行了详细的介绍，本文中应用了具体个例对本发明的具体实施步骤进行了详细的阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。