一种操作指令执行方法、装置、用户终端及存储介质与流程

本发明实施例涉及眼控技术，尤其涉及一种操作指令执行方法、装置、用户终端及存储介质。

背景技术

随着科技的发展，智能手机已成为人们生活的一部分。

为了给予用户更好的观看智能手机的显示屏，显示屏的尺寸也由4英寸逐渐发展到6英寸甚至6英寸以上。但是，由于目前智能手机显示屏的标配是触控屏，因此，超大屏会给用户的触控动作带来了不便，特别是用户单手握持智能手机时(比如地铁中、吃饭时)，用户握持智能手机的手拇指无法覆盖整个触控屏，从而带来了操作不便、误操作等现象，还可能导致智能手机从手中滑落损坏手机的现象。

技术实现要素：

本发明提供一种操作指令执行方法、装置、用户终端及存储介质，以实现对用户终端的显示屏的全屏控制。

第一方面，本发明实施例提供了一种操作指令执行方法，包括：

获取用户注视显示界面的注视点和眼部动作的信息；

当所述注视点处在预设眼控区域时，解析所述眼部动作的信息，得到眼部动作的类型；

根据所述眼部动作的类型和所述注视点执行对应的操作指令。

可选的，所述显示界面的区域包括所述预设眼控区域和预设触控区域；其中，所述预设眼控区域具有眼控或触控功能，所述预设触控区域具有触控功能。

可选的，所述方法还包括：

检测所述用户的手姿势；

当检测到所述手姿势是双手握持用户终端的姿势或所述手姿势是双手环握用户终端的姿势时，将所述预设触控区域设置为所述显示界面的整个区域；

当检测到所述手姿势是右手握持并触控用户终端的姿势时，将所述预设触控区域设置为右触控区域；将所述预设眼控区域设置为除所述右触控区域之外的显示界面的区域；所述右触控区域是所述用户右手握持用户终端时，右手拇指可触控的最大区域；

当检测到所述手姿势是左手握持并触控用户终端的姿势时，将所述预设触控区域设置为左触控区域，将所述预设眼控区域设置为除所述左触控区域之外的显示界面的区域，所述左触控区域是所述用户左手握持用户终端时，左手拇指可触控的最大区域。

可选的，所述根据所述眼部动作的类型和所述注视点执行对应的操作指令包括：

响应于所述眼部动作的类型和所述注视点，生成所述操作指令；

判断是否存在由触控动作触发且未执行的触控指令；

当存在所述触控指令时，禁止执行所述操作指令，执行所述触控指令；

当不存在所述触控指令时，执行所述操作指令。

可选的，所述判断是否存在由触控动作触发且未执行的触控指令之后，所述方法还包括：

当存在所述触控指令时，获取所述触控动作作用在所述显示界面的位置范围；

当所述位置范围和所述注视点的位置范围重合时，执行所述触控指令，禁止执行所述操作指令；

当所述位置范围和所述目标图标的位置范围不重合时，执行所述操作指令，禁止执行所述触控指令。

可选的，所述响应于所述眼部动作的类型和所述注视点，生成所述操作指令包括：

判断所述眼部动作的类型是否是预设类型；

当所述眼部动作的类型是所述预设类型时，根据所述注视点的位置和指令的预设对应表获取对应的操作指令。

可选的，所述获取用户注视显示界面的注视点和眼部动作的信息包括：

获取用户的眼睛特征和眼部动作的信息；

根据所述眼睛特征，确定所述注视点的位置信息。

第二方面，本发明实施例还提供了一种操作指令执行装置，包括：

获取模块，用于获取用户注视显示界面的注视点和眼部动作的信息；

解析模块，用于当所述注视点处在预设眼控区域时，解析所述眼部动作的信息，得到眼部动作的类型；

执行模块，用于根据所述眼部动作的类型和所述注视点执行对应的操作指令。

第三方面，本发明实施例还提供了一种用户终端，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的操作指令执行方法。

第四方面，本发明实施例还提供了一种计算机可读的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一所述的操作指令执行方法。

本发明通过在预设眼控区域对用户终端进行眼控，其他区域进行触控，这样，用户可以在显示界面的任何位置进行操作，实现全屏控制效果，便捷了对显示屏的操控，减少了误操作现象，提高用户体验。

附图说明

图1是本发明实施例一中的一种操作指令执行方法的流程图；

图2是本发明实施例一中的一种操作指令执行方法的流程图；

图3是本发明实施例一中的一种操作指令执行方法的流程图；

图4是本发明实施例一中的一种操作指令执行方法的流程图；

图5是本发明实施例一中的一种操作指令执行方法的流程图；

图6是本发明实施例二中的一种操作指令执行方法的流程图；

图7是本发明实施例三中的一种操作指令执行装置的结构示意图；

图8是本发明实施例三中的一种操作指令执行装置的结构示意图；

图9是本发明实施例三中的一种操作指令执行装置的结构示意图；

图10是本发明实施例三中的一种操作指令执行装置的结构示意图；

图11是本发明实施例三中的一种操作指令执行装置的结构示意图；

图12是本发明实施例四中的一种用户终端的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种操作指令执行方法的流程图，本实施例可适用于用户终端控制情况，该方法可以由操作指令执行装置来执行，该装置应用于用户终端，具体包括如下步骤：

步骤101、获取用户注视显示界面的注视点和眼部动作的信息。

这里，眼部动作的信息通过用户终端的前置摄像头扫描得到，眼部动作的信息可以包括眨眼动作的信息、长期注视的信息、眯眼睛的信息、睁大眼睛的信息等。

具体的提取眼部动作的信息包括：通过摄像头扫描面部，得到扫描图像，从扫描图像中识别出眼睛所在的眼部区域；当连续多次眼部区域中灰度值之差大于预设值的灰度个数大于预设值，确定用户的眼部做了动作，这样，连续多次眼部区域的图像信息就作为眼部动作的信息。

注视点是用户的眼睛盯着显示界面的那一点。示例的，假设显示界面是桌面界面，桌面界面上展示有多个图标，用户盯着一个图标看，那么该图标的位置就是注视点的位置。与此同时，在盯着注视点看的时，还需要通过前置摄像头获取到眼部动作的信息。

注视点可以通过感受用户视线得到，用户视线与用户的虹膜位置、眼睛的瞳孔等多方面眼睛特征决定的。

显示界面是用户终端的显示屏所显示的界面。例如，桌面界面，应用界面等。

步骤102、当注视点处在预设眼控区域时，解析眼部动作的信息，得到眼部动作的类型。

当注视点处在除预设眼控区域之外的其他区域时，禁止解析眼部动作的信息，其他区域可以通过触控实现对用户终端的控制。

预设眼控区域是能够通过眼控实现对用户终端的控制的区域，眼控是指通过眼睛的各种动作可以实现对显示的内容执行相应的操作指令。预设眼控区域设置在显示界面上，预设眼空区域可以是用户终端预先设置好的，也可以是用户自己设置的。例如，显示界面的上半区域可以设置为预设眼控区域。优选的预设眼控区域是用户单手握持用户终端时，该手的拇指无法触碰的显示屏的区域。

具体的，禁止解析眼部动作的信息可以包括：将眼部动作的信息和预设类型的动作信息对比，当两者匹配时，确定眼部动作的类型是预设类型。这里，眼部动作的类型包括：眨眼、盯着、睁眼、眯眼等。

步骤103、根据眼部动作的类型和注视点执行对应的操作指令。

示例的，假设注视点的位置所显示的是一个应用图标，眼部动作的类型是注视；当检测到注视该应用图标超过预设时长，执行用于打开该应用图标对应的应用的操作指令。

在上述技术方案的基础上，显示界面的区域包括预设眼控区域和预设触控区域；其中，预设眼控区域具有眼控或触控功能，预设触控区域具有触控功能。

示例的，显示界面可以分为上下两个半部分，上半部分是预设眼控区域，下半部分是预设触控区域。这样，靠用户手指较远的上半部分可以通过眼控实现用户终端控制，靠用户手指较近的下半部分可以通过触控实现用户终端控制，这样，大大便捷了用户的使用，避免了用户无法对整个屏幕控制的问题。

本实施例通过在预设眼控区域对用户终端进行眼控，其他区域进行触控，这样，用户可以在显示界面的任何位置进行操作，实现全屏控制效果，便捷了对显示屏的操控，减少了误操作现象，提高用户体验。

在上述技术方案的基础上，如图2所示，所述方法还包括：

步骤104、检测用户的手姿势。

可选的，用户终端的侧面可以设置有多个压力传感器，当握持用户终端时，分别获取感应到按压左\右侧面的压力传感器的左\右个数，当左个数减去右个数的差值大于第一预设值时，用户终端确定握持用户终端的手是左手，即手姿势是左手握持并触控用户终端的姿势；当左个数减去右个数的差值小于第二预设值时，确定握持用户终端的手是右手，即手姿势是右手握持并触控用户终端的姿势；当左个数减去右个数的差值在预设范围，确定握持用户终端的手是双手，即手姿势表征双手握持或双手环握用户终端的姿势；其中，第二预设值是负数，第一预设值是正数，预设范围的上限小于第一预设值，预设范围的下限大于第二预设值。

可选的，用户终端的背面可以设置多个压力传感器；用户终端按照感应到压力的压力传感器的位置，确定出手的轮廓；根据手的轮廓确定出握持用户终端的手是左手、右手还是双手。对于左手和右手，还需要判断手的轮廓是否包括五指的轮廓，如果包括，那么说明手姿势是双手环握用户终端的姿势；如果不包括，那么握持用户终端的手是左手就表征手姿势是右手握持并触控用户终端的姿势，握持用户终端的手是左手就表征手姿势是左手握持并触控用户终端的姿势。

这里，上述双手环握用户终端的姿势是一只手握持用户终端，另一只手触控用户终端的姿势。

步骤105、当检测到手姿势是双手握持用户终端的姿势或手姿势是双手环握用户终端的姿势时，将预设触控区域设置为显示界面的整个区域。

当双手握持用户终端的姿势时，用户两只手的手指都可以触控整个屏幕，因此，可以设置预设触控区域，不设置预设眼控区域。

步骤106、当检测到手姿势是右手握持并触控用户终端的姿势时，将预设触控区域设置为右触控区域，将预设眼控区域设置为除右触控区域之外的显示界面的区域。

右触控区域是用户右手握持用户终端时，右手拇指可触控的最大区域。这里，右触控区域可以是用户终端预设的一个区域，也可以是用户手动设置的区域。同样右触控区域还可以根据用户的触控动作落在显示界面的位置来更新。

步骤107、当检测到手姿势是左手握持并触控用户终端的姿势时，将预设触控区域设置为左触控区域，将预设眼控区域设置为除左触控区域之外的显示界面的区域。

左触控区域是用户左手握持用户终端时，左手拇指可触控的最大区域。这里，左触控区域可以是用户终端预设的一个区域，也可以是用户手动设置的区域。同样左触控区域还可以根据用户的触控动作落在显示界面的位置来更新。

上述左触控区域和右触控区域可以是用户握持用户终端的手的拇指在显示界面划出的扇形区域。

在上述技术方案的基础上，如图3所示，步骤103，即根据眼部动作的类型和注视点执行相应的操作指令，可以包括：

步骤1031、响应于眼部动作的类型和注视点，生成操作指令。

这里，用户终端存储有指令列表，每个指令都是由相应动作的类型和动作作用的位置触发的。本实施例可以从指令列表中查询眼部动作的类型及眼部动作作用在关注点的位置所对应的操作指令。

步骤1032、判断是否存在由触控动作触发且未执行的触控指令。

触控指令由触控动作触发。触控动作包括点击、双击、长按显示屏删给的某一点等。如果存在多条指令，获取到这些指令的触发条件，如果其中一条指令由触控触发，那么，该条指令就是触控指令。判断是否存在由触控动作触发且未执行的触控指令可以判断预设在生成操作指令的预设时间段内是否存在上述触控指令。

步骤1033、当存在触控指令时，禁止执行操作指令，执行触控指令。

步骤1034、当不存在触控指令时，执行操作指令。

本实施例中，由触控动作触发的触控指令的执行优先权高于由眼控动作触发的操作指令的执行优先权。

在上述技术方案的基础上，如图4所示，步骤1032之后，该方法还包括：

步骤108、当存在触控指令时，获取触控动作作用在显示界面的位置范围。

当不存在触控指令时，执行操作指令。

步骤109、当位置范围和注视点的位置范围重合时，执行触控指令，禁止执行操作指令。

这里，当触控动作的位置范围和注视点的位置范围的重叠率大于或等于预设率时，认为两者重合。

步骤110、当位置范围和目标图标的位置范围不重合时，执行操作指令，禁止执行触控指令。

这里，当触控动作的位置范围和注视点的位置范围的重叠率小于预设率时，认为两者不重合。

针对不同场景，当位置范围和目标图标的位置范围不重合时，相应执行的指令可以不同。可选的，如果在游戏场景或打字场景，用户的注视点和用户的触控动作一般不会重合，禁止执行操作指令，可执行触控指令；可选的，如果在阅读场景时，用户的注视点和用户的触控动作不重合，禁止执行触控指令，可执行操作指令。

在上述技术方案的基础上，步骤1031，即响应于眼部动作的类型和注视点，生成操作指令，可以包括：

判断眼部动作的类型是否是预设类型；当眼部动作的类型是预设类型时，根据注视点的位置和指令的预设对应表获取对应的操作指令。

只有特定的几个预设类型的动作作为获取操作指令的一个条件。

这里，用户终端存储有预设对应表，每个指令都是由相应动作的类型和动作作用的位置触发的。本实施例可以从预设对应表中查询预设类型的眼部动作作用在关注点的位置所对应的操作指令。

在上述技术方案的基础上，如图5所示，步骤101，即获取用户注视显示界面的注视点和眼部动作的信息，可以包括：

步骤1011、获取用户的眼睛特征和眼部动作的信息。

这里，眼睛特征包括瞳孔间距离，瞳孔大小，瞳孔大小变化，瞳孔亮暗对比度，角膜半径，虹膜信息等表征眼睛发生细微变化的特征；眼睛特征和眼部动作的信息获取方式一样，都可以通过图像捕捉或扫描提取。

步骤1012、根据眼睛特征，确定注视点的位置信息。

步骤1021可以通过眼球追踪技术实现。眼球追踪主要是研究眼球运动信息的获取、建模和模拟，估计视线方向与眼睛注视点位置的技术。当人的眼睛看向不同方向时，眼睛会有细微的变化，这些变化会产生可以提取的特征，用户终端可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制用户终端的目的。

优选的，本实施例还可以将用户常用的桌面区域设置为预设眼控区域。

实施例二

图6为本发明实施例二提供的操作指令执行方法的流程图，本实施例可适用于用户终端控制情况，该方法可以由操作指令执行装置来执行，该装置应用于用户终端。假设本实施例的显示界面是桌面界面，注视点是某个应用的图标。该方法具体包括如下步骤：

步骤201、检测用户的手姿势。

步骤202、当检测到手姿势是双手握持用户终端的姿势或手姿势是双手环握用户终端的姿势时，，将预设触控区域设置为桌面界面的整个区域。

步骤203、当检测到手姿势是右手握持并触控用户终端的姿势时，将预设触控区域设置为右触控区域，将预设眼控区域设置为除右触控区域之外的桌面界面的区域。

步骤204、当检测到手姿势是左手握持并触控用户终端的姿势时，将预设触控区域设置为左触控区域，将预设眼控区域设置为除左触控区域之外的桌面界面的区域。

步骤205、获取用户的眼睛特征和眼部动作的信息。

步骤206、根据眼睛特征，确定图标的位置信息。

步骤207、当图标处在预设眼控区域时，解析眼部动作的信息，得到眼部动作的类型。

步骤208、响应于眼部动作的类型和图标，生成操作指令。

步骤209、判断是否存在由触控动作触发且未执行的触控指令。若是，则执行步骤210；若否，则执行步骤211。

步骤210、禁止执行操作指令，执行触控指令。

步骤211、执行操作指令。

本实施例针对手机单手握持场景，提升用户可操作性、灵活性。解决单手握持无法控制手机全屏幕的问题。

实施例三

本发明实施例所提供的一种操作指令执行装置可执行本发明任意实施例所提供的操作指令执行方法，具备执行方法相应的功能模块和有益效果。

图7为本发明实施例三提供的操作指令执行装置的结构示意图。如图7所示，该装置可以包括：

获取模块301，用于获取用户注视显示界面的注视点和眼部动作的信息。

解析模块302，用于当所述注视点处在预设眼控区域时，解析所述眼部动作的信息，得到眼部动作的类型。

执行模块303，用于根据所述眼部动作的类型和所述注视点执行对应的操作指令。

本实施例通过在预设眼控区域对用户终端进行眼控，其他区域进行触控，这样，用户可以在显示界面的任何位置进行操作，实现全屏控制效果，便捷了对显示屏的操控，减少了误操作现象，提高用户体验。

可选的，所述显示界面的区域包括所述预设眼控区域和预设触控区域；其中，所述预设眼控区域具有眼控或触控功能，所述预设触控区域具有触控功能。

可选的，如图8所示，所述装置还包括：

检测模块304，用于检测所述用户的手姿势；

设置区域305，用于当检测到所述手姿势是双手握持用户终端的姿势或所述手姿势是双手环握用户终端的姿势时，将所述预设触控区域设置为所述显示界面的整个区域；当检测到所述手姿势是右手握持并触控用户终端的姿势时，将所述预设触控区域设置为右触控区域；将所述预设眼控区域设置为除所述右触控区域之外的显示界面的区域；所述右触控区域是所述用户右手握持用户终端时，右手拇指可触控的最大区域；当检测到所述手姿势是左手握持并触控用户终端的姿势时，将所述预设触控区域设置为左触控区域，将所述预设眼控区域设置为除所述左触控区域之外的显示界面的区域，所述左触控区域是所述用户左手握持用户终端时，左手拇指可触控的最大区域。

可选的，如图9所示，所述执行模块303包括：

生成子模块3031，用于响应于所述眼部动作的类型和所述注视点，生成所述操作指令；

第一判断子模块3032，用于判断是否存在由触控动作触发且未执行的触控指令；

执行子模块3033，用于当存在所述触控指令时，禁止执行所述操作指令，执行所述触控指令；当不存在所述触控指令时，执行所述操作指令。

可选的，如图10所示，所述装置还包括：

获取位置模块306，用于当存在所述触控指令时，获取所述触控动作作用在所述显示界面的位置范围；

所述执行模块303，用于当所述位置范围和所述注视点的位置范围重合时，执行所述触控指令，禁止执行所述操作指令；当所述位置范围和所述目标图标的位置范围不重合时，执行所述操作指令，禁止执行所述触控指令。

可选的，所述生成子模块3031用于：

判断所述眼部动作的类型是否是预设类型；

当所述眼部动作的类型是所述预设类型时，根据所述注视点的位置和指令的预设对应表获取对应的操作指令。

可选的，如图11所示，所述获取模块301，可以包括：

第二获取子模块3011，用于获取用户的眼睛特征和眼部动作的信息；

确定子模块3012，用于根据所述眼睛特征，确定所述注视点的位置信息。

实施例四

图12为本发明实施例四提供的一种用户终端的结构示意图，如图12所示，该用户终端包括处理器40、存储器41、输入装置42和输出装置43；用户终端中处理器40的数量可以是一个或多个，图12中以一个处理器40为例；用户终端中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图12中以通过总线连接为例。

存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的操作指令执行方法对应的程序指令/模块(例如，操作指令执行装置中的获取模块301、解析模块302和执行模块303)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行用户终端的各种功能应用以及数据处理，即实现上述的操作指令执行方法。

存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至用户终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置42可用于获取用户注视显示界面的注视点和眼部动作的信息，以及产生与用户终端的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种操作指令执行方法，该方法包括：

获取用户注视显示界面的注视点和眼部动作的信息；

当所述注视点处在预设眼控区域时，解析所述眼部动作的信息，得到眼部动作的类型；

根据所述眼部动作的类型和所述注视点执行对应的操作指令。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的操作指令执行方法中的相关操作.

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。