手势控制方法、装置、智能显示终端及存储介质与流程

本发明涉及计算机技术领域，尤其是涉及一种手势控制方法、装置、智能显示终端及存储介质。

背景技术：

随着科技的发展进步，手势控制技术越来越被广泛的应用于各个领域中，通过对人体的手势检测，并根据检测到的手势控制受控设备执行相应的操作，即可十分方便的完成对受控设备的控制。

现有的手势控制在一定程度上能够给用户带来一定的方便，然在实际应用过程中，用户无意识的一个手势动作可能会对受控设备进行误操作，影响用户体验。

技术实现要素：

有鉴于此，本发明的目的在于提提供一种手势控制方法、装置、智能显示终端及存储介质，以改善上述问题。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明实施例提供了一种手势控制方法，应用于设置有深度摄像头的智能显示终端，所述智能显示终端的显示界面上设置有多个控件，所述方法包括：

获取用户的第一手势和面部瞳孔图像；

依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点；

当所述视觉焦点与其中一个控件重合且所述第一手势与被重合的控件匹配时，触发所述被重合的控件。

可选的，所述方法还包括：

获取用户的第二手势；

当获取到所述第二手势与获取到所述第一手势的时间间隔小于设定的阈值，且所述第二手势与所述第一手势的运动姿态相反时，返回上一显示页面。

可选的，所述依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点，包括：

依据所述面部瞳孔图像中瞳孔在眼部的位置以及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点。

第二方面，本发明实施例提供了一种手势控制装置，应用于设置有深度摄像头的智能显示终端，所述智能显示终端的显示界面上设置有多个控件，所述手势控制装置包括：

获取模块，用于获取用户的第一手势和面部瞳孔图像；

确定模块，用于依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点；

判断模块，用于判断所述视觉焦点是否与控件重合；以及

判断所述第一手势是否与被重合的控件匹配；

触发模块，用于当所述视觉焦点与其中一个控件重合且所述第一手势与被重合的控件匹配时，触发所述被重合的控件。

可选的，手势控制装置还包括返回模块；

所述获取模块还用于获取用户的第二手势；

所述判断模块还用于判断所述第二手势与获取到所述第一手势的时间间隔是否小于设定的阈值；以及

判断所述第二手势与所述第一手势的运动姿态是否相反；

所述返回模块用于当获取到所述第二手势与获取到所述第一手势的时间间隔小于设定的阈值，且所述第二手势与所述第一手势的运动姿态相反时，返回上一显示页面。

可选的，所述确定模块用于依据所述面部瞳孔图像中瞳孔在眼部的位置以及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点。

第三方面，本发明实施例提供了一种智能显示终端，所述智能显示终端包括：

存储器；

处理器；以及

手势控制装置，所述手势控制装置安装于所述存储器中并包括一个或多个由所述处理器执行的软件功能模组，所述手势控制装置包括：

获取模块，用于获取用户的第一手势和面部瞳孔图像；

确定模块，用于依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点；

判断模块，用于判断所述视觉焦点是否与控件重合；以及

判断所述第一手势是否与被重合的控件匹配；

触发模块，用于当所述视觉焦点与其中一个控件重合且所述第一手势与被重合的控件匹配时，触发所述被重合的控件。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述方法的步骤。

与现有技术相比，本发明的有益效果在于：

本发明提供的手势控制方法、装置、智能显示终端及存储介质可有效避免用户无意识的手势动作对受控设备的误操作，提升用户体验。

附图说明

图1为本发明较佳实施例提供的智能显示终端的方框示意图。

图2为本发明较佳实施例提供的手势控制方法的流程图。

图3为本发明较佳实施例提供的智能显示终端的显示区域的示意图。

图4为本发明较佳实施例提供的手势控制装置的功能模块图。

附图标记说明：100-智能显示终端；110-手势控制装置；111；获取模块；112-确定模块；113-判断模块；114-触发模块；115-返回模块；120-存储器；130-存储控制器；140-处理器；150-外设接口；160-输入输出单元；170-音频单元；180-显示单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1，是本发明较佳实施例提供的智能显示终端100的方框示意图，所述智能显示终端100可以是，但不限于，智能手机、平板电脑、个人数字助理(personaldigitalassistant，pda)、移动上网设备(mobileinternetdevice，mid)等。所述智能显示终端100包括手势控制装置110、存储器120、存储控制器130、处理器140、外设接口150、输入输出单元160、音频单元170以及显示单元180等。

所述存储器120、存储控制器130、处理器140、外设接口150、输入输出单元160、音频单元170、显示单元180各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述手势控制装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述智能显示终端100设备的操作系统(operatingsystem，os)中的软件功能模块。所述处理器140用于执行存储器120中存储的可执行模块，例如所述手势控制装置110包括的软件功能模块或计算机程序。

其中，存储器120可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器120用于存储程序，所述处理器140在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器140中，或者由处理器140实现。

处理器140可能是一种集成电路芯片，具有信号的处理能力。上述的处理器140可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述外设接口150将各种输入/输入装置耦合至处理器140以及存储器120。在一些实施例中，外设接口150，处理器140以及存储控制器130可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元160用于提供给用户输入数据实现用户与所述手势控制装置110的交互。所述输入输出单元160可以是，但不限于，鼠标、键盘或触控屏等。

音频单元170向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示单元180在所述手势控制装置110与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元180可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器140进行计算和处理。

请参阅图2，是本发明较佳实施例提供的应用于图1所示的手势控制装置110的手势控制方法的流程图，下面将对图2所示的流程进行详细阐述。

步骤s101，获取用户的第一手势和面部瞳孔图像。

本发明实施例中，智能显示终端100设置有前置的深度摄像头，当智能显示终端100被启动后，所述深度摄像头被唤醒。此时深度摄像头可获取其视场区域内的用户面部图像，并根据获取到的用户面部图像进行轮廓识别，识别出用户的面部瞳孔图像。其中，所述面部瞳孔图像包括用户眼部瞳孔和眼部外的面部区域，根据该面部瞳孔图像即可获知用户的视觉方向。

智能显示终端100的显示页面设置有多个不同控件，当控件被触发时可以触发相应的操作。智能显示终端100预先设定有不同控件对应的控制手势，当用户挥动第一手势来控制智能显示终端100的显示页面时，深度摄像头可获取用户的第一手势。

步骤s102，依据面部瞳孔图像及瞳孔距离深度摄像头的距离确定用户在智能显示终端的显示界面上的视觉焦点。

所述面部瞳孔图像包括用户眼部瞳孔和眼部外的面部区域，用户在观看显示界面上显示的内容时可通过眼球的转动(瞳孔在眼眶内的位置发送改变)和/或面部的转动来实现视觉方向的改变。因此根据面部瞳孔图像中瞳孔在眼眶中的位置及面部的朝向即可获知用户的视觉方向。同时，由于智能显示终端100前置深度摄像头，因此能够获取到瞳孔距离深度摄像头的距离。

在获得面部瞳孔图像及瞳孔距离深度摄像头的距离后，智能显示终端100根据面部瞳孔图像确定用户的视觉方向，并根据用户的视觉方向与瞳孔距离深度摄像头的距离计算出用户在智能显示终端的显示界面上的视觉焦点。

步骤s103，判断视觉焦点是否与其中一个控件重合，若是，执行步骤s104。

智能显示终端100的显示页面设置有多个不同控件，当控件被触发时可以触发不同的操作。如图3所示，当用户通过智能显示终端100浏览小说时，该智能显示终端100的显示区域底部设置有“上一页”、“目录”和“下一页”等三个控件。当智能显示终端100依据面部瞳孔图像及瞳孔距离深度摄像头的距离确定用户在其显示界面上的视觉焦点后，智能显示终端100判断该视觉焦点是否与其中一个控件重合。

视觉焦点与控件重合可以是指该视觉焦点在该控件所覆盖的区域内，或者该视觉焦点与该控件的覆盖区域的距离小于设定的某一阈值。本发明实施例中，视觉焦点与控件重合是指视觉焦点与该控件的覆盖区域的距离小于设定的某一阈值，该阈值的取值不宜过大，以确保不会出现判定视觉焦点同时与两个及其以上的控件重合的情形。如此，即使在确定视觉焦点的位置时出现略微的偏差也不会对后续的手势操作产生影响。

步骤s104，判断第一手势是否与被重合的控件匹配，若是，执行步骤s105。

每个控件的触发指令对应不同的操作手势，当视觉焦点与其中一个控件重合时，智能显示终端100还判断用户的第一手势与该被重合的控件是否匹配，若匹配则执行步骤s105。

步骤s105，触发被重合的控件。

当用户在显示界面上的视觉焦点其中一个控件重合且该第一手势与被重合的控件匹配时，则智能显示终端100控制触发其显示界面上该被重合的控件。

例如，智能显示终端100预先设定显示界面上的“上一页”控件与向左挥动的手势对应，“目录”控件与向上挥动手势对应，“下一页”控件与向右挥动手势对应。若用户在显示界面上的视觉焦点与“上一页”控件重合，且第一手势为向左挥手，即第一手势与被重合的“上一页”控件匹配，则此时触发该“上一页”控件，以加载上一页面的内容。若用户在显示界面上的视觉焦点与“目录”控件重合，且第一手势为向上挥手，则说明第一手势与被重合的“目录”控件匹配，此则此时触发该“目录”控件，以加载目录页面。若用户在显示界面上的视觉焦点与“下一页”控件重合，且第一手势为向右挥手，则说明第一手势与被重合的“下一页”控件匹配，此则此时触发该“下一页”控件，以加载下一页面的内容。

步骤s106，获取用户的第二手势。

智能显示终端100预先定义有用于返回上一显示页面的控制手势，该控制手势与控制从上一页面跳转到当前页面的手势相反。当用户由于误操作而导致页面切换，可挥动与从上一页面跳转到当前页面的手势相反的第二手势，智能显示终端100通过其设置的深度摄像头获取到用户的第二手势。

步骤s107，判断获取到第二手势与获取到第一手势的时间间隔是否小于设定的阈值，若是，执行步骤s108。

一般情况下若用户由于误操作而导致页面切换时，不会在切换后的显示页面过久停留而会快速重新切换回原来的页面继续浏览。因此，智能显示终端100预先定义有一用于判断用户是否可能出现误操作的(时间)阈值，当智能显示终端100获得用户的第二手势后，判断获取到第二手势与获取到第一手势的时间间隔是否小于该设定的阈值，若小于该阈值则执行步骤s108。

步骤s108，判断第二手势与第一手势的运动姿态是否相反，若是，执行步骤s109。

与此同时，智能显示终端100还判断获取到的第二手势语第一手势的运动姿态是否相反，若是则执行步骤s109。例如，第一手势为向右挥手，而第二手势为向左挥手，则第二手势语第一手势的运动姿态相反。

需要说明的是，本发明实施例中步骤s107与步骤s108的顺序并不限定。

步骤s109，返回上一显示页面。

当获取到第二手势与获取到第一手势的时间间隔小于设定的阈值，且第二手势与第一手势的运动姿态相反，则说明用户想切换回上一显示页面，此时智能显示终端100加载上一显示页面的内容，以返回上一显示页面。

请参阅图4，是本发明较佳实施例提供的图1所示的手势控制装置110的功能模块示意图，所述手势控制装置110包括有获取模块111、确定模块112、判断模块113、触发模块114、返回模块115。

所述获取模块111用于获取用户的第一手势和面部瞳孔图像。

可以理解的，所述获取模块111可以用于执行上述的步骤s101。

所述确定模块112用于依据所述面部瞳孔图像及瞳孔距离所述深度摄像头的距离确定用户在所述智能显示终端的显示界面上的视觉焦点。

可以理解的，所述确定模块112可以用于执行上述的步骤s102。

所述判断模块113用于判断所述视觉焦点是否与控件重合，以及判断所述第一手势是否与被重合的控件匹配。

可以理解的，所述判断模块113可以用于执行上述的步骤s103和步骤s104。

所述触发模块114用于当所述视觉焦点与其中一个控件重合且所述第一手势与被重合的控件匹配时，触发所述被重合的控件。

可以理解的，所述触发模块114可以用于执行上述的步骤s105。

所述获取模块111还用于获取用户的第二手势。

可以理解的，所述获取模块111还可以用于执行上述的步骤s106。

所述判断模块113还用于判断所述第二手势与获取到所述第一手势的时间间隔是否小于设定的阈值，以及判断所述第二手势与所述第一手势的运动姿态是否相反。

可以理解的，所述判断模块113还可以用于执行上述的步骤s107和步骤s108。

所述返回模块115用于当获取到所述第二手势与获取到所述第一手势的时间间隔小于设定的阈值，且所述第二手势与所述第一手势的运动姿态相反时，返回上一显示页面。

可以理解的，所述返回模块115可以用于执行上述的步骤s109。

进一步的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当该程序被处理器执行时可执行上述实施例中的手势控制方法。

综上所述，本发明公开的手势控制方法、装置、智能显示终端及存储介质，可根据获取到的面部瞳孔图像确定出用户在显示界面上的视觉焦点，并当视觉焦点与其中一个控件重合且获取到的第一手势与被重合的控件匹配时，触发被重合的控件。如此，通过用户视觉与手势的结合可有效避免用户无意识的手势动作对受控设备的误操作，提升用户体验。同时，即使视觉焦点与控件的覆盖区域存在一定的偏差，也能够实现对受控设备操作控制，避免在确定视觉焦点的位置时由于计算偏差而导致对受控设备控制失效的情形发生，进一步方便对受控设备的控制。另外，当出现误操作时可通过反向挥动手势返回上一显示页面，进一步方便用户对受控设备的操作控制，提升用户体验。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。