屏幕操作方法、装置、电子设备及计算机可读存储介质与流程

[0001]
本发明涉及终端设备技术领域，尤其涉及一种屏幕操作方法、装置、电子设备及计算机可读存储介质。


背景技术：

[0002]
现在越来越多的车辆开始添加后排屏幕的配置，但是后排用户与屏幕距离较远，使用传统的触摸方式需要频繁起身，而使用语音控制容易对他人产生影响，而且存在误识别的现象。
[0003]
可见，现有对于后排屏幕的操作方法存在操作不便或识别率低的问题。


技术实现要素：

[0004]
本发明实施例的目的是提供一种屏幕操作方法、装置、电子设备及计算机可读存储介质，以解决现有对于后排屏幕的操作方法存在操作不便或识别率低的问题。
[0005]
为了解决上述技术问题，本发明实施例是这样实现的：
[0006]
第一方面，本发明实施例提供了一种屏幕操作方法，包括：
[0007]
通过预设的眼球追踪方法，确定在屏幕上与用户视线对应的待操作图标；
[0008]
若通过预设的手势识别方法识别出针对所述待操作图标的第一类手势，则对所述待操作图标执行所述第一类手势对应的操作。
[0009]
第二方面，本发明实施例提供了一种屏幕操作装置，包括：
[0010]
眼球追踪模块，用于通过预设的眼球追踪方法，确定在屏幕上与用户视线对应的待操作图标；
[0011]
手势识别模块，用于若通过预设的手势识别方法识别出针对所述待操作图标的第一类手势，则对所述待操作图标执行所述第一类手势对应的操作。
[0012]
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如第一方面所述的屏幕操作方法步骤。
[0013]
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的屏幕操作方法步骤。
[0014]
由以上本发明实施例提供的技术方案可见，本发明实施例通过预设的眼球追踪方法，确定在屏幕上与用户视线对应的待操作图标；若通过预设的手势识别方法识别出针对所述待操作图标的第一类手势，则对所述待操作图标执行所述第一类手势对应的操作。通过本发明实施例，使用户能够通过简单的动作实现对车载的屏幕的准确操作。
附图说明
[0015]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0016]
图1为本发明实施例提供的屏幕操作方法的第一种流程示意图；
[0017]
图2为本发明实施例提供的用于执行屏幕操作方法的系统结构示意图；
[0018]
图3为本发明实施例提供的屏幕操作方法的第二种流程示意图；
[0019]
图4为本发明实施例提供的屏幕操作方法的第三种流程示意图；
[0020]
图5为本发明实施例提供的屏幕操作装置的模块组成示意图；
[0021]
图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
[0022]
本发明实施例提供了一种屏幕操作方法、装置、电子设备及计算机可读存储介质。
[0023]
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0024]
如图1所示，本发明实施例提供一种屏幕操作方法，该方法的执行主体可以为处理器，所述处理器分别也图像采集设备和屏幕相连，所述处理器可以是车载的计算机或控制系统，也可以与图像采集设备同时集成到所述屏幕上，在此不作具体的限定。该方法具体可以包括以下步骤：
[0025]
步骤s01、通过预设的眼球追踪方法，确定在屏幕上与用户视线对应的待操作图标。
[0026]
通过图像采集设备，获取用户的眼部图像，并发送给处理器。
[0027]
由处理器通过预设的眼球追踪方法，追踪用户视线。根据用户视线所面对的方向确定在屏幕上用户所注视的位置，若该位置存在可操作的图标，则将该图标确定为待操作图标。并指示屏幕显示对所述待操作图像进行标示，例如，高亮显示。
[0028]
步骤s02、若通过预设的手势识别方法识别出针对所述待操作图标的第一类手势，则对所述待操作图标执行所述第一类手势对应的操作。
[0029]
通过图像采集设备，获取用户的手部动作，并发送给处理器。
[0030]
由所述处理器通过预设的手势识别方法，判定用户的手部动作是否与预设的第一类手势相匹配。
[0031]
应理解的是，所述处理器预先设置两类手势，分别为针对待操作图标的第一类手势，以及针对当前页面的第二类手势。其中，所述第二类手势可以为常用的基本手势，例如，左右或者上下的挥手动作，用于切换页面或者调整音量等；所述第一类手势可以为相对复杂的精准手势，用于对待操作图标进行精确操作，例如，捏合动作，用于进行点击操作等。
[0032]
若确定用户的手部动作与所述第一类手势相匹配，则指示所述屏幕对所述待操作
图标执行与所述第一类手势对应的操作。
[0033]
由以上本发明实施例提供的技术方案可见，本发明实施例通过预设的眼球追踪方法，确定在屏幕上与用户视线对应的待操作图标；若通过预设的手势识别方法识别出针对所述待操作图标的第一类手势，则对所述待操作图标执行所述第一类手势对应的操作。通过本发明实施例，使用户能够通过简单的动作实现对车载的屏幕的准确操作。
[0034]
基于上述实施例，进一步的，如图3所示，上述步骤s01的具体处理方式可以多种多样，以下再提供一种可选的处理方式，具体可以参见下述步骤s011-s013的处理。
[0035]
步骤s011、通过预设的眼球追踪方法判断用户视线是否在屏幕上。
[0036]
处理器通过眼球追踪方法，先确定用户视线是否在所述屏幕上，若不在，则判定用户并没有注视屏幕，并不需要对屏幕进行操作。此时，无需执行手势识别。
[0037]
步骤s012、在判定所述用户视线在所述屏幕上时，确定所述用户视线在所述屏幕上的视线焦点。
[0038]
而若所述用户视线在所述屏幕上，则需要进一步确定用户视线在屏幕上的视线焦点，相当于确定用户所注视的区域。
[0039]
进一步的，所述方法还包括：
[0040]
在所述屏幕上显示用于表征所述视线焦点的图标。
[0041]
将所述视线焦点在所述屏幕上进行显示，可采用预设的用于表征视线焦点所在位置的专用图标，例如，可采用指示箭头或手型图标等。从而方便用户根据显示的图标移动用户视线到需要操作的待操作图标。
[0042]
步骤s013、根据所述视线焦点在所述屏幕上的位置，确定与所述视线焦点对应的待操作图标。
[0043]
根据视线焦点在屏幕上的位置，即所述视线焦点的图标，若所述视线焦点的图标不在可操作的图标所在区域，则可判定不存在待操作图标；而在所述视线焦点的图标移动到所述待操作图标所在区域时，则对所述待操作图标进行高亮显示。
[0044]
由以上本发明实施例提供的技术方案可见，本发明实施例通过预设的眼球追踪方法判断用户视线是否在所述屏幕上；在判定所述用户视线在所述屏幕上时，确定所述用户视线在所述屏幕上的视线焦点；根据所述视线焦点在所述屏幕上的位置，确定与所述视线焦点对应的待操作图标。通过本发明实施例，使用户能够通过简单的动作实现对车载的屏幕的准确操作。
[0045]
基于上述实施例，进一步的，如图4所示，步骤s011后，在判定所述用户视线在所述屏幕上时，所述方法还包括：
[0046]
步骤s03、若通过预设的手势识别方法识别出针对当前页面的第二类手势，则对所述当前页面执行与所述第二类手势对应的操作。
[0047]
在确定用户视线在所述屏幕上时，无论是否存在与视线焦点对应的待操作图标，在对用户的手部动作进行手势识别时，若匹配到了第二类手势，则均将对当前页面执行与第二类手势对应的操作。例如，若当前页面为听音乐的页面，则在识别出左右挥手动作时进行音乐切换，而在识别出上下挥手动作时进行音量调整。
[0048]
应理解的是，对于第二类手势的应用也可以独立存在，在通过眼球追踪方法确定用户视线不在屏幕上时，所述处理器通过手势识别方法同样可识别出第二类手势；而在处
理器无法追踪到用户眼球时，所述处理器依然能通过手势识别方法识别出第二类手势。
[0049]
由以上本发明实施例提供的技术方案可见，本发明实施例若通过预设的手势识别方法识别出针对当前页面的第二类手势，则对所述当前页面执行与所述第二类手势对应的操作。通过本发明实施例，使用户能够通过简单的动作实现对车载的屏幕的准确操作。
[0050]
对应上述实施例提供的屏幕操作方法，基于相同的技术构思，本发明实施例还提供了一种屏幕操作装置，图5为本发明实施例提供的屏幕操作装置的模块组成示意图，该屏幕操作装置用于执行图1至图4描述的屏幕操作方法，如图5所示，该屏幕操作装置包括：眼球追踪模块501和手势识别模块502。
[0051]
眼球追踪模块501用于通过预设的眼球追踪方法，确定在屏幕上与用户视线对应的待操作图标；手势识别模块502用于若通过预设的手势识别方法识别出针对所述待操作图标的第一类手势，则对所述待操作图标执行所述第一类手势对应的操作。
[0052]
由以上本发明实施例提供的技术方案可见，本发明实施例通过预设的眼球追踪方法，确定在屏幕上与用户视线对应的待操作图标；若通过预设的手势识别方法识别出针对所述待操作图标的第一类手势，则对所述待操作图标执行所述第一类手势对应的操作。通过本发明实施例，使用户能够通过简单的动作实现对车载的屏幕的准确操作。
[0053]
进一步的，上述眼球追踪模块，包括：
[0054]
第一追踪单元，用于通过预设的眼球追踪方法判断用户视线是否在屏幕上；
[0055]
第二追踪单元，在判定所述用户视线在所述屏幕上时，确定所述用户视线在所述屏幕上的视线焦点；
[0056]
第三追踪单元，根据所述视线焦点在所述屏幕上的位置，确定与所述视线焦点对应的待操作图标。
[0057]
进一步的，所述第二追踪单元还用于，在所述屏幕上显示用于表征所述视线焦点的图标。
[0058]
由以上本发明实施例提供的技术方案可见，本发明实施例通过预设的眼球追踪方法判断用户视线是否在所述屏幕上；在判定所述用户视线在所述屏幕上时，确定所述用户视线在所述屏幕上的视线焦点；根据所述视线焦点在所述屏幕上的位置，确定与所述视线焦点对应的待操作图标。通过本发明实施例，使用户能够通过简单的动作实现对车载的屏幕的准确操作。
[0059]
进一步的，所述手势识别模块还用于，若通过预设的手势识别方法识别出针对当前页面的第二类手势，则对所述当前页面执行与所述第二类手势对应的操作。
[0060]
由以上本发明实施例提供的技术方案可见，本发明实施例若通过预设的手势识别方法识别出针对当前页面的第二类手势，则对所述当前页面执行与所述第二类手势对应的操作。通过本发明实施例，使用户能够通过简单的动作实现对车载的屏幕的准确操作。
[0061]
本发明实施例提供的屏幕操作装置能够实现上述屏幕操作方法对应的实施例中的各个过程，为避免重复，这里不再赘述。
[0062]
需要说明的是，本发明实施例提供的屏幕操作装置与本发明实施例提供的屏幕操作方法基于同一发明构思，因此该实施例的具体实施可以参见前述屏幕操作方法的实施，重复之处不再赘述。
[0063]
对应上述实施例提供的屏幕操作方法，基于相同的技术构思，本发明实施例还提
供了一种电子设备，该电子设备用于执行上述的屏幕操作方法，图6为实现本发明各个实施例的一种电子设备的结构示意图，如图6所示。电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器601和存储器602，存储器602中可以存储有一个或一个以上存储应用程序或数据。其中，存储器602可以是短暂存储或持久存储。存储在存储器602的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对电子设备中的一系列计算机可执行指令。更进一步地，处理器601可以设置为与存储器602通信，在电子设备上执行存储器602中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源603，一个或一个以上有线或无线网络接口604，一个或一个以上输入输出接口605，一个或一个以上键盘606。
[0064]
具体在本实施例中，电子设备包括有处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现以下方法步骤：
[0065]
通过预设的眼球追踪方法，确定在屏幕上与用户视线对应的待操作图标；
[0066]
若通过预设的手势识别方法识别出针对所述待操作图标的第一类手势，则对所述待操作图标执行所述第一类手势对应的操作。
[0067]
本申请实施例还提供一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下方法步骤：
[0068]
通过预设的眼球追踪方法，确定在屏幕上与用户视线对应的待操作图标；
[0069]
若通过预设的手势识别方法识别出针对所述待操作图标的第一类手势，则对所述待操作图标执行所述第一类手势对应的操作。
[0070]
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0071]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0072]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0073]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0074]
在一个典型的配置中，电子设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0075]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0076]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0077]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0078]
本领域技术人员应明白，本申请的实施例可提供为方法、装置或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0079]
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。