眼动追踪的帧率调整方法和装置与流程

本技术涉及终端，尤其涉及一种眼动追踪的帧率调整方法和装置。

背景技术：

1、在终端设备接收弹窗消息时，例如短信通知消息，终端设备能够通过眼动追踪检测对人眼在终端设备显示屏的注视点进行追踪。终端设备对人眼的注视点进行眼动追踪的过程，即为采用一定帧率获取图像，并通过图像处理算法对获取的图像中人眼的注视点在终端设备的显示屏上的位置坐标进行分析计算的过程。在根据检测结果确定用户具有查看该弹窗消息的意图的情况下，终端设备可以展开该弹窗消息；否则，终端设备可以收起该弹窗消息，从而减少用户的手动操作，提升用户体验。

2、然而，这样的眼动追踪检测的过程可能使终端设备的功耗较大。

技术实现思路

1、本技术实施例提供一种眼动追踪的帧率调整方法及相关装置，当终端设备进行眼动追踪检测时，可以在用户未注视终端设备的显示屏时，控制摄像头以较低的帧率采集图像，减少终端设备眼动追踪检测时的功耗。

2、第一方面，本技术实施例提供一种眼动追踪的帧率调整方法，应用于终端设备，所述终端设备包括摄像头，所述终端设备部署有富执行环境和可信执行环境，所述方法包括：在需要进行眼动追踪检测的情况下，所述终端设备在所述富执行环境中创建运行内存，其中，所述运行内存用于运行图像处理算法对通过所述摄像头采集的图像进行图像处理；所述终端设备的第一界面显示弹窗消息，所述终端设备开启第一计时器，并控制所述摄像头以第一帧率采集图像，所述第一界面包括所述弹窗消息的部分内容；所述终端设备在所述运行内存中基于所述摄像头以第一帧率采集的图像，检测人眼的注视点是否处于所述终端设备的显示屏上；在所述第一计时器对应的时间段内，所述终端设备检测人眼的注视点持续未处于所述终端设备的显示屏上，所述终端设备开启第二计时器，并控制所述摄像头以第二帧率采集图像，所述第二帧率小于所述第一帧率；所述终端设备在所述运行内存中基于所述摄像头以第二帧率采集的图像，检测人眼的注视点是否处于所述终端设备的显示屏上；在所述第二计时器超时之前，所述终端设备检测到人眼的注视点处于所述终端设备的显示屏上，所述终端设备开启第三计时器，并控制所述摄像头以所述第一帧率采集图像；在无需进行眼动追踪检测的情况下，所述终端设备停止采集图像，并在所述富执行环境中释放所述运行内存。

3、本技术的眼动追踪的帧率调整方法，当终端设备显示弹窗消息，且终端设备进行眼动追踪时，终端设备调整摄像头的帧率。当未检测到用户的注视点时，表示用户查看通知消息的可能性较小，终端设备可以控制摄像头以较小的帧率采集图像。这样，终端设备可以控制摄像头以较小的帧率采集图像，可以减少终端设备的功耗。此外，在终端设备需要对摄像头采集的图像进行眼动追踪检测时创建运行内存，在无需进行眼动追踪检测时释放运行内存，能够提高终端设备的内存空间使用效率。

4、应理解，本实施例中的眼动追踪检测可以理解为对摄像头采集的图像进行图像处理时，识别人眼所对应的注视点在终端设备的显示屏的位置或者人眼的特征等检测。当终端设备确定当前需要进行眼动追踪检测时，此时，终端设备可以在富执行环境中创建运行内存，以便终端设备可以在富执行环境中所创建的运行内存中对运行图像处理算法以便对摄像头所采集到的图像进行处理。

5、在第一方面的某些实现方式中，所述方法还包括：在所述第一计时器超时之前，所述终端设备检测到人眼的注视点处于所述终端设备的显示屏上，所述终端设备开启第四计时器，并控制所述摄像头以所述第一帧率采集图像，所述第四计时器的时长大于所述第一计时器的时长；所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否持续位于所述弹窗消息对应的区域内；在所述第四计时器对应的时间段内，所述终端设备检测到人眼的注视点持续位于所述弹窗消息对应的区域内，所述终端设备显示第二界面，所述第二界面包括所述弹窗消息的全部内容。

6、应理解，在第四计时器对应的时间段内，用户持续注视弹窗消息对应的区域时，说明用户具有查看弹窗消息的意图，此时，终端设备可以显示该弹窗消息完整的内容。这样，能够减少用户的操作，提高用户体验。

7、在第一方面的某些实现方式中，所述终端设备开启第三计时器，并控制所述摄像头以所述第一帧率采集图像之后，所述方法还包括：所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否持续位于所述弹窗消息对应的区域内；在所述第三计时器对应的时间段内，所述终端设备检测到人眼的注视点持续位于所述弹窗消息对应的区域内，所述终端设备显示第二界面，所述第二界面包括所述弹窗消息的全部内容。

8、应理解，第三计时器和第四计时器对应的时间段可以相同。在第三计时器对应的时间段内，用户持续注视弹窗消息对应的区域时，说明用户具有查看弹窗消息的意图，此时，终端设备可以显示该弹窗消息完整的内容。

9、在第一方面的某些实现方式中，所述终端设备显示第二界面之后，所述方法还包括：所述终端设备开启第五计时器，并控制所述摄像头以所述第二帧率采集图像；所述终端设备在所述运行内存中基于所述摄像头以所述第二帧率采集的图像，检测人眼的注视点是否持续未处于所述弹窗消息对应的区域内；在所述第五计时器对应的时间段内，所述终端设备检测到人眼的注视点持续未处于所述弹窗消息对应的区域内，所述终端设备确定无需再进行眼动追踪检测，显示第三界面，所述第三界面不包括所述弹窗消息或包括所述弹窗消息的部分内容。

10、应理解，在终端设备显示第二界面时，用户可以查看弹窗消息全部的内容。进一步地，在用户看完该弹窗消息后，用户将不再注视该弹窗消息，此时，终端设备在第五计时器对应的时间段内检测到用户的注视点持续不在该弹窗消息对应的区域内，终端设备可以收起该弹窗消息。例如终端设备可以完全收起该弹窗消息，或者部分收起该弹窗消息。

11、在第一方面的某些实现方式中，所述方法还包括：在所述第五计时器超时之前，所述终端设备检测到人眼的注视点处于所述弹窗消息对应的区域内，所述终端设备重新开启所述第五计时器，并控制所述摄像头以所述第二帧率采集图像。

12、应理解，在第五计时器超时之前，终端设备检测到人眼的注视点处于弹窗消息对应的区域内，则用户仍然具有查看该弹窗消息的需求，此时，终端设备仍然显示第二界面，即向用户显示弹窗消息的完整内容。该过程是循环进行的，直至终端设备在第五计时器对应的时间段内，检测到人眼的注视点持续未处于弹窗消息对应的区域内，此时说明用户无需再查看该弹窗消息，终端设备收起该弹窗消息。这样，能够进一步减少用户的操作，提高用户体验感。

13、在第一方面的某些实现方式中，所述方法还包括：在所述第四计时器超时之前，所述终端设备检测到人眼的注视点未处于所述弹窗消息对应的区域内，所述终端设备开启第六计时器，并控制所述摄像头以所述第一帧率采集图像；所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否持续未处于所述弹窗消息对应的区域内；在所述第六计时器对应的时间段内，所述终端设备检测到人眼的注视点持续未处于所述弹窗消息对应的区域内，所述终端设备确定无需再进行眼动追踪检测，显示第四界面，所述第四界面不包括所述弹窗消息。

14、应理解，在第四计时器对应的时间段内，若终端设备检测到用户的注视点离开弹窗消息对应的区域时，将开启第六计时器，并在第六计时器对应的时间段内检测用户的注视点是否持续未处于弹窗消息对应的区域内；若是，则终端设备可以确定用户没有再继续查看该弹窗消息的意图，此时终端设备可以收起该弹窗消息，显示第四界面。

15、在第一方面的某些实现方式中，所述方法还包括：在所述第六计时器超时之前，所述终端设备检测到人眼的注视点处于所述弹窗消息对应的区域内，重新开启所述第四计时器，并控制所述摄像头以所述第一帧率采集图像。

16、应理解，若第六计时器超时之前，终端设备检测到用户的注视点又位于弹窗消息对应的区域内，说明用户可能需要查看该弹窗消息。此时，终端设备可以重新开启第四计时器，从而在第四计时器对应的时间段内检测人眼的注视点是否持续位于弹窗消息对应的区域内，若是，终端设备可以确定用户具有查看该弹窗消息的意图，并显示第二界面。

17、在第一方面的某些实现方式中，所述方法还包括：在所述第三计时器超时之前，所述终端设备检测到人眼的注视点未处于所述弹窗消息对应的区域内，所述终端设备开启第六计时器，并控制所述摄像头以所述第一帧率采集图像；所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否持续未处于所述弹窗消息对应的区域内；在所述第六计时器对应的时间段内，所述终端设备检测到人眼的注视点持续未处于所述弹窗消息对应的区域内，所述终端设备确定无需再进行眼动追踪检测，显示第四界面，所述第四界面不包括所述弹窗消息。

18、应理解，在第三计时器对应的时间段内，若终端设备检测到用户的注视点离开弹窗消息对应的区域时，将开启第六计时器，并在第六计时器对应的时间段内检测用户的注视点是否持续未处于弹窗消息对应的区域内；若是，则终端设备可以确定用户没有再继续查看该弹窗消息的意图，此时终端设备可以收起该弹窗消息，显示第四界面。

19、在第一方面的某些实现方式中，所述方法还包括：在所述第六计时器超时之前，所述终端设备检测到人眼的注视点处于所述弹窗消息对应的区域内，重新开启所述第三计时器，并控制所述摄像头以所述第一帧率采集图像。

20、应理解，若第六计时器超时之前，终端设备检测到用户的注视点又位于弹窗消息对应的区域内，说明用户可能需要查看该弹窗消息。此时，终端设备可以重新开启第三计时器，从而在第三计时器对应的时间段内检测人眼的注视点是否持续位于弹窗消息对应的区域内，若是，终端设备可以确定用户具有查看该弹窗消息的意图，并显示第二界面。

21、在第一方面的某些实现方式中，所述方法还包括：在需要进行眼动追踪检测的情况下，所述终端设备在所述富执行环境中创建共享内存；其中，所述共享内存用于存储在所述可信执行环境中进行加密处理后的图像；所述运行内存用于运行图像处理算法对所述加密处理后的图像进行图像处理；在无需进行眼动追踪检测的情况下，所述终端设备在所述富执行环境中释放所述共享内存。

22、应理解，在终端设备中，当摄像头采集到图像之后，为了确保图像的安全性，通常会将所采集到的人脸图像存储至预先申请的安全内存中，其中，该安全内存仅能有可信执行环境侧进行访问，富执行环境侧无法访问该安全内存。举例来说，当摄像头采集到图像时，此时，终端设备可以基于内核层将所采集到的图像直接存储在安全内存中。为了方便终端设备可以在富执行环境中获取到采集的图像，本实施例中当终端设备确定当前需要进行眼动追踪检测时，此时，终端设备不仅在富执行环境中创建运行内存，还需要在富执行环境中创建共享内存。其中，共享内存中用于存储终端设备在可信执行环境中所获取到的人脸采集图像。终端设备还可以实时监测当前是否需要进行眼动追踪检测，若确定无需再次进行眼动追踪检测时，此时，则可以在富执行环境中对所创建的运行内存以及共享内存进行释放，以便提高终端设备中的内存空间的占用率，并且，采用了加密处理的方式和共享内存的方式进行图像的传递，有利于提高图像的安全性。

23、第二方面，提供了一种眼动追踪的帧率调整装置，用于执行上述第一方面中任一种可能的实现方式中的方法。具体地，该装置包括用于执行上述第一方面中任一种可能的实现方式中的方法的模块。

24、第三方面，本技术提供了又一种眼动追踪的帧率调整装置，包括处理器，该处理器与存储器耦合，可用于执行存储器中的指令，以实现上述第一方面中任一种可能实现方式中的方法。可选地，该装置还包括存储器。可选地，该装置还包括通信接口，处理器与通信接口耦合。

25、在一种实现方式中，该装置为终端设备。当该装置为终端设备时，上述通信接口可以是收发器，或，输入/输出接口。

26、在另一种实现方式中，该装置为配置于终端设备中的芯片。当该装置为配置于终端设备中的芯片时，上述通信接口可以是输入/输出接口。

27、第四方面，提供了一种处理器，包括：输入电路、输出电路和处理电路。所述处理电路用于通过所述输入电路接收信号，并通过所述输出电路发射信号，使得所述处理器执行上述第一方面中任一种可能实现方式中的方法。

28、在具体实现流程中，上述处理器可以为芯片，输入电路可以为输入管脚，输出电路可以为输出管脚，处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所接收的输入的信号可以是由例如但不限于接收器接收并输入的，输出电路所输出的信号可以是例如但不限于输出给发射器并由发射器发射的，且输入电路和输出电路可以是同一电路，该电路在不同的时刻分别用作输入电路和输出电路。本技术实施例对处理器及各种电路的具体实现方式不做限定。

29、第五方面，提供了一种处理装置，包括处理器和存储器。该处理器用于读取存储器中存储的指令，并可通过接收器接收信号，通过发射器发射信号，以执行上述第一方面中任一种可能实现方式中的方法。

30、可选地，所述处理器为一个或多个，所述存储器为一个或多个。

31、可选地，所述存储器可以与所述处理器集成在一起，或者所述存储器与处理器分离设置。

32、在具体实现流程中，存储器可以为非瞬时性（non-transitory）存储器，例如只读存储器（read only memory，rom），其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本技术对存储器的类型以及存储器与处理器的设置方式不做限定。

33、应理解，相关的数据交互流程例如发送指示信息可以为从处理器输出指示信息的流程，接收能力信息可以为处理器接收输入能力信息的流程。具体地，处理输出的数据可以输出给发射器，处理器接收的输入数据可以来自接收器。其中，发射器和接收器可以统称为收发器。

34、上述第五方面中的处理装置可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。

35、第六方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序（也可以称为代码，或指令），当所述计算机程序被运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。

36、第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序（也可以称为代码，或指令）当其在计算机上运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。