屏幕显示亮度调整方法及装置、存储介质及电子设备与流程

1.本公开涉及设备控制技术领域，具体而言，涉及一种屏幕显示亮度调整方法、屏幕显示亮度调整装置、电子设备以及计算机可读存储介质。


背景技术：

2.随着无线通信及电子技术的不断发展，智能手机、平板电脑等各种电子设备也越来越普及。在实际应用中，为了提高用户的使用体验，大多数电子设备都具备屏幕亮度自动调整的功能，以使屏幕亮度是适应于不同的光线关键，使用户可以清晰地阅读屏幕上的内容。
3.相关技术中，屏幕亮度调节方法通过光线传感器获取当前环境的光感数据，并计算屏幕显示图像的rgb信息，并依据光感数据集rgb信息调整屏幕的亮度。然而，上述方法只能对整个屏幕进行同等程度的调整，无法重点显示屏幕显示图像中被人眼视线注视的主体，且降低功耗的效果不理想。
4.故而，为了解决上述问题，本公开实施例提供了一种屏幕显示亮度调整方法、屏幕显示亮度调整装置、电子设备以及计算机可读存储介质。


技术实现要素：

5.本公开实施例的目的在于提供一种屏幕显示亮度调整方法、屏幕显示亮度调整装置、电子设备以及计算机可读存储介质，从而在一定程度上解决了相关技术存在的只能对整个屏幕进行同等程度的调整，无法重点显示显示图像中被人眼视线注视的主体，且降低功耗的效果不理想。
6.根据本公开的第一方面，提供一种屏幕显示亮度调整方法，包括：确定显示在屏幕界面中的显示图像的显著性参数，该显著性参数用于描述显示图像中各主体显著程度；确定当前人眼视线落在当前屏幕界面的注视点参数，该注视点参数用于表示当前人眼视线的注视区域；依据上述显著性参数与注视点参数确定显示图像中各主体对应区域的亮度调整参数；依据亮度调整参数在屏幕界面中调整各区域的显示亮度。
7.在本公开的一种示例性实施例中，上述确定显示在屏幕界面中的显示图像的显著性参，包括：将显示图像分割为多个区域，针对每一个区域的中心点，确定多个检测框，该检测框用于预测显示图像中主体的位置；将显示图像输入预先训练好的显著性参数确定模型，输出中间矩阵，其中，上述中间矩阵的行对应于各检测框，列对应于各行对应的检测框的位置信息、框定一个主体的概率以及该主体的显著程度；依据中间矩阵对主体排序，并定义各区域的显著程度，得到与各区域对应的显著性矩阵，作为显著性参数。
8.在本公开的一种示例性实施例中，上述显著性参数确定模型的训练过程，包括：获取多张样本图像，并标注样本图像中各主体的显著程度；对样本图像进行预处理；将样本图像划分为多个区域，针对每个区域的中心点，确定多个检测框，该检测框用于预测样本图像中主体的位置；基于样本图像训练神经网络，得到显著性参数确定模型，上述显著性参数确
定模型用于输出所述中间矩阵。
9.在本公开的一种示例性实施例中，上述确定当前人眼视线落在当前屏幕界面的注视点参数，包括：通过目标检测算法检测前置摄像头下，当前屏幕界面中显示的前置图像中的人脸，并确定人脸中左右眼的坐标；将前置图像分割为多个区域，前置图像的区域数目与上述显示图像的区域数目相同；将人脸的面部数据以及左右眼坐标输入已经训练好的注视点参数确定模型，通过注视点参数确定模型确定注视点矩阵，作为注视点参数，该注视点矩阵与上述显著性矩阵的行列数相同。
10.在本公开的一种示例性实施例中，上述注视点参数确定模型的训练过程，包括：获取多张通过前置摄像头采集的前置图像，将前置图像划分为多个区域，前置图像的区域数目与上述显示图像的区域数目相同；在前置图像中标注人眼视线所注视的主体，人眼视线注视方向上除了所注视主体之外的主体，以及前置图像中的其他主体；基于前置图像及标注数据对神经网络进行训练，得到注视点参数确定模型，该注视点参数确定模型用于输出注视点矩阵。
11.在本公开的一种示例性实施例中，上述依据显著性参数与注视点参数确定显示图像中各主体对应区域的亮度调整参数，包括：将显著性矩阵与注视点矩阵相乘，得到显示矩阵，作为亮度调整参数，上述显示矩阵用于表示对应区域的主体的被注视概率。
12.在本公开的一种示例性实施例中，上述依据亮度调整参数在屏幕界面中调整各区域的显示亮度，包括：将显示矩阵与初始修正系数相乘得到最终修正系数，依据最终修正系数调整屏幕界面各区域的显示亮度；上述初始修正系数为基于屏幕界面当前所处环境的光感数值及显示图像的颜色信息确定。
13.根据本公开的第二方面，提供一种屏幕显示亮度调整装置，包括：显著性参数确定模块，用于确定显示在屏幕界面中的显示图像的显著性参数，该显著性参数用于描述显示图像中各主体显著程度；注视点参数确定模块，用于确定当前人眼视线落在当前屏幕界面的注视点参数，该注视点参数用于表示当前人眼视线的注视区域；亮度调整参数确定模块，用于依据显著性参数与注视点参数确定显示图像中各主体对应区域的亮度调整参数；亮度调整模块，用于依据亮度调整参数在屏幕界面中调整各区域的显示亮度。
14.在本公开的一种示例性实施例中，上述显著性参数确定模块，具体用于：将显示图像分割为多个区域，针对每一个区域的中心点，确定多个检测框，检测框用于预测显示图像中主体的位置；将显示图像输入预先训练好的显著性参数确定模型，输出中间矩阵，其中，上述中间矩阵的行对应于各检测框，列对应于各行对应的检测框的位置信息、框定一个主体的概率以及该主体的显著程度；依据中间矩阵对主体排序，并定义各区域的显著程度，得到与各区域对应的显著性矩阵，作为显著性参数。
15.在本公开的一种示例性实施例中，上述屏幕显示亮度调整装置还包括模型训练模块，该模型训练模块用于训练显著性参数确定模型，具体用于：获取多张样本图像，并标注样本图像中各主体的显著程度；对样本图像进行预处理；将样本图像划分为多个区域，针对每个区域的中心点，确定多个检测框，上述检测框用于预测样本图像中主体的位置；基于样本图像训练神经网络，得到显著性参数确定模型，显著性参数确定模型用于输出中间矩阵。
16.在本公开的一种示例性实施例中，上述注视点参数确定模块，具体用于：通过目标检测算法检测前置摄像头下，当前屏幕界面中显示的前置图像中的人脸，并确定人脸中左
右眼的坐标；将前置图像分割为多个区域，上述前置图像的区域数目与显示图像的区域数目相同；将人脸的面部数据以及左右眼坐标输入已经训练好的注视点参数确定模型，通过该注视点参数确定模型确定注视点矩阵，作为注视点参数，该注视点矩阵与上述显著性矩阵的行列数相同。
17.在本公开的一种示例性实施例中，上述模型训练模块还用于训练注视点参数确定模型，具体用于：获取多张通过前置摄像头采集的前置图像，将前置图像划分为多个区域，前置图像的区域数目与显示图像的区域数目相同；在前置图像中标注人眼视线所注视的主体，人眼视线注视方向上除了所注视主体之外的主体，以及前置图像中的其他主体；基于前置图像及标注数据对神经网络进行训练，得到注视点参数确定模型，注视点参数确定模型用于输出注视点矩阵。
18.在本公开的一种示例性实施例中，上述亮度调整参数确定模块，具体用于：将显著性矩阵与注视点矩阵相乘，得到显示矩阵，作为亮度调整参数，上述显示矩阵用于表示对应区域的主体的被注视概率。
19.在本公开的一种示例性实施例中，上述亮度调整模块，具体用于：将显示矩阵与初始修正系数相乘得到最终修正系数，依据最终修正系数调整屏幕界面各区域的显示亮度；上述初始修正系数为基于屏幕界面当前所处环境的光感数值及显示图像的颜色信息确定。
20.根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
21.根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
22.本公开示例性实施例可以具有以下部分或全部有益效果：
23.在本公开示例实施方式所提供的屏幕显示亮度调整方法中，确定当前屏幕界面所显示图像的显著性参数，该显著性参数用于描述显示图像中各主体的显著程度；确定当前人眼视线落在当前屏幕界面的注视点参数，该注视点参数用于表示当前人眼视线的注视区域；依据上述显著性参数与注视点参数确定显示图像中各主体对应区域的亮度调整参数；依据亮度调整参数在屏幕界面中调整各区域的显示亮度。一方面，本公开实施例所提供的屏幕显示亮度调整方法通过确定显著性参数确定当前屏幕中所显示图像中各主体的显著程度，通过确定注视点参数确定人眼视线落在当前屏幕上的注视区域，并基于所确定的显著性参数及注视点参数确定显示图像中各主体对应区域的亮度调整参数。通过该亮度调整参数对屏幕亮度进行调整，可以将被注视主体的亮度调整到人眼适宜的亮度，同时可以降低显著程度较低的不被注意的主体的亮度，从而可以改善用户的体验感。另一方面，通过对屏幕显示亮度进行自动调整，可以降低设备的功耗。
24.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
25.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开
的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1示出了可以应用本公开实施例的一种屏幕显示亮度调整方法及装置的示例性系统架构的示意图；
27.图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；
28.图3示意性示出了根据本公开的一个实施例的屏幕显示亮度调整方法的流程示意图；
29.图4示意性示出了根据本公开的一个实施例的屏幕显示亮度调整方法中训练显著性参数模型的流程示意图；
30.图5示意性示出了根据本公开的一个实施例的屏幕显示亮度调整方法中训练注视点参数确定模型的流程示意图；
31.图6示意性示出了根据本公开的一个实施例的屏幕显示亮度调整方法中训练注视点参数确定模型时识别人脸及眼睛的示意图；
32.图7示意性示出了根据本公开的一个实施例的屏幕显示亮度调整装置的框图。
具体实施方式
33.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
34.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
35.图1示出了可以应用本公开实施例的一种屏幕显示亮度调整方法及装置的示例性应用环境的系统架构的示意图。
36.如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
37.本公开实施例所提供的屏幕显示亮度调整方法可以由终端设备101、102、103执
行，相应的，屏幕显示亮度调整装置可以设置于终端设备101、102、103中。本公开实施例所提供的屏幕显示亮度调整方法也可以由终端设备101、102、103与服务器105共同执行，相应地，屏幕显示亮度调整装置可以设置于终端设备101、102、103与服务器105中。此外，本公开实施例所提供的屏幕显示亮度调整方法还可以由服务器105执行，相应的，屏幕显示亮度调整装置可以设置于服务器105中，本示例性实施例中对此不做特殊限定。
38.例如，在本示例实施方式中，上述屏幕显示亮度调整方法可以由终端设备101、102、103和服务器105共同执行。终端设备101、102、103将显示在屏幕界面中的显示图像发送至服务器105，服务器105在接收显示图像后，确定该显示图像的显著性参数及当前人眼视线落在当前屏幕界面的注视点参数，上述显著性参数用于描述显示图像中各主体的显著程度，注视点参数用于表示当前人眼视线的注视区域；依据上述显著性参数与注视点参数确定显示图像中各主体对应区域的亮度调整参数，以使终端设备依据亮度调整参数在屏幕界面中调整各区域的显示亮度。
39.图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
40.需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
41.如图2所示，计算机系统200包括中央处理单元(cpu)201，其可以根据存储在只读存储器(rom)202中的程序或者从存储部分208加载到随机访问存储器(ram)203中的程序而执行各种适当的动作和处理。在ram 203中，还存储有系统操作所需的各种程序和数据。cpu 201、rom 202以及ram 203通过总线204彼此相连。输入/输出(i/o)接口205也连接至总线204。
42.以下部件连接至i/o接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至i/o接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
43.随着无线通信及电子技术的不断发展，智能手机、平板电脑等各种电子设备也越来越普及。在实际应用中，为了提高用户的使用体验，大多数电子设备都具备屏幕亮度自动调整的功能，以使屏幕亮度是适应于不同的光线关键，使用户可以清晰地阅读屏幕上的内容。
44.相关技术中，主要通过光感数值及显示图像的rgb颜色信息实现对屏幕亮度的自动调整。具体地，可以实现如下：通过光线传感器获取当前环境的光感数据，计算当前显示图像的rgb平均值，通过将该rgb平均值与预设阈值对比对屏幕亮度进行自动调整。例如，当该rgb平均值低于预设阈值时，则调亮当前屏幕的亮度，当rgb平均值高于预设阈值时，则调暗当前屏幕的亮度。然而，上述方法只能对整个屏幕进行同等程度的调整，无法对显示图像中被注视主体重点显示，且降低功耗的效果不理想。
45.为了解决上述方法中存在的问题，本示例实施方式提出了一种屏幕显示亮度调整方法、屏幕显示亮度调整装置、电子设备以及计算机可读存储介质。以下对本公开实施例的技术方案进行详细阐述：
46.本示例实施方式首先提供了一种屏幕显示亮度调整方法。参考图3所示，该屏幕显示亮度调整方法具体包括以下步骤：
47.步骤s310：确定显示在屏幕界面中的显示图像的显著性参数，该显著性参数用于描述显示图像中各主体显著程度；
48.步骤s320：确定当前人眼视线落在当前屏幕界面的注视点参数，该注视点参数用于表示当前人眼视线的注视区域；
49.步骤s330：依据上述显著性参数与注视点参数确定显示图像中各主体对应区域的亮度调整参数；
50.步骤s340：依据亮度调整参数在屏幕界面中调整各区域的显示亮度。
51.在本公开示例实施方式所提供的屏幕显示亮度调整方法中，一方面，本公开实施例所提供的屏幕显示亮度调整方法通过确定显著性参数确定当前屏幕中所显示图像中各主体的显著程度，通过确定注视点参数确定人眼视线落在当前屏幕上的注视区域，并基于所确定的显著性参数及注视点参数确定显示图像中各主体对应区域的亮度调整参数。通过该亮度调整参数对屏幕亮度进行调整，可以将被注视主体的亮度调整到人眼适宜的亮度，同时可以降低显著程度较低的不被注意的主体的亮度，从而可以改善用户的体验感。另一方面，通过对屏幕显示亮度进行自动调整，可以降低设备的功耗。
52.下面，在另一实施例中，对上述步骤进行更加详细的说明。
53.在步骤s310中，确定显示在屏幕界面中的显示图像的显著性参数，该显著性参数用于描述显示图像中各主体显著程度。
54.上述当前屏幕为设备显示屏屏幕，本示例实施方式所提供的屏幕显示亮度调整方法用于对设备显示屏界面的显示亮度进行实时调整。上述设备可以为智能手机、平板电脑，便携式电脑等任意包含显示屏的设备。上述显示图像为当前显示在屏幕界面上的图像。上述显著性参数用于描述当前屏幕界面所显示的图像中各个主体的显著程度，该显著程度可以由看到对应主体的顺序来定义。例如，显示图像中包含树、云、山及房屋等主体，在注视屏幕时，注意到上述各主体的顺序依次为山、房屋、树、云，则在该显示图像中，山、房屋、树、云的显著程度依次递减。
55.示例性地，上述确定显示在屏幕界面中的显示图像的显著性参数可以实现如下：将显示图像分割为多个区域，针对每一个区域的中心点，确定多个检测框，该检测框用于预测显示图像中主体的位置；将显示图像输入预先训练好的显著性参数确定模型，输出中间矩阵，其中，该中间矩阵的行对应于各检测框，列对应于各行对应的检测框的位置信息、框定一个主体的概率以及该主体的显著程度；依据中间矩阵对主体排序，并定义各区域的显著程度，得到与各区域对应的显著性矩阵，作为显著性参数。
56.其中，上述显著性参数确定模型可以通过以下方式训练得到：获取多张样本图像，并标注样本图像中各主体的显著程度；对样本图像进行预处理；将样本图像划分为多个区域，针对每个区域的中心点，确定多个检测框，检测框用于预测样本图像中主体的位置；基于样本图像训练神经网络，得到显著性参数确定模型，该显著性参数确定模型用于输出中间矩阵。
57.下面，在一具体实施例中对上述训练显著性参数模型的过程进行具体说明，如图4所示，该训练过程包括以下步骤：
58.在步骤s410中，获取多张样本图像，并标注样本图像中各主体的显著程度，作为训练数据集。
59.该步骤用于获取样本图像并对获取到的图像进行标注。在该步骤中需要获取大量的样本图像。对于每一张样本图像，需要多个人对其进行标注，具体的标注过程可以实现为：标注样本图像中的主体及各主体的显著性，并将上述多个人标注的显著性的平均值作为该主体最终的显著程度。其中，上述显著程度可以由看到该主体的顺序决定，
60.具体地，以一个包含云、树、房屋的样本图像为例，假设由3个人对该样本图像标注，则每个人在样本图像中标注出云、树及房屋，假设3个人看到云、山、树及房屋的顺序分别为2134，1324及3142，也即3个人对云的显著性标注依次为2，1，3，相应地，计算平均值(2+1+3)/3＝2为云的显著程度，其他主体的显著性计算方式同理。
61.在步骤s420中，对样本图像进行预处理。
62.该步骤用于对样本图像进行预处理。具体地，可以包括以下处理过程：
63.s1：计算样本图像的rgb三通道的均值及方差，通过如下公式进行归一化处理：
64.x＝(x-mean)/sigma
65.其中，mean为均值，sigma为方差，x为样本图像的像素点。
66.s2：随机对样本图像进行一项或多项图像处理。其中，上述图像处理可以包括平移、旋转、剪切、亮度变换、高斯滤波、方框滤波、中值滤波、随机擦除、随机剪裁等处理。
67.s3：调整样本图像的尺寸大小，示例性地，可以将样本图像调整至长宽相同，如可调整为256*256。
68.在步骤s430中，将样本图像划分为多个区域，针对每个区域的中心点，确定多个检测框，检测框用于预测样本图像中主体的位置。
69.该步骤用于确定检测框，该检测框用于预测样本图像中主体的位置。具体地，该过程可以实现如下：将样本图像平均分割为m*n个区域，针对每个区域的中心点，设立x个block(即上述检测框)，则可以确定m*n*x个上述检测框。
70.以m＝13，n＝13，x＝9为例，上述过程将样本图像平均分割为13*13个区域，针对每一个区域的中心点，设立9个block。其中，上述9个block可以根据训练数据集中的样本图像采用聚类算法得到，每个block有长和宽两个值，比如[120,30]，通过对应区域的中心点坐标、长及宽可以在样本图片中定义13*13*9＝1521个block。其中，这1521个block代表了通过先验概率猜测的可能出现的主体的位置。
[0071]
在步骤s440中，基于样本图像训练神经网络，得到显著性参数确定模型，该显著性参数确定模型用于输出中间矩阵。
[0072]
该步骤基于经上述步骤s410至步骤s430处理的样本图像训练神经网络，得到显著性参数确定模型。具体实现可以如下：将预处理过的样本图像构成的训练数据集输入到主干神经网络中，对神经网络进行训练，得到上述显著性参数确定模型。其中，神经网络可以是现行的各种sota网络，比如mobilenet(深度可分解卷积网络)，resnet(残差神经网络)等，通过对神经网络进行微调，使该显著性参数确定模型输出上述中间矩阵。
[0073]
以上述将样本图像平均分割为13*13个区域，针对每一个区域的中心点，设立9个block为例，该输出矩阵为1521*(4+1+1)的矩阵，输出矩阵的行数为1521行，上述每一个block对应一行，列数为4+1+1＝6列，其中，前4列代表每个block的长、宽以及其所处的区域
的中心坐标，后两列分别代表该block框定，以及该主体的显著程度。
[0074]
在一具体实施例中，上述确定当前屏幕界面所显示图像地显著性参数可以实现为：将显示图像分割为m*n个区域，此处以13*13个区域为例，针对每一个区域的中心点，确定x个block，此处以9个为例；将处理过的显示图像输入通过上述步骤s410至步骤s440训练好的显著性参数确定模型，得到上述1521*(4+1+1)的中间矩阵；通过nms算法(非极大值抑制算法)将重叠较多的block进行移除，保留概率大于预设阈值的所有主体，其中，预设阈值可以设置为0.5；对显示图像中的所有主体根据显著性排序，定义13*13个区域中每一个区域的显著性，得到一个m*n*1(此处为13*13*1)的显著性矩阵，作为上述显著性参数。其中，当显著性矩阵中主体的block发生重叠时以大的为准，并将最大值归一化至1。
[0075]
需要说明的是，上述场景只是一种示例性说明，本示例实施方式的保护范畴并不以此为限。
[0076]
在步骤s320中，确定当前人眼视线落在当前屏幕界面的注视点参数，该注视点参数用于表示当前人眼视线的注视区域。
[0077]
该步骤用于确定当前视线在设备屏幕上的落点位置，上述注视点参数即用于表示当前人眼视线的注视区域。示例性地，该确定当前人眼视线落在当前屏幕界面的注视点参数可以通过注视点检测算法实现。
[0078]
具体地，可以实现如下：通过目标检测算法检测前置摄像头下，当前屏幕界面中显示的前置图像中的人脸，并确定人脸中左右眼的坐标；将前置图像分割为多个区域，前置图像的区域数目与上述显示图像的区域数目相同；将人脸的面部数据以及左右眼坐标输入已经训练好的注视点参数确定模型，通过注视点参数确定模型确定注视点矩阵，作为注视点参数，该注视点矩阵与上述显著性矩阵的行列数相同。
[0079]
其中，上述注视点参数确定模型可以通过以下方式训练得到：获取多张通过前置摄像头采集的前置图像，将前置图像划分为多个区域，该前置图像的区域数目与显示图像的区域数目相同；在前置图像中标注人眼视线所注视的主体，人眼视线注视方向上除了所注视主体之外的主体，以及前置图像中的其他主体；基于前置图像及标注数据对神经网络进行训练，得到注视点参数确定模型，注视点参数确定模型用于输出注视点矩阵。
[0080]
下面，在一具体实施例中对上述注视点参数确定模型的训练过程进行详细的阐述，如图5所示，该训练过程包括以下步骤：
[0081]
在步骤s510中，获取多张通过前置摄像头采集的前置图像，将前置图像划分为多个区域，该前置图像的区域数目与显示图像的区域数目相同。
[0082]
该步骤用于获取训练数据，示例性地，可以基于通过当前设备拍摄到的前置图像构建训练数据集，作为模型的输入，模型的输出为每个前置图像对应的设备屏幕的图像以及其注视的主体。
[0083]
示例性地，为了便于后续综合考虑注视点参数与上述显著性参数实现对设备屏幕显示亮度的自动调整，该步骤将上述训练数据的前置图像划分为与上述显示图像相同数目个区域。以上述将显示图像分割为13*13个区域为例，针对每个区域通过聚类算法确定9个block，此处将前置图像也划分为13*13个区域，针对每个区域通过聚类算法确定9个block。需要说明的是，上述场景只是一种示例性说明，本公开实施例的保护范畴并不以此为限。
[0084]
在步骤s520中，在前置图像中标注人眼视线所注视的主体，人眼视线注视方向上
除了所注视主体之外的主体，以及前置图像中的其他主体。
[0085]
在通过步骤s510获取到前置图像构成的训练数据集后，本步骤用于对数据集中的各前置图像进行标注。示例性地，可以将出现被注视主体的block标注为2，注视方向上其他主体为1，其他为0。
[0086]
在步骤s530中，基于前置图像及标注数据对神经网络进行训练，得到注视点参数确定模型，注视点参数确定模型用于输出注视点矩阵。
[0087]
该步骤用于对神经网络训练得到注视点参数确定模型，具体地，可通过以下过程训练：
[0088]
s1：通过mobilenetv2+yolov3或ssdlite等目标检测算法找到脸部位置，然后在脸部找到眼睛位置，输出其坐标，如图6所示；
[0089]
s2：调整面部数据，例如可以调整为到128*128，将面部数据集左右眼的坐标作为神经网络的输入，模型输出为一个m*n的注视点矩阵，例如，当将前置图像划分为13*13个区域时，输出一个13*13的注视点矩阵。
[0090]
具体地，上述步骤s2可以包括：a)面部数据经过多层卷积得到x1，左眼数据经过多层卷积得到x2，右眼数据经过多层卷积得到x3；b)x1,x2,x3通过concate进行连接，记录为x4；c)x4经过多层fc加一层softmax得到m*n*1即为最终输出的注视点矩阵。
[0091]
上述在确定当前人眼视线落在当前屏幕界面的注视点参数时，可以将当前屏幕的前置摄像头拍摄的人脸图像，并将人脸的面部数据以及左右眼坐标输入已经训练好的注视点参数确定模型，通过注视点参数模型得到用于当前人眼视线落在设备屏幕上的注视区域的注视点矩阵。
[0092]
在步骤s330中，依据上述显著性参数与注视点参数确定显示图像中各主体对应区域的亮度调整参数。
[0093]
在通过上述步骤s310及步骤s320确定显著性参数及注视点参数后，可以基于该显著性参数及注视点参数确定各主体对应区域的亮度调整参数，该亮度调整参数用于依据显示图像中各主体的显著程度及人眼的注视区域对设备屏幕的对应区域进行不同程度的亮度调整。
[0094]
以上述得到m*n*1的显著性矩阵及m*n*1的注视点矩阵为例，该亮度调整参数可通过以下过程确定：以显著性矩阵和注视点矩阵为输入，经过一个网络计算得到每个区域用户注重的权重，输出为一个m*n的矩阵，记录为显示矩阵，作为上述亮度调整参数。其中，显示矩阵由显著性矩阵和注视点矩阵相乘再经过多层fc得到，示例性地，显示矩阵的数值可以为0到2之间的任意值，含义为被注视且重要的概率。
[0095]
在步骤s340中，依据亮度调整参数在屏幕界面中调整各区域的显示亮度。
[0096]
在得到上述亮度调整参数后，本步骤基于该亮度调整参数对设备屏幕的各区域进行亮度的自动调整。示例性地，可实现如下：将显示矩阵与初始修正系数相乘得到最终修正系数，依据最终修正系数调整屏幕界面各区域的显示亮度。其中，上述初始修正系数为基于屏幕界面当前所处环境的光感数值及显示图像的颜色信息确定。
[0097]
在初始修正系数下，通过光感数值和当前区域的rgb颜色信息重新计算当前区域的屏幕显示亮度来调整显示亮度。示例性地，可实现如下：计算当前帧的rgb平均值，通过比较平均值对当前屏幕整体进行调光。当该rgb平均值低于预设阈值时，则调亮当前屏幕的亮
度，当rgb平均值高于预设阈值时，则调暗当前屏幕的亮度。
[0098]
在本公开实施例方式中，以得到的亮度调整参数为上述显示矩阵为例，通过显示矩阵乘以初始修正系数得到最终修正系数，并依据最终修正系数调整屏幕界面各区域的显示亮度。
[0099]
示例性地，假设上述设定的rgb平均值的预设阈值为100，则当前帧的rgb平均值大于预设阈值30时，调暗0.05，此处0.05即为初始修正系数，本公开实施例通过得到显示矩阵乘以0.05，得到最终修正系数。通过该最终修正系数调整屏幕亮度，可以调整被注意主体的亮度到人眼适宜的亮度，以及降低不被注意的主体的亮度，从而改善用户的体验，以及降低功耗。
[0100]
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
[0101]
进一步的，本示例实施方式中，还提供了一种屏幕显示亮度调整装置，参考图7所示，该屏幕显示亮度调整装置700可以包括显著性参数确定模块710、注视点参数确定模块720、亮度调整参数确定模块730以及亮度调整模块740。其中：
[0102]
显著性参数确定模块710，可以用于确定显示在屏幕界面中的显示图像的显著性参数，该显著性参数用于描述显示图像中各主体显著程度；
[0103]
注视点参数确定模块720，可以用于确定当前人眼视线落在当前屏幕界面的注视点参数，该注视点参数用于表示当前人眼视线的注视区域；
[0104]
亮度调整参数确定模块730，可以用于依据显著性参数与注视点参数确定显示图像中各主体对应区域的亮度调整参数；
[0105]
亮度调整模块740，可以用于依据亮度调整参数在屏幕界面中调整各区域的显示亮度。
[0106]
在本公开的一种示例性实施例中，上述显著性参数确定模块，具体用于：将显示图像分割为多个区域，针对每一个区域的中心点，确定多个检测框，检测框用于预测显示图像中主体的位置；将显示图像输入预先训练好的显著性参数确定模型，输出中间矩阵，其中，上述中间矩阵的行对应于各检测框，列对应于各行对应的检测框的位置信息、框定一个主体的概率以及该主体的显著程度；依据中间矩阵对主体排序，并定义各区域的显著程度，得到与各区域对应的显著性矩阵，作为显著性参数。
[0107]
在本公开的一种示例性实施例中，上述屏幕显示亮度调整装置还包括模型训练模块，该模型训练模块用于训练显著性参数确定模型，具体用于：获取多张样本图像，并标注样本图像中各主体的显著程度；对样本图像进行预处理；将样本图像划分为多个区域，针对每个区域的中心点，确定多个检测框，上述检测框用于预测样本图像中主体的位置；基于样本图像训练神经网络，得到显著性参数确定模型，显著性参数确定模型用于输出中间矩阵。
[0108]
在本公开的一种示例性实施例中，上述注视点参数确定模块，具体用于：通过目标检测算法检测前置摄像头下，当前屏幕界面中显示的前置图像中的人脸，并确定人脸中左右眼的坐标；将前置图像分割为多个区域，上述前置图像的区域数目与显示图像的区域数目相同；将人脸的面部数据以及左右眼坐标输入已经训练好的注视点参数确定模型，通过
该注视点参数确定模型确定注视点矩阵，作为注视点参数，该注视点矩阵与上述显著性矩阵的行列数相同。
[0109]
在本公开的一种示例性实施例中，上述模型训练模块还用于训练注视点参数确定模型，具体用于：获取多张通过前置摄像头采集的前置图像，将前置图像划分为多个区域，前置图像的区域数目与显示图像的区域数目相同；在前置图像中标注人眼视线所注视的主体，人眼视线注视方向上除了所注视主体之外的主体，以及前置图像中的其他主体；基于前置图像及标注数据对神经网络进行训练，得到注视点参数确定模型，注视点参数确定模型用于输出注视点矩阵。
[0110]
在本公开的一种示例性实施例中，上述亮度调整参数确定模块，具体用于：将显著性矩阵与注视点矩阵相乘，得到显示矩阵，作为亮度调整参数，上述显示矩阵用于表示对应区域的主体的被注视概率。
[0111]
在本公开的一种示例性实施例中，上述亮度调整模块，具体用于：将显示矩阵与初始修正系数相乘得到最终修正系数，依据最终修正系数调整屏幕界面各区域的显示亮度；上述初始修正系数为基于屏幕界面当前所处环境的光感数值及显示图像的颜色信息确定。
[0112]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0113]
作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。
[0114]
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0115]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。