显示调整方法和设备与流程

1.本技术涉及终端技术领域，尤其涉及一种显示调整方法和设备。


背景技术：

2.随着消费电子产品的普及，人们日常生活中使用电子产品的频次越来越高，使用时间也越来越长，手机、平板、电脑等终端已经成为人们日常最频繁接触的设备。一项调查显示半数以上智能手机用户每天使用手机5小时以上。长时间使用诸如手机类的电子产品，不可避免的会影响视觉健康，比如引起眼部干涩、胀痛、流泪等眼部不适，产生一定程度的视觉障碍，甚至还会引发疲劳、头痛、记忆力减退等全身症状。在电子产品中增加护眼方案，打造舒服、健康的终端使用体验成为终端厂商和消费者用户的刚性需求之一。
3.目前部分电子产品中也增加了一定的护眼方案，比如有的手机支持按照环境光照度调整屏幕亮度，又比如有的手机支持根据用户使用手机的时长发出护眼提示、自动禁用设备或者自动调整屏幕亮度等。现有技术中提出的护眼方案，均是从单一影响因素对电子产品的显示进行调整，难以满足用户使用电子产品过程中的实际护眼需求。


技术实现要素：

4.本技术提供一种显示调整方法和设备，以进一步满足用户使用电子产品过程中的实际护眼需求。
5.第一方面，本技术方案提供了一种显示调整方法，应用于具有显示屏(例如，触摸屏、柔性屏、曲面屏等)、摄像头和光传感器的电子设备，包括：根据正在使用电子设备的第一用户的人脸图像，确定所述第一用户的第一疲劳度；根据检测到的疲劳影响参数和所述第一疲劳度，确定显示调整参数；根据所述显示调整参数对所述电子设备进行显示调整。
6.本技术中，根据当前正在使用电子设备的第一用户的人脸图像确定第一用户的第一疲劳度。在确定第一用户的第一疲劳度之后，进一步获取疲劳影响参数。所述疲劳影响参数是指在第一用户使用电子设备的过程中能够影响第一用户疲劳程度的参数。之后根据疲劳影响参数和第一用户的第一疲劳度确定显示调整参数并基于显示调整参数对电子设备的显示进行调整。本技术中，综合用户的疲劳度以及相关疲劳影响参数对电子设备进行显示调整，以更进一步满足用户的护眼需求，达到用户无感知护眼的效果。可选的，所述第一疲劳度可以表示用户的疲劳程度，在具体实施时所述第一疲劳度可以为脑疲劳度、视觉疲劳度，或者也可以为综合脑疲劳和视觉疲劳得到的用户总体疲劳度。
7.结合第一方面，在第一方面的某些实现方式中，所述疲劳影响参数可以包括以下一种或多种参数的组合：所述电子设备所处环境的环境参数；所述电子设备的显示器件参数；所述电子设备的内容显示参数。其中，所述电子设备处环境的环境参数可以包括：环境光照度、色温等；所述电子设备的显示器件参数可以包括显示屏的脉冲宽度调制(pulse width modulation，pwm)占空比、显示屏的像素密度(pixels per inch，ppi)等；所述电子设备的内容显示参数可以包括：显示屏中当前播放的内容场景(如游戏场景、电子书场景、
即时通信场景、播放视频场景等)、亮屏时长、屏幕亮度、清晰度、对比度、灰阶等。
8.本技术中检测的疲劳影响参数可以是环境参数、显示器件参数和内容显示参数中的一种、两种的组合或者同时包含三种类型的参数，对于每种类型中包含的具体参数可以根据实际需要进行确定。另外，三种类型参数的组合方式可以是固定的，在一种可选的方案中，三种类型参数的组合方式可以根据用户的疲劳度、使用时长等进行动态组合。本技术方案中，在检测用户疲劳程度的基础上，进一步将环境参数、显示器件参数和内容显示参数作为约束因素对电子设备的显示进行调整，实现基于用户具体使用场景的个性化显示调整，满足用户的实际护眼需求。
9.结合第一方面，在第一方面的某些实现方式中，根据正在使用电子设备的第一用户的人脸图像，确定第一用户的第一疲劳度的方式可以是：获取正在使用电子设备的一用户的人脸图像，从所述人脸图像中提取人眼区域子图；根据所述人眼区域子图识别所述第一用户的人眼闭合状态；根据所述第一用户的人眼闭合状态，确定所述第一用户的第一疲劳度。
10.本技术中，可以使用模板匹配、卷积神经网络识别等方法从人眼区域子图中识别第一用户的人眼闭合状态。例如，根据模板匹配方法判定人眼睁开程度超过第一阈值时，认定眼睛为睁开状态；当人眼睁开程度未超过第一阈值时，认定眼睛为闭合状态。用户在使用电子设备过程中眼睛的闭合状态在一定程序上可以表征用户的疲劳状态，因此本技术中根据第一用户的人眼闭合状态确定第一用户的疲劳程度。
11.结合第一方面，在第一方面的某些实现方式中，根据所述第一用户的人眼闭合状态，确定所述第一用户的第一疲劳度，包括：根据一个检测周期内的人眼闭合状态，确定所述第一用户在所述检测周期内的眨眼频率和闭眼时长；根据所述第一用户在所述检测周期内的眨眼频率和闭眼时长，确定所述第一疲劳度。
12.本技术中，周期性计算用户的疲劳程度。在一个检测周期内，按照一定的频率获取第一用户的人脸图像以及基于人脸图像中的人眼区域子图识别人眼闭合状态。之后，基于一个检测周期内人眼闭合状态计算第一用户在该检测周期的眨眼频率和闭眼时长，进而根据眨眼频率和闭眼时长确定第一用户的第一疲劳度。其中，所述第一疲劳度与眨眼频率和闭眼时长均为正相关关系，即在一个检测周期内眨眼频率越高，闭眼时间越长相应的第一疲劳度的取值也越大。具体的，所述闭眼时长可以是一个检测周期内第一用户的闭眼总时长，也可以是在一个检测周期内单次闭眼的平均时长。假设，在一个检测周期t内，检测到第一用户闭眼m次，则第一用户在检测周期t内的眨眼频率为t/m。每次闭眼的时长可以根据图像采样频率和每次闭眼对应的图像帧数确定。例如在一个检测周期t内，拍摄w帧人脸图像，假设根据k帧图像确定到一次闭眼，则该次闭眼的时长可以计算为t/w*k，同理可以计算检测周期t内多次闭眼的总时长和每次闭眼的平均时长。在具体实施时，人脸图像的拍摄帧率可以根据实际需要设置，例如在一个示例中人脸图像的拍摄帧率大于30hz，以确保能够拍摄到用户的闭眼状态。
13.结合第一方面，在第一方面的某些实现方式中，根据所述第一用户在所述检测周期内的眨眼频率和闭眼时长，确定所述第一疲劳度，包括：根据所述第一用户在所述检测周期内的眨眼频率和闭眼时长，确定所述第一用户在所述检测周期的第一疲劳系数；根据所述第一疲劳系数和在所述检测周期之前的n个检测周期的疲劳系数，确定所述第一疲劳度，
n为正整数。
14.本技术中，建立疲劳系数α与眨眼频率freq和闭眼时长t_interval的函数关系α＝f(freq,t_interval)，在每个检测周期中基于所述函数关系计算
∝
t
＝f(freq,t_interval)，(t＝1,
…
,x)，x为第x个检测周期。进一步，本技术中建立疲劳系数α与疲劳度的函数关系，在一个可选的设计中，第一用户在当前检测周期(如当前检测周期为第x个检测周期)的疲劳度与当前检测周期之前的n个检测周期的疲劳系数相关，所述n为小于x的正整数。在具体实现时，n可以取值为x-1，即当前周期的疲劳度与x个检测周期中的每个检测周期的疲劳系数相关。当然，n的取值可以根据实际需要设置。例如n为1，即第x个检测周期的疲劳度与第x个检测周期的疲劳系数以及前x-1个检测周期中的其中一个检测周期的疲劳系数相关，具体和哪个检测周期相关可以根据实际需要设置。n除了可以取值为1外，还可以取值为2、3
……
(x-1)等，不再一一展开。
15.结合第一方面，在第一方面的某些实现方式中，根据所述第一疲劳系数和在所述检测周期之前的n个检测周期的疲劳系数，确定所述第一疲劳度，包括：根据所述第一疲劳系数和初始检测周期获取的疲劳系数，确定所述第一疲劳度。
16.结合第一方面，在第一方面的某些实现方式中，根据检测到的疲劳影响参数和所述第一疲劳度，确定显示调整参数，包括：确定在检测到的所述疲劳影响参数下，所述第一用户的第二疲劳度；基于所述第二疲劳度和所述第一疲劳度，确定显示调整参数。
17.结合第一方面，在第一方面的某些实现方式中，确定在检测到的所述疲劳影响参数下，所述第一用户的第二疲劳度，包括：基于所述疲劳影响参数，从已建立的疲劳度查询表中查询所述第二疲劳度。
18.结合第一方面，在第一方面的某些实现方式中，根据所述显示调整参数对所述电子设备进行显示调整，包括：根据所述显示调整参数对所述电子设备支持设置的内容显示参数和/或器件参数进行调整。
19.第二方面，本技术方案提供了一种显示调整设备，包括：处理单元，用于根据正在使用电子设备的第一用户的人脸图像，确定所述第一用户的第一疲劳度；还用于根据检测到的疲劳影响参数和所述第一疲劳度，确定显示调整参数；调整单元，用于根据所述显示调整参数对所述电子设备进行显示调整。
20.结合第二方面，在第二方面的某些实现方式中，所述疲劳影响参数包括以下一种或多种的组合：所述电子设备所处环境的环境参数；所述电子设备的显示器件参数；所述电子设备的显示内容参数。
21.结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于从所述人脸图像中提取人眼区域子图；根据所述人眼区域子图识别所述第一用户的人眼闭合状态；根据所述第一用户的人眼闭合状态，确定所述第一用户的第一疲劳度。
22.结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于根据一个检测周期内的人眼闭合状态，确定所述第一用户在所述检测周期内的眨眼频率和闭眼时长；根据所述第一用户在所述检测周期内的眨眼频率和闭眼时长，确定所述第一疲劳度。
23.结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于根据所述第一用户在所述检测周期内的眨眼频率和闭眼时长，确定所述第一用户在所述检测周期的第一疲劳系数；根据所述第一疲劳系数和在所述检测周期之前的n个检测周期的疲劳系数，
确定所述第一疲劳度，n为正整数。
24.结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于根据所述第一疲劳系数和初始检测周期获取的疲劳系数，确定所述第一疲劳度。
25.结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于确定在检测到的所述疲劳影响参数下，所述第一用户的第二疲劳度；基于所述第二疲劳度和所述第一疲劳度，确定显示调整参数。
26.结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于基于所述疲劳影响参数，从已建立的疲劳度查询表中查询所述第二疲劳度。
27.结合第二方面，在第二方面的某些实现方式中，所述显示单元，具体用于根据所述显示调整参数对所述电子设备支持设置的内容显示参数和/或器件参数进行调整。
28.第三方面，本技术方案提供了一种显示调整设备，包括：显示屏；摄像头；光传感器；一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行以下步骤：根据正在使用电子设备的第一用户的人脸图像，确定所述第一用户的第一疲劳度；根据检测到的疲劳影响参数和所述第一疲劳度，确定显示调整参数；根据所述显示调整参数对所述电子设备进行显示调整。
29.第四方面，本技术方案提供了一种显示调整设备，所述设备包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现所述第一方面或者第一方面的任一可能的实现方式中的方法。
30.第五方面，本技术方案提供了一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面或第一方面的任一可能的实现方式中的方法。
31.可选的，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面或第一方面的任一可能的实现方式中的方法。
32.第六方面，本技术方案提供了一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行第一方面或者第一方面的任一可能的实现方式中的方法的指令。
附图说明
33.图1是本技术实施例提供的电子设备的一种结构示意图；
34.图2是本技术实施例提供的电子设备的一种软件结构框图；
35.图3是本技术实施例提供的显示调整方法的一个示意性流程图；
36.图4是本技术实施例提供的显示调整方法的一个示意性框架图；
37.图5是本技术实施例提供的显示调整方法的离线建模示意图；
38.图6是本技术实施例提供的显示调整方法的又一个示意性流程图；
39.图7是本技术实施例提供的显示调整设备的一种结构示意图。
具体实施方式
40.下面将结合附图，对本技术中的技术方案进行描述。
41.如背景技术部分所介绍，目前电子产品中支持的护眼方案大多基于单一影响因素确定，而用户使用电子设备的场景又相对比较复杂，用户自身的状态也会影响到电子设备的使用体验。因此，在缺乏系统整体考虑的前提下，现有技术中制定的护眼方案在具体使用场景中很难达到预期效果，为此需要一种符合用户自身状态和使用场景的护眼方案。
42.本技术实施例提供了一种显示调整方法，该方法应用于用户使用电子设备的场景。其中，在用户使用电子设备的过程中，能够综合用户自身状态(如用户的疲劳度)和疲劳影响参数等因素自动对电子设备进行显示调整，以使电子设备的显示效果更满足用户的使用需求和护眼需求，达到用户无感知护眼的效果。
43.本技术实施例的显示调整方法可以应用于具有有显示屏的手机、平板电脑、计算机、可穿戴设备、车载设备、智能家居设备、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备等电子设备上，本技术实施例对电子设备的具体类型不作任何限制。
44.示例性的，图1示出了本技术实施例提供的电子设备100的一种结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等，可选地，上述麦克风170c的数量为多个。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
45.可以理解的是，本技术实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
46.上述电子设备100中，处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
47.其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
48.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了
重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
49.电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
50.显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
51.电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
52.isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
53.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
54.npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
55.例如，在本技术中可以通过摄像头193捕获正在使用电子设备的第一用户的人脸图像，isp将摄像头193反馈的关于人脸图像的电信号并转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp可以将数字图像信号转换成标准的rgb，yuv等格式的图像信号。
56.上述基于dsp处理生成的关于第一用户人脸的图像信号可以发送给npu进行人脸识别，例如基于人脸图像对人脸五官进行识别，在本技术实施例中可以基于对人脸五官的识别以计算第一用户的疲劳度。在一个具体示例中，基于人脸图像可以识别人眼区域，基于人眼区域可以判断人眼的闭合状态，进而可以根据人眼闭合状态计算第一用户的疲劳度。其中，基于人脸五官计算第一用户的疲劳度、基于人眼区域判断人眼的闭合状态、根据人眼闭合状态计算第一用户的疲劳度等计算、判断过程可以由控制器或者ap执行。
57.上述电子设备中，环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调
节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。
58.例如，在本技术实施例中，可以基于环境光传感器180l采集电子设备所处环境的光亮度，其中，电子设备所处环境的光亮度可以作为疲劳影响参数中的一项用于参与确定显示调整参数。
59.对于疲劳影响参数中可能包含的其它参数，可以基于电子设备100中包括的相应器件进行获取，例如当疲劳影响参数中包括显示屏中当前播放的内容场景、当前应用程序的使用时长时可以从ap中获取相应的参数，又例如当疲劳影响参数中包括屏幕亮度、清晰度、对比度、灰阶等参数时可以从gpu中获取相应参数。
60.内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。
61.本技术实施例中，将执行显示调整方法的指令存储在内部存储器121中，处理器110通过运行存储在内部存储器121的指令执行相应的显示调整方法。
62.电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的android系统为例，示例性说明电子设备100的软件结构。
63.图2是本技术实施例提供的电子设备100的一种软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。
64.如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。在一种可能的设计中，可以在电子设备中设置护眼应用程序。
65.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。
66.例如，应用程序框架层可以为设置的护眼应用程序提供api和编程框架，实现本技术中显示调整的函数或者算法可以包括在应用程序框架层。
67.如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
68.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
69.内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
70.例如，在本技术实施例中可以通过内容提供器存放或获取执行显示调整方法所需要的数据，如人脸图像、疲劳影响参数等。
71.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
72.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
73.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
74.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
75.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
76.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
77.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
78.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
79.为了便于理解，本技术以下实施例将以具有图1和图2所示结构的电子设备为例，结合附图和应用场景，对本技术实施例提供的显示调整进行具体阐述。
80.在用户使用电子设备的情况下，用户使用体验受到用户疲劳状态、所处环境、电子设备显示内容等多种因素的影响，本技术实施例中将可能会影响到用户使用体验的环境、电子设备显示内容等多种因素作为疲劳影响参数和用户疲劳度一起共同确定电子设备的显示调整参数，实现对电子设备显示的自适应调整，提高用户使用电子设备过程中的眼部舒适度，达到护眼的效果。
81.图3是本技术实施例提供的显示调整方法一个示意性流程图。本技术将以手机作为电子设备，详细介绍本技术提供的显示调整方法。
82.101，获取人脸图像。
83.本技术实施例中，获取人脸图像的目的在于根据人脸图像判断用户的疲劳程度。其中，获取人脸图像的方式可以是，通过电子设备上的前置摄像头获取正在使用电子设备的第一用户的人脸图像。可选的，所述人脸图像可以包括第一用户的五官，根据五官状态判断第一用户的疲劳度。具体的，可以基于五官中的眼睛状态判断第一用户的疲劳度。
84.另外，上述人脸图像还可以仅包括人眼区域，即前置摄像头仅抓取第一用户的人眼区域拍摄。其中，上述仅包括人眼区域的图像可以独立进行第一用户的疲劳度，当然也可
以与包括五官的图像一起共同判定第一用户的疲劳度。
85.102，根据人脸图像，确定用户的疲劳度。
86.本技术实施例中，基于电子设备的前置摄像头获取第一用户的人脸图像后，基于第一用户的人脸图像，确定用户的第一疲劳度。其中，根据人脸图像确定第一疲劳度的方式包括：从人脸图像中提取人眼区域子图；根据人眼区域子图识别第一用户的人眼闭合状态；根据第一用户的人眼闭合状态，确定第一用户的第一疲劳度。本技术实施例中，人眼闭合状态与用户疲劳度之间的函数关系。基于该函数关系，在获取第一用户的人眼闭合状态之后，可以基于人眼闭合状态计算第一用户的第一疲劳度。
87.本技术中，可以使用模板匹配、卷积神经网络识别等方法从人眼区域子图中识别第一用户的人眼闭合状态。例如，根据模板匹配方法判定人眼睁开程度超过第一阈值时，认定眼睛为睁开状态；当人眼睁开程度未超过第一阈值时，认定眼睛为闭合状态。在一个具体实现方式中，当人眼睁开程度超过70％时，确定眼睛为睁开状态，否则为闭合状态。上述使用模板匹配、卷积神经网络识别等方法识别人眼闭合状时，可以对仅包含人眼区域的图像进行识别，也可以从包含第一用户五官的图像中识别，或者结合仅包含人眼区域的图像以及包含第一用户五官的图像共同识别。
88.用户在使用电子设备的过程中眼睛的闭合状态在一定程度上可以表征用户的疲劳程度。本技术实施例中计算第一用户的第一疲劳度可以包括：根据一个检测周期内的人眼闭合状态，确定所述第一用户在所述检测周期内的眨眼频率和闭眼时长；根据所述第一用户在所述检测周期内的眨眼频率和闭眼时长，确定所述第一疲劳度。
89.本技术中，周期性计算用户的疲劳程度。在一个检测周期内，按照一定的频率获取第一用户的人脸图像以及基于人脸图像中的人眼区域子图识别人眼闭合状态。之后，基于一个检测周期内人眼闭合状态计算第一用户在该检测周期的眨眼频率和闭眼时长，进而根据眨眼频率和闭眼时长确定第一用户的第一疲劳度。其中，所述第一疲劳度可以与眨眼频率和闭眼时长均为正相关关系，即在一个检测周期内眨眼频率越高，闭眼时间越长相应的第一疲劳度的取值也越大。具体的，所述闭眼时长可以是一个检测周期内第一用户的闭眼总时长，也可以是在一个检测周期内单次闭眼的平均时长。假设，在一个检测周期t内，检测到第一用户闭眼m次，则第一用户在检测周期t内的眨眼频率为t/m。每次闭眼的时长可以根据图像采样频率和每次闭眼对应的图像帧数确定，例如在一个检测周期t内，拍摄w帧人脸图像，假设根据k帧图像确定到一次闭眼，则该次闭眼的时长可以计算为t/w*k，同理可以计算检测周期t内多次闭眼的总时长和每次闭眼的平均时长。
90.在一个具体实现方式中，根据所述第一用户在所述检测周期内的眨眼频率和闭眼时长，确定所述第一疲劳度，包括：根据所述第一用户在所述检测周期内的眨眼频率和闭眼时长，确定所述第一用户在所述检测周期的第一疲劳系数；根据所述第一疲劳系数和在所述检测周期之前的n个检测周期的疲劳系数，确定所述第一疲劳度，n为正整数。
91.本技术中，建立疲劳系数α与眨眼频率freq和闭眼时长t_interval的函数关系α＝f(freq,t_interval)，在每个检测周期中基于所述函数关系计算
∝
t
＝f(freq,t_interval)，(t＝1，
…
，x)，x为第x个检测周期。进一步，本技术中建立疲劳系数α与疲劳度的函数关系。在一个可选的设计中，第一用户在当前检测周期(如当前检测周期为第x个检测周期)的疲劳度与当前检测周期之前的n个检测周期的疲劳系数相关，所述n为小于x的正整
数。在具体实现时，n可以取值为x-1，即当前周期的疲劳度与x个检测周期中的每个检测周期的疲劳系数相关。当然，n的取值可以根据实际需要设置。例如n为1，即第x个检测周期的疲劳度与第x个检测周期的疲劳系数以及前x-1个检测周期中的其中一个检测周期的疲劳系数相关，具体和哪个检测周期相关可以根据实际需要设置。
92.在一个具体示例中，第x个检测周期的疲劳度与第x个检测周期的疲劳系数以及第x-1个检测周期的疲劳系数相关。又例如，第x个检测周期的疲劳度与第x个检测周期及第一检测周期的疲劳系数相关，即根据第一疲劳系数和初始检测周期的疲劳系数，确定第一用户的第一疲劳度。上述n的取值仅为示例，基于上述示例可以明确n除了可以取值为1外，还可以取值为2、3
……
(x-1)等，不再一一展开。
93.103，根据检测到的疲劳影响参数和所述第一疲劳度，确定显示调整参数。
94.在本技术实施例中，疲劳影响参数可以包括以下一种或多种参数的组合：所述电子设备所处环境的环境参数；所述电子设备的显示器件参数；所述电子设备的内容显示参数。
95.其中，所述电子设备处环境的环境参数可以包括：环境光照度、色温等；所述电子设备的显示器件参数可以包括显示屏的脉冲宽度调制(pulse width modulation，pwm)占空比、显示屏的像素密度(pixels per inch，ppi)等；所述电子设备的内容显示参数可以包括：显示屏中当前播放的内容场景(如游戏场景、电子书场景、即时通信场景、播放视频场景等)、亮屏时长、屏幕亮度、清晰度、对比度、灰阶等。
96.本技术中检测的疲劳影响参数可以是环境参数、显示器件参数和内容显示参数中的一种、两种的组合或者同时包含三种类型的参数，对于每种类型中包含的具体参数可以根据实际需要进行确定。另外，三种类型参数的组合方式可以是固定的，在一种可选的方案中，三种类型参数的组合方式可以根据用户的疲劳度、使用时长等进行动态组合。本技术方案中，在检测用户疲劳程度的基础上，进一步将环境参数、显示器件参数和内容显示参数作为约束因素对电子设备的显示进行调整，实现基于用户具体使用场景的个性化显示调整，满足用户的实际护眼需求。
97.本技术实施例中，根据检测到的疲劳影响参数和所述第一疲劳度，确定显示调整参数，包括：确定在检测到的所述疲劳影响参数下，所述第一用户的第二疲劳度；基于所述第二疲劳度和所述第一疲劳度，确定显示调整参数。
98.其中，在检测到的疲劳影响参数下，计算第一用户的第二疲劳度可以是：基于检测到的疲劳影响参数，从已建立的疲劳度查询表中查询第二疲劳度。在一种具体实现方式中，从已建立的疲劳度查询表充查询在所述疲劳影响参数下的最大疲劳度。
99.104，根据显示调整参数对电子设备的显示进行调整。
100.其中，对电子设备的显示进行调整包括对电子设备支持设置的内容显示参数和/或器件参数进行调整。例如，对电子设备的亮度、对比度、清晰度、色温等后处理参数进行调整，和/或，对显示屏的pwm占空比调整。如果电子设备为可折叠屏设备，还可以对电子设备显示屏的折叠角度进行调整。
101.可见，本技术实施例中综合用户的疲劳度以及相关疲劳影响参数对电子设备进行调整，以更进一步满足用户的护眼需求，达到用户无感知护眼的效果。
102.图4是本技术实施例提供的显示调整方法的一个示意性框架图。如图4所示，本申
请实施例的核心功能模块为护眼模块，输入包括：(1)通过传感器采集的环境参数，如光照度、色温等；(2)通过显示引擎获取的显示内容参数，具体的，显示内容参数可以包括当前播放的内容场景(如游戏场景、电子书场景、即时通信场景、播放视频场景等)、亮屏时长、屏幕亮度、清晰度、对比度、灰阶等；(3)显示器件参数，如pwm占空比、ppi等；(4)用户疲劳度，其中用户疲劳度的计算可以参见图1所示实施例中的描述。护眼模块基于上述输入计算显示调整参数，并对电子设备的显示进行调整。本技术实施例，通过建立一个多输入、多输出的系统护眼方案，在不同环境、不同显示内容、不同显示器件参数下，针对用户疲劳度对电子设备的显示进行实时、动态干预，例如可以对电子设备的亮度、清晰度、对比度、颜色以及pwm等不同维度的显示进行调整，最终达到用户无感知护眼的效果。
103.如图5所示，本技术实施例中，可以通过人因实验方式建立环境参数、显示内容参数、显示器件参数与用户疲劳度之间的关联关系，其中，为描述方便，将环境参数、显示内容参数、显示器件参数与用户疲劳度之间的关联关系称为视觉健康模型。
104.1、离线建立视觉健康模型
105.如图5所示，在不同的环境参数、显示内容参数、显示器件参数下，统计随时间t变化的每个检测周期t内的的眨眼频率和平均眨眼时长，根据每个周期t的眨眼频率和平均眨眼时长统计同个周期t内的人眼视疲劳系数
∝
t
(t＝1，
…
，n)，其中n为第n个检测周期，每个检测周期的时长为t。视觉疲劳系数
∝
＝a*freq+b*t_interval，freq为一个周期t内的眨眼频率以及平均闭眼时长t_interval。用户在当前检测周期的视觉疲劳度β＝
∝
n
-∝0，
∝0为初始检测周期内用户的视觉疲劳系数。
106.如表1所示，在每个检测周期t内，通过改变环境参数、显示内容参数、显示器件参数，得到各个检测周期t内的最大视觉疲劳度β
max
＝
∝
n
-∝0。在一个应用场景中，当检测到具体的环境参数、显示内容参数和显示器件参数后，通过查表的方式可以确定用户在相应具体场景下的最大视觉疲劳度β
max
。
107.apl环境光sensorpanel pwm占比β
max
＝
∝
n
-∝050％500lux50％xx
108.表1视觉健康模型
109.2、在线调整电子设备的显示
110.如图6所示，在用户使用电子设备的场景下，可以检测电子设备的环境参数、显示内容参数、显示器件参数以及计算用户疲劳度，并以此对电子设备的显示进行动态调整。如图6所示，包括：
111.201，利用电子设备的前置摄像头获取当前帧的人脸图像。
112.202，根据当前帧人脸图像确定用户的眼睛闭合状态。
113.其中，可以通过模板匹配或者机器学习等算法，获得当前帧用户的眼睛闭合状态，例如，当判定用户眼睛睁开程度超过70％时确定眼睛睁开，否则认定眼睛闭上。
114.203，当前图像帧数是否达到统计周期t1，如果未达到统计周期t1，则返回步骤201继续采集人脸图像；如果达到统计周期t1，则执行步骤204。
115.204，统计周期t1内的眨眼频率、平均眨眼时长，以及计算视觉疲劳系数
∝
t
。
116.本实施例中，周期t1内的眨眼频率、平均眨眼时长的计算方式可以参见图3对应的说明书部分。
117.视觉疲劳系数
∝
t
可以根据公式
∝
＝a*freq+b*t_interval进行计算。
118.205，根据视觉疲劳系数计算人眼疲劳度β
t
。
119.本技术实施例中，采用视觉疲劳系数
∝
t
的相对变化来计算人眼视疲劳程度β
t
，即β
t
＝(
∝
t
-∝0)，或者β
t
＝f(
∝
t
-∝0),f为其他形式函数。
120.206，获取环境参数、显示内容参数、显示器件参数。
121.在一个具体示例中，所述环境参数为环境光传感器采集的光亮度值，显示内容参数为显示场景(如游戏场景)和平均灰阶值。
122.207，将获取的环境参数、显示内容参数及显示器件参数输入到视觉健康模型中，获得最大视觉疲劳度β
max
。
123.208，根据β
max
和β
t
计算显示干预系数数。
124.在一个示例中，显示干预系数数为w＝β
t
/β
max
。
125.209，利用得到的显示干预系数计算显示调整参数，并对电子设备进行显示调整。
126.本技术实施例中，利用计算得到的显示干预系数w计算显示调整参数，例如，将蓝光比例由当前p调整为w*p，pwm比例由当前l调整为w*l，其中w*p、w*l为根据干预系数计算的显示调整参数。
127.可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的步骤，本技术能够以硬件或者硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能。
128.本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或者两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
129.在采用对应各个功能划分各个功能模块的情况下，图7示出了上述实施例中涉及的显示调整设备的一种可能的组成示意图，如图7所示，显示调整设备700中可以集成护眼模块，所述护眼模块从功能上划分包括处理单元701和调整单元702，其中：
130.处理单元701，用于根据正在使用电子设备的第一用户的人脸图像，确定所述第一用户的第一疲劳度；还用于根据检测到的疲劳影响参数和所述第一疲劳度，确定显示调整参数；
131.调整单元702，用于根据所述显示调整参数对所述电子设备进行显示调整。
132.在一种可能的实现方式中，所述疲劳影响参数包括以下一种或多种的组合：所述电子设备所处环境的环境参数；所述电子设备的显示器件参数；所述电子设备的显示内容参数。
133.在一种可能的实现方式中，所述处理单元701，具体用于从所述人脸图像中提取人眼区域子图；根据所述人眼区域子图识别所述第一用户的人眼闭合状态；根据所述第一用户的人眼闭合状态，确定所述第一用户的第一疲劳度。
134.在一种可能的实现方式中，所述处理单元701，具体用于根据一个检测周期内的人眼闭合状态，确定所述第一用户在所述检测周期内的眨眼频率和闭眼时长；根据所述第一
用户在所述检测周期内的眨眼频率和闭眼时长，确定所述第一疲劳度。
135.在一种可能的实现方式中，所述处理单元701，具体用于根据所述第一用户在所述检测周期内的眨眼频率和闭眼时长，确定所述第一用户在所述检测周期的第一疲劳系数；根据所述第一疲劳系数和在所述检测周期之前的n个检测周期的疲劳系数，确定所述第一疲劳度，n为正整数。
136.在一种可能的实现方式中，所述处理单元701，具体用于根据所述第一疲劳系数和初始检测周期获取的疲劳系数，确定所述第一疲劳度。
137.在一种可能的实现方式中，所述处理单元701，具体用于确定在检测到的所述疲劳影响参数下，所述第一用户的第二疲劳度；基于所述第二疲劳度和所述第一疲劳度，确定显示调整参数。
138.在一种可能的实现方式中，所述处理单元701，具体用于基于所述疲劳影响参数，从已建立的疲劳度查询表中查询所述第二疲劳度。
139.在一种可能的实现方式中，所述显示单元702，具体用于根据所述显示调整参数对所述电子设备支持设置的内容显示参数和/或器件参数进行调整。
140.应理解，这里的电子设备以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，asic)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
141.本技术还提供了一种显示调整设备，包括：显示屏；摄像头；光传感器；一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行以下步骤：根据正在使用电子设备的第一用户的人脸图像，确定所述第一用户的第一疲劳度；根据检测到的疲劳影响参数和所述第一疲劳度，确定显示调整参数；根据所述显示调整参数对所述电子设备进行显示调整。
142.本技术还提供了一种显示调整设备，所述设备包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现上述图3至图6中所示的显示调整方法。
143.本技术还提供了一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述图3至图6中所示的显示调整方法。
144.可选的，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行上述各实施例中的显示调整方法。
145.第六方面，本技术方案提供了一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行上述显示调整方法可能的实现方式中的方法的指令。
146.存储器可以是只读存储器(read-only memory，rom)、可存储静态信息和指令的其
它类型的静态存储设备、随机存取存储器(random access memory，ram)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。
147.本技术实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
148.本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
149.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
150.在本技术所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
151.以上所述，仅为本技术的具体实施方式，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。本技术的保护范围应以所述权利要求的保护范围为准。