终端设备、光信号处理方法及存储介质与流程

本申请涉及光学技术领域，尤其涉及一种终端设备、光信号处理方法及存储介质。

背景技术：

随着电子技术的发展以及用户对终端使用体验的逐步提升，终端设备大多会配备环境光传感器(ambientlightsensor，als)用于探测外界的环境光信号，以使得终端设备的处理器根据探测到环境光信号对显示屏的亮度进行动态调整，进而提升用户的使用体验。

现有技术中，对于具有显示屏的终端设备，通常将环境光传感器放置在屏幕下方，以保证终端设备具有较高的屏占比。具体的，以有机发光二极管(organiclight-emittingdiode，oled)形成的显示屏为例，将oled的显示屏背面的不透光层(例如，黑胶层和/或铜箔层)去除后，oled显示屏能够透过部分可见光，透过屏幕的可见光用于环境光强度的检测。

然而，在实际应用中，不仅环境光能透过屏幕入射到环境光传感器上，而且屏幕本身发的光也会经过盖板玻璃等结构反射回到环境光传感器上，致使环境光传感器探测到的信号中既包括环境光信号也包括屏幕光信号，存在环境光强度的检测准确度低的问题。

技术实现要素：

本申请提供一种终端设备、光信号处理方法及存储介质，以克服现有终端设备中环境光强度的检测准确度低的问题。

第一方面，本申请实施例提供一种终端设备，包括：显示驱动组件，以及与所述显示驱动组件连接的处理器、显示屏和环境光传感器；

所述环境光传感器用于根据所述处理器输出的第一控制信号和所述显示驱动组件输出的脉冲宽度调制pwm电平状态信号，收集所述显示屏在至少两个pwm周期中处于熄灭状态时的第一光信号，并对所述第一光信号进行光电转换，输出所述第一光信号对应的第一电信号；

所述处理器用于从所述环境光传感器获取所述第一电信号，并根据所述第一电信号得到外界的环境光强度。

在第一方面的一种可能设计中，所述环境光传感器包括至少一个光电转换单元，每个光电转换单元分别用于收集所述显示驱动组件驱动的显示像素在至少两个pwm周期中处于熄灭状态时的第一光信号。

可选的，所述显示屏的不透光层上开设有一个开口，所有的光电转换单元位于所述开口的下方，所述环境光传感器具体用于收集所述开口上方的所有显示像素在至少两个pwm周期中均处于熄灭状态时的所述第一光信号。

可选的，所述环境光传感器上的每个光电转换单元上设置有一种滤色器，每种滤色器用于使得所述环境光传感器输出具有所述滤色器对应色光信息的多个第一电信号；

所述处理器还用于根据所述环境光传感器输出的具有色光信息的多个第一电信号，计算所述第一光信号的色温。

在第一方面的另一种可能设计中，所述处理器还用于控制所述环境光传感器的每个开始收集第一光信号的时刻晚于所述开口上方的最后一个显示像素进入开始熄灭的时刻；

和/或

所述处理器还用于控制所述环境光传感器的每个结束收集第一光信号的时刻早于所述开口上方的第一个显示像素进入开始点亮的时刻。

在第一方面的又一种可能设计中，所述环境光传感器还用于根据所述第一控制信号和所述pwm电平状态信号，收集所述显示驱动组件驱动的显示屏在至少两个pwm周期中处于点亮状态时的第二光信号，并对所述第二光信号进行光电转换，输出所述第二光信号对应的第二电信号；

可选的，所述处理器还用于根据所述第一电信号和所述第二电信号，确定所述显示屏的屏幕光强度。

在第一方面的又一种可能设计中，所述处理器还用于根据在上次测量过程中确定的环境光强度，确定所述环境光传感器在本次测量过程中用于测量环境光强度的pwm周期数量和/或开始收集环境光信号的时刻和/或终止收集环境光信号的时刻。

在第一方面的又一种可能设计中，所述处理器还用于输出用于控制所述环境光传感器工作的所述第一控制信号，以及输出用于控制所述显示驱动组件工作的第二控制信号；

所述显示驱动组件用于根据所述第二控制信号输出周期性的所述pwm电平状态信号，并将所述pwm电平状态信号传输至所述显示屏和所述环境光传感器；

所述显示屏用于根据所述pwm电平状态信号在熄灭状态和点亮状态之间切换。

在第一方面的又一种可能设计中，所述第一电信号是经过所述环境光传感器进行光电转换以及模数转换处理后得到的数字信号；

所述处理器还用于对所述数字信号进行运算处理，得到所述环境光强度；或者

所述第一电信号是经过所述环境光传感器进行光电转换处理后输出的电信号；

所述处理器还用于对所述第一电信号进行模数转换处理，得到所述环境光强度。

第二方面，本申请实施例提供了一种光信号处理方法，应用于终端设备，所述终端设备包括：显示驱动组件，以及与所述显示驱动组件连接的处理器、显示屏和环境光传感器，所述方法包括：

所述环境光传感器获取所述处理器输出的第一控制信号、所述显示驱动组件输出的脉冲宽度调制pwm电平状态信号；

所述环境光传感器根据所述第一控制信号和所述pwm电平状态信号，收集所述显示屏在至少两个pwm周期中处于熄灭状态时的第一光信号；

所述环境光传感器对所述第一光信号进行光电转换，输出所述第一光信号对应的第一电信号；

所述处理器根据所述第一电信号进行处理，得到外界的环境光强度。

在第二方面的一种可能设计中，所述环境光传感器包括至少一个光电转换单元；

所述环境光传感器根据所述第一控制信号和所述pwm电平状态信号，收集所述显示屏在至少两个pwm周期中处于熄灭状态时的第一光信号，包括：

所述环境光传感器根据所述第一控制信号和所述pwm电平状态信号，利用所述至少一个光电转换单元收集所述显示驱动组件驱动的显示像素在至少两个pwm周期中处于熄灭状态时的第一光信号。

可选的，所述显示屏的不透光层上开设有一个开口，所有的光电转换单元位于所述开口的下方；

所述环境光传感器根据所述第一控制信号和所述pwm电平状态信号，收集所述显示屏在至少两个pwm周期中处于熄灭状态时的第一光信号，包括：

所述环境光传感器根据所述第一控制信号和所述pwm电平状态信号，收集所述开口上方的所有显示像素在至少两个pwm周期中均处于熄灭状态时的第一光信号。

可选的，所述环境光传感器上的每个光电转换单元上设置有一种滤色器，所述第一电信号是所述环境光传感器输出的具有多种滤色器对应色光信息的多个电信号；

所述方法还包括：

所述处理器根据所述环境光传感器输出的具有色光信息的多个第一电信号，得到所述第一光信号的色温。

在第二方面的另一种可能设计中，所述方法还包括：

所述处理器利用所述第一控制信号控制所述环境光传感器的每个开始收集第一光信号的时刻晚于所述开口上方的最后一个显示像素进入开始熄灭的时刻；

和/或

所述处理器利用所述第一控制信号控制所述环境光传感器的每个结束收集第一光信号的时刻早于所述开口上方的第一个显示像素进入开始点亮的时刻。

在第二方面的再一种可能设计中，所述方法还包括：

所述环境光传感器根据所述第一控制信号和所述pwm电平状态信号，收集所述显示驱动组件驱动的显示屏在至少两个pwm周期中处于点亮状态时的第二光信号；

所述环境光传感器对所述第二光信号进行光电转换，输出所述第二光信号对应的第二电信号；

所述处理器根据所述第一电信号和所述第二电信号，确定所述显示屏的屏幕光强度。

在第二方面的又一种可能设计中，所述方法还包括：

所述处理器根据在上次测量过程中确定的环境光强度，确定所述环境光传感器在本次测量过程中用于测量环境光强度的pwm周期数量和/或开始收集环境光信号的时刻和/或终止收集环境光信号的时刻。

在第二方面的又一种可能设计中，在所述环境光传感器获取所述处理器输出的第一控制信号、所述显示驱动组件输出的脉冲宽度调制pwm电平状态信号之前，所述方法还包括：

所述显示驱动组件获取所述处理器输出的第二控制信号；

所述显示驱动组件根据所述第二控制信号，输出周期性的所述pwm电平状态信号，并将所述pwm电平状态信号传输至所述显示屏和所述环境光传感器；

所述显示屏根据所述pwm电平状态信号在熄灭状态和点亮状态之间切换。

在第二方面的又一种可能设计中，在所述第一电信号是经过所述环境光传感器进行光电转换以及模数转换处理后得到的数字信号时，所述处理器根据所述第一电信号进行处理，得到外界的环境光强度，包括：

所述处理器对所述数字信号进行运算处理，得到所述环境光强度。

在第二方面的又一种可能设计中，在所述第一电信号是经过所述环境光传感器进行光电转换处理后输出的电信号时，所述处理器根据所述第一电信号进行处理，得到外界的环境光强度，包括：

所述处理器对所述第一电信号进行模数转换处理，得到所述环境光强度。

第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述第二方面以及各可能设计所述的方法。

第四方面，本申请实施例提供一种计算机程序产品，包括：计算机程序，所述计算机程序被处理器执行时用于实现如上述第二方面以及各可能设计所述的方法。

本申请实施例提供的终端设备、光信号处理方法及存储介质，该终端设备包括：显示驱动组件，以及与显示驱动组件连接的处理器、显示屏和环境光传感器，这样环境光传感器可以根据处理器输出的第一控制信号和显示驱动组件输出的pwm电平状态信号，收集显示驱动组件驱动的显示屏在至少两个pwm周期中处于熄灭状态时的第一光信号，并对第一光信号进行光电转换，输出第一光信号对应的第一电信号，从而处理器可以根据环境光传感器输出的该第一电信号得到外界的环境光强度。该技术方案中，环境光传感器可以采用非连续积分的方法采集显示屏在至少两个pwm周期内处于熄灭状态时的环境光信号，并对其进行光电转换，提高了环境光强度对应信号的大小，从而显著提升了环境光检测的灵敏度。

附图说明

图1为占空比分别为10％，30％，50％及70％的pwm信号的波形示意图；

图2a和图2b分别为对pwm调光模式下oled显示屏以长曝光时间和短曝光时间拍照得到的照片的示意图；

图3为现有技术中传感器具有的单抽头像素架构的示意图

图4为图3所示的单抽头像素架构中各晶体管的时序图；

图5为本申请实施例提供的终端设备的组成示意图；

图6为本申请实施例中显示屏采用pwm调光时环境光传感器接收到的光强随时间变化的示意图；

图7为本申请实施例提供的一种终端设备的正视图；

图8为本申请实施例提供的一种终端设备沿a-a’的部分剖面结构示意图；

图9为不透光层上开口上方的各行显示像素的一种工作时序图；

图10为本申请实施例提供的具有至少两个光电转换单元的环境光传感器的结构示意图；

图11为本申请实施例提供的电转换单元上设置滤色器的环境光传感器的结构示意图；

图12为环境光传感器上共电荷储存区域的光电转换单元的分布示意图；

图13为不透光层上开口上方的各行显示像素的另一种工作时序图；

图14为不透光层上开口上方的各行显示像素的再一种工作时序图；

图15为不透光层上开口上方的各行显示像素的又一种工作时序图；

图16为本实施例提供的环境光传感器上光电转换单元的一种架构示意图；

图17为本申请提供的光信号处理方法实施例的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着电子技术的发展和用户对终端设备使用体验的要求提高，为了保证用户的眼睛在浏览显示屏上的内容时更舒适，现有的终端设备大多会配备环境光传感器(ambientlightsensor，als)对终端设备显示屏的亮度进行动态调整。例如，在外界光强变弱时，环境光传感器会探测到较弱的环境光信号，并将该环境光信号的光强值传递给终端设备的处理器，这样处理器便会调低显示屏的整体亮度，以避免刺眼。另外，尤其是在较低的环境光强下，实时降低显示屏的亮度，也可以有效降低显示屏引起的功耗。

目前，对于具有显示屏的终端设备，用户又期望其具有较高的屏占比。因而，将环境光传感器放置在终端设备内部的显示屏下方可以避免占据屏幕边缘的较大位置，从而有效提高屏占比。

以背面具有不透光层的oled显示屏为例，将oled屏背面的不透光层去除后，oled屏能够透过部分可见光，透过屏幕的可见光可以用于环境光强度的检测。但由于oled显示屏的透过率通常低于5％，因此，需要具有较高灵敏度的环境光传感器。具体的，通过提升环境光传感器的积分时间或者增大环境光传感器上光电转换单元的面积，均能实现提升环境光传感器的灵敏度的目的。

在实际应用中，oled显示屏背面的不透光层可以是黑胶层和/或铜箔层等，此处不对其进行限定。

在实际应用中，不仅环境光能透过终端设备的显示屏入射到环境光传感器上，显示屏本身发的光也会经过盖板玻璃等结构反射回到环境光传感器上，因而，环境光传感器检测到的信号中既包括环境光的信号，也包括屏幕光的信号，故需要在探测的信号中对其进行区分，这增加了显示屏下环境光强度的检测难度。

现有技术中，终端设备的显示屏亮度调整的方法有很多。其中，脉冲宽度调制(pulsewidthmodulation，pwm)是一种较为常用的方法。图1为占空比分别为10％，30％，50％及70％的pwm信号的波形示意图。在图1所示的示意图中，在pwm信号为高电平时，显示屏的显示像素被点亮，显示屏处于点亮状态，在pwm信号为低电平时，显示屏的显示像素处于熄灭状态，显示屏处于熄灭状态。如此反复，显示像素会周期性地被点亮及熄灭。

可理解，在实际应用中，显示屏的熄灭状态有时也可以称为息灭状态，本申请实施例并不对其进行限定。

示例性的，在一个周期中，pwm信号的高电平占一个pwm周期的10％时，即占空比为10％，此时，pwm信号调光时，显示屏的亮度为pwm占空比为100％的亮度的10％。同理，对于占空比30％的pwm信号，pwm信号调光时，显示屏的亮度为pwm占空比为100％的亮度的30％；对于占空比50％的pwm信号，pwm信号调光时，显示屏的亮度为pwm占空比为100％的亮度的50％；对于占空比70％的pwm信号，pwm信号调光时，显示屏的亮度为pwm占空比为100％的亮度的70％。

在实际应用中，由于显示屏是由多行显示像素组成的，并按照一定的顺序进行刷新，例如，从上到下一行一行刷新。示例性的，图2a和图2b分别为对pwm调光模式下oled显示屏以长曝光时间和短曝光时间拍照得到的照片的示意图。如图2a所示，当利用相机对应用了pwm调光模式的显示屏进行拍照，且拍照的曝光时间大于屏幕刷新及pwm刷新频率时，虽然实际显示的内容为明暗相间不断滚动的条纹，但由于人眼的滞留效应，人眼看到的依然是连续不间断的画面。

如图2b所示，当利用相机对应用了pwm调光模式的显示屏进行拍照，且拍照的曝光时间远低于屏幕刷新及pwm刷新频率时，oled显示屏显示的为明暗相间不断滚动的条纹，其中，该黑色条纹对应的显示像素处于熄灭状态，该白色条纹对应的显示像素处于点亮状态。在显示像素处于熄灭状态时，黑色条纹下的als只接收到环境光，在这段时间内测试环境光强度可以有效避免屏幕发光的影响。但由于als上方显示像素处于熄灭状态下的时间较短，尤其在屏幕透光率较低且环境光较暗的情况下，als探测到的信号较弱，甚至可能探测不到，从而存在环境光强度检测的灵敏度低的问题。

示例性的，在实际应用中，上述长曝光时间可以是0.6s，上述短曝光时间可以是1ms。本实施例并不对其进行限定。

针对上述问题，本申请实施例提供一种终端设备，可以包括：显示驱动组件，以及与显示驱动组件连接的处理器、显示屏和环境光传感器，其中，该显示屏是具有pwm调光的显示屏，该环境光传感器可以采用非连续积分的方法，采集显示屏在至少两个pwm周期中处于熄灭状态时的第一光信号，并对第一光信号进行光电转换，输出第一光信号对应的第一电信号，而且可以随意调整pwm周期的环境光信号的采集时间，在不影响显示屏显示的同时，能显著提升环境光检测的灵敏度，同时在其他外界条件均相同的条件下，采用该方案可以降低光电转换单元的面积，从而降低环境光传感器的成本。

本方案的主要构思是环境光传感器中采用一种能实现对光电效应产生的载流子进行非连续积分的电路。示例性的，图3为现有技术中传感器具有的单抽头像素架构的示意图。该单抽头(1-tap)像素架构的传感器在机器视觉测距领域具有广泛应用，具体的，在间接飞行时间(indirecttimeofflight，i-tof)测量领域为一公知技术。可选的，如图3所示，该单抽头(1-tap)像素架构可以包括控制环境光信号采集的txd晶体管、tx晶体管、rst晶体管和sel晶体管，以及用于光电转换的光电二极管(photo-diode，pd)和用于存储电荷的电荷存储区(floatdiffusion，fd)，其中，pd的正极接地，pd的负极分别与txd晶体管、tx晶体管的一端连接，txd晶体管的另一端接高电平，tx晶体管的另一端接fd。关于图3中上述各组件的连接关系可以参见图3，此处不再赘述。

图4为图3所示的单抽头像素架构中各晶体管的时序图。参见图3和图4，在工作过程中，首先控制rst晶体管和tx晶体管打开，利用rst晶体管对pd及fd点进行复位，然后关闭tx晶体管及rst晶体管，同时打开sel晶体管读出fd点的复位信号，用于相关双采样(correlateddoublesample，cds)，然后在调制光源相位控制的作用下，tx晶体管及txd晶体管交替打开和关闭。tx晶体管及txd晶体管的打开时机受调制光源的相位控制。

参照图4所示，在tx晶体管打开，且txd晶体管关闭期间，pd光电效应产生的载流子被收集并存储在fd中。在tx晶体管关闭，且txd晶体管打开期间，pd光电效应产生的载流子传输到txd晶体管另一端连接的高电平，被丢弃。经过工作一段时间后，tx晶体管关闭，打开sel晶体管，可以读出fd点的信号。在图3所示的架构中，由于可以对tx晶体管及txd晶体管的开关状态进行任意调整，相当于实现了对pd中产生的载流子进行非连续积分，并一次性读出的目的。

本申请实施例提供的终端设备可以是具有显示屏，需要进行亮度调节的各种终端设备，例如智能手机、笔记本电脑、平板电脑、游戏设备等移动计算设备，以及电子数据库、汽车、银行自动柜员机(automatedtellermachine，atm)等需要进行显示屏亮度调节的其他终端设备。

下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图5为本申请实施例提供的终端设备的组成示意图。如图5所示，该终端设备10可以包括：显示驱动组件101，以及与该显示驱动组件101连接的处理器102、显示屏103和环境光传感器104。

在本实施例中，处理器102用于输出用于控制环境光传感器104工作的第一控制信号，以及输出用于控制显示驱动组件101工作的第二控制信号。

显示驱动组件101用于根据第二控制信号输出周期性的pwm电平状态信号，并将pwm电平状态信号传输至显示屏103和环境光传感器104。

显示屏103用于根据pwm电平状态信号在熄灭状态和点亮状态之间切换。

环境光传感器104用于根据处理器102输出的第一控制信号和显示驱动组件101输出的pwm电平状态信号，收集显示屏103在至少两个pwm周期中处于熄灭状态时的第一光信号，并对第一光信号进行光电转换，输出第一光信号对应的第一电信号。

相应的，处理器102用于从环境光传感器104获取第一电信号，并根据第一电信号得到外界的环境光强度。

可选的，在本实施例的一种可能设计中，所述第一电信号是经过环境光传感器104进行光电转换以及模数转换处理后得到的数字信号。此时，处理器102获取到第一电信号时，还用于对该第一电信号(即数字信号)进行运算处理，得到外界的环境光强度。

可选的，在本实施例的另一种可能设计中，所述第一电信号是经过环境光传感器104进行光电转换处理后输出的电信号；

此时，处理器102还用于对该第一电信号进行模数转换处理，得到环境光强度。

示例性的，图6为本申请实施例中显示屏采用pwm调光时环境光传感器接收到的光强随时间变化的示意图。如图6所示，在显示屏103采用pwm调光模式时，当显示屏103的不透光层上开设的开口上方的显示像素被点亮时，环境光传感器104收集到的光信号包含了环境光以及屏幕光；当显示屏103的不透光层上开设的开口上方的显示像素熄灭时，环境光传感器104收集到的光信号只有来自环境光的信号。

显然，可以只在显示屏103的不透光层上开口上方的显示像素熄灭时进行环境光信号的探测，但显示屏103每次熄灭的时间可能很短。例如，以显示屏103的刷新频率为60hz，pwm频率为120hz，占空比为90％的oled显示屏为例。显示屏103的不透光层上开口上方的显示像素熄灭的时间不超过833.3us，再加上oled屏幕的透过率较低，在环境光较弱的情况下，环境光传感器104探测得到的信号较弱，探测精度较差，当使用此时得到的信号对显示屏103的亮度进行调整时容易出现亮度调整错误的问题。由于人眼对于暗光下的细节更为敏感，屏幕亮度调整错误会导致较差的用户体验。

针对该问题，在本实施例中，参照上述图5所示，环境光传感器104包括：光电转换单元1040。该光电转换单元1040的结构可以采用上述图3所示的单抽头像素架构，但在本申请的实施例中，tx晶体管、txd晶体管、rst晶体管和sel晶体管的开启关闭时刻受显示驱动组件101输出的pwm电平的控制，能够将显示屏103在多个pwm周期中处于熄灭状态的光信号进行非连续地收集并积分，相当于提升了总的积分时间，信噪比提升可以显著提升环境光强度检测的精度，也可以理解为在外界环境条件相同的条件，采用该方法可以降低了光电转换单元1040的面积，降低了制造成本。

在图5所示的实施例中，显示驱动组件101可以控制显示屏103实时显示内容，同时将显示像素的pwm电平状态信号传递给环境光传感器104，进而控制tx晶体管及txd晶体管的开关状态，处理器102能够产生第二控制信号以控制显示驱动组件101的工作状态，还能够产生第一控制信号以控制环境光传感器104的工作状态，还能够从环境光传感器104处接收第一电信号，进而得到环境光强度。

通常情况下，pwm波形处于低电平时，显示屏103包括的显示像素处于熄灭状态，pwm波形处于高电平时，显示屏103包括的显示像素处于点亮状态；然而，在其他的电子器件中，pwm波形处于低电平时，显示屏103包括的显示像素处于点亮状态，pwm波形处于高电平时，显示屏103包括的显示像素处于熄灭状态。本申请下述实施例以显示屏103包括的显示像素处于熄灭状态，pwm波形处于高电平时，显示屏103包括的显示像素处于点亮状态为例进行解释说明。

结合上述图6和图3所示，当不透光层上开口上方的显示像素处于熄灭状态时，即pwm波形处于低电平时，将tx晶体管打开，txd晶体管关闭，pd开始接收并进行光电转换，并将产生的载流子储存在fd中，此阶段产生的积分量为a1，在不透光层上开口上方的显示像素处于点亮状态时，tx晶体管关闭，txd晶体管打开，pd接收屏幕光及环境光并进行光电转换，但是将产生的载流子通过txd晶体管连接的高电平端遗弃。在下一个pwm周期内，重复上述的操作。

示例性的，参照图6所示，环境光传感器104在不透光层上开口上方的显示像素被点亮时，将pd产生的载流子遗弃，环境光传感器104在不透光层上开口上方的显示像素熄灭时，将pd产生的载流子存储到fd中，例如，经过两个pwm周期的收集，fd中积累的电荷积分量分别为a1,a2，在某一个tx晶体管关闭的时刻，将sel晶体管打开，将前述二段积累的积分量(a1+a2)一次读出。进一步的，在读出fd中积累的电荷信号，并利用rst晶体管重置后，便可以开始下一次环境光信号的收集。

可以理解的是，环境光传感器104可以根据处理器102输出的第一控制信号随意调整积分的段数，因此，在环境光强度较低时，可以选用较多的积分段数，从而能够显著提升环境光强度的检测灵敏度。

示例性的，图7为本申请实施例提供的一种终端设备的正视图。图8为本申请实施例提供的一种终端设备沿a-a’的部分剖面结构示意图。如图7和图8所示，在常用的终端设备10(例如手机)的正面，该显示屏103下侧的不透光层1031上开设有一个开口1032。

上述的环境光传感器104位于该终端设备10内的开口1032的下方，该环境光传感器104还用于通过该开口1032获取外界的环境光或者外界的环境光与开口1032上方的显示像素发出的光线。可选的，终端设备内部包括主板105，环境光传感器104设置在该主板105上方。

可选的，终端设备的显示屏103通过柔性电路板(flexibleprintedcircuit，fpc)与主板105连接。具体的，fpc的一端压合或压焊在显示屏103上，fpc的另一端通过连接器扣合在主板105的底座106上。

可理解的是，主板105上方还可以根据实际需要设置其他的组件，此处不作赘述。

在实际应用中，由于显示屏103的不透光层(例如，oled显示屏的黑胶层和/铜箔层)上有一开口(或者称为缺口)，环境光可以部分透过屏幕。在本实施例中，在上述图6所示的示意图中，环境光传感器104上具有的光电转换单元1040，例如可以是pd，其能够将光信号(例如，屏幕光和/或环境光)转换成电信号。

本申请实施例提供的终端设备，包括：显示驱动组件，以及与显示驱动组件连接的处理器、显示屏和环境光传感器；该环境光传感器可以根据处理器输出的第一控制信号和显示驱动组件输出的pwm电平状态信号，收集显示屏在至少两个pwm周期中处于熄灭状态时的第一光信号，并对第一光信号进行光电转换，输出第一光信号对应的第一电信号，这样处理器便可以根据环境光传感器输出的该第一电信号得到外界的环境光强度。该技术方案中，环境光传感器可以采用非连续积分的方法采集显示屏在至少两个pwm周期内处于熄灭状态时的环境光信号，并对其进行光电转换，提高了环境光强度对应信号的大小，从而显著提升了环境光检测的灵敏度。

示例性的，在实际应用中，由于显示屏在显示一帧内容时，是按照一定的顺序刷新。例如，可以从上到下刷新。因此，不透光层上开口上方的显示像素并不是同时刷新，而pwm高电平到低电平的下降沿也不是同时开始。示例性的，图9为不透光层上开口上方的各行显示像素的一种工作时序图。如图9所示，假设开口1032上方的显示像素是显示屏103上第n行至第n+m行的显示像素，由图9可知，第n行至第n+m行显示像素按照先后顺序进行刷新，因而，只有在第n行至第n+m行显示像素均处于熄灭状态(例如，低电平)时，环境光传感器104获取到的光信号才只有环境光信号，因而，需要等开口1032上方所有的显示像素都处于熄灭状态(例如，pwm低电平)的状态时开始积分。其中，n和m均为正整数。

因而，在本实施例中，环境光传感器104包括至少一个光电转换单元1040，每个光电转换单元1040分别用于收集显示驱动组件101驱动的显示像素在至少两个pwm周期中处于熄灭状态时的第一光信号。具体的，环境光传感器104具体用于收集上述开口1032上方的所有显示像素在至少两个pwm周期中均处于熄灭状态时的第一光信号。

示例性的，假设显示屏103包括依次排序的2000行显示像素，显示像素行间距为60um，显示像素的刷新频率及pwm频率为100hz。这时，若不透光层上开设的开口大小为2mm*2.5mm，则在显示屏103显示的一帧画面中，开口1032上方最开始进入pwm低电平的一行为第n行，最后进入pwm的一行为第n+34行。因此，在第n行中的显示像素熄灭的170us后，第n+34行的显示像素才刚好熄灭，这时才能开始积分，在第n行的pwm进入下一次高电平时积分结束。以pwm占空比为90％的状态为例，单次积分时间为830us.在非连续积分3次(积分a1、积分a2和积分a3)，即经历3帧画面后读出，总积分时间为2.49ms，从而显著提高了环境光信号的采集时间，为后续提高环境光信号的采集精度奠定了基础。

可选的，在本申请实施例的一种可能设计中，图10为本申请实施例提供的具有至少两个光电转换单元的环境光传感器的结构示意图。如图10所示，环境光传感器104包括多个光电转换单元1040，也即，上述的光电转换单元可以为至少两个光电转换单元，每个光电转换单元1040分别用于收集显示驱动组件101驱动的显示像素在至少两个pwm周期中处于熄灭状态时的第一光信号。

通过在环境光传感器104设置多个光电转换单元1040可以有效提高总采光的面积，能够提高环境光强度对应信号的检测大小，从而为提高环境光信号的采集精度提供了实现条件。

在图10所示结构示意图的基础上，图11为本申请实施例提供的电转换单元上设置滤色器的环境光传感器的结构示意图。如图11所示，环境光传感器104上的每个光电转换单元1040上设置有一种滤色器，每种滤色器用于使得环境光传感器104输出具有该滤色器对应色光信息的多个第一电信号。

在图11中，不同的光电转换单元1040上可以覆盖有不同的滤色器，例如，光电转换单元1040上覆盖的滤色器可以有红色(r)滤色器，绿色(g)滤色器，蓝色(b)滤色器及无色(c)滤色器。

滤色器即滤色片，又称“滤色镜”，是对特定波长的色光具有吸收作用的介质，因而，通过在不同的光电转换单元1040上设置不同的滤色器，可以使得不同的光电转换单元1040收集到不同的色光信息，从而使得环境光传感器104输出具有不同色光信息的多个第一电信号。

相应的，在本实施例的该种可能设计中，与环境光传感器104连接的处理器102还可以获取到上述环境光传感器104输出的具有色光信息的多个第一电信号，并根据具有色光信息的多个第一电信号计算第一光信号的色温，从而确定出显示屏103的色温是否符合舒适度需求，为显示屏103的色温调节提供实现条件。

作为一种示例，在图10所示的结构示意图中，环境光传感器104上的至少两个光电转换单元1040共用电荷存储区域。图12为环境光传感器上共电荷储存区域的光电转换单元的分布示意图。如图12所示，环境光传感器104上的光电转换单元1040采用单抽头像素架构，这时在环境光传感器104中，可以将部分光电转换单元1040的电荷存储区域(fd)共用，在提高电信号收集量的同时，能相对减少芯片的占用面积，提高了芯片面积的利用率。

在实际应用中，由于组成显示屏103(例如，oled屏)的晶体管的开关动作并不是在一瞬间完成的，因此显示像素在开始进入熄灭状态(例如，pwm进入低电平)之后经历一段时间才会完全熄灭。

在本申请的一种实施例中，处理器102还用于控制环境光传感器104的每个开始收集第一光信号的时刻晚于开口1032上方的最后一个显示像素进入开始熄灭的时刻；也即，光电转换单元1040的每个开始收集第一光信号的时刻晚于开口1032上方的最后一个显示像素进入开始熄灭的时刻。

示例性的，图13为不透光层上开口上方的各行显示像素的另一种工作时序图。在该示例中，开口1032上方的显示像素为第n行至第n+m行，且环境光传感器104的光电转换单元1040采用单抽头像素架构，所以，如图13所示，将光电转换单元1040中tx晶体管的打开时间相对于第n+m行的显示像素进入pwm低电平的时刻往后延迟时间δt1，这样可以提高采集到的环境光信号的精度，从而进一步提升了环境光的检测灵敏度。

在本申请的另一种实施例中，处理器102还可以用于控制环境光传感器104的每个结束收集第一光信号的时刻早于开口1032上方的第一个显示像素进入开始点亮的时刻。即，光电转换单元1040的每个结束收集第一光信号的时刻早于开口1032上方的第一个显示像素进入开始点亮的时刻。

示例性的，图14为不透光层上开口上方的各行显示像素的再一种工作时序图。图14所示的工作时序图与图13所示的工作时序图的区别在于，将光电转换单元1040中tx晶体管的关闭时间相对于第n行(其上方第一个)显示像素进入pwm高电平的时刻往前提前一段时间δt2。

在本申请的再一种实施例中，处理器102还可以同时控制环境光传感器104的每个开始收集第一光信号的时刻晚于开口1032上方的最后一个显示像素进入开始熄灭的时刻，以及光电转换单元1040的每个结束收集第一光信号的时刻早于开口1032上方的第一个显示像素进入开始点亮的时刻。

示例性的，图15为不透光层上开口上方的各行显示像素的又一种工作时序图。如图15所示，将光电转换单元1040中tx晶体管的打开时间相对于第n+m行的显示像素进入pwm低电平的时刻往后延迟时间δt1，同时，将光电转换单元1040中tx晶体管的关闭时间相对于第n行(其上方第一个)显示像素进入pwm高电平的时刻往前提前一段时间δt2。

可选的，δt1和δt2的数值可以相同，也可以不同，此处不再赘述。

在本实施例中，通过控制环境光传感器104的每个开始收集第一光信号的时刻晚于开口1032上方的最后一个显示像素进入开始熄灭的时刻，和/或，控制环境光传感器104的每个结束收集第一光信号的时刻早于开口1032上方的第一个显示像素进入开始点亮的时刻，这样可以进一步提高采集到的环境光信号的精度，进一步提升了环境光的检测灵敏度。

进一步的，在本申请的实施例中，环境光传感器104上的光电转换单元1040可以采用双抽头像素架构，例如，图16为本实施例提供的环境光传感器上光电转换单元的一种架构示意图。如图16所示，光电转换单元1040包括：一个pd、对称分布的两个tx晶体管、两个txd晶体管、两个rst晶体管、两个sel晶体管以及两个fd区域。其中，pd、tx1晶体管、txd1晶体管、rst1晶体管和sel1晶体管协同工作，可以将环境光转换后的载流子(电荷)存储在fd1区域中，pd、tx2晶体管、txd2晶体管、rst2晶体管和sel2晶体管协同工作，可以将环境光和屏幕光转换后的载流子(电荷)存储在fd2区域。关于光电转换单元1040的控制原理与单抽头像素架构的控制原理类似，区别仅在于单抽头像素架构时，丢弃了pwm处于高电平时产生的载流子对应的电信号，本方案中将pwm处于高电平时产生的载流子存储在了pd2区域中。

在本实施例中，环境光传感器104还用于根据处理器102的第一控制信号和pwm电平状态信号，收集显示驱动组件101驱动的显示屏103在至少两个pwm周期中处于点亮状态时的第二光信号，并对第二光信号进行光电转换，输出第二光信号对应的第二电信号。其中，第二光信号包括环境光信号和屏幕光信号。

相应的，处理器102还用于根据第一电信号和第二电信号，确定显示屏103的屏幕光强度。可选的，处理器102可以首先根据第一电信号确定出环境光强度，然后再结合第一电信号和第二电信号的大小，确定出显示屏103的屏幕光强度。

具体的，通过fd1和fd2及pwm的频率和占空比的关系可以同时判断环境光的强度以及屏幕光的强度。例如，假设pwm的频率为50％时，计算得到环境光强度为a1，则屏幕光的强度与a1*(fd2-fd1)/fd1成正相关关系，当处理器102得到屏幕光的强度后可以利用其作为其他用途，例如，根据屏幕光的强度信号检测屏幕的发光强度随时间发生老化衰减的程度等，关于屏幕光强度的具体用途此处不做过多说明。

进一步的，在本申请的实施例中，处理器102还用于根据在上次测量过程中确定的环境光强度，确定环境光传感器104在本次测量过程中用于测量环境光强度的pwm周期数量和/或开始收集环境光信号的时刻和/或终止收集环境光信号的时刻。

具体的，处理器102可以根据上次测量得到的环境光的强度确定本次积分的段数，从而控制第一控制信号控制环境光传感器104中光电转换单元1040收集环境光的段数。例如，若上次测量得到的环境光强度较低时，则可以通过第一控制信号使得光转换单元在本次测量过程中增多积分的段数以提升测量精度。

处理器102还可以根据在上次测量过程中得到的环境光强度，确定环境光传感器104在本次测量过程中开始收集环境光信号的时刻和/或终止收集环境光信号的时刻，以便确定出环境光传感器104的工作时间段和/或起始时刻和/或结束时刻。本实施例不对其进行限定。

综上分析可知，在周期性切换显示屏点亮与熄灭的电子设备中，通过控制环境光传感器在显示屏不透光层上开口上方的显示像素处于熄灭状态时对环境光进行积分，得到第一电信号，并将第一电信号在经历至少两个点亮与熄灭周期后一次性输出，使得处理器根据第一电信号确定出环境光强度。该技术方案，对于使用pwm调光的显示屏，通过对显示像素处于熄灭状态时的环境光进行光电转换信号的非连续积分，可以使得环境光传感器的有效测试时间大大提升，从而有效提升环境光强度检测的灵敏度，有效降低芯片感光区域的大小，从而降低成本。

上述介绍了本申请提供的终端设备的结构示意图和实现原理，下述为本申请提供的光信号处理方法的实施例，可以应用于上述实施例提供的终端设备。对于本申请方法实施例中未披露的细节，请参照上述终端设备实施例中的介绍。

图17为本申请提供的光信号处理方法实施例的流程示意图。该光信号处理方法可以应用于上述图5所示的终端设备，参照上述图5所示，该终端设备可以包括：显示驱动组件，以及与所述显示驱动组件连接的处理器、显示屏和环境光传感器。在本实施例中，如图17所示，该光信号处理方法可以包括如下步骤：

s1701、环境光传感器获取处理器输出的第一控制信号、显示驱动组件输出的pwm电平状态信号。

在本申请的实施例中，终端设备的处理器中加载有用于控制环境光传感器工作的第一计算机程序以及用于控制显示驱动组件工作的第二计算机程序，当第一计算机程序被执行时，处理器可以输出用于控制环境光传感器工作状态的第一控制信号，当第二计算机程序被执行时，处理器可以输出用于控制显示驱动组件工作状态的第二控制信号。

相应的，环境光传感器可以获取到处理器输出的第一控制信号，显示驱动组件可以获取到处理器输出的第二控制信号，并根据第二控制信号，输出周期性的pwm电平状态信号，并将该pwm电平状态信号传输至显示屏和环境光传感器，因而，环境光传感器可以同时在处理器输出的第一控制信号以及显示驱动组件输出的pwm电平状态信号的共同作用下工作。

s1702、环境光传感器根据第一控制信号和pwm电平状态信号，收集显示屏在至少两个pwm周期中处于熄灭状态时的第一光信号。

示例性的，终端设备的显示屏在接收到pwm电平状态信号后，能够根据该pwm电平状态信号在熄灭状态和点亮状态之间切换。示例性的，在一种可能设计中，pwm电平状态信号为高电平时，显示屏处于点亮状态，pwm电平状态信号为低电平时，显示屏处于熄灭状态。在另一种可能设计中，pwm电平状态信号为高电平时，显示屏也可处于熄灭状态，而pwm电平状态信号为低电平时，显示屏处于点亮状态。

可选的，在环境光传感器接收到处理器输出的第一控制信号以及显示驱动组件输出的pwm电平状态信号时，环境光传感器便可以根据第一控制信号和pwm电平状态信号，收集显示屏在至少两个pwm周期中处于熄灭状态时的第一光信号。其中，每个pwm周期包括高电平部分和低电平部分，从而使得显示屏可以在点亮状态和熄灭状态之间切换。

在本申请的一种可能设计中，环境光传感器可以包括至少一个光电转换单元，此时，环境光传感器便可以根据第一控制信号和pwm电平状态信号，利用至少一个光电转换单元收集显示驱动组件驱动的显示像素在至少两个pwm周期中处于熄灭状态时的第一光信号。

在实际应用中，由于光电转换单元是能够进行光信号收集的组件，因而，环境光传感器主要依据光电转换单元收集光信号，所以，在本实施例中，终端设备的显示屏的不透光层上开设有一个开口，所有的光电转换单元位于开口的下方，环境光传感器根据第一控制信号和pwm电平状态信号，收集所有该开口上方的所有显示像素在至少两个pwm周期中均处于熄灭状态时的第一光信号，这样环境光传感器收集到的第一光信号是纯度较高的环境光信号。

s1703、环境光传感器对第一光信号进行光电转换，输出该第一光信号对应的第一电信号。

在实际应用中，环境光传感器包括的光电转换单元还可以将收集到的光信号转换成电信号，因而，环境光传感器还可以利用光电转换单元(例如，光电二极管)将收集到的第一光信号转换成第一电信号，从而使得环境光传感器输出该第一光信号对应的第一电信号。

s1704、处理器根据第一电信号进行处理，得到外界的环境光强度。

在本实施例中，处理器在得到第一电信号之后，便可以针对第一电信号的性质，对第一电信号进行处理，得到第一光信号对应的环境光强度。

作为一种示例，在第一电信号是经过环境光传感器进行光电转换以及模数转换处理后得到的数字信号时，该处理器便可以对该数字信号进行运算处理，得到环境光强度。示例性的，该运算处理通常指简单的数学运算等过程。

作为另一种示例，在第一电信号是经过环境光传感器进行光电转换处理后输出的电信号时，该处理器便对第一电信号进行模数转换处理，得到环境光强度。

本申请实施例提供的光信号处理方法，终端设备通过环境光传感器获取处理器输出的第一控制信号、显示驱动组件输出的pwm电平状态信号，利用环境光传感器根据第一控制信号和pwm电平状态信号，收集显示屏在至少两个pwm周期中处于熄灭状态时的第一光信号，以及对第一光信号进行光电转换，输出第一光信号对应的第一电信号，从而处理器可以根据第一电信号进行处理，得到外界的环境光强度。该光信号处理方法提高了环境光强度对应信号的大小，显著提升了环境光检测的灵敏度。

可选的，在本申请的一种实施例中，由上述分析可知，环境光传感器包括至少一个光电转换单元，每个光电转换单元上设置有一种滤色器，这时，环境光传感器输出的第一电信号是具有上述至少一个光电转换单元上所覆盖的滤色器对应色光信息的多个电信号，因而，处理器还能够根据环境光传感器输出的具有色光信息的多个第一电信号，得到第一光信号的色温，以便确定显示屏的色温是否符合舒适度需求，为显示屏的色温调节提供实现条件。

可选的，在本申请的另一种实施例中，为了提高采集到的环境光信号的精度，提升环境光的检测灵敏度，环境光传感器采集第一光信号时应该在显示像素完全熄灭之后，因而，作为一种示例，处理器可以利用第一控制信号控制环境光传感器的每个开始收集第一光信号的时刻晚于开口上方的最后一个显示像素进入开始熄灭的时刻；作为另一种示例，处理器还可以利用第一控制信号控制环境光传感器的每个结束收集第一光信号的时刻早于开口上方的第一个显示像素进入开始点亮的时刻；作为再一种示例，处理器还可以利用第一控制信号控制环境光传感器的每个开始收集第一光信号的时刻晚于开口上方的最后一个显示像素进入开始熄灭的时刻，同时利用第一控制信号控制环境光传感器的每个结束收集第一光信号的时刻早于开口上方的第一个显示像素进入开始点亮的时刻。

在本申请实施例的再一种可能设计中，环境光传感器还可以根据第一控制信号和pwm电平状态信号，收集显示驱动组件驱动的显示屏在至少两个pwm周期中处于点亮状态时的第二光信号，此时，第二光信号包括：环境光信号和屏幕光信号。

相应的，环境光传感器还可以对第二光信号进行光电转换，输出第二光信号对应的第二电信号，进而处理器可以根据第一电信号和第二电信号，确定显示屏的屏幕光强度，从而将得到的屏幕光强度作为其他用途，例如，根据屏幕光的强度信号检测屏幕的发光强度随时间发生老化衰减的程度等，关于屏幕光强度的具体用途此处不做过多说明。

进一步的，在本申请的实施例中，处理器还可以根据在上次测量过程中确定的环境光强度，确定环境光传感器在本次测量过程中用于测量环境光强度的pwm周期数量和/或开始收集环境光信号的时刻和/或终止收集环境光信号的时刻。

综上所述，本申请实施例提供的光信号处理方法，在处理器、显示驱动组件的作用下，利用环境光传感器对显示屏不透光层上的开口上方的显示像素在至少两个pwm周期中处于熄灭状态时的环境光进行非连续积分，可以使得环境光传感器的有效测试时间大大提升，从而有效提升环境光强度检测的灵敏度，有效降低芯片感光区域的大小，从而降低成本。

可选的，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如上述图17所示方法实施例的方案。

可选的，本申请实施例还提供一种运行指令的芯片，所述芯片用于执行上述图17所示方法实施例的方案。

本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序存储在计算机可读存储介质中，至少一个处理器可以从计算机可读存储介质读取计算机程序，至少一个处理器执行所述计算机程序时可实现上述图17所示方法实施例的方案。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。