控制方法、装置、电子设备和计算机可读存储介质与流程

本申请涉及成像技术领域，尤其涉及一种控制方法、装置、电子设备和计算机可读存储介质。

背景技术

随着终端技术的不断发展，越来越多的用户使用电子设备拍摄图像。现有技术中的成像设备，采用固定结构的像素单元阵列进行成像。

当成像设备中的像素硬件结构确定时，则无法更改，很难适应多种不同拍摄场景，导致目前拍摄图像的成像质量受限于电子设备中的成像设备，图像质量无法提升。

技术实现要素：

本申请提出一种控制方法、装置、电子设备和计算机可读存储介质，用于根据拍摄环境的亮度等级，自动调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，从而通过相邻排布的至少两个中曝光像素输出像素值进行成像，可以保留拍摄图像中较多的有效信息，提升拍摄图像的亮度，进而提升成像效果和成像质量，改善用户的拍摄体验，以解决现有技术中图像质量不佳的技术问题。

本申请一方面实施例提出了一种控制方法，应用于成像设备，所述成像设备包括多个曝光像素组成的像素单元阵列，各曝光像素为短曝光像素、中曝光像素或长曝光像素，其中，所述长曝光像素的曝光时长大于所述中曝光像素的曝光时长，且所述中曝光像素的曝光时长大于所述短曝光像素的曝光时长，所述方法包括以下步骤：

确定环境亮度的亮度等级；所述亮度等级包括亮度从小到大排列的低亮度等级、中亮度等级和高亮度等级；

若拍摄环境的亮度等级属于高亮度等级或低亮度等级时，调整所述短曝光像素、中曝光像素和/或长曝光像素在所述像素单元阵列中的排布位置，以使至少两个中曝光像素相邻排布，将相邻排布的至少两个中曝光像素作为第一像素单元；

根据所述第一像素单元中至少两个中曝光像素输出像素值进行成像。

本申请实施例的控制方法，通过确定环境亮度的亮度等级，当拍摄环境的亮度等级属于高亮度等级或低亮度等级时，调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，以使至少两个中曝光像素相邻排布，将相邻排布的至少两个中曝光像素作为第一像素单元，而后根据第一像素单元中至少两个中曝光像素输出像素值进行成像。由此，可以根据拍摄环境的亮度等级，自动调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，从而通过相邻排布的至少两个中曝光像素输出像素值进行成像，可以保留拍摄图像中较多的有效信息，提升拍摄图像的亮度，进而提升成像效果和成像质量，改善用户的拍摄体验。

本申请又一方面实施例提出了一种控制装置，应用于成像设备，所述成像设备包括多个曝光像素组成的像素单元阵列，各曝光像素为短曝光像素、中曝光像素或长曝光像素，其中，所述长曝光像素的曝光时长大于所述中曝光像素的曝光时长，且所述中曝光像素的曝光时长大于所述短曝光像素的曝光时长，所述装置包括：

确定模块，用于确定环境亮度的亮度等级；所述亮度等级包括亮度从小到大排列的低亮度等级、中亮度等级和高亮度等级；

调整模块，用于若拍摄环境的亮度等级属于高亮度等级或低亮度等级时，调整所述短曝光像素、中曝光像素和/或长曝光像素在所述像素单元阵列中的排布位置，以使至少两个中曝光像素相邻排布，将相邻排布的至少两个中曝光像素作为第一像素单元；

成像模块，用于根据所述第一像素单元中至少两个中曝光像素输出像素值进行成像。

本申请实施例的控制装置，通过确定环境亮度的亮度等级，当拍摄环境的亮度等级属于高亮度等级或低亮度等级时，调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，以使至少两个中曝光像素相邻排布，将相邻排布的至少两个中曝光像素作为第一像素单元，而后根据第一像素单元中至少两个中曝光像素输出像素值进行成像。由此，可以根据拍摄环境的亮度等级，自动调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，从而通过相邻排布的至少两个中曝光像素输出像素值进行成像，可以保留拍摄图像中较多的有效信息，提升拍摄图像的亮度，进而提升成像效果和成像质量，改善用户的拍摄体验。

本申请又一方面实施例提出了一种电子设备，包括成像设备，所述成像设备包括多个曝光像素组成的像素单元阵列，各曝光像素为短曝光像素、中曝光像素或长曝光像素，其中，所述长曝光像素的曝光时长大于所述中曝光像素的曝光时长，且所述中曝光像素的曝光时长大于所述短曝光像素的曝光时长，所述电子设备还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请前述实施例提出的控制方法。

本申请又一方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的控制方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例一所提供的控制方法的流程示意图；

图2为本申请实施例中成像设备的像素单元阵列的部分结构示意图一；

图3为本申请实施例中逆光场景对应的灰度直方图示意图；

图4为本申请实施例二所提供的控制方法的流程示意图；

图5为本申请实施例中成像设备的像素单元阵列的部分结构示意图二；

图6为本申请实施例三所提供的控制方法的流程示意图；

图7为本申请实施例中感光像素单元的结构示意图；

图8为本申请实施例四所提供的控制方法的流程示意图；

图9为本申请实施例五所提供的控制装置的结构示意图；

图10为本申请实施例六所提供的控制装置的结构示意图；

图11是本申请某些实施方式的电子设备的模块示意图；

图12是本申请某些实施方式的图像处理电路的模块示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请主要针对现有技术中图像质量不佳的技术问题，提供一种控制方法。

本申请实施例的控制方法，通过确定环境亮度的亮度等级，当拍摄环境的亮度等级属于高亮度等级或低亮度等级时，调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，以使至少两个中曝光像素相邻排布，将相邻排布的至少两个中曝光像素作为第一像素单元，而后根据第一像素单元中至少两个中曝光像素输出像素值进行成像。由此，可以根据拍摄环境的亮度等级，自动调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，从而通过相邻排布的至少两个中曝光像素输出像素值进行成像，可以保留拍摄图像中较多的有效信息，提升拍摄图像的亮度，进而提升成像效果和成像质量，改善用户的拍摄体验。

下面参考附图描述本申请实施例的控制方法、装置、电子设备和计算机可读存储介质。

图1为本申请实施例一所提供的控制方法的流程示意图。

本申请实施例的控制方法，应用于成像设备，成像设备包括多个曝光像素组成的像素单元阵列，各曝光像素为短曝光像素、中曝光像素或长曝光像素。

其中，长曝光像素指的是感光像素对应的曝光时间为长曝光时间，中曝光像素指的是感光像素对应的曝光时间为中曝光时间，短曝光像素指的是感光像素对应的曝光时间为短曝光时间，长曝光时间>中曝光时间>短曝光时间，即长曝光像素的长曝光时间大于中曝光像素的中曝光时间，且中曝光像素的中曝光时间大于短曝光像素的短曝光时间。

在成像设备工作时，长曝光像素、中曝光像素及短曝光像素同步曝光，同步曝光指的是中曝光像素及短曝光像素的曝光时间位于长曝光像素的曝光时间以内。具体地，可以首先控制长曝光像素最先开始曝光，在长曝光像素的曝光期间内，再控制中曝光像素以及短曝光像素曝光，其中，中曝光像素和短曝光像素的曝光截止时间应与长曝光像素的曝光截止时间相同或位于长曝光像素的曝光截止时间之前。

或者，还可以控制长曝光像素、中曝光像素以及短曝光像素同时开始曝光，即长曝光像素、中曝光像素以及短曝光像素的曝光起始时间相同。如此，无需控制像素单元阵列依次进行长曝、中曝和短曝，可减小图像的拍摄时间。

如图1所示，该控制方法包括以下步骤：

步骤101，确定环境亮度的亮度等级；亮度等级包括亮度从小到大排列的低亮度等级、中亮度等级和高亮度等级。

本申请实施例中，可以预先将环境亮度划分为三个亮度等级，分别为低亮度等级、中亮度等级和高亮度等级，例如，亮度等级可以由电子设备的内置程序预先设置，或者，还可以由用户进行设置，对此不作限制。

本申请实施例中，可以采用独立的测光器件，测量环境亮度，或者，还可以读取摄像头自动调节的感光度iso值，根据读取到的iso值，确定环境亮度，或者，还可以控制像素单元阵列对环境亮度值进行测量，确定环境亮度，对此不作限制。在确定环境亮度后，可以根据该环境亮度，确定亮度等级。

需要说明的是，上述iso值用来指示摄像头的感光度，常用的iso值有50、100、200、400、1000等等，摄像头可以根据环境亮度，自动调节iso值，从而，本实施例中，可以根据iso值，反推出环境亮度。一般在光线充足的情况下，iso值可以为50或100，在光线不足的情况下，iso值可以为400或更高。

应当理解的是，当电子设备所处的场景不同时，亮度等级可以设置不同，举例而言，当白天，且电子设备处于室内时，iso值处于200至500之间，而当白天，且电子设备处于室外时，iso值一般低于200。因此，可以根据实际需求以及具体的拍摄场景，设置每个亮度等级的大小和区间。

步骤102，若拍摄环境的亮度等级属于高亮度等级或低亮度等级时，调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，以使至少两个中曝光像素相邻排布，将相邻排布的至少两个中曝光像素作为第一像素单元。

本申请实施例中，当拍摄环境的亮度等级属于高亮度等级或低亮度等级时，表明拍摄环境较亮或者较暗，此时，环境亮度比较极端，当采用长曝光像素或者短曝光像素进行拍摄时，输出的图像的噪点较高，或者，长曝光像素或者短曝光像素输出的像素值可能会发生溢出，图像细节丢失的较为严重。

例如，根据红绿蓝(redgreenblue，简称rgb)三色直方图，可以直观地显示三色不同明暗度的细节内容分布，过曝的部分就会聚集在直方图的左右两端，在容忍度以外的区域不会更亮，而是丢失全部细节，只显示全白的色块(255,255,255)，反之，欠曝的部分，容忍度以外的不会更暗，而是丢失全部细节，只显示全黑的色块(0,0,0)。

因此，本申请中，为了保留较多的图像细节，可以调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，以使至少两个中曝光像素相邻排布，将相邻排布的至少两个中曝光像素作为第一像素单元。

作为一种可能的实现方式，可以在像素单元阵列中，对各中曝光像素与相邻的短曝光像素或长曝光像素交换位置，从而使得至少两个中曝光像素相邻排布，而后将相邻排布的至少两个中曝光像素作为第一像素单元。

例如，参见图2，图2为本申请实施例中成像设备的像素单元阵列的部分结构示意图一。假设原始像素单元阵列包括16个曝光像素，分别为4个长曝光像素(l)、8个中曝光像素(m)以及4个短曝光像素(s)。当拍摄环境的亮度等级属于高亮度等级或低亮度等级时，可以将中曝光像素(m)与相邻的短曝光像素(s)交换位置，以及将中曝光像素(m)与相邻的长曝光像素(l)交换位置，从而可以将区域21中包含的8个相邻排布的中曝光像素(m)作为第一像素单元，或者可以将相邻排布的2个、4个或6个中曝光像素(m)作为第一像素单元。具体每一个第一像素单元中所含的中曝光像素(m)个数，作为一种可能的实现方式，可以根据拍摄环境亮度进行调整，亮度越低每一个第一像素单元中所含的中曝光像素(m)个数越多。通常情况下，可以固定设置每一个第一像素单元中含4个中曝光像素(m)，便可以满足大多数拍摄场景的需求。

步骤103，根据第一像素单元中至少两个中曝光像素输出像素值进行成像。

本申请实施例中，在调整各曝光像素在像素单元阵列中的排布位置，得到第一像素单元后，可以根据第一像素单元中至少两个中曝光像素进行成像。例如，参见图2，可以利用区域21中的8个相邻排布的中曝光像素输出像素值，进行成像。可以理解的是，由中曝光像素输出像素值进行成像，可以避免像素值溢出，从而保留较多的图像细节，提升成像效果和成像质量。

本申请实施例的控制方法，通过确定环境亮度的亮度等级，当拍摄环境的亮度等级属于高亮度等级或低亮度等级时，调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，以使至少两个中曝光像素相邻排布，将相邻排布的至少两个中曝光像素作为第一像素单元，而后根据第一像素单元中至少两个中曝光像素输出像素值进行成像。由此，可以根据拍摄环境的亮度等级，自动调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，从而通过相邻排布的至少两个中曝光像素输出像素值进行成像，可以保留拍摄图像中较多的有效信息，提升拍摄图像的亮度，进而提升成像效果和成像质量，改善用户的拍摄体验。

需要说明的是，在逆光场景下，当用户使用电子设备的前置摄像头自拍时，由于用户处于光源和电子设备之间，容易造成人脸曝光不充分的情况发生。因此，在逆光场景下，拍摄图像的有效信息较少、亮度偏低。而本申请实施例中，根据拍摄环境的亮度等级，自动调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，从而通过相邻排布的至少两个中曝光像素输出像素值进行成像，可以保留拍摄图像中较多的有效信息，提升拍摄图像的亮度。

作为一种可能的实现方式，可以根据拍摄的预览图像的直方图，确定当前拍摄环境属于逆光场景。

具体地，在拍摄的预览图像时，可以根据像素单元阵列测量测到的环境亮度值对应的灰度值，生成灰度直方图，而后根据处于各灰度范围的感光像素数占比，判断当前拍摄环境是否为逆光场景。

例如，当根据灰度直方图，确定像素单元阵列中测量得到的环境亮度值对应的灰度值处于灰度范围[0,20]的感光像素，与像素单元阵列中所有感光像素的比值grayratio大于第一阈值，例如第一阈值可以为0.135，且测量得到的环境亮度值对应的灰度值处于灰度范围[200,256)的感光像素，与像素单元阵列中所有感光像素的比值grayratio大于第二阈值，例如第二阈值可以为0.0899时，则确定当前拍摄环境为逆光场景。

或者，当根据灰度直方图，确定像素单元阵列中测量得到的环境亮度值对应的灰度值处于灰度范围[0,50]的感光像素，与像素单元阵列中所有感光像素的比值grayratio大于第三阈值，例如第三阈值可以为0.3，且测量得到的环境亮度值对应的灰度值处于灰度范围[200,256)的感光像素，与像素单元阵列中所有感光像素的比值grayratio大于第四阈值，例如第四阈值可以为0.003时，则确定当前拍摄环境为逆光场景。

或者，当根据灰度直方图，确定像素单元阵列中测量得到的环境亮度值对应的灰度值处于灰度范围[0,50]的感光像素，与像素单元阵列中所有感光像素的比值grayratio大于第五阈值，例如第五阈值可以为0.005，且测量得到的环境亮度值对应的灰度值处于灰度范围[200,256)的感光像素，与像素单元阵列中所有感光像素的比值grayratio大于第六阈值，例如第六阈值可以为0.25时，则确定当前拍摄环境为逆光场景。

作为一种示例，逆光场景对应的灰度直方图可以如图3所示。

可以理解的是，一般情况下，在当前拍摄环境为逆光场景时，像素单元阵列中各感光像素测量得到的环境亮度值将存在较高的亮度差异，因此，作为另一种可能的实现方式，还可以根据像素单元阵列测量得到的环境亮度值，确定成像对象的亮度值以及背景的亮度值，并判断成像对象的亮度值和背景的亮度值之间的差值是否大于预设阈值，在成像对象的亮度值和背景的亮度值之间的差值大于预设阈值时，确定当前拍摄环境为逆光场景，而在成像对象的亮度值和背景的亮度值之间的差值小于或者等于预设阈值时，确定当前拍摄环境为非逆光场景。

其中，预设阈值可以预设在电子设备的内置程序中，或者，预设阈值还可以由用户进行设置，对此不作限制。成像对象为需要电子设备进行拍摄的对象，例如人(或者人脸)、动物、物体、景物等对象。

作为一种可能的实现方式，参见图4，在图1所示实施例的基础上，步骤102具体可以包括以下子步骤：

步骤201，控制第一像素单元中至少两个中曝光像素输出像素值。

具体地，可以控制第一像素单元中每个中曝光像素同步曝光，每个中曝光像素的曝光时间相同，即每个中曝光像素的曝光截止时间也相同。在曝光结束后，第一像素单元中的每个中曝光像素将输出对应的像素值。例如，参见图2，第一像素单元将输出8个像素值。

步骤202，根据同一第一像素单元输出的像素值，生成第一合成像素值。

需要说明的是，像素单元阵列中包括多个曝光像素，对短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置进行调整，使得至少两个中曝光像素相邻排布后，可能具有多个第一像素单元。

具体地，像素单元阵列可以由多个感光像素单元组成，每一感光像素单元包括至少两曝光像素，至少两曝光像素中包括至少一中曝光像素。

作为一种示例，参见图5，图5为本申请实施例中成像设备的像素单元阵列的部分结构示意图二。其中，成像设备30包括像素单元阵列31和设置在像素单元阵列31上的滤光片单元阵列32。像素单元阵列31包括多个感光像素单元311，每个感光像素单元311包括至少两个曝光像素3111，至少两个曝光像素中包括至少一个中曝光像素。例如，图5以每个感光像素单元311包括4个曝光像素3111示例，4个曝光像素可以为1个长曝光像素、2个中曝光像素、1个短曝光像素。当然，每一个感光像素单元311中的长曝光像素、中曝光像素和短曝光像素的数量也可为其他数值，对此不作限制。

滤光片单元阵列32包括与多个感光像素单元311对应的多个滤光片单元322，每个滤光片单元322覆盖对应的感光像素单元311。其中，像素单元阵列31可以为拜耳阵列。

需要说明的是，同一感光像素单元内包含的各曝光像素由同色滤光片覆盖，属于同一第一像素单元的至少两中曝光像素覆盖有同色滤光片，即至少两个中曝光像素属于同一感光像素单元。也就是说，本申请中，同一第一像素单元中的中曝光像素位于同一感光像素单元中，即像素单元阵列中每个感光像素单元均具有第一像素单元。

作为一种可能的实现方式，针对同一第一像素单元，可以将该第一像素单元中包含的所有的中曝光像素输出的像素值之和，作为第一合成像素值。

作为另一种可能的实现方式，针对同一第一像素单元，可以将该第一像素单元中包含的所有的中曝光像素输出的像素值求取均值，将均值作为第一合成像素值。

步骤203，根据第一合成像素值进行成像。

本申请实施例中，在根据同一第一像素单元输出的像素值，生成第一合成像素值后，可以得到像素阵列中每个第一像素单元对应的第一合成像素值，而后可以根据多个第一合成像素值，插值计算得到成像图像。

作为一种可能的实现方式，当拍摄环境的亮度等级属于中亮度等级时，此时，拍摄图像的细节保留的较多，可以进一步改善图像的成像效果。具体地，可以调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，从而使得各中曝光像素间隔排布，而后由与中曝光像素相邻的短曝光像素或中曝光像素进行成像，由此，长曝光像素可以修正图像中的暗部区域，短曝光像素可以修正图像中的亮部区域，提升成像效果和成像质量。下面结合图6，对上述成像过程进行具体说明。

图6为本申请实施例三所提供的控制方法的流程示意图。

如图6所示，在图1所示实施例的基础上，该控制方法还可以包括以下步骤：

步骤301，若拍摄环境的亮度等于属于中亮度等级时，调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，以使各中曝光像素间隔排布，将同色滤光片覆盖的至少两中曝光像素以及与同色滤光片覆盖的至少两中曝光像素相邻的短曝光像素和/或长曝光像素作为第二像素单元。

本申请实施例中，当拍摄环境的亮度等级属于中亮度等级时，此时，拍摄图像的细节保留的较多，可以进一步改善图像的成像效果。具体地，可以调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，从而使得各中曝光像素间隔排布。例如，可以在像素单元阵列中，对各中曝光像素与相邻的短曝光像素和/或长曝光像素交换位置，从而使得各中曝光像素间隔排布，将同色滤光片覆盖的至少两中曝光像素以及与同色滤光片覆盖的至少两中曝光像素相邻的短曝光像素或长曝光像素作为第二像素单元。

也就是说，本申请中，可以将同色滤光片覆盖的至少两中曝光像素以及与同色滤光片覆盖的至少两中曝光像素相邻的短曝光像素作为第二像素单元，或者，将同色滤光片覆盖的至少两中曝光像素以及与同色滤光片覆盖的至少两中曝光像素相邻的长曝光像素作为第二像素单元，或者，将同色滤光片覆盖的至少两中曝光像素、与同色滤光片覆盖的至少两中曝光像素相邻的短曝光像素，以及与同色滤光片覆盖的至少两中曝光像素相邻的长曝光像素作为第二像素单元。由于同一感光像素单元内包含的各曝光像素由同色滤光片覆盖，因此，像素单元阵列中每个感光像素单元均具有第二像素单元。

作为一种示例，参见图7，假设一个感光像素单元包括4个曝光像素，分别为1个长曝光像素(l)、2个中曝光像素(m)以及1个短曝光像素(s)。当拍摄环境的亮度等级属于中亮度等级时，可以将中曝光像素(m)与相邻的短曝光像素(s)交换位置，或者，将中曝光像素(m)与相邻的长曝光像素(l)交换位置，从而使得相邻的两个中曝光像素(m)间隔排布。而后可以将感光像素单元中的两个中曝光像素(m)和一个短曝光像素(s)，作为第二像素单元，或者，将感光像素单元中的两个中曝光像素(m)和一个长曝光像素(l)，作为第二像素单元，又或者，可以将感光像素单元中的两个中曝光像素(m)、一个长曝光像素(l)和一个短曝光像素(s)，作为第二像素单元。

步骤302，根据第二像素单元中各曝光像素输出的像素值进行成像。

本申请实施例中，在调整各曝光像素在像素单元阵列中的排布位置，得到第二像素单元后，可以根据第二像素单元中各曝光像素输出的像素值进行成像。由此，长曝光像素可以修正图像中的暗部区域，或者，短曝光像素可以修正图像中的亮部区域，提升成像效果和成像质量。

作为一种可能的实现方式，参见图8，在图6所示实施例的基础上，步骤302具体可以包括以下子步骤：

步骤401，控制第二像素单元中各曝光像素输出像素值。

本申请实施例中，在得到第二像素单元后，可以控制第二像素单元中各曝光像素输出像素值。

作为一种可能的实现方式，可以控制第二像素单元输出分别处于不同曝光时间下的多个像素值，例如，可以控制第二像素单元中的中曝光像素和长曝光像素同步曝光，或者，可以控制第二像素单元中的中曝光像素和短曝光像素同步曝光，或者，可以控制第二像素单元中的中曝光像素、长曝光像素和短曝光像素同步曝光，其中长曝光像素对应的曝光时间为初始长曝光时间，中曝光像素对应的曝光时间为初始中曝光时间，短曝光像素对应的曝光时间为初始短曝光时间，初始长曝光时间、初始中曝光时间及初始短曝光时间均为预先设定好的。在曝光结束后，第二像素单元将输出分别处于不同曝光时间下的多个像素值。

作为另一种可能的实现方式，还可以控制第二像素单元输出采用相同曝光时间曝光得到的多个像素值。例如，可以控制第二像素单元中的中曝光像素和长曝光像素同步曝光，或者，可以控制第二像素单元中的中曝光像素和短曝光像素同步曝光，或者，可以控制第二像素单元中的中曝光像素、长曝光像素和短曝光像素同步曝光，每个曝光像素的曝光时间相同，即中曝光像素、长曝光像素、短曝光像素的曝光截止时间也相同。在曝光结束后，第二像素单元将输出采用相同曝光时间曝光得到的多个像素值。

步骤402，根据同一第二像素单元输出的像素值，生成第二合成像素值。

本申请中，由于像素单元阵列中每个感光像素单元均具有第二像素单元，对于每个第二像素单元，可以根据同一第二像素单元输出的像素值，生成第二合成像素值。

作为一种可能的实现方式，当控制第二像素单元输出分别处于不同曝光时间下的多个像素值后，针对同一第二像素单元，可以根据该第二像素单元中曝光时间相同的像素值计算得到第二合成像素值。

例如，参见图7，当每个第二像素单元中包括1个长曝光像素、2个中曝光像素时，唯一的长曝光像素输出的像素值即为长曝光的第二合成像素值，2个中曝光像素输出的像素值之和即为中曝光的第二合成像素值；当每个第二像素单元中包括2个中曝光像素、1个短曝光像素时,2个中曝光像素输出的像素值之和即为中曝光的第二合成像素值，1个短曝光像素输出的像素值即为短曝光的第二合成像素值。如此，可以获得整个像素单元阵列的多个中曝光的第二合成像素值、多个长曝光的第二合成像素值、多个短曝光的第二合成像素值。

作为另一种可能的实现方式，当控制第二像素单元输出采用相同曝光时间曝光得到的多个像素值后，针对同一第二像素单元，可以对该第二像素单元输出的多个像素值计算平均值，得到第二合成像素值，其中，每个第二像素单元对应一个第二合成像素值。

例如，当每个第二像素单元中包括1个长曝光像素、2个中曝光像素时，标记1个长曝光像素输出的1个像素值、2个中曝光像素输出的2个像素值分别为：r1、r2和r3，则该第二像素单元的第二合成像素值为：(r1+r2+r3)/3。

步骤403，根据第二合成像素值进行成像。

本申请实施例中，在得到每个第二像素单元对应的第二合成像素值后，可以根据第二合成像素值进行成像。

作为一种可能的实现方式，当控制第二像素单元输出分别处于不同曝光时间下的多个像素值，且针对同一第二像素单元，根据该第二像素单元中曝光时间相同的像素值计算得到第二合成像素值后，可以获得整个像素单元阵列的多个中曝光的第二合成像素值和多个长曝光的第二合成像素值和/或多个短曝光的第二合成像素值，而后，再根据多个中曝光的第二合成像素值插值计算得到中曝光子图像，根据多个长曝光的第二合成像素值插值计算得到长曝光子图像和/或根据多个短曝光的第二合成像素值插值计算得到短曝光子图像。最后，将中曝光子图像和长曝光子图像和/或短曝光子图像融合处理得到高动态范围的成像图像，其中，长曝光子图像、中曝光子图像和短曝光子图像并非为传统意义上的三帧图像，而是同一帧图像中长、短、中曝光像素对应区域形成的图像部分。

或者，在第二素单元曝光结束后，可以以长曝光像素输出的像素值为基准，将中曝光像素的像素值和/或短曝光像素输出的像素值叠加到长曝光像素的像素值上。具体地，针对同一第二像素单元，可以对不同曝光时间的像素值分别赋予不同的权值，在各曝光时间对应的像素值与权值相乘后，再将乘以权值后的像素值相加作为一个第二像素单元的第二合成像素值。随后，由于根据不同曝光时间的像素值计算得到的每一个第二合成像素值的灰度级别会产生变化，因此，在得到第二合成像素值后，需要对每一个第二合成像素值做灰度级别的压缩。压缩完毕后，可以根据多个压缩完毕后得到的第二合成像素值进行插值计算即可得到成像图像。如此，成像图像中暗部已经由长曝光像素输出的像素值进行补偿，或者，亮部已经由短曝光像素输出的像素值进行压制，因此成像图像不存在过曝区域或者欠曝区域，具有较高的动态范围和较佳的成像效果。

作为另一种可能的实现方式，在控制第二像素单元阵列输出采用相同曝光时间曝光得到的多个像素值，且对同一第二像素单元的像素值计算平均值，得到第二合成像素值后，可以确定整个像素单元阵列中多个第二合成像素值，而后可以根据多个第二合成像素值进行插值计算，即可得到成像图像。

为了实现上述实施例，本申请还提出一种控制装置。

图9为本申请实施例五所提供的控制装置的结构示意图。

如图9所示，该控制装置100，应用于成像设备，成像设备包括多个曝光像素组成的像素单元阵列，各曝光像素为短曝光像素、中曝光像素或长曝光像素，其中，长曝光像素的曝光时长大于中曝光像素的曝光时长，且中曝光像素的曝光时长大于短曝光像素的曝光时长，控制装置100包括：确定模块101、调整模块102，以及成像模块103。其中，

确定模块101，用于确定环境亮度的亮度等级；亮度等级包括亮度从小到大排列的低亮度等级、中亮度等级和高亮度等级。

调整模块102，用于若拍摄环境的亮度等级属于高亮度等级或低亮度等级时，调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，以使至少两个中曝光像素相邻排布，将相邻排布的至少两个中曝光像素作为第一像素单元。

成像模块103，用于根据第一像素单元中至少两个中曝光像素输出像素值进行成像。

作为一种可能的实现方式，成像模块103，具体用于：控制第一像素单元中至少两个中曝光像素输出像素值；根据同一第一像素单元输出的像素值，生成第一合成像素值；根据第一合成像素值进行成像。

作为一种可能的实现方式，调整模块102，还用于：在确定环境亮度的亮度等级之后，若拍摄环境的亮度等于属于中亮度等级时，调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，以使各中曝光像素间隔排布，将同色滤光片覆盖的至少两中曝光像素以及与同色滤光片覆盖的至少两中曝光像素相邻的短曝光像素和/或长曝光像素作为第二像素单元。

成像模块103，还用于：根据第二像素单元中各曝光像素输出的像素值进行成像。

作为一种可能的实现方式，成像模块103，具体用于：控制第二像素单元中各曝光像素输出像素值；根据同一第二像素单元输出的像素值，生成第二合成像素值；根据第二合成像素值进行成像。

进一步地，在本申请实施例的一种可能的实现方式中，参见图10，在图9所示实施例的基础上，该控制装置100还可以包括：

逆光场景确定模块104，用于在确定环境亮度的亮度等级之前，根据拍摄的预览图像的直方图，确定当前拍摄环境属于逆光场景。

作为一种可能的实现方式，属于同一第一像素单元的至少两中曝光像素覆盖有同色滤光片。

作为一种可能的实现方式，调整模块102，具体用于：在像素单元阵列中，对各中曝光像素与相邻的短曝光像素或长曝光像素交换位置。

需要说明的是，前述对控制方法实施例的解释说明也适用于该实施例的控制装置100，此处不再赘述。

本申请实施例的控制装置，通过确定环境亮度的亮度等级，当拍摄环境的亮度等级属于高亮度等级或低亮度等级时，调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，以使至少两个中曝光像素相邻排布，将相邻排布的至少两个中曝光像素作为第一像素单元，而后根据第一像素单元中至少两个中曝光像素输出像素值进行成像。由此，可以根据拍摄环境的亮度等级，自动调整短曝光像素、中曝光像素和/或长曝光像素在像素单元阵列中的排布位置，从而通过相邻排布的至少两个中曝光像素输出像素值进行成像，可以保留拍摄图像中较多的有效信息，提升拍摄图像的亮度，进而提升成像效果和成像质量，改善用户的拍摄体验。

为了实现上述实施例，本申请还提出一种电子设备，包括所述成像设备，所述成像设备包括多个曝光像素组成的像素单元阵列，各曝光像素为短曝光像素、中曝光像素或长曝光像素，其中，所述长曝光像素的曝光时长大于所述中曝光像素的曝光时长，且所述中曝光像素的曝光时长大于所述短曝光像素的曝光时长，所述电子设备还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请前述实施例提出的控制方法。

为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的控制方法。

请参阅图11，本申请还提供一种电子设备200。电子设备200包括存储器50和处理器60。存储器50中存储有计算机可读指令。计算机可读指令被存储器50执行时，使得处理器60执行上述任一实施方式的控制方法。

图11为一个实施例中电子设备200的内部结构示意图。该电子设备200包括通过系统总线81连接的处理器60、存储器50(例如为非易失性存储介质)、内存储器82、显示屏83和输入装置84。其中，电子设备200的存储器50存储有操作系统和计算机可读指令。该计算机可读指令可被处理器60执行，以实现本申请实施方式的控制方法。该处理器60用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的内存储器50为存储器52中的计算机可读指令的运行提供环境。电子设备200的显示屏83可以是液晶显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

请参阅图12，本申请实施例的电子设备200中包括图像处理电路90，图像处理电路90可利用硬件和/或软件组件实现，包括定义isp(imagesignalprocessing，图像信号处理)管线的各种处理单元。图12为一个实施例中图像处理电路90的示意图。如图12所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图12所示，图像处理电路90包括isp处理器91(isp处理器91可为处理器60)和控制逻辑器92。摄像头93捕捉的图像数据首先由isp处理器91处理，isp处理器91对图像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄像头93可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵列(如bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提供可由isp处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94接口类型把采集的图像处理的参数(如防抖参数)提供给isp处理器91。传感器94接口可以为smia(standardmobileimagingarchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给isp处理器91，或者传感器94将原始图像数据存储到图像存储器95中。

isp处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，isp处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

isp处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给isp处理器91以供处理。图像存储器95可为存储器50、存储器50的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括dma(directmemoryaccess，直接直接存储器存取)特征。

当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始图像数据时，isp处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。isp处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。isp处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏83)，以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit，图形处理器)进一步处理。此外，isp处理器91的输出还可发送给图像存储器95，且显示器97可从图像存储器95读取图像数据。在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓冲器。此外，isp处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可由cpu或gpu或协处理器实现。

isp处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及isp处理器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如，在rgb处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。

例如，以下为运用图11中的处理器60或运用图12中的图像处理电路90(具体为isp处理器91)实现控制方法的步骤：

确定环境亮度的亮度等级；所述亮度等级包括亮度从小到大排列的低亮度等级、中亮度等级和高亮度等级；

若所述拍摄环境的亮度等级属于高亮度等级或低亮度等级时，调整所述短曝光像素、中曝光像素和/或长曝光像素在所述像素单元阵列中的排布位置，以使至少两个中曝光像素相邻排布，将相邻排布的至少两个中曝光像素作为第一像素单元；

根据所述第一像素单元中至少两个中曝光像素输出像素值进行成像。

再例如，以下为运用图11中的处理器或运用图12中的图像处理电路90(具体为isp处理器)实现控制方法的步骤：

控制所述第一像素单元中至少两个中曝光像素输出像素值；

根据同一所述第一像素单元输出的像素值，生成第一合成像素值；

根据所述第一合成像素值进行成像。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。