基于熵方差的图像传感器的自动曝光的制作方法

基于熵方差的图像传感器的自动曝光
1.相关申请的交叉引用
2.本申请要求于2018年9月7日提交的第62/728,654号美国临时专利申请和于2018年9月7日提交的第18193265.8号欧洲专利申请的优先权，这些专利申请中的每一个的全部内容通过引用合并入本文中。
技术领域
3.本申请涉及数字相机的自动曝光。


背景技术：

4.对于传统的数字相机，调整适当的图像曝光对于通过相机图像处理流水线获得高质量图像至关重要。曝光过度可能产生图像的过曝区域，并且曝光不足可能造成过度的噪声水平和可能的颜色伪影。对于专业和高端消费者相机，如数字单镜反光(dslr)相机，通常存在在自动曝光的情况下调整的三个参数：曝光时间、模拟和/或数字增益(iso速度)和虹膜光圈大小(f数)。智能手机相机和其他基于移动设备的相机通常具有固定镜头。在这些平台上，自动曝光算法优化两个参数：曝光时间和增益。通常，自动曝光算法分析由成像系统捕获的一个或多个图像，以优化曝光时间和增益(以及在可变虹膜相机的情况下的f数)。
5.如智能手机相机等大多数基于移动设备的相机的图像传感器由于位深度输出较低(通常为10位)以及像素的全阱容量降低而因此动态范围有限。对于许多场景，此动态范围不足以同时捕获场景中的最亮区和最暗区。例如，当拍摄背光人物的照片时，人物的脸部可能会出现曝光不足，或者替代性地，较明亮的背景可能会出现曝光过度。存在高动态范围(hdr)成像功能的若干个示例，并且其中一些示例可以将相机的动态范围扩展超出图像传感器的动态范围。在典型方法中，hdr数字相机捕获同一场景的两个图像：一个图像的曝光时间较短以获得场景的明亮部分的良好图像数据，而另一个图像的曝光时间较长以获得场景的较黑暗部分的良好图像数据。机载图像处理电路然后将这两个图像缩放到共同的比例并且将经缩放的图像进行组合以产生场景的单个hdr图像，该单个hdr图像更好地描绘了较明亮和较黑暗的场景部分。这种hdr成像在许多情形下都效果很好，并且这种类型的hdr成像功能已经成为用于静态摄影的许多设备的标准特征。然而，短曝光和长曝光是在不同时间记录的，该不同时间之间至少存在全帧读出过程，并且因此，当场景不是静态时，图像组合经常产生不期望的伪影。如果对象在短曝光与长曝光之间移动，则hdr图像可能会在严重的情况下示出移动对象的偏移重复图像或者在不太严重的情况下示出移动对象的边缘伪影。
6.为了消除hdr图像中的运动伪影，业界开发了可以在单次拍摄中实现更明亮和更昏暗的曝光的空间复用曝光(sme)hdr图像传感器。sme hdr图像传感器将曝光时间模式应用于图像传感器的像素阵列，使得并非所有像素都以相同的曝光时间操作。在通常被称为之字形hdr图像传感器的一种sme hdr图像传感器类型中，像素阵列被分成之字形像素线，其中，该之字形线在长曝光时间与短曝光时间之间交替。在另一种sme hdr图像传感器类型
中，即，四(quad)hdr图像传感器，扩展了常见的拜尔(bayer)滤色器模式，使得每个滤色器覆盖2
×
2像素块。在2
×
2块内，一个像素在长曝光时间下曝光，另一个像素在短曝光时间下曝光，并且剩余两个像素在中间曝光时间下曝光。


技术实现要素：

7.在实施例中，一种用于空间复用曝光(sme)高动态范围(hdr)图像传感器的自动曝光方法包括(a)从sme hdr图像传感器的曝光取得原始图像数据，其中，原始图像数据包括来自sme hdr图像传感器的由长曝光时间表征的像素的长曝光像素值和来自sme hdr图像传感器的由短曝光时间表征的像素的短曝光像素值；(b)对长曝光像素值和短曝光像素值进行预处理，以从其中去除无法满足一个或多个质量要求的长曝光像素值和短曝光像素值；(c)将在预处理步骤之后剩余的长曝光像素值和在预处理步骤之后剩余的短曝光像素值合成为hdr直方图；(d)从hdr直方图中得到优良性度量；(e)至少部分地基于优良性度量来调整长曝光时间和短曝光时间中的至少一项；以及(f)将长曝光时间和短曝光时间中的经调整的至少一项输出到sme hdr图像传感器。
8.在实施例中，一种用于sme hdr图像传感器的自动曝光的产品包括在非暂态存储器中编码的机器可读指令。机器可读指令包括(a)数据输入指令，数据输入指令当由处理器执行时从sme hdr图像传感器的曝光取得原始图像数据，其中，原始图像数据包括来自sme hdr图像传感器的由长曝光时间表征的像素的长曝光像素值和来自sme hdr图像传感器的由短曝光时间表征的像素的短曝光像素值；(b)预处理指令，预处理指令当由处理器执行时对长曝光像素值和短曝光像素值进行预处理，以从其中去除无法满足一个或多个质量要求的长曝光像素值和短曝光像素值；(c)合成指令，合成指令当由处理器执行时将(i)在执行预处理指令之后剩余的长曝光像素值和(ii)在执行预处理指令之后剩余的短曝光像素值合成为hdr直方图；(d)度量指令，度量指令当由处理器执行时从hdr直方图中得到优良性度量；(e)调整指令，调整指令当由处理器执行时至少部分地基于优良性度量来调整长曝光时间和短曝光时间中的至少一项；以及(f)数据输出指令，数据输出指令当由处理器执行时输出长曝光时间和短曝光时间中的至少一项。
9.在实施例中，一种用于图像传感器的自动曝光方法包括(a)针对来自图像传感器在相应曝光时间设置下的相应多个单独曝光的像素值的多个直方图中的每一个，评估直方图的单独仓对直方图的总熵的贡献的方差，以确定图像传感器的与方差的最小值相对应的最佳曝光时间；以及(b)将最佳曝光时间输出到图像传感器。
10.在实施例中，一种用于图像传感器的自动曝光的产品包括在非暂态存储器中编码的机器可读指令。机器可读指令包括(a)数据输入指令，数据输入指令当由处理器执行时从图像处理器取得像素值；(b)熵方差优化指令，熵方差优化指令当由处理器执行时跨来自图像传感器在相应曝光时间设置下的相应多个单独曝光的像素值的多个直方图中的每一个，评估直方图的单独仓对直方图的总熵的贡献的方差，以确定图像传感器的与方差的最小值相对应的最佳曝光时间；以及(c)数据输出指令，数据输出指令当由处理器执行时将最佳曝光时间输出到图像传感器。
11.在实施例中，一种用于空间复用曝光(sme)高动态范围(hdr)图像传感器的自动曝光方法包括(a)从sme hdr图像传感器的曝光取得原始图像数据，其中，原始图像数据包括
来自sme hdr图像传感器的由长曝光时间表征的长曝光像素的长曝光像素值和来自sme hdr图像传感器的由短曝光时间表征的短曝光像素的短曝光像素值；(b)针对sme
‑
hdr图像传感器的多个空间区域中的每一个，评估空间区域中的所选长曝光像素的饱和度水平；(c)针对由所选长曝光像素的超过饱和度阈值的长曝光像素值表征的空间区域中的每一个，确定(i)用于空间区域中的短曝光像素的减少的短曝光时间以及(ii)补偿减少的短曝光时间的增加的数字增益值；以及(d)针对由所选长曝光像素的超过饱和度阈值的长曝光像素值表征的空间区域中的每一个，将减少的短曝光时间和增加的数字增益值输出到空间区域中的每个短曝光像素。
12.在实施例中，一种具有自动曝光功能的高动态范围(hdr)成像系统包括sme hdr图像传感器，sme hdr图像传感器具有被配置成单独地针对多个空间区域中的每一个调整至少一个曝光时间的电路。hdr成像系统进一步包括处理器和在非暂态存储器中编码的机器可读指令。机器可读指令包括(a)数据输入指令，数据输入指令当由处理器执行时从sme hdr图像传感器的曝光取得原始图像数据，其中，原始图像数据包括来自sme hdr图像传感器的由长曝光时间表征的长曝光像素的长曝光像素值和来自sme hdr图像传感器的由短曝光时间表征的短曝光像素的短曝光像素值；(b)饱和度评估指令，饱和度评估指令当由处理器执行时针对空间区域中的每一个评估空间区域中的至少一个所选长曝光像素的饱和度水平；(c)调整指令，调整指令当由处理器执行时针对由至少一个所选长曝光像素的超过饱和度阈值的长曝光像素值表征的空间区域中的每一个，确定(i)用于空间区域中的每个短曝光像素的减少的短曝光时间以及(ii)补偿减少的短曝光时间的增加的数字增益值；以及(d)数据输出指令，数据输出指令当由处理器执行时针对由至少一个所选长曝光像素的超过饱和度阈值的长曝光像素值表征的每个空间区域，将减少的短曝光时间和增加的数字增益值输出到空间区域中的每个短曝光像素。
附图说明
13.图1和图2图示了根据实施例的用于hdr相机中的空间复用曝光(sme)高动态范围(hdr)图像传感器的自动曝光的曝光时间控制器。
14.图3示出了用于场景的示例光亮度直方图。
15.图4图示了根据实施例的用于至少部分地基于对从由来自hdr图像传感器的长曝光像素值和短曝光像素值合成的hdr直方图得到的优良性度量的评估来自动曝光sme hdr图像传感器的曝光时间控制器。
16.图5图示了根据实施例的用于sme hdr图像传感器的自动曝光方法。
17.图6是示例熵方差的绘图。
18.图7图示了根据实施例的用于至少部分地基于对从由来自sme hdr图像传感器的长曝光像素值和短曝光像素值合成的hdr直方图得到的优良性度量的评估来自动曝光的sme hdr图像传感器的计算机。
19.图8图示了根据实施例的具有包括多个多色像素组的像素阵列的彩色sme hdr图像传感器。
20.图9图示了根据实施例的可以在图8的彩色sme hdr图像传感器中实施的多色三曝光时间像素组。
21.图10图示了根据实施例的用于彩色sme hdr图像传感器的自动曝光方法，该自动曝光方法生成并考虑彩色sme hdr图像传感器的每种颜色的hdr直方图。
22.图11图示了根据实施例的用于彩色sme hdr图像传感器的自动曝光方法，该自动曝光方法生成并考虑光亮度值的hdr直方图。
23.图12图示了根据实施例的之字形hdr图像传感器。
24.图13图示了根据实施例的四sme hdr彩色图像传感器。
25.图14图示了根据实施例的预处理方法。
26.图15示出了长曝光像素值的示例直方图。
27.图16示出了短曝光像素值的示例直方图。
28.图17是图示了噪声对像素值的直方图的示例影响的示例绘图。
29.图18图示了根据实施例的用于合成hdr直方图的方法。
30.图19示出了使用图18的方法合成的一个示例hdr直方图。
31.图20图示了根据实施例的用于双曝光时间sme hdr图像传感器的自动曝光方法，该方法基于熵方差首先优化长曝光时间并且接下来优化短曝光时间。
32.图21是在图20的方法中计算的示例熵方差的绘图。
33.图22图示了根据实施例的用于优化sme hdr图像传感器的长曝光时间的方法。
34.图23、图24和图25图示了在图22的方法中进行hdr直方图生成和对目标长曝光时间的估计的一个示例。
35.图26是在图22的方法中生成的示例初步hdr直方图。
36.图27是根据在图22的方法中输出的最佳长曝光时间移位的示例hdr直方图。
37.图28至图31是在图22的方法中考虑的示例hdr直方图。
38.图32和图33图示了根据实施例的包括用于缩小场景的动态范围的梯度滤波器的hdr相机。
39.图34图示了根据实施例的用于重构当由hdr相机使用梯度滤波器捕获时的场景的原始动态范围的至少一部分的方法。
40.图35图示了根据实施例的用于自动曝光sme hdr图像传感器的视频流捕获的方法，其中视频流的时间明亮度不稳定性在捕获后减少。
41.图36图示了根据实施例的用于自动曝光sme hdr图像传感器的视频流捕获的方法，该方法根据未来场景的预测明亮度来优化自动曝光。
42.图37图示了根据实施例的具有局部曝光时间控制的sme hdr图像传感器。
43.图38图示了根据实施例的用于sme hdr图像传感器的局部自动曝光的方法。
44.图39图示了根据实施例的用于至少部分地基于熵方差的最小化来自动曝光sme hdr图像传感器的曝光时间控制器。
45.图40图示了根据实施例的用于至少部分地基于熵方差的最小化来自动曝光sme hdr图像传感器的方法。
46.图41图示了根据实施例的用于至少部分地基于熵方差的最小化来自动曝光sme hdr图像传感器的计算机。
47.图42图示了根据实施例的用于至少部分地基于熵方差的最小化来自动曝光单曝光时间图像传感器的曝光时间控制器。
48.图43图示了根据实施例的用于至少部分地基于熵方差的最小化来自动曝光单曝光时间图像传感器的方法。
49.图44图示了根据实施例的用于至少部分地基于熵方差的最小化来自动曝光单曝光时间图像传感器的计算机。
50.图45图示了根据实施例的用于基于sme hdr图像传感器的长曝光像素的饱和度水平来自动曝光sme hdr图像传感器的曝光时间控制器。
51.图46图示了根据实施例的针对其像素阵列的多个局部空间区域具有单独的短曝光时间控制的sme hdr图像传感器。
52.图47图示了根据实施例的针对代表sme hdr图像传感器的每个光谱灵敏度等级和曝光时间的每个局部像素组具有单独的短曝光时间控制的sme hdr图像传感器。
53.图48图示了根据实施例的用于基于sme hdr图像传感器的长曝光像素的饱和度水平来自动曝光sme hdr图像传感器的方法。
54.图49图示了根据实施例的用于基于长曝光像素的饱和度水平来自动曝光sme hdr图像传感器的计算机。
具体实施方式
55.本文公开了用于空间复用曝光(spatially
‑
multiplexed
‑
exposure,sme)高动态范围(high
‑
dynamic
‑
range,hdr)图像传感器的自动曝光的系统和方法以及采用sme hdr图像传感器并且具有自动曝光功能的相机系统。所公开的系统和方法的某些实施例具有超出sme hdr图像传感器的自动曝光的适用性。
56.图1和图2图示了用于hdr相机102中的sme hdr图像传感器110的自动曝光的一个曝光时间控制器100。图1示出了在一个使用示例中在hdr相机102中实施的曝光时间控制器100。图2是图示了hdr相机102中的曝光时间控制器100的功能的功能框图。最好一起观看图1和图2。
57.在图1的使用情景中，hdr相机102生成至少因为人192被太阳196背光照亮而具有高动态范围的场景190的hdr图像，使得人192的面部194比被太阳196直接照亮的场景190的各部分显著更黑暗。出于实现hdr成像的目的，sme hdr图像传感器110的光敏像素阵列220包括多个长曝光像素222和多个短曝光像素224。长曝光像素222被配置成在长曝光时间292下操作，而短曝光像素224被配置成在短曝光时间294下操作。当生成hdr影像时(例如，根据需要，以捕获场景190的动态范围)，长曝光时间292比短曝光时间294长。然而，在一些实施例中，当场景的动态范围不需要hdr影像或者当hdr相机102的用户已经禁用hdr功能时，sme hdr图像传感器110可以被配置成以相等的长曝光时间292和短曝光时间294操作。
58.可以理解的是，图2中描绘的像素阵列220中的长曝光像素222和短曝光像素224的布局仅是像素阵列220的可能配置的一个示例。在不脱离其范围的情况下，像素阵列220可以与图2所示的布局不同地布置长曝光像素222和短曝光像素224。然而，为了获得hdr影像，像素阵列220以马赛克方式布置长曝光像素222和短曝光像素224，使得每个长曝光像素222邻近或接近至少一个短曝光像素224，并且反之亦然(例如，如图2中的像素组226所指示的)。
59.sme hdr图像传感器110在单次“拍摄”中曝光像素阵列220的所有像素，使得由像
素阵列220捕获的每个帧包括长曝光像素222和短曝光像素224两者的像素值。作为比较，时间复用曝光hdr相机无法将不同的曝光时间应用于同一像素阵列的不同像素。相反，时间复用曝光hdr相机配备有标准单曝光时间像素阵列并且在两个(或更多个)不同的相应曝光时间下顺序地捕获两个(或更多个)全帧。
60.曝光时间控制器100被配置成调整长曝光时间292和短曝光时间294中的至少一项，以获得对于场景190最佳的扩展动态范围。
61.图3示出了如场景190等场景的一个示例光亮度直方图300。典型的单曝光时间图像传感器具有动态范围310。这种单曝光时间图像传感器的自动曝光可以将动态范围310移动到光亮度直方图300的最重要部分。然而，无论其位置如何，动态范围310都将错过光亮度直方图300中的信号的显著部分。相比之下，长曝光像素222和短曝光像素224的共存使sme hdr图像传感器110能够获得大于动态范围310的高动态范围(如高动态范围320)。长曝光像素222和短曝光像素224中的每一个可以具有与动态范围310类似的动态范围，但是长曝光像素222和短曝光像素224的动态范围可以协作以捕获更高的动态范围。
62.再次参考图1和图2，曝光时间控制器100被配置成确定最佳地捕获光亮度直方图300中的信号的长曝光时间292和短曝光时间294的值。因此，曝光时间控制器100可以调整高动态范围320的位置和程度两者，以最佳地捕获场景190的动态范围。
63.曝光时间控制器100从像素阵列220的曝光取得原始图像数据280。对于由像素阵列220捕获的每个帧，原始图像数据280包括(a)来自相应长曝光像素222的长曝光像素值282和(b)来自相应短曝光像素224的短曝光像素值284两者。曝光时间控制器100处理原始图像数据280的一个或多个帧，以针对场景190的动态范围属性调整长曝光时间292和短曝光时间294。曝光时间控制器100将包括长曝光时间292和短曝光时间294的值的经调整的曝光时间集合290传送到sme hdr图像传感器110。曝光时间控制器100可以调整长曝光时间292和短曝光时间294之一或两者。
64.在一种实施方式中，曝光时间控制器100通过迭代过程优化曝光时间集合290。在此迭代过程中，曝光时间控制器执行以下各项的多次迭代：(a)从sme hdr图像传感器110取得原始图像数据280的帧；(b)基于长曝光像素值282和短曝光像素值284来调整长曝光时间292和短曝光时间294之一或两者；以及(c)将经调整的曝光时间步骤290传送到sme hdr图像传感器110。每个后续迭代都基于根据在先前迭代中接收的经调整的曝光时间集合290捕获的原始图像数据280。在另一种实施方式中，曝光时间控制器100基于对来自若干个不同帧的原始图像数据280的分析以非迭代的方式优化曝光时间集合290，每个帧使用不同的曝光时间集合290捕获。
65.hdr相机102可以进一步包括从原始图像数据280生成hdr图像270(例如，如在由曝光时间控制器100对sme hdr图像传感器110进行自动曝光之后所捕获的)的hdr图像生成器250。
66.图4图示了用于至少部分地基于对从由来自sme hdr图像传感器的长曝光像素值和短曝光像素值合成的hdr直方图得到的优良性度量的评估来自动曝光sme hdr图像传感器的一个曝光时间控制器400。曝光时间控制器400是曝光时间控制器100的实施例并且可以与sme hdr图像传感器110一起在hdr相机402(hdr相机102的实施例)中实施。替代性地，曝光时间控制器400可以被提供为要与第三方sme hdr图像传感器一起实施的独立产品。
67.曝光时间控制器400包括预处理器420、合成器430和调整器440。调整器440包括度量评估器442。曝光时间控制器400可以进一步包括数据输入处理程序410和数据输出处理程序450之一或两者。
68.在操作中，预处理器420处理来自sme hdr图像传感器110的曝光(即，来自由sme hdr图像传感器110捕获的一个帧)的原始图像数据280的长曝光像素值282和短曝光像素值284。数据输入处理器410可以从sme hdr图像传感器110取得原始图像数据280。在由预处理器420进行预处理之后，合成器430将长曝光像素值282和短曝光像素值284合成为像素值的hdr直方图。调整器440利用度量评估器442来评估hdr直方图的优良性度量。调整器440至少部分地基于此优良性度量来生成经调整的曝光时间集合290。数据输出处理器450可以将经调整的曝光时间集合290传送到sme hdr图像传感器110。
69.在实施例中，曝光时间控制器400进一步包括面部检测器460。面部检测器460处理从sme hdr图像传感器110接收的图像数据(例如，由数据输入处理器410取得的原始图像数据280)以检测由sme hdr图像传感器110捕获的图像中的更多个面部(如面部194)之一。在此实施例中，调整器440可以进一步将由面部检测器460检测到的一个或多个面部的曝光考虑在内，以调整曝光时间集合290。在此实施例的一个示例中，调整器440共同考虑优良性度量和由面部检测器460检测到的一个或多个面部的曝光，以针对(多个)面部的适当曝光和hdr直方图的一般动态范围的理想捕获两者来优化曝光时间集合290。调整器440可以被配置成根据预先配置的或用户可定义的设置来权衡这两个度量。
70.曝光时间控制器400可以进一步包括组合器416。下文主要参考图11讨论组合器416的功能。
71.hdr相机402可以进一步包括从原始图像数据280生成hdr图像270(例如，如在由曝光时间控制器400对sme hdr图像传感器110进行自动曝光之后所捕获的)的hdr图像生成器250。
72.图5图示了用于sme hdr图像传感器的一种自动曝光方法500。方法500可以由曝光时间控制器400执行，例如以自动曝光hdr相机102中的sme hdr图像传感器110。
73.在步骤510中，方法500从sme hdr图像传感器的曝光取得原始图像数据，该原始图像数据包括来自sme hdr图像传感器的由长曝光时间表征的像素的长曝光像素值和来自sme hdr图像传感器的由短曝光时间表征的像素的短曝光像素值。对于每个长曝光像素值，存在至少一个对应短曝光像素值，并且反之亦然。对应的长曝光像素值和短曝光像素值的每个这样的组源自邻近或附近的长曝光像素和短曝光像素。例如，像素组226生成长曝光像素值282和短曝光像素值284的空间关联组。在步骤510的一个示例中，数据输入处理器410从sme hdr图像传感器110的曝光取得原始图像数据280的帧。
74.在步骤520中，方法500对在步骤510中取得的长曝光像素值和短曝光像素值进行预处理，以从其中去除无法满足一个或多个质量要求的长曝光像素值和短曝光像素值。步骤520可以包括单独地对长曝光像素值和短曝光像素值进行过滤的步骤522。步骤522可以去除饱和的长曝光像素值和受噪声显著影响的短曝光像素值。步骤520还可以去除受运动伪影影响的长曝光像素值和短曝光像素值。即使长曝光像素值和短曝光像素值源自sme hdr图像传感器的相同曝光，长曝光时间与短曝光时间之间的差异也可能导致场景的非静态区域中的长曝光像素值与短曝光像素值之间不一致。这些运动伪影不如利用时间复用曝
光hdr相机经历的那些严重，其中，长曝光和短曝光至少相隔完整的读出周期。在实施例中，步骤520包括从长曝光像素值和短曝光像素值中去除噪声影响的步骤524。预处理器420可以对长曝光像素值282和短曝光像素值284执行步骤520。
75.在步骤520中进行预处理之后，剩余长曝光像素值中的一些可能不再具有空间上关联的剩余短曝光像素值，并且剩余短期曝光像素值中的一些可能不再具有空间上关联的剩余长曝光像素值。然而，空间上关联的长曝光像素值和短曝光像素值的一些组可以仍是完整的或者至少仍包括一个长曝光像素值和一个短曝光像素值。
76.在步骤530中，方法500将在步骤520之后剩余的长曝光像素值和短曝光像素值合成为hdr直方图。在步骤530的一个示例中，合成器430在根据步骤520进行预处理之后合成从预处理器420接收的长曝光像素值282和短曝光像素值284。
77.在步骤540中，方法500从在步骤530中合成的hdr直方图得到优良性度量。优良性度量可以基于如以下各项等一个或多个参数：(a)hdr直方图中曝光过度或曝光不足的像素的数量；(b)在hdr直方图中的下端和/或上端裁剪的像素的数量；(c)hdr直方图的统计参数(例如，平均值、加权平均值或中值)；(d)从直方图计算的总熵(例如s
total
＝
‑
∑p
i
log2(p
i
))，其中，p
i
是hdr直方图的第i'个仓中的相对计数，并且求和是关于hdr直方图的所有仓i；(e)总熵s
total
的加权版本；(f)由于噪声造成的熵s
noise
；(g)确定为f＝s
total
‑
s
noise
的有用熵；(h)单独仓对总熵的贡献的跨hdr直方图的方差，例如，var(s
i
)＝(s
i
‑
mean(s
i
))2，其中，s
i
＝
‑
p
i
log2(p
i
)；以及(i)过渡点噪声差异，该过渡点噪声差异在本文被定义为在从由sme hdr图像传感器捕获的图像数据对hdr图像的hdr图像生成中使用长曝光像素值与使用短曝光像素值之间的过渡点处的长曝光像素值与短曝光像素值之间的噪声差异。在优良性度量包括多于一个参数的实施方式中，优良性度量可以是这种参数的加权和。可以根据参数的较低值还是较高值被认为有利来设置权重的幅值。在步骤540的一个示例中，度量评估器442从由合成器430合成的hdr直方图得到优良性度量。
78.在步骤550中，方法500调整sme hdr图像传感器的长曝光时间和短曝光时间中的至少一项。步骤550将此调整至少部分地基于优良性度量，并且由步骤550进行的调整寻求改善此优良性度量。例如，步骤550可以调整长和/或短曝光时间以最大化有用熵，以共同最小化var(s
i
)和过渡点噪声差异、减少hdr直方图的上端和/或下端处的裁剪或优化上文关于步骤540列出的另一个优良性度量。步骤550可以考虑复合优良性度量的若干个方面并且基于不同方面进行不同的调整。在步骤550的一个示例中，调整器440至少部分地基于在步骤540中确定的优良性度量来调整长曝光时间292和短曝光时间294之一或两者并且输出所得经调整的曝光时间集合290。
79.在实施例中，共同最小化最小化var(s
i
)和过渡点噪声差异包括最小化取决于方差和过渡点差异的函数。例如，函数可以是权衡方差的最小值和噪声差异的最小值这两个因素中的每一个的重要性的成本函数。换句话说，可以通过在此函数中将来自至少两个不同曝光时间的像素值之间的噪声差异和熵方差共同最小化来确定最佳曝光时间。函数可以具有方差和噪声差异两者同时处于相对最小值的一个或多个(局部)最小值。
80.图6是可以在方法500的步骤540的多次重复中计算的示例熵方差的绘图600。绘图600示出了随长曝光时间与短曝光时间之间的固定比率16而变的长曝光时间var(s
i
)。绘图600示出了在大约5毫秒的长曝光时间下的熵方差var(s
i
)的最小值。因此，在基于绘图600
的数据的步骤550的示例中，步骤550可以确定最佳长曝光时间为大约5毫秒。
81.方法500的步骤550可以利用如绘图600中所示的那些数据等数据来确定最佳曝光时间，可选地同时还考虑其他因素。步骤550可以将熵方差var(s
i
)视为长曝光时间的函数(例如，如图6所示)、短曝光时间的函数或短曝光时间和长曝光时间两者的函数。
82.在实施例中，方法500进一步包括检测由sme hdr图像传感器生成的图像中的更多个面部之一的步骤560。在方法500的此实施例中，步骤550包括改善(多个)检测到的面部的曝光的步骤552。面部检测器460可以执行步骤560。步骤552可以将(多个)检测到的面部的明亮度与目标明亮度进行比较并且相应地缩放长曝光时间(可选地以权衡的方式)，其中根据优良性度量对曝光时间进行优化。例如，步骤550可以在步骤552中调整长曝光时间以改善面部曝光并且然后调整短曝光时间以改善步骤540的优良性度量。
83.在步骤570中，方法500将如在步骤550中调整的曝光时间集合输出到sme hdr图像传感器。在步骤570的一个示例中，数据输出处理器450将经调整的曝光时间集合290输出到sme hdr图像传感器110。
84.方法500可以进一步包括捕获在步骤510中取得的原始图像数据的步骤502。在步骤502的一个示例中，sme hdr图像传感器110捕获原始图像数据280。
85.在一种实施方式中，方法500执行步骤510、520、530、540、550(可选地在步骤560之前并且包括步骤552)和570以及可选地步骤502的若干次迭代，以迭代地优化sme hdr图像传感器的曝光时间。在此实施方式中，每次迭代(除了第一次迭代)都基于利用根据如先前迭代中调整的曝光时间生成的原始图像数据。一个迭代优化过程的不同迭代可以强调不同的优良性度量和/或面部曝光。例如，初始迭代可以对长曝光时间进行调整以减少hdr直方图的低端处的裁剪和/或改善面部曝光，而后续迭代调整短曝光时间并且对长曝光时间进行较小调整以优化从hdr直方图得到的优良性度量(如基于熵的度量)。
86.在不脱离其范围的情况下，方法500可以执行步骤510、520、530和540(以及可选地步骤560和502之一或两者)的若干次重复，而不是执行迭代优化，以根据长和/或短曝光时间来绘制出优良性度量(以及可选地面部曝光)。在此替代性实施方式中，步骤550选择优化优良性度量或共同优化优良性度量和面部曝光的曝光时间集合，并且步骤570将所选曝光时间集合输出到sme hdr图像传感器。
87.尽管图5中未示出，但是方法500可以进一步包括从在通过步骤510、520、530、540、550和570(以及可选地560)的迭代或重复对sme hdr图像传感器110进行自动曝光之后捕获的原始图像数据生成hdr图像(例如，hdr图像270)的步骤。hdr图像生成器250可以执行生成hdr图像的此步骤。
88.图7图示了用于至少部分地基于对从由来自hdr图像传感器的长曝光像素值和短曝光像素值合成的hdr直方图得到的优良性度量的评估来自动曝光sme hdr图像传感器的一个计算机700。计算机700是曝光时间控制器400的实施例并且可以与sme hdr图像传感器110一起在hdr相机402中实施。替代性地，计算机700可以被提供为要与第三方sme hdr图像传感器一起实施的独立产品。计算机700包括处理器710、非暂态存储器720和接口790。存储器720包括机器可读指令730并且可以进一步包括动态数据存储设备760。
89.机器可读指令730包括在由处理器710执行时分别执行方法500的步骤510、520、530、550、540和570的数据输入指令732、预处理指令740、合成指令742、调整指令746、度量
指令748和数据输出指令734。数据输入指令732被配置成经由接口790取得原始图像数据280，并且数据输出指令734被配置成经由接口790输出曝光时间集合290。机器可读指令730可以进一步包括在由处理器710执行时分别执行方法500的步骤560和524的面部检测指令750和噪声去除指令752之一或两者。
90.在某些实施例中，机器可读指令730包括迭代指令754，该迭代指令在由处理器710执行时根据数据输入指令732、预处理指令740、合成指令742、调整指令746、度量指令748和方法和数据输出指令734以及可选地面部检测指令750和噪声去除指令752之一或两者来实现(effect)方法500的若干次迭代的执行。
91.动态数据存储设备760可以存储以下各项中的一项或多项：(a)在由处理器710执行数据输入指令732时经由接口790接收并且在由处理器710执行预处理指令740时预处理的长曝光像素值282和短曝光像素值284；(b)在由处理器710执行合成指令742时生成的hdr直方图770；(c)在由处理器710执行度量指令748时生成的优良性度量值772；以及在由处理器710执行调整指令746时调整的长曝光时间292和短曝光时间294。
92.机器可读指令730可以进一步包括与处理器710协作以形成组合器416的实施例的组合指令736。
93.数据输入指令732、预处理指令740、合成指令742、调整指令746、度量指令748、数据输出指令734、面部检测指令750和组合指令736与处理器710协作形成数据输入处理器410、预处理器420、合成器430、调整器440、度量评估器442、数据输出处理器450、面部检测器460和组合器416的相应实施例。噪声去除指令752可以在预处理器420中实施。迭代指令754可以在曝光时间控制器400中实施。
94.应当理解，机器可读指令730可以被提供为在非暂态存储器中编码以用于与第三方处理器710和接口790一起实施的独立软件产品。
95.sme hdr图像传感器可以被配置成在每次曝光中利用多于两个不同曝光时间，例如长曝光时间、中间曝光时间和短曝光时间。上文关于图1至图7描述的系统和方法易于被扩展成与这种sme hdr图像传感器一起工作。因此，在不脱离其范围的情况下，除了长曝光像素222和短曝光像素224之外，sme hdr图像传感器110还可以包括一组或多组中间曝光像素，其中，每组中间曝光像素在比长曝光时间292短但比短曝光时间294长的相应中间曝光时间下曝光。sme hdr图像传感器110的这种实施例在原始图像数据280的每个帧中输出长曝光像素值282、短曝光像素值284以及由一组或多组相应中间曝光像素生成的一组或多组中间曝光像素值。例如，每个像素组226可以被定位于相同空间区域中的一个或多个中间曝光像素扩展。
96.相应地，曝光时间控制器100可以处理进一步包括这种中间曝光像素值的原始图像数据280。与限于两个不同曝光时间的实施例相比，基于三个或更多不同曝光时间的实施例可以进一步扩展高动态范围320。替代性地或与其组合地，(多个)附加曝光时间可以用于减少对sme hdr图像传感器的位深度或噪声要求或者在自动曝光过程中提供至少一个附加自由度。
97.现在参考曝光时间控制器400，数据输入处理器410、预处理器420和合成器430中的每一个可以被配置成进一步处理一组或多组中间曝光像素值作为原始图像数据280的一部分。具体地，预处理器420可以从每组中间曝光像素值中去除饱和的中间曝光像素值和受
到噪声显著影响的中间曝光像素值两者。调整器440和数据输出处理器450中的每一个可以被配置成处理作为曝光时间集合290的一部分的一个或多个中间曝光时间。类似地，对于方法500，步骤502、510、520和530(以及在某些实施例中还有步骤560)中的每一个可以被适配成除了长曝光像素值和短曝光像素值之外还处理一组或多组中间曝光像素值，并且步骤550和570中的每一个可以被适配成除了长曝光时间和短曝光时间之外还处理一个或多个中间曝光时间。因此，计算机700可以被类似地配置成进一步处理一组或多组中间曝光像素值和一个或多个中间曝光时间。
98.在包括一个或多个中间曝光时间的实施例中，过渡点噪声差异可以指代在持续时间方面彼此邻近的两个曝光时间之间的过渡点噪声差异。例如，在具有长曝光时间、单个中间曝光时间和短曝光时间的实施例中，可以在长曝光像素值与中间曝光像素值之间和/或在中间曝光像素值与短曝光像素值之间评估过渡点噪声差异。
99.上文关于图1至图7所讨论的实施例适用于单色sme hdr图像传感器和彩色sme hdr图像传感器两者。对于彩色sme hdr图像传感器，长曝光像素值和短曝光像素值(以及在适用时，每组中间曝光像素值)各自包含多种不同颜色(如三种颜色)的像素值。例如，每个像素组226可以被扩展成包括(a)分别对三种不同颜色敏感的三个长曝光像素222以及(b)分别对所述三种不同颜色敏感的三个短曝光像素224(以及在适用时，分别对所述三种不同颜色敏感的一组或多组三个中间曝光像素)。曝光时间控制器100、曝光时间控制器400、方法500和计算机700可以被配置成首先将不同的颜色组合以生成代表光亮度的长曝光像素值和短曝光像素值(以及在适用时，一组或多组中间曝光像素值)并且然后如上文所讨论的继续进行以基于这些曝光时间特定的光亮度值来确定(多个)曝光时间。曝光时间控制器400可以采用组合器416来组合不同的颜色。替代性地，曝光时间控制器100、曝光时间控制器400、方法500和计算机700可以被配置成单独地处理不同的颜色，至少直到调整曝光时间集合的点为止，在该点处，可以统一定义所有颜色的每个曝光时间。
100.图8图示了具有包括多个多色像素组830的像素阵列820的一个彩色sme hdr图像传感器810。彩色sme hdr图像传感器810是sme hdr图像传感器110的实施例，像素阵列820是像素阵列220的实施例，并且像素组830是像素组226的实施例。每个像素组830包括长曝光像素832和短曝光像素834。长曝光像素832和短曝光像素834是长曝光像素222和短曝光像素224的实施例。在每个像素组830内，长曝光像素832包括颜色特定像素842l、844l和846l，并且短曝光像素834包括颜色特定像素842s、844s和846s。像素842l和842s对第一颜色敏感，像素844l和844s对第二颜色敏感，并且像素846l和846s对第三颜色敏感。第一颜色、第二颜色和第三颜色可以分别是红色、绿色和蓝色。每个像素组830可以包括颜色特定像素842l、844l、846l、842s、844s和846s中的任何一个的两个或更多个实例。例如，如图8所示，每个像素组830可以包括像素844l的两个实例和像素844s的两个实例。
101.图9图示了可以在彩色sme hdr图像传感器810中实施的一个多色三曝光时间像素组930。像素组930是进一步包括至少一组中间曝光像素936的像素组830的实施例。每组中间曝光像素936在比长曝光时间短但比短曝光时间长的中间曝光时间下曝光。每组中间曝光像素936包括分别对第一颜色、第二颜色和第三颜色敏感的颜色特定像素942m、944m和946m。每个像素组930可以包括颜色特定像素842l、844l、846l、842s、844s、846s、942m、944m和946m中的任何一个的两个或更多个实例。例如，如图9中的虚线框所示，每个像素组930可
以包括像素844l的两个实例、像素844s的两个实例和像素944m的两个实例。在包括多于一组中间曝光像素936的像素组930的实施例中，每组中间曝光像素936在不同的相应曝光时间下曝光。
102.图10图示了用于彩色sme hdr图像传感器的一种自动曝光方法1000，该自动曝光方法生成并考虑彩色sme hdr图像传感器的每种颜色的hdr直方图。方法1000是方法500的实施例。方法1000可以由曝光时间控制器400或计算机700执行，例如以自动曝光hdr相机102中的彩色sme hdr图像传感器810。
103.方法1000针对每种颜色单独执行步骤510、520、530和540。方法1000由此确定每种颜色的优良性度量。优良性度量对于不同的颜色可以或可以不相同或类似。在一个示例中，数据输入处理器410、预处理器420、合成器430和度量评估器442基于原始图像数据280分别针对彩色sme hdr图像传感器810的第一颜色、第二颜色和第三颜色中的每一个执行步骤510、520、530和540，该原始图像数据包括来自长曝光像素832的长曝光像素值282和来自短曝光像素834的短曝光像素值284以及可选地来自中间曝光像素936的中间曝光像素值。
104.接下来，方法1000至少部分地基于对在步骤540中确定的颜色特定的优良性度量的共同评估来执行调整长曝光时间和短曝光时间中的至少一项的步骤1050。在步骤1050中确定的每个曝光时间适用于每种颜色。步骤1050不生成颜色特定的曝光时间。步骤1050是步骤550的实施例。在对颜色特定的优良性度量的共同评估中，步骤1050可以将相同的权重应用于每种颜色或应用依赖于颜色的权重。依赖于颜色的权重可以自适应于场景内容，使得为主要颜色分配更大的权重。在步骤1050的一个示例中，调整器440至少部分地基于对在步骤540中确定的颜色特定的优良性度量的共同评估来调整长曝光时间292和短曝光时间294(以及可选地一个或多个中间曝光时间)中的至少一项，并且调整器440输出所得经调整的曝光时间集合290。
105.如上文关于图5所讨论的，方法1000可以包括步骤560和552。在一种实施方式中，方法1000使步骤560基于不同颜色中的一种或多种颜色并且在颜色特定的图像数据中(例如，在绿色图像数据中)搜索面部。在另一种实施方式中，方法1000在步骤560中组合不同的颜色以生成形成面部检测的基础的光亮度图像。
106.在完成步骤1050之后，方法1000执行步骤570，以将如在步骤550中调整的曝光时间集合输出到彩色sme hdr图像传感器。在步骤570的一个示例中，数据输出处理器450将经调整的曝光时间集合290输出到彩色sme hdr图像传感器810。
107.方法1000可以进一步包括捕获在步骤510中取得的原始图像数据的步骤502。如在方法1000中实施的，在步骤502的一个示例中，彩色sme hdr图像传感器810捕获原始图像数据280，该原始图像数据包括来自长曝光像素832的长曝光像素值282和来自短曝光像素834的短曝光像素值284以及可选地来自中间曝光像素936的中间曝光像素值。
108.方法1000可以执行步骤510、520、530、540、550(可选地在步骤560之前并且包括步骤552)和570以及可选地步骤502的若干次迭代，以迭代地优化sme hdr图像传感器的曝光时间，其中，在每次迭代中针对每种颜色执行步骤510、520、530和540。如上文关于图5所讨论的，每次迭代(除第一次迭代)都基于利用根据如先前迭代中调整的曝光时间生成的原始图像数据，并且一个迭代优化过程的不同迭代可以强调不同的优良性度量和/或面部曝光。在不脱离其范围的情况下，方法1000可以执行步骤510、520、530和540(以及可选地步骤560
和502之一或两者)的若干次重复，而不是执行迭代优化，以根据长和/或短曝光时间来绘制出优良性度量(以及可选地面部曝光)，其中，在每次重复中针对每种颜色执行步骤510、520、530和540。在此替代性实施方式中，步骤550选择优化优良性度量或共同优化优良性度量和面部曝光的曝光时间集合，并且步骤570将所选曝光时间集合输出到sme hdr图像传感器。
109.图11图示了用于彩色sme hdr图像传感器的一种自动曝光方法1100，该自动曝光方法生成并考虑光亮度值的hdr直方图。方法1100是方法500的实施例。方法1100可以由曝光时间控制器400或计算机700执行，例如以自动曝光hdr相机102中的彩色sme hdr图像传感器810。
110.在步骤1110中，方法1100针对每种颜色从sme hdr图像传感器的曝光取得原始图像数据。原始图像数据包括来自sme hdr图像传感器的由长曝光时间表征的像素的颜色特定的长曝光像素值和来自sme hdr图像传感器的由短曝光时间表征的像素的颜色特定的短曝光像素值。原始图像数据还可以包括一组或多组颜色特定的中间曝光像素值，其中，每组颜色特定的中间曝光像素值源自sme hdr图像传感器的由相应中间曝光时间表征的像素。在步骤1110的一个示例中，数据输入处理器410从sme hdr图像传感器110的曝光取得原始图像数据280的帧，其中，原始图像数据280的帧包括来自每个像素组830的长曝光像素832的长曝光像素值282和来自每个像素组830的短曝光像素834的短曝光像素值283。原始图像数据280的帧还可以包括一组或多组中间曝光像素值，其中，每组源自每个像素组930的在相应中间曝光时间下曝光的中间曝光像素936。
111.后续步骤1120针对每个曝光时间将来自与不同颜色相关联的空间邻近像素的像素值组合以生成相应的曝光时间特定的光亮度值。步骤1120将与不同颜色相关联的空间上邻近的颜色特定的长曝光像素值组合，以生成代表光亮度的长曝光像素值，并且将与不同颜色相关联的空间上邻近的颜色特定的短曝光像素值组合，以生成代表光亮度的短曝光像素值。步骤1120还可以将与不同颜色相关联的空间上邻近的颜色特定的中间曝光像素值组合，以生成代表光亮度的中间曝光像素值。在步骤1120的一个示例中，组合器416处理从每个像素组830接收的像素值。对于每个像素组830，组合器416(a)将来自像素842l、844l和846l的长曝光像素值282组合，以形成所考虑的像素组830的长曝光光亮度值，并且(b)将来自像素842s、844s和846s的短曝光像素值283组合，以形成所考虑的像素组830的短曝光光亮度值。组合器416还可以针对每个像素组830(930)并且针对每个中间曝光时间，将来自像素942m、944m和946m的中间曝光像素值组合，以形成所考虑的像素组830(930)和中间曝光时间的中间曝光光亮度值。
112.在步骤1130中，方法1100执行步骤520和530，以基于在步骤1120中的步骤中获得的曝光时间特定的光亮度值，来生成光亮度值的hdr直方图。接下来，方法1100执行步骤540，以从直方图得到优良性度量。此优良性度量涉及光亮度并且不是颜色特定的。方法1100继续进行以执行步骤550和570，如上文关于图5所讨论的。
113.方法1100可以进一步包括捕获在步骤510中取得的原始图像数据的步骤502。如在方法1000中实施的，在步骤502的一个示例中，彩色sme hdr图像传感器810捕获原始图像数据280，该原始图像数据包括来自长曝光像素832的长曝光像素值282和来自短曝光像素834的短曝光像素值284、以及可选地来自中间曝光像素936的中间曝光像素值。
114.在实施例中，方法1100包括步骤560，并且步骤550包括552。在此实施例的一种实施方式中，步骤560基于在步骤1110中取得的原始图像数据。例如，面部检测器460可以处理从数据输入处理器410接收的原始图像数据280，以检测一个或多个面部。在此实施例的另一种实施方式中，步骤560基于在步骤1120中生成的光亮度数据。例如，面部检测器460可以处理由数据组合器416生成的光亮度数据以检测一个或多个面部。
115.方法1100可以执行步骤1110、1120、1130、540、550(可选地在步骤560之前并且包括步骤552)和570以及可选地步骤502的若干次迭代，以迭代地优化彩色sme hdr图像传感器的曝光时间。如上文关于图5所讨论的，每次迭代(除第一次迭代)都基于利用如先前迭代中调整的曝光时间生成的原始图像数据，并且一个迭代优化过程的不同迭代可以强调不同的优良性度量和/或面部曝光。在不脱离其范围的情况下，方法1100可以执行步骤1110、1120、1130和540(以及可选地步骤560和502之一或两者)的若干次重复，而不是执行迭代优化，以根据长和/或短曝光时间来绘制出优良性度量(以及可选地面部曝光)，其中，在每次重复中针对每种颜色执行步骤1110、1120、1130和540。在此替代性实施方式中，步骤550选择优化优良性度量或共同优化优良性度量和面部曝光的曝光时间集合，并且步骤570将所选曝光时间集合输出到彩色sme hdr图像传感器。
116.图12图示了一个之字形hdr图像传感器1200。图像传感器1200是彩色sme hdr图像传感器810的实施例。图像传感器1200的像素被布置成正方形像素组1210。应当理解，图像传感器1200可以包括比图12中所描绘的像素组更多的像素组1210，例如数百或数千个像素组1210。每个像素组1210包括长曝光时间像素1222(在图12中用白色背景示出)和短曝光时间像素1224(在图12中用阴影背景示出)。在每个像素组1210中，长曝光时间像素1222包括对绿光敏感的四个像素“gl”、对红光敏感的两个像素“rl”和对蓝光敏感的两个像素“bl”，并且短曝光时间像素1224包括对绿光敏感的四个像素“gs”、对红光敏感的两个像素“rs”和对蓝光敏感的两个像素“bs”。像素组1210沿交替的之字形路径(参见图12中的白色和阴影之字形路径)布置长曝光时间像素1222和短曝光时间像素1224。每个像素组1210都是像素组830的实施例。
117.曝光时间控制器400和计算机700可以使用方法1000或1100来使之字形hdr图像传感器1200自动曝光。
118.图13图示了四sme hdr彩色图像传感器1300。图像传感器1300是实施像素组930的彩色sme hdr图像传感器810的实施例。图像传感器1300的像素被布置成正方形像素组1310。应当理解，图像传感器1300可以包括比图13中所描绘的像素组更多的像素组1310，例如数百或数千个像素组1310的阵列。每个像素组1310包括对红光敏感的一个2
×
2红色像素像素簇1332、对绿光敏感的两个2
×
2绿色像素像素簇1334和对蓝光敏感的一个2
×
2蓝色像素像素簇1336。每个像素簇1332、1334和1336包括一个长曝光时间像素1322、两个中间曝光时间像素1326和一个短曝光时间像素1324。因此，如图13所指示的，每个像素簇1332包括一个长曝光时间像素“rl”、两个中间曝光时间像素“rm”和一个短曝光时间像素“rs”，每个像素簇1334包括一个长曝光时间像素“gl”、两个中间曝光时间像素“gm”和一个短曝光时间像素“gs”，并且每个像素簇1336包括一个长曝光时间像素“bl”、两个中间曝光时间像素“bm”和一个短曝光时间像素“bs”。
119.曝光时间控制器400和计算机700可以使用方法1000或1100来使四sme hdr彩色图
像传感器1300自动曝光。
120.图14图示了一种预处理方法1400。方法1400是方法500的步骤520的实施例。方法1400可以在方法1000的步骤520和方法1100的步骤1130中实施。方法1400可以由预处理器420执行。方法1400包括过滤步骤1410和1420。步骤1410从长曝光像素值中去除高于饱和度相关阈值的长曝光像素值。步骤1420从短曝光像素值中去除低于噪声相关阈值的短曝光像素值。步骤1410可以构造长曝光像素值的直方图，并且将去除高于饱和度相关阈值的长曝光像素值的掩模应用于此直方图。类似地，步骤1420可以构造短曝光像素值的直方图，并且将去除低于噪声相关阈值的短曝光像素值的掩模应用于此直方图。
121.图15示出了在仓1510中装仓的长曝光像素值282的示例直方图1500。每个仓1510由中心值1512表征。步骤1410可以从长曝光像素值282构造直方图1500。步骤1410可以过滤出超过饱和度阈值1520的长曝光像素值282。出于此目的，步骤1410可以将掩模1540应用于直方图1500。
122.图16示出了在仓1610中装仓的短曝光像素值284的示例直方图1600。每个仓1610由中心值1612表征。步骤1420可以从短曝光像素值284构造直方图1600。步骤1420可以过滤出低于噪声阈值1630的短曝光像素值284。出于此目的，步骤1420可以将掩模1640应用于直方图1600。
123.再次参考图14，应当理解，方法1400可以进一步包括从一组或多组中间曝光像素值中的每一组中去除高于饱和度相关阈值的中间曝光像素值和低于噪声相关阈值的中间曝光像素值的步骤。
124.在某些实施例中，方法1400进一步包括附加过滤步骤1430，该过滤步骤根据考虑从sme hdr图像传感器的空间区域中去除受运动差异影响的像素值。当成像的场景变化得如此迅速，使得长曝光时间与短曝光时间之间的差异导致由长曝光像素提供的信息与由邻近或附近的短曝光像素提供的信息之间有过多差异时，出现这些运动差异。步骤1430将在步骤1410和1420中过滤之后剩余的长曝光像素值和短曝光像素值进行比较，以评估长曝光像素值与短曝光像素值之间的运动差异。步骤1430然后从sme hdr图像传感器的空间区域中去除受超过阈值运动差异水平的运动差异影响的短曝光像素值和长曝光值。
125.在一个示例中，步骤1430从像素组226中过滤出所有像素值，在这些像素值中，对应的长曝光像素值282和短曝光像素值284在已经根据长曝光时间和短曝光时间缩放到共同的比例之后彼此显著偏离。在此比较中，步骤1430可以解释像素阵列220中的长曝光像素222与短曝光像素224之间的位置差异。在另一个示例中，步骤1430从像素组830中过滤出所有像素值，在这些像素值中，一对或多对相同颜色的长曝光像素值832和短曝光像素值834在已经根据长曝光时间和短曝光时间缩放到共同的比例之后彼此显著偏离。在此示例中，步骤1430可以考虑若干种颜色或仅一种颜色，例如，源自绿色长曝光像素844l和绿色短曝光像素844s的像素值。
126.在比较中，步骤1430可容易地扩展成进一步包括一组或多组中间曝光像素值。例如，步骤1430可以考虑来自像素组930的像素值。步骤1430可以丢弃空间区域的像素值，在这些像素值中，缩放到共同的曝光时间比例的至少一对长曝光像素值和对应短曝光像素值彼此偏离超过阈值。“对应短曝光像素值”是与长曝光像素值所源自的长曝光像素最接近或在预定义距离之内的短曝光像素的像素值，其中，对于彩色sme hdr图像传感器的附加要求
是：对应短曝光像素具有与长曝光像素相同的颜色。对于单色sme hdr图像传感器，对应的长曝光像素和短曝光像素通常彼此相邻地定位。对于彩色sme hdr图像传感器，对应的长曝光像素和短曝光像素通常以其间不同颜色的一个或多个像素彼此间隔开。
127.在一个示例中，步骤1430丢弃来自空间区域的像素值，在这些像素值中，一对或多对对应的长曝光像素和短曝光像素无法满足以下要求：
128.|d
long
‑
r*d
short
|≤ε，
129.其中，d
long
是长曝光像素值，是d
short
短曝光像素值，r是长曝光时间与短曝光时间的比率，并且ε是阈值。在另一个示例中，步骤1430利用进一步解释长曝光像素和短曝光像素不共同定位的改进的关系。在此改进的示例中，步骤1430可以丢弃来自空间区域的像素值，在这些像素值中，一对或多对对应的长曝光像素和短曝光像素无法满足以下要求：
[0130][0131]
其中，x
long
和x
short
分别指代长曝光像素和短曝光像素的位置，并且是长曝光像素值的梯度。可以通过插值确定。
[0132]
在方法1400的进一步考虑一组或多组中间曝光像素的实施例中，步骤1430可以进一步将中间曝光像素值与对应长曝光像素值和/或对应短曝光像素值进行比较，以评估其间的运动差异。替代性地，步骤1430可以仅使其过滤基于长曝光像素值与短曝光像素值之间的比较(即使对于方法1400的考虑中间曝光像素的实施例)，因为长曝光像素值与短曝光像素值之间的关系是对运动最敏感的关系。
[0133]
方法1400可以进一步包括噪声去除步骤1440和1450。步骤1440从长曝光像素值中去除噪声影响，并且步骤1450从短曝光像素值中去除噪声影响。尽管在图14中未示出，但是方法1400可以进一步包括从一组或多组中间曝光像素值中的每一组中去除噪声影响的步骤。在计算机700中，处理器710可以执行噪声去除指令752，以从短曝光像素值和长曝光像素值(以及可选地中间曝光像素值)中去除噪声影响。
[0134]
图17是图示了噪声对像素值的直方图1710的影响的绘图1700。直方图1710的像素值可以与长曝光时间、短曝光时间或中间曝光时间相关联。在不脱离其范围的情况下，直方图1710的像素值可以是通过组合颜色特定的像素值而形成的光亮度值。在以下描述中，图17最好与图14一起观看。
[0135]
直方图1710是无噪声的并且具有两个尖峰，从而对应于仅具有两个明亮度的假设场景。实际上，噪声将存在，并且此噪声导致这两个尖峰加宽。直方图1720是受到噪声存在影响的直方图1710的像素值分布的示例。对于高斯噪声，直方图1710是用由标准偏差σ表征的高斯分布对直方图1720的卷积。标准偏差σ可以是像素值的函数。
[0136]
假设高斯分布的标准偏差σ与像素值无关(对于给定的曝光时间)，可以根据以下等式从直方图1720重构直方图1710：
[0137]
p
s
(v)＝cp
s+n
(v)+(1
‑
c)(g
σ
*p
s+n
)(v)，
[0138]
其中，v是仓定位，p
s
是直方图1710，g
σ
是高斯噪声分布，c是可以是可以依赖于传感器的调谐参数，p
s+n
是直方图1720，并且g
σ
*p
s+n
是p
s+n
的高斯卷积。
[0139]
在另一个示例中，高斯分布的标准偏差σ取决于像素值，使得高斯的方差是如线性噪声模型σ2＝mv+b所指示的像素值的线性函数(对于给定的曝光时间)，其中，m≠0。对于任
何特定的sme hdr图像传感器模型，可以测量或已知系数m和b。在此示例中，可以根据仓定位v来调整高斯滤波器g
σ
，或者可以使用保形映射来映射直方图1720以模拟恒定噪声水平。例如，直方图1720可以根据以下保形映射函数被重新装仓：
[0140][0141]
在此，y是处于高斯噪声遵循由σ＝1表征的恒定模型的比例的仓定位。在以y比例根据恒定高斯噪声模型进行重新装仓和去卷积之后，可以通过应用以下逆保形映射函数将保形映射反转为原始v比例：
[0142][0143]
步骤1440和步骤1450中的每一个都可以去除噪声影响，如上文针对图17和直方图1720所讨论的。在不脱离其范围的情况下，方法1400可以在适用时包括针对每组中间曝光像素值的类似的步骤。
[0144]
方法1400可以在机器可读指令730中编码为预处理指令740，可选地具有编码为噪声去除指令752的步骤1440和1450(以及类似的中间曝光噪声去除步骤)。
[0145]
图18图示了用于合成hdr直方图的一种方法1800。方法1800是方法500的步骤530的实施例并且可以由合成器430来执行。方法1800可以在机器可读指令730中编码为合成指令742。方法1800可以在方法1000的步骤520和方法1100的步骤1130中实施。方法1800包括步骤1810、1820和1830。
[0146]
步骤1810将(a)在方法500的步骤520中预处理之后剩余的长曝光像素值的第一直方图和(b)在方法500的步骤520中预处理之后剩余的短曝光像素值的第二直方图缩放到共同的比例。步骤1810根据长曝光时间与短曝光时间之间的比率执行此缩放。例如，步骤1810可以将短曝光时间值乘以长曝光时间与短曝光时间的比率，以使短曝光时间值处于与长曝光时间值相同的比例。在步骤1810的一个示例中，合成器430将直方图1500和1600缩放到共同的比例。
[0147]
步骤1820从第二直方图中去除在共同的比例上具有小于或等于第一直方图的最上面仓的中心值的中心值的短曝光像素值仓。步骤1820用于确保在第一直方图和第二直方图两者中均未呈现相同颜色的空间上关联的像素组(例如，来自一个像素组226、830或930的相同颜色像素值)。在步骤1820的一个示例中，合成器430处理直方图1600(如果在步骤1810中被缩放，则经过缩放)，以从其中去除具有小于直方图1500(如果在步骤1810中被缩放，则经过缩放)中的最低仓1510的中心值1512的中心值1612(如果在步骤1810中被缩放，则经过缩放)的所有仓。例如，步骤1820可以从直方图1600(如果在步骤1810中被缩放，则经过缩放)中去除低于像素值1650的所有仓。
[0148]
步骤1830将第一直方图与第二直方图合并以形成hdr直方图。
[0149]
图19示出了在步骤1810和1820中对直方图1500和1600进行处理之后在步骤1830中从直方图1500和1600合成的一个示例hdr直方图1900。直方图1900被装仓到仓1910中。仓1910的下限范围1920源自直方图1500的长曝光像素值，而仓1910的上限范围1930源自直方图1600的短曝光像素值。
[0150]
再次参考图18，为了合成第一直方图和第二直方图(例如，直方图1500和1600)，方
法1800可以重新装仓第一直方图和第二直方图之一或两者的像素值，以实现这两个直方图之间相互一致的装仓。方法1800可以在步骤1820与1830之间执行此重新装仓。
[0151]
在不脱离其范围的情况下，例如，当处理来自像素组930的像素值时，方法1800还可以处理与一个或多个中间曝光时间相关联的中间曝光像素值。在这种实施例中，方法1800处理与至少三个相应曝光时间相关联的至少三个直方图，并且步骤1820从每个直方图中去除在共同的比例上具有小于或等于与最接近的较长曝光时间相关联的直方图的最上面仓的中心值的中心值的仓。
[0152]
图20图示了用于双曝光时间sme hdr图像传感器的一种自动曝光方法2000，该自动曝光方法基于熵方差首先优化长曝光时间并且接下来优化短曝光时间。方法2000可以由曝光时间控制器400执行，例如以自动曝光hdr相机102中的sme hdr图像传感器110。方法2000是方法500的一种实施方式。方法2000可以应用于自动曝光彩色sme hdr图像传感器810。
[0153]
方法2000包括步骤2010和2020。步骤2010确定长曝光时间。步骤2020执行方法500的步骤510、520、530、540和550的多次重复，以确定最佳短曝光时间，其中，在步骤540中使用的优良性度量是或包括跨hdr直方图的熵方差，例如，上文关于图5所讨论的var(s
i
)。步骤2020可以在重复中的一次或多次重复中进一步包括步骤560。
[0154]
在一个实施例中，方法2000实施方法1000。在此实施例中，步骤2020执行如上文关于图10所讨论的步骤510、520、530、540和550(以及可选地步骤560)。在另一个实施例中，方法2000实施方法1100。在此实施例中，步骤2020执行如上文关于图11所讨论的步骤1110、1120、1130、540和550(以及可选地步骤560)。当方法2000应用于彩色sme hdr图像传感器时，步骤2010可以基于对光亮度值的考虑、基于对与一种特定颜色相关联的像素值的考虑或基于对与两种或更多种不同颜色相关联的像素值的共同考虑来确定最佳长曝光时间。
[0155]
方法2000允许在步骤2010中基于除用于优化短曝光时间的一个或多个参数之外的其他参数来优化长曝光时间。步骤2010可以将最佳长曝光时间确定为最小化曝光不足的像素的数量、优化面部的曝光和/或最小化长曝光像素值与短曝光像素之间的过渡点噪声差异(在对由sme hdr图像传感器捕获的图像数据进行去马赛克以生成hdr图像时出现)的长曝光时间。这种去马赛克例如由hdr图像生成器250执行以生成hdr图像270。
[0156]
对于从sme hdr图像传感器生成的hdr图像的每个图像像素，去马赛克包括选择要利用的曝光时间。例如，对来自图2的像素组226的原始图像数据280进行去马赛克可以包括从长曝光像素222中选择长曝光像素值282或从短曝光像素224中选择短曝光像素值284。替代性地，对来自图2的像素组226的原始图像数据280进行去马赛克可以包括对来自长曝光像素222的长曝光像素值282和来自短曝光像素224的短曝光像素值284的贡献进行加权。在场景从黑暗过渡到明亮的任一种情况下，去马赛克过程可以从仅或主要使用长曝光像素值切换到仅或主要使用短曝光像素值。即使对像素值进行缩放以补偿从长曝光像素值到短曝光像素值的切换，某些噪声贡献(如读出噪声)也不会随曝光时间缩放。为了进一步解释，过渡点处的噪声差异可能是由于以下事实引起的：对于两个(或更多个)曝光，为了在辐射度上匹配像素值以用于曝光，可以通过比例因子对像素进行缩放。例如，如果长曝光和短曝光分别使用50毫秒和5毫秒的曝光时间，则短像素值将在相同的空间区域中以原始形式具有减小的数字值。为了匹配辐射度(u)，可以将长曝光像素值的辐射度设置为u_long＝v_
long，并且可以将短曝光像素值的辐射度设置为u_short＝(50/5)*v short，其中，v_long和v_short分别是长曝光和短曝光的原始像素值。这意味着当进行辐射度匹配时，短曝光中存在的任何噪声也将乘以乘法因子(在此示例中为50/5)。当自动曝光方法例如在长曝光时间与短曝光时间之间切换时(例如，当长曝光像素变得饱和时)，在那些区域中将出现图像噪声结构的可见变化。根据本发明的一些实施例的曝光时间的优化有助于最小化此伪影。噪声差异伪影与模糊伪影不同。在模糊伪影中，目的是减少曝光时间以减少图像中的运动条纹和模糊。
[0157]
因此，图像伪影可能在hdr图像中显现为基于长曝光像素值的图像区域与基于短曝光像素值的图像区域之间的显而易见的边界。在大区域从较黑暗平稳地过渡到较明亮的情况下，这种伪影可以特别明显。在从彩色sme hdr图像传感器810生成的hdr图像中可能会出现类似的图像伪影。
[0158]
在一个实施例中，步骤2010包括步骤2012：改变长曝光时间，以最小化在对由sme hdr图像传感器捕获的图像数据进行去马赛克时使用长曝光像素值的与使用短曝光像素值之间的过渡点处的长曝光像素值与短曝光像素值之间的过渡点噪声差异。步骤2012可以设置长曝光时间以最小化或减少在过渡点处具有像素值的像素的数量。当方法2000应用于彩色sme hdr图像传感器时，步骤2012可以使一种所选颜色、若干种颜色中的每一种或光亮度值的过渡点噪声差异最小化。
[0159]
图21是在方法2000的步骤2020中计算的示例熵方差的绘图2100。绘图2100示出了在2毫秒的长曝光时间下随曝光时间比率(即，长曝光时间与短曝光时间的比率)而变的var(s
i
)。绘图2100示出了在曝光比率8下的最小值。因此，如果基于绘图2100，则方法2000的步骤2020将短曝光时间设置为0.25毫秒。
[0160]
方法2000可以扩展至利用多于两个不同的曝光时间操作的smr hdr图像传感器(例如，实施像素组930的彩色sme hdr图像传感器810)的自动曝光。在一种这样的实施方式中，方法2000在步骤2010中优化长曝光时间并且然后在步骤2020中优化剩余曝光时间。当被包括至利用多于两个不同的曝光时间操作的自动曝光smr hdr图像传感器时，步骤2012最小化两个最接近的曝光时间之间(例如，长曝光时间与最接近的中间曝光时间之间)的过渡点噪声差异。
[0161]
图22图示了用于优化sme hdr图像传感器的长曝光时间的一种方法2200。当应用于双曝光时间sme hdr图像传感器时，方法2200确定使长曝光像素值与短曝光像素值之间的过渡点噪声差异最小化的长曝光时间。尽管以下将方法2200讨论为涉及双曝光时间sme hdr图像传感器，但是，在不脱离其范围的情况下，如上文针对方法2000的步骤2010所讨论的，方法2200可以应用于具有多于两个不同曝光时间的sme hdr图像传感器。方法2200是方法2000的步骤2012的实施例。方法2000的步骤2010可以可选地结合对如脸部曝光和曝光不足的像素的数量等其他度量的考虑，应用方法2200来优化长曝光时间。
[0162]
在步骤2210中，方法2200将sme hdr图像传感器的长曝光时间设置为初始值，并且将sme hdr图像传感器的短曝光时间设置为最小值。接下来，方法2200继续进行以执行一系列步骤的一次或多次迭代以优化长曝光时间，同时将短曝光时间保持在步骤2210中定义的最小值。每次迭代包括步骤2220、2230、2240、2250、决策2260和取决于决策2260的结果的步骤2270或2280。
[0163]
步骤2220执行方法500的步骤510、520和530的多次重复以生成初步hdr直方图。对于彩色sme hdr图像传感器，步骤2220反而可以执行步骤1110、1120和1130以生成光亮度值的初步hdr直方图，或者步骤2220可以针对一种所选颜色或针对若干种不同的颜色执行步骤510、520、530。
[0164]
步骤2230从在步骤2220中生成的初步hdr直方图估计长曝光时间的目标值。例如，对于hdr直方图1900，可以有利的是调整长曝光时间，使得谷1950上移至下限范围1920与上限范围1930之间的过渡点，或使得谷1952下移至下限范围1920与上限范围1930之间的过渡点。因此，在此示例中，2230可以设置目标长曝光时间，以将谷1950或谷1952移位到下限范围1920与上限范围1930之间的过渡点。替代性地，步骤2230可以设置目标长曝光时间，使初步hdr直方图的平均值、中值或众数移位远离过渡点。
[0165]
对于彩色sme hdr图像传感器，分别地，步骤2230可以基于光亮度值的初步hdr直方图来估计目标值，步骤2230可以基于一种所选颜色的像素值的初步hdr直方图来估计目标值，或者步骤2230可以基于对与若干种不同颜色相关联的若干个初步hdr直方图的共同考虑来估计目标值。
[0166]
图23、图24和图25图示了步骤2220中的hdr直方图生成和步骤2230中的对目标长曝光时间的估计的一个示例。在以下描述中，图23、图24和图25最好与图22一起观看。图23是如场景190等场景的一个示例光亮度直方图2300。图24是在步骤2230中基于来自由光亮度直方图2300表征的场景的原始图像数据280生成的示例hdr直方图2400，其中，利用在步骤2210中定义的初始长曝光时间和最小短曝光时间来捕获原始图像数据280。在此示例中，长曝光像素值与短曝光像素值之间的过渡点2410处于大约2
10
处。为了使直方图的大部分移动远离过渡点2410，步骤2330可以将减少的长曝光时间作为目标。图25示出了通过模拟减少的长曝光时间对hdr直方图2400的数据的影响而形成的模拟的hdr直方图2500。在此示例中，目标长曝光时间是将模拟的hdr直方图2500的平均像素值<v>定位在过渡点2410的18％处的曝光时间。因此，在此示例中，目标长曝光时间为
[0167][0168]
如在图25中明显的，模拟的hdr直方图2500的大部分移位远离过渡点2410。在类似但更通用的示例中，可以将目标长曝光时间设置为
[0169][0170]
其中，a小于一，例如介于0.1与0.5之间。在替代性示例中，目标长曝光时间被设置为
[0171][0172]
其中，p(v)是hdr直方图2400的另一个统计参数，如中值、几何平均值或众数。
[0173]
针对在步骤2230中估计的目标长曝光时间附近的长曝光时间的范围，步骤2240计算指示将由长曝光时间导致的过渡点噪声差异的参数。参数可以是过渡点噪声差异的期望值，或随长曝光时间而变与过渡点噪声差异成比例的参数的期望值。对于彩色sme hdr图像
传感器，在步骤2240中计算出的参数可以涉及光亮度值之间的过渡点噪声差异，或者步骤2240可以单独地计算一种或多种颜色的参数。步骤2240的以下描述适用于与光亮度值、单色sme hdr图像传感器的像素值或与彩色sme hdr图像传感器的一种颜色相关联的像素值相关联的参数的计算。然而，描述容易扩展到若干组参数的计算，每组参数与不同的颜色相关联。在步骤2240中考虑的长曝光时间的范围从最小长曝光时间跨越t
long_min
到最大长曝光时间t
long_max
。在一个示例中，t
long_min
＝t
long_target
‑
δt and t
long_max
＝t
long_target
+δt，其中，δt是某个百分比的目标长曝光时间t
long_target
。在一个示例中，δt介于目标长曝光时间t
long_target
的5％与50％之间。在另一个示例中，δt介于目标长曝光时间t
long_target
的15％与25％之间。在步骤2240中，将初始长曝光时间t
long_target
缩放到经修改长曝光时间t
long_mod
相当于将(在步骤2220中生成的)hdr直方图的仓值v缩放到经修改仓值v
′
＝v*t
long_mod
/t
long_initial
。步骤2240然后评估在从最小经修改仓值v
′
min
＝v*
tlong_min
/t
long_initial
到最大经修改仓值v
′
max
＝v*
tlong_max
/t
long_initial
的范围内的多个经修改仓值中的每一个处的过渡点噪声差异。
[0174]
在实施例中，步骤2240计算过渡点噪声差异。在此实施例中，步骤2240可以应用噪声模型。在一种实施方式中，步骤2240应用上文关于图14和图17所讨论的线性噪声模型σ2＝mv+b。在此实施方式中，过渡点处的短曝光像素值与长曝光像素值之间的噪声水平差可以写为
[0175][0176]
其中，r是长曝光时间与短曝光时间的比率，并且v
t
是通过将短曝光像素值放大到长曝光像素值的比例而形成的hdr直方图中的过渡点的像素值。v
t
是例如长曝光像素值的饱和度阈值(例如，饱和度阈值1520)。可以将影响hdr图像的过渡点噪声差异ε
noise
计算为通过过渡点处的像素计数p(v
t
)加权的噪声水平差δ(σ2)：
[0177]
ε
noise
＝δ(σ2)p(v
t
)。
[0178]
然而，由于δ(σ2)与长曝光时间无关并且仅p(v
t
)取决于长曝光时间，因此，p(v
t
)本身关于过渡点噪声差异具有足够的信息以确定哪个长曝光时间使过渡点噪声差异ε
noise
最小化。因此，在另一个实施例中，步骤2240仅计算介于t
long_min
与t
long_max
之间的范围内的多个长曝光时间中的每一个的p(v
t
)，而不计算δ(σ2)和ε
noise
。
[0179]
步骤2250从在步骤2240中计算的参数推导与过渡点相对应的长曝光时间的修正值，该过渡点与在步骤2250中计算的最小过渡点噪声差异值相关联的仓一致。因此通过步骤2250处理的参数可以是p(v
t
)、ε
noise
或指示过渡点噪声差异的另一个参数。步骤2250可以以将过渡点放置在直方图中的具有相对较少计数的定位的方式来修正长曝光时间。在一个实施例中，步骤2250选择在步骤2240中评估的范围内使p(v
t
)最小化的长曝光时间。在步骤2240单独地处理若干种不同颜色的实施例中，步骤2250共同考虑与这些不同颜色相关联的参数，以修正长曝光时间的值。
[0180]
步骤2260是确定方法2200继续进行到步骤2270还是步骤2280的决策步骤。如果在步骤2250中推导的修正长曝光时间小于在步骤2210中设置的初始长曝光时间，则方法2200继续进行到步骤2270。否则，方法2200继续进行到步骤2280。步骤2270将步骤2210的初始长曝光时间更新为在步骤2250中推导的修正长曝光时间，并且方法2200执行步骤2220、2230、
2240、2250、2260和2270或2280的后续迭代。步骤2280输出在步骤2250中推导的修正长曝光时间作为最佳长曝光时间并且终止方法2200。
[0181]
在不脱离其范围的情况下，方法2200可以省略步骤2240和2250，反而继续进行到利用在步骤2230中估计的目标长曝光时间的决策步骤2260。
[0182]
现在参考在步骤2012中实施方法2200的方法2000的实施例，步骤2020也可以将过渡点噪声差异视为优良性度量的一部分。在一个这种实施例中，步骤2020最小化复合误差度量ε
total
＝var(s
i
)+a*ε
noise
，其中，a是定义了熵方差var(s
i
)和过渡点噪声差异ε
noise
的相对重要性的预定义参数。
[0183]
图26至图31提供了在方法2000的实施例中生成和处理的数据的示例，该实施例在步骤2012中实施方法2200并且将过渡点噪声差异视为步骤2020中的优良性度量或步骤2020中的优良性度量的一部分。在以下描述中，图26至图31最好与图20和图22一起观看。
[0184]
图26是在方法2200的步骤2220(作为方法2000的步骤2010的一部分)中生成的示例初步hdr直方图2600。直方图2600基于长曝光时间1毫秒和长短曝光时间比r 16。图27是根据在方法2200的步骤2280(作为方法2000的步骤2010的一部分)中输出的最佳长曝光时间而移位的示例hdr直方图2700。对于hdr直方图2700，长短曝光时间比r为16。图28至图31是方法2000的步骤2020中考虑的示例hdr直方图2800、2900、3000和3100。hdr直方图2800、2900、3000和3100中的每一个基于使用方法2200在步骤2010中确定的最佳长曝光时间，但是对于hdr直方图2800、2900、3000和3100中的每一个，长短曝光时间比r是不同的，分别为2、4、8和16。步骤2020可以可选地结合如上文关于图5所讨论的那些参数等其他参数，以在其优良性度量中包括ε
noise
例如作为复合误差度量ε
total
的一部分。
[0185]
图32和图33图示了包括用于缩小场景3290的动态范围的梯度滤波器的一个hdr相机3200。图32是hdr相机3200的截面视图，并且图33是hdr相机3200的图像传感器的平面视图。在以下描述中，最好一起观看图32和图33。
[0186]
hdr相机3200是hdr相机102的实施例并且可以由曝光时间控制器100根据方法500、1000或1100自动曝光。hdr相机3200包括sme hdr图像传感器110、梯度滤波器3240、放置在图像传感器110与梯度滤波器3240之间的成像物镜3230以及控制器3250。梯度滤波器3240是中性密度滤波器，其透射系数在至少一个维度上展现出梯度。在图32和图33中描绘的实施例中，梯度滤波器3240的透射系数由一维的线性梯度表征。梯度滤波器3240的此实施例可以适合于具有明亮的上半部分和昏暗的下半部分的场景3290的图像捕获，如地平线的照片。然而，在不脱离其范围的情况下，梯度滤波器3240可以展现出更复杂的透射系数变化。
[0187]
在其通往像素阵列220的途中穿过梯度滤波器3240的较少透射部分的光线3292衰减得比在其通往像素阵列220的途中穿过梯度滤波器3240的较多透射部分的光线3294更多。拍摄者可以选择梯度滤波器3240并且使所选梯度滤波器3240定向以使场景3290的较明亮部分变昏暗。在图32和图33中描绘的情景中，梯度滤波器3240使场景3290的上部比场景3290的下部更昏暗。梯度滤波器3240的功能类似于在像素阵列220上应用虚拟掩模3310，其中虚拟掩模3310的透射系数以与梯度滤波器3240的透射系数类似的方式变化。
[0188]
通过梯度滤波器3240减小场景3290的动态范围会减少对sme hdr图像传感器110的动态范围要求。例如，梯度滤波器3240可以减少由sme hdr图像传感器110生成的hdr图像
中曝光不足或曝光过度的像素的数量，反而将这种像素带入到sme hdr图像传感器110的动态范围中以捕获对应场景部分的全部信息。
[0189]
控制器3250至少控制由sme hdr图像传感器110进行的图像捕获的各方面。控制器3250可以处理由hdr相机3200中的sme hdr图像传感器110生成的图像数据，以补偿梯度滤波器3240的存在。因此，与不包括梯度滤波器3240和控制器3250的hdr相机102的实施例相比，梯度滤波器3240和控制器3250协作以进一步扩展hdr相机3200的动态范围。控制器3250还可以自动曝光sme hdr图像传感器110。在一个实施例中，控制器3250包括曝光时间控制器100。
[0190]
图34图示了用于重构当由hdr相机3200使用梯度滤波器3240捕获时场景3290的原始动态范围的至少一部分的一种方法3400。方法3400可以由控制器3250执行。方法3400包括缩放sme hdr图像传感器110的输出图像以补偿梯度滤波器3240的存在的步骤3420。在步骤3420中应用的缩放至少部分地重构在通过梯度滤波器3240非均匀地衰减之前场景3290的原始动态范围。步骤3420可以通过虚拟掩模3310的反演来缩放sme hdr图像传感器110的输出图像，以反转由梯度滤波器3240施加的衰减。在一种情景下，步骤3420重构场景3290的整个动态范围。在另一种情景下，即使被梯度滤波器3240减小，场景3290的动态范围也超过sme hdr图像传感器110的动态范围。在此情景下，步骤3240仅部分地重构场景3290的原始动态范围。步骤3240可以基于在控制器3250中编码或者由用户向其提供的梯度滤波器3240的规范。
[0191]
在实施例中，方法3400进一步包括执行方法500(或方法1000或1100)以在存在梯度滤波器3240的情况下自动曝光sme hdr图像传感器110的步骤3410。
[0192]
图35图示了用于自动曝光sme hdr图像传感器的视频流捕获的一种方法3500，其中视频流的时间明亮度不稳定性在捕获后减少。方法3500可以由hdr相机402执行或者由曝光时间控制器400与hdr图像生成器250一起执行。
[0193]
在视频流捕获期间，方法3500执行步骤3510和3520的迭代，以在视频流的捕获期间自动曝光sme hdr图像传感器。方法3500可以连续或有规律地执行步骤3510和3520，以在场景改变时自动曝光sme hdr图像传感器。方法3500进一步包括协作以生成hdr视频流的步骤3530和3540。在实施例中，方法3500还包括捕获视频流的步骤3502。步骤3502可以由sme hdr图像传感器110执行。
[0194]
步骤3510从视频流的帧取得原始图像数据，该原始图像数据包括来自sme hdr图像传感器的由长曝光时间表征的像素的长曝光像素值和来自sme hdr图像传感器的由短曝光时间表征的像素的短曝光像素值。在步骤3510的一个示例中，曝光时间控制器400从sme hdr图像传感器110取得原始图像数据280的帧。在不脱离其范围的情况下，在步骤3510中取得的图像数据可以进一步包括来自sme hdr图像传感器的分别由一个或多个中间曝光时间表征的像素的一组或多组中间曝光像素值。步骤3520执行方法500的步骤520、530、540、550(以及可选地560)和570，以至少部分地基于优良性度量(以及可选地面部曝光)来将长曝光时间和短曝光时间中的至少一项调整并输出到sme hdr图像传感器。应当理解，步骤3520可以根据方法1000或1100来实施步骤520、530、540、550(以及可选地560)和570。在步骤3520的一个示例中，曝光时间控制器400调整长曝光时间292和短曝光时间294中的至少一项，并且将曝光时间集合290输出到sme hdr图像传感器110。
[0195]
步骤3530针对视频流的每个帧产生hdr图像，以产生hdr视频流。在步骤3530的一个示例中，hdr图像生成器250由从sme hdr图像传感器110接收的视频流的每个帧生成hdr图像270。通过步骤3530进行处理以生成hdr影像的帧的帧速率可以与通过步骤3510进行处理以自动曝光sme hdr图像传感器的帧的帧速率相同或不同。在一种实施方式中，通过步骤3510和3520进行的自动曝光比步骤3530中处理的视频流的帧速率慢。在另一种实施方式中，通过步骤3510和3520进行的自动曝光比步骤3530中处理的视频流的帧速率快。例如，方法3500可以执行步骤3510和3520的若干次迭代，以在捕获在步骤3530中进行处理以得到hdr影像的每个帧之前自动曝光sme hdr图像传感器。
[0196]
在某些情景下，视频流捕获的自动曝光(借助于步骤3510和3520)可能导致在步骤3530中生成的视频流中出现明亮度跳跃。为了解决此问题，步骤3540对hdr视频流进行后处理，以减少hdr视频流的时间明亮度不稳定性。hdr图像生成器250可以执行步骤3540。在实施例中，步骤3540包括将每个hdr图像乘以(a)固定参考灵敏度与(b)sme hdr图像传感器在捕获生成hdr图像的帧期间使用的曝光时间处的灵敏度的比率的步骤3542。
[0197]
在不脱离其范围的情况下，方法3500可以被适配成自动曝光除sme hdr图像传感器之外的其他类型的图像传感器，如时间复用曝光hdr图像传感器或单曝光时间图像传感器。当方法3500被适配成通过单曝光时间图像传感器自动曝光视频捕获时，在步骤3530中生成的图像可以不是hdr图像。
[0198]
图36图示了用于自动曝光sme hdr图像传感器的视频流捕获的一种方法3600，该方法根据未来场景的预测明亮度来优化自动曝光。方法3600可以由hdr相机402执行或者由曝光时间控制器400与hdr图像生成器250一起执行。
[0199]
在视频流捕获期间，方法3600执行步骤3510、3620、3630和3640的迭代，以在视频流的捕获期间自动曝光sme hdr图像传感器，其中，自动曝光将要捕获的场景的预期明亮度考虑在内。方法3600可以连续或有规律地执行步骤3510、3620、3630和3640，以在场景改变时自动曝光sme hdr图像传感器。方法3600可以进一步包括协作以生成hdr视频流的步骤3530和3540，如上文关于图35所讨论的。
[0200]
步骤3510从视频流的帧取得原始图像数据，如上文关于图35所讨论的。除了步骤3620不将(多个)经调整的曝光时间输出到sme hdr图像传感器以外，步骤3620类似于步骤3520。步骤3630分析原始视频流的时间明亮度变化，以预测要由sme hdr图像传感器捕获的后一帧的明亮度。在步骤3630的一个示例中，曝光时间控制器400分析由sme hdr图像传感器110捕获的原始视频流的时间明亮度变化，以预测要由sme hdr图像传感器110捕获的下一帧或后一帧的明亮度。步骤3640基于在步骤3630中预测的明亮度来操纵如通过步骤3620调整的(多个)曝光时间，以进一步将(多个)曝光时间调整成对于要由sme hdr图像传感器捕获的后一帧是最佳的。步骤3630可以由曝光时间控制器400执行，使得曝光时间控制器400将如在步骤3620和3640中调整并进一步操纵的曝光时间集合290输出到sme hdr图像传感器110，以在捕获后一帧时由sme hdr图像传感器110应用。
[0201]
方法3600可以进一步包括用于生成hdr视频流的步骤3530，如上文关于图35所讨论的。可选地，方法3600还包括用于减少hdr视频流的时间明亮度不稳定性的步骤3540，如上文关于图35所讨论的。
[0202]
在不脱离其范围的情况下，方法3600可以被适配成自动曝光除sme hdr图像传感
器之外的其他类型的图像传感器，如时间复用曝光hdr图像传感器或单曝光时间图像传感器。当方法3600被适配成通过单曝光时间图像传感器自动曝光视频捕获时，在步骤3530中生成的图像可以不是hdr图像。
[0203]
图37图示了具有局部曝光时间控制的一个sme hdr图像传感器3710。sme hdr图像传感器3710是sme hdr图像传感器110的实施例并且可以在hdr相机102中实施。sme hdr图像传感器3710包括像素阵列3720和局部曝光时间控制电路3750。像素阵列3720被分成局部区域3730，并且局部曝光时间控制电路3750被配置成独立地设置每个局部区域3730的曝光时间。例如，局部曝光时间控制电路3750可以将一组曝光时间分配给一个局部区域3730的像素3740，并且将另一组曝光时间分配给另一个局部区域3730的像素3740。
[0204]
在不脱离其范围的情况下，像素阵列3720可以被分成比图37中描绘的局部区域更多或更少的局部区域3730，局部区域3730可以具有与图37中描绘的那些局部区域不同的大小和形状，并且局部区域3730的大小和/或形状在不同的局部区域3730之间可以有所不同。
[0205]
在一个实施例中，像素阵列3720配置有像素组226，并且每个局部区域3740包括至少一个像素组226。在另一个实施例中，像素阵列3720配置有像素组830，并且每个局部区域3740包括至少一个像素组830。在又另一个实施例中，像素阵列3720配置有像素组930，并且每个局部区域3740包括至少一个像素组930。
[0206]
图38图示了用于sme hdr图像传感器的局部自动曝光的一种方法3800。方法3800可以用于sme hdr图像传感器3710的局部自动曝光，并且为像素阵列3720的不同的相应局部区域3730设置不同的曝光时间。
[0207]
方法3800执行用于从sme hdr图像传感器的曝光取得原始图像数据的步骤510，如上文关于图5所描述的。在方法3800的步骤510的一个示例中，曝光时间控制器400从sme hdr图像传感器3710取得原始图像数据280的帧。
[0208]
接下来，在步骤3820中，针对sme hdr图像传感器的像素阵列的多个局部区域中的每一个，方法3800执行步骤520、530、540和550(以及可选地步骤560)，以针对局部区域调整长曝光时间和短曝光时间中的至少一项。因此，步骤3820允许针对每个局部区域进行独立的曝光时间调整。应当理解，步骤3820可以针对局部区域中的一个或多个局部区域调整(多个)曝光时间，同时针对任何剩余局部区域保持曝光时间不变。步骤3820可以根据方法1000或1100来实施步骤520、530、540和550(以及可选地步骤560)。在步骤3820的一个示例中，曝光时间控制器400针对sme hdr图像传感器3710的一个或多个局部区域3730中的每一个调整长曝光时间292和/或短曝光时间294。
[0209]
在不脱离其范围的情况下，方法3800可以应用于以多于两个不同的曝光时间操作的sme hdr图像传感器的自动曝光，在这种情况下，步骤510和3820进一步处理一组或多组中间曝光像素值，并且步骤3820可以针对局部区域中的一个或多个局部区域中的每一个调整一个或多个中间曝光时间。
[0210]
在步骤3840中，方法3800将如经调整的曝光时间输出到sme hdr图像传感器。在步骤3840的一个示例中，曝光时间控制器400将多个曝光时间集合290输出到sme hdr图像传感器3710的相应多个局部区域3730。
[0211]
在某些实施例中，方法3800进一步包括在步骤3820与3840之间执行的步骤3830。步骤3830修正如在步骤3820中经调整的局部曝光时间，以使不同局部区域之间的曝光时间
过渡平滑。在一个这种实施例中，步骤3830对相邻区域的曝光时间之间的差施加上限。在另一个这种实施例中，步骤3830将空间平滑滤波器应用于如在步骤3820中经调整的曝光时间。在又另一个这种实施例中，步骤3820以小于sme hdr图像传感器的局部区域的空间分辨率的局部区域的空间分辨率执行，并且步骤3830利用sme hdr图像传感器的局部区域的全空间分辨率来使曝光时间过渡平滑。曝光时间控制器400可以执行步骤3830。
[0212]
方法3800可以进一步包括步骤502，如上文关于图5所讨论的。在步骤502的一个示例中，如在方法3800中实施的，sme hdr图像传感器3710捕获原始图像数据280。
[0213]
方法3800可以以与上文针对方法500所讨论的方式类似的方式执行步骤510、3820和3840(以及可选地还有步骤502和3830之一或两者)的若干次迭代或重复，以针对sme hdr图像传感器的每个局部区域优化曝光时间。
[0214]
图39图示了用于至少部分地基于熵方差var(s
i
)的最小化来自动曝光sme hdr图像传感器的一个曝光时间控制器3900。曝光时间控制器3900是曝光时间控制器100的实施例，并且可以与hdr相机3902中的sme hdr图像传感器110耦接。hdr相机3902是hdr相机102的实施例。
[0215]
曝光时间控制器3900包括熵方差优化器3950，该熵方差优化器处理从sme hdr图像传感器110接收的原始图像数据280，以基于熵方差var(s
i
)的最小化来优化曝光时间集合290。曝光时间控制器3900还可以将其他度量(如过渡点噪声差异、面部曝光和/或包括上文关于方法500的步骤540和550所讨论的那些度量的其他度量)考虑在内。
[0216]
在实施例中，熵方差优化器3950包括用于合成hdr直方图的合成器430。在此实施例中，合成器430可以从多个曝光时间特定的直方图合成hdr直方图，并且熵方差优化器3950可以进一步包括噪声去除器3960，该噪声去除器从每个曝光时间特定的直方图中去除噪声影响。
[0217]
曝光时间控制器3900可以自动曝光以两个曝光时间(即，长曝光时间292和短曝光时间294)操作的sme hdr图像传感器110的实施例。替代性地，曝光时间控制器3900可以自动曝光以多于两个曝光时间(即，长曝光时间292、短曝光时间294和一个或多个中间曝光时间)操作的sme hdr图像传感器110的实施例。曝光时间控制器3900能够自动曝光彩色sme hdr图像传感器110以及单色sme hdr图像传感器110。
[0218]
图40图示了用于至少部分地基于熵方差var(s
i
)的最小化来自动曝光sme hdr图像传感器的一种方法4000。方法4000是方法500的实施例并且可以由曝光时间控制器3900执行以自动曝光sme hdr图像传感器110。方法4000包括步骤4010和4020。步骤4010至少部分地基于熵方差var(s
i
)的最小化来确定最佳曝光时间设置，并且步骤4020将最佳曝光时间设置输出到sme hdr图像传感器。步骤4010还可以至少部分基于来自两个不同曝光时间设置的像素值之间的噪声差异的最小化来确定最佳曝光时间设置。例如，这些两个不同曝光时间设置可以对应于两个最接近的曝光时间设置。例如，曝光时间控制器3900可以(a)在步骤4010中处理来自sme hdr图像传感器110的原始图像数据280并且采用熵方差优化器3950来确定最佳曝光时间集合290，并且(b)在步骤4020中将最佳曝光时间集合290输出到sme hdr图像传感器110。在示例中(图中未示出)，曝光时间控制器3900可以被另外配置成最小化来自两个不同曝光时间设置(例如，两个最接近的曝光时间设置)的像素值之间的噪声差异。
[0219]
在实施例中，最佳曝光时间可以根据图22的方法2200确定。根据上文描述的方法2200的方法步骤2210，该两个曝光时间设置可以涉及被设置为初始值的长曝光时间和被设置为最小值的短曝光时间。
[0220]
步骤4010处理来自sme
‑
hdr图像传感器在不同的相应曝光时间设置下的相应多个单独曝光的像素值的多个hdr直方图。针对这些多个hdr直方图中的每一个，步骤4010评估hdr直方图的单独仓对hdr直方图的总熵的贡献的方差var(s
i
)，以确定与熵方差var(s
i
)的最小值相对应的图像传感器的最佳曝光时间设置。
[0221]
在实施例中，步骤4010针对每个不同的曝光时间设置执行步骤4014和4018。步骤4014从在曝光时间设置中的相应曝光时间设置下的曝光生成像素值的hdr直方图的实例。在步骤4014的一个示例中，合成器430由从sme hdr图像传感器110取得的原始图像数据280的帧生成hdr直方图。步骤4014可以包括从与在相应多个不同曝光时间下操作的sme hdr图像传感器的相应多个像素子集相关联的多个曝光时间特定的直方图合成hdr直方图的步骤4016。在步骤4016的一个示例中，合成器430从长曝光像素值282的直方图和短曝光像素值284的直方图合成hdr直方图。步骤4018计算每个hdr直方图的熵方差var(s
i
)。
[0222]
在方法4000的实施例中，其中，步骤4014包括步骤4016，步骤4010可以在步骤4014之前执行步骤4012。步骤4012从步骤4016中用于合成hdr直方图的每个曝光时间特定的直方图中去除噪声影响。步骤4014类似于上文关于图14和图17所讨论的步骤1440和1450。在步骤4012的一个示例中，噪声去除器3960从(a)长曝光像素值282的直方图和(b)短曝光时间像素值284的直方图中的每一项中去除噪声影响。
[0223]
步骤4010可以以迭代的方式执行步骤4014和4018(以及可选地4012)的重复，其中，除了第一次迭代以外的每次迭代都基于利用如在先前迭代中确定的曝光时间设置而捕获的原始图像数据。步骤4010还可以将除熵方差之外的其他度量(如过渡点噪声差异、面部曝光和/或其他度量、上文关于方法500的步骤540和550讨论那些度量)考虑在内。
[0224]
方法4000可以自动曝光单色sme hdr图像传感器和彩色sme hdr图像传感器。当应用于彩色sme hdr图像传感器(如彩色sme hdr图像传感器810)的自动曝光时，方法4000可以最小化在步骤4014和4018中处理的光亮度值hdr直方图的熵方差var(s
i
)，或者方法4000可以最小化在步骤4014和4018中处理的一个或多个颜色特定的像素值的hdr直方图的熵方差var(s
i
)。
[0225]
在不脱离其范围的情况下，方法4000可以应用于被配置成在多于两个不同的曝光时间下操作的sme hdr图像传感器。在这种情景下，方法4000可以进一步分别处理一组或多组中间曝光时间值并且确定一个或多个最佳中间曝光时间。同样在不脱离其范围的情况下，方法4000可以应用于时间复用曝光hdr图像传感器的自动曝光。
[0226]
图41图示了用于至少部分地基于熵方差var(s
i
)的最小化来自动曝光sme hdr图像传感器的一个计算机4100。计算机4100是曝光时间控制器3900的实施例并且可以与sme hdr图像传感器110一起在hdr相机3902中实施。替代性地，计算机4100可以被提供为要与第三方sme hdr图像传感器一起实施的独立产品。计算机4100包括处理器4110、非暂态存储器4120和接口4190。存储器4120包括机器可读指令4130并且可以进一步包括动态数据存储设备4160。
[0227]
机器可读指令4130包括数据输入指令4132、熵方差指令4140和数据输出指令
4134。在由处理器4110执行时，数据输入指令4132经由接口4190从sme hdr图像传感器取得原始图像数据(例如，原始图像数据280)。原始图像数据要在方法4000的步骤4010中使用。在由处理器4110执行时，熵方差指令4140和数据输出指令4134分别执行方法4000的步骤4010和4020。熵方差4132可以包括合成指令4142和噪声去除指令4150之一或两者，该合成指令和该噪声去除指令在由处理器4110执行时分别执行方法4000的步骤4016和4012。数据输出指令4134被配置成经由接口4190输出曝光时间集合290。
[0228]
动态数据存储设备4160可以存储以下各项中的一项或多项：(a)在由处理器4110执行数据输入指令4132时经由接口4190接收的长曝光像素值282和短曝光像素值284；(b)在由处理器4110执行合成指令4142时生成的一个或多个hdr直方图770；(c)在由处理器4110执行熵方差指令4140时生成的一个或多个熵方差值4172；以及(d)在由处理器4110执行熵方差指令4140时生成的长曝光时间292和短曝光时间294。
[0229]
应当理解，机器可读指令4130可以被提供为在非暂态存储器中编码以用于与第三方处理器4110和接口4190一起实施的独立软件产品。在不脱离其范围的情况下，作为独立软件产品提供的计算机4100和机器可读指令4130中的任一项可以应用于时间复用曝光hdr图像传感器的自动曝光。
[0230]
图42图示了用于至少部分地基于熵方差var(s
i
)的最小化来自动曝光单曝光时间图像传感器的一个曝光时间控制器4200。除了被适配成优化单个曝光时间而不是两个或更多个曝光时间以外，曝光时间控制器4200类似于曝光时间控制器3900。曝光时间控制器4200可以与相机4202中的单曝光时间图像传感器4210耦接。单曝光时间图像传感器4210包括全部在相同曝光时间下曝光的像素4230的像素阵列4220。
[0231]
曝光时间控制器4200包括熵方差优化器4250，该熵方差优化器处理从单曝光时间图像传感器4210接收的原始图像数据4280(包括像素值4282)，以基于像素值4282的直方图的熵方差var(s
i
)的最小化来优化单曝光时间图像传感器4210的曝光时间4290。曝光时间控制器4200可以进一步将其他度量(如其他基于熵的度量、面部曝光、曝光过度的像素4230的数量和/或曝光不足的像素4230的数量)考虑在内。熵方差优化器4250可以包括从像素值4282的直方图中去除噪声影响的噪声去除器4260。
[0232]
曝光时间控制器4200能够自动曝光彩色图像传感器以及单色图像传感器。
[0233]
图43图示了用于至少部分地基于熵方差var(s
i
)的最小化来自动曝光单曝光时间图像传感器的一种方法4300。除了仅优化适用于单曝光时间图像传感器的所有像素的单个曝光时间以外，方法4300类似于方法4000。方法4300可以由曝光时间控制器4200执行，以自动曝光单曝光时间图像传感器4210。方法4300包括步骤4310和4320。步骤4310至少部分地基于熵方差var(s
i
)的最小化来确定最佳曝光时间，并且步骤4320将最佳曝光时间输出到单曝光时间图像传感器。例如，曝光时间控制器4200可以(a)在步骤4310中处理来自单曝光时间图像传感器4210的原始图像数据4280，并且采用熵方差优化器4250来确定最佳曝光时间4290，并且(b)在步骤4320中将最佳曝光时间4290输出到单曝光时间图像传感器4210。
[0234]
步骤4310处理来自单曝光时间图像传感器在不同的相应曝光时间下的相应多个单独曝光的像素值的多个直方图。针对这些多个直方图中的每一个，步骤4310评估直方图的单独仓对直方图的总熵的贡献的方差var(s
i
)，以确定与熵方差var(s
i
)的最小值相对应的图像传感器的最佳曝光时间。
[0235]
在实施例中，步骤4310针对每个不同的曝光时间执行步骤4312和4316。针对每个曝光时间，步骤4312从曝光时间下的曝光生成像素值的hdr直方图的实例。在步骤4312的一个示例中，熵方差优化器4250生成从单曝光时间图像传感器4210取得的像素值4282的直方图。步骤4316计算在步骤4312中生成的直方图的熵方差var(s
i
)。
[0236]
在实施例中，步骤4310在步骤4312与4316之间执行步骤4314。在步骤4316中进行熵方差计算之前，步骤4314从步骤4312中生成的直方图中去除噪声影响。步骤4314类似于上文关于图14和图17所讨论的步骤1440和1450。在步骤4314的一个示例中，噪声去除器4260从像素值4282的直方图中去除噪声影响。
[0237]
步骤4310可以以迭代的方式执行步骤4312和4316(以及可选地4314)的重复，其中，除了第一次迭代以外的每次迭代都基于利用如在先前迭代中确定的曝光时间设置捕获的原始图像数据。步骤4310还可以将除熵方差之外的其他度量(如其他基于熵的度量、面部曝光、曝光过度的像素4230的数量和/或曝光不足的像素4230的数量)考虑在内。
[0238]
方法4300可以自动曝光单色单曝光时间图像传感器和彩色单曝光时间图像传感器。当应用于彩色单曝光时间图像传感器(如具有拜尔滤色器阵列的单曝光时间图像传感器)的自动曝光时，方法4300可以最小化通过组合不同颜色的像素值4282生成的光亮度值的直方图的熵方差var(s
i
)，或者方法4300可以最小化颜色特定的像素值4282的一个或多个直方图的熵方差var(s
i
)。
[0239]
图44图示了用于至少部分地基于熵方差var(s
i
)的最小化来自动曝光单曝光时间图像传感器的一个计算机4400。计算机4400是曝光时间控制器4200的实施例并且可以与单曝光时间图像传感器4210一起在相机4202中实施。替代性地，计算机4400可以被提供为要与第三方单曝光时间图像传感器一起实施的独立产品。计算机4400包括处理器4410、非暂态存储器4420和接口4490。存储器4420包括机器可读指令4430并且可以进一步包括动态数据存储设备4460。
[0240]
机器可读指令4430包括数据输入指令4432、熵方差指令4440和数据输出指令4434。在由处理器4410执行时，数据输入指令4432经由接口4490从单曝光时间图像传感器取得原始图像数据(例如，原始图像数据4280)。原始图像数据要在方法4300的步骤4310中使用。在由处理器4410执行时，熵方差指令4440和数据输出指令4434分别执行方法4300的步骤4310和4320。熵方差指令4440可以包括噪声去除指令4450，该噪声去除指令在由处理器4410执行时执行方法4300的步骤4314。数据输出指令4434被配置成经由接口4490输出曝光时间4290。
[0241]
动态数据存储设备4460可以存储以下各项中的一项或多项：(a)在由处理器4410执行数据输入指令4432时经由接口4490接收的像素值4282；(b)在由处理器4410执行熵方差指令4440时生成的一个或多个直方图4470；(c)在由处理器4410执行熵方差指令4440时生成的一个或多个熵方差值4472；以及(d)在由处理器4410执行熵方差指令4440时生成的曝光时间4290。
[0242]
应当理解，机器可读指令4430可以被提供为在非暂态存储器中编码以用于与第三方处理器4410和接口4490一起实施的独立软件产品。
[0243]
图45图示了用于基于sme hdr图像传感器的长曝光像素的饱和度水平来自动曝光sme hdr图像传感器的一个曝光时间控制器4500。曝光时间控制器4500基本上将sme hdr图
像传感器的长曝光像素用作测光表。曝光时间控制器4500可以与hdr相机4502中的sme hdr图像传感器110耦接。曝光时间控制器4500包括饱和度评估器4510。
[0244]
在操作中，曝光时间控制器4500处理从sme hdr图像传感器110接收的原始图像数据280的一个帧或多个帧。饱和度评估器4510相对于饱和度阈值评估原始图像数据280的长曝光像素值282的水平。如果来自长曝光像素222的长曝光像素值282超过预定义的饱和度阈值，则曝光时间控制器4500为sme hdr图像传感器110的短曝光像素224中的至少一些短曝光像素设置减少的短曝光时间4592。为了补偿曝光时间的减少，曝光时间控制器4500为这些短曝光像素224设置增加的数字增益4594，使得短曝光时间与对应数字增益的乘积不变。
[0245]
在一个实施例中，曝光时间控制器4500将相同的短曝光时间4592和对应数字增益4594应用于sme hdr图像传感器110的所有短曝光像素224。在另一个实施例中，曝光时间控制器4500被配置成定义依赖于位置的短曝光时间4592和对应数字增益4594。在此实施例中，曝光时间控制器4500可以根据在这些局部空间区域中的每一个中由饱和度评估器4510确定的饱和度水平单独地为像素阵列220的不同局部空间区域设置短曝光时间4592(和对应数字增益4594)。
[0246]
在一种实施方式中，曝光时间控制器4500自动曝光单色sme hdr图像传感器110，其中，所有长曝光像素222和短曝光像素224具有相同的光谱灵敏度。在另一种实施方式中，曝光时间控制器4500自动曝光彩色sme hdr图像传感器110(如彩色sme hdr图像传感器810)，该彩色sme hdr图像传感器包括若干种不同的光谱灵敏度等级，例如红色、绿色和蓝色。在此实施方式中，曝光时间控制器4500可以(a)针对像素阵列220的所有短曝光时间像素224全局地，或者(b)针对像素阵列220的多个可单独配置的局部空间区域中的每一个内的所有短曝光时间像素224将相同的短曝光时间4592和对应数字增益4594定义至所有光谱灵敏度等级。
[0247]
图46图示了针对其像素阵列220的多个局部区域4622具有单独的短曝光时间控制的一个sme hdr图像传感器4610。sme hdr图像传感器4610是sme hdr图像传感器110的实施例。sme hdr图像传感器4610可以在hdr相机4502中实施，使得曝光时间控制器4500可以单独地自动曝光每个局部区域4622，如上文关于图45所讨论的。尽管为了说明清楚起见，图46仅描绘了两个可单独控制的局部区域4622，但是sme hdr图像传感器4610的像素阵列220可以被配置至多于两个可单独控制的局部区域4622。sme hdr图像传感器4610可以是单色图像传感器或彩色图像传感器(如彩色sme hdr图像传感器810)。
[0248]
图47图示了针对代表sme hdr图像传感器4710的每个光谱灵敏度等级和曝光时间的每个局部像素组具有单独的短曝光时间控制的一个sme hdr图像传感器4710。在sme hdr图像传感器4710的单色实施例中，其中，每个像素组226由一个长曝光像素222和一个短曝光像素224构成，并且短曝光时间4592和对应数字增益4594可针对每个短曝光像素224与其他短曝光像素224分开地配置。在配置有像素组830的sme hdr图像传感器4710的彩色实施例中，短曝光时间4592和对应数字增益4594可针对每个像素组830与其他像素组830分开地配置。
[0249]
图48图示了用于基于sme hdr图像传感器的长曝光像素的饱和度水平来自动曝光sme hdr图像传感器的一种方法4800。方法4800可以由曝光时间控制器4500执行至hdr相机
4502中的自动曝光sme hdr图像传感器110。
[0250]
在步骤4810中，方法4800从sme hdr图像传感器的曝光取得原始图像数据。原始图像数据包括来自sme hdr图像传感器的由长曝光时间表征的长曝光像素的长曝光像素值和来自sme hdr图像传感器的由短曝光时间表征的短曝光像素的短曝光像素值。在步骤4810的一个示例中，曝光时间控制器4500从sme hdr图像传感器110取得原始图像数据280(包括长曝光像素值282和短曝光像素值284)。
[0251]
接下来，方法4800针对sme hdr图像传感器的每个可单独配置的局部空间区域执行步骤4820和4830以及执行步骤4840(如果需要的话)。在一种情景下，sme hdr图像传感器限于在整个像素阵列中利用相同的短曝光时间和对应数字增益的操作。在此情景下，方法4800执行步骤4820和4830以及步骤4840(如果需要的话)一次以全局地设置短曝光时间和对应数字增益。在另一种情景下，sme hdr图像传感器被配置有两个或更多个可单独配置的局部空间区域，例如，如图46和图47所示。在此情景下，方法4800针对这些局部空间区域中的每一个执行步骤4820和4830以及步骤4840(如果需要的话)。
[0252]
步骤4820评估所考虑的局部空间区域中的至少一个所选长曝光像素的饱和度水平。在一个示例中，饱和度评估器4510评估局部空间区域中的至少一个长曝光像素222的饱和度。当局部空间区域包括多于一个的长曝光像素222时，步骤4820可以评估(a)这些长曝光像素222中的单个所选长曝光像素、(b)所有这些长曝光像素222或者(c)这些长曝光像素222的适当子集。
[0253]
步骤4830是决策步骤。如果如在步骤4820中评估的(多个)所选长曝光像素的长曝光像素值超过饱和度阈值，则方法4800继续进行到步骤4840。步骤4840确定(i)用于局部空间区域中的短曝光像素的减少的短曝光时间和(ii)补偿减少的短曝光时间的增加的数字增益值。在步骤4830和4840的一个示例中，曝光时间控制器4500基于饱和度评估器4510的评估来确定局部空间区域中的一个或多个所选长曝光像素的长曝光像素值超过饱和度阈值，并且曝光时间控制器4500然后定义减少的短曝光时间4592和补偿短曝光时间减少的对应数字增益4594。
[0254]
在步骤4840之后，方法4800执行步骤4860。针对由(多个)所选长曝光像素的超过饱和度阈值的长曝光像素值表征的每个局部空间区域，步骤4860将减少的短曝光时间和对应地增加的数字增益值输出到局部空间区域中的每个短曝光像素。在步骤4860的一个示例中，曝光时间控制器4500将短曝光时间4592和对应数字增益4594输出到受超过饱和度阈值的长曝光像素饱和度影响的每个局部空间区域。
[0255]
在被配置为具有两个或更多个可单独配置的局部空间区域的自动曝光sme hdr图像传感器的方法4800的实施例中，方法4800可以进一步包括介于步骤4840与4860之间的步骤4850。在步骤4840中进行的调整之后，步骤4850将空间平滑应用于短曝光时间和数字增益值。在此实施例的一种实施方式中，步骤4850对相邻局部空间区域的短曝光时间之间的差施加上限。在此实施例的另一种实施方式中，步骤4850将空间平滑滤波器应用于如在步骤4840中经调整的短曝光时间。在此实施例的又另一种实施方式中，步骤4840以小于sme hdr图像传感器的局部空间区域的空间分辨率的空间分辨率执行，并且步骤4850利用sme hdr图像传感器的局部空间区域的全空间分辨率来使曝光时间过渡平滑。曝光时间控制器4500可以执行步骤4850。
[0256]
方法4800可以应用于单色sme hdr图像传感器以及彩色sme hdr图像传感器的自动曝光，如上文针对曝光时间控制器4500所讨论的。
[0257]
图49图示了用于基于长曝光像素的饱和度水平来自动曝光sme hdr图像传感器的一个计算机4900。计算机4900是曝光时间控制器4500的实施例并且可以与sme hdr图像传感器110一起在hdr相机4502中实施。替代性地，计算机4900可以被提供为要与第三方sme hdr图像传感器一起实施的独立产品。计算机4900包括处理器4910、非暂态存储器4920和接口4990。存储器4920包括机器可读指令4930并且可以进一步包括动态数据存储设备4960。
[0258]
机器可读指令4930包括数据输入指令4932、饱和度评估指令4940、调整指令4942和数据输出指令4934。在由处理器4910执行时，数据输入指令4432执行方法4800的步骤4810以经由接口4990从sme hdr图像传感器取得原始图像数据(例如，原始图像数据280)。在由处理器4910执行时，饱和度评估指令4940执行方法4800的步骤4820。在由处理器4910执行时，调整指令4942执行方法4800的步骤4830以及步骤4840(如果需要的话)。在实施例中，机器可读指令4930进一步包括平滑指令4936，该平滑指令在由处理器4910执行时执行方法4800的步骤4850。数据输出指令4434被配置成经由接口4990输出短曝光时间4592和对应数字增益4594。
[0259]
动态数据存储设备4960可以存储以下各项中的一项或多项：(a)在由处理器4910执行数据输入指令4932时经由接口4990接收的长曝光像素值282和短曝光像素值284；(b)在由处理器4910执行饱和度评估指令4940时确定的一个或多个饱和度条件4970；以及(c)在由处理器4910执行调整指令4942时生成的一组或多组短曝光时间4592和对应数字增益4594。
[0260]
应当理解，机器可读指令4930可以被提供为在非暂态存储器中编码以用于与第三方处理器4910和接口4990一起实施的独立软件产品。
[0261]
特征组合
[0262]
在不脱离其范围的情况下，上述特征以及以下要求保护的特征可以以各种方式组合。例如，应理解，本文描述的用于图像传感器的自动曝光的一种方法或产品的各方面可以结合或交换本文描述的用于图像传感器的自动曝光的另一种方法或产品的特征。以下示例说明了以上所描述的实施例的一些可能的非限制性组合。应当清楚的是，在不脱离本发明的精神和范围的情况下，可以对本文的方法、产品和系统进行许多其他改变和修改：
[0263]
(a1)一种用于sme hdr图像传感器的自动曝光方法可以包括(i)从sme hdr图像传感器的曝光取得原始图像数据，其中，原始图像数据包括来自sme hdr图像传感器的由长曝光时间表征的像素的长曝光像素值和来自sme hdr图像传感器的由短曝光时间表征的像素的短曝光像素值；(ii)对长曝光像素值和短曝光像素值进行预处理，以从其中去除无法满足一个或多个质量要求的长曝光像素值和短曝光像素值；(iii)将在预处理步骤之后剩余的长曝光像素值和在预处理步骤之后剩余的短曝光像素值合成为hdr直方图，(iv)从hdr直方图中得到优良性度量；(v)至少部分地基于优良性度量来调整长曝光时间和短曝光时间中的至少一项；以及(vi)将长曝光时间和短曝光时间中的经调整的至少一项输出到sme hdr图像传感器。
[0264]
(a2)在如(a1)所述的自动曝光方法中，优良性度量可以包括熵度量。
[0265]
(a3)在如(a2)所述的自动曝光方法中，优良性度量可以包括hdr直方图的单独仓
对hdr直方图的总熵的贡献的跨hdr直方图的方差。
[0266]
(a4)在如(a3)所述的自动曝光方法中，得到步骤可以包括将hdr直方图的每个单独仓i的贡献s
i
计算为s
i
＝
‑
pilog2(p
i
)，其中，p
i
是单独仓i中的计数。
[0267]
(a5)如(a3)和(a4)所述的自动曝光方法中的任一种自动曝光方法可以进一步包括在合成步骤之前从长曝光像素值和短曝光像素值中去除噪声影响。
[0268]
(a6)在如(a5)所述的自动曝光方法中，去除噪声影响的步骤可以包括根据噪声模型对(a)长曝光像素值的第一直方图和(b)短曝光像素值的第二直方图中的每一个进行去卷积。
[0269]
(a7)在如(a6)所述的自动曝光方法的噪声模型中，可以用像素值的线性函数对噪声方差的期望值进行建模。
[0270]
(a8)如(a3)至(a7)所述的自动曝光方法中的任何一种自动曝光方法可以进一步包括执行取得、预处理、合成、得到、调整和输出步骤的多次迭代，以确定使方差最小化的长曝光时间和短曝光时间的最佳集合。
[0271]
(a9)如(a8)所述的自动曝光方法可以进一步包括在执行多次迭代的步骤之前确定最佳长曝光时间，并且执行多次迭代的步骤可以包括确定最佳短曝光时间，同时将长曝光时间保持在最佳长曝光时间。
[0272]
(a10)在如(a9)所述的自动曝光方法中，确定最佳长曝光时间的步骤可以包括改变长曝光时间以最小化在过渡点处长曝光像素值与短曝光像素值之间的噪声差异，过渡点定义在对由sme hdr图像传感器捕获的图像数据进行去马赛克时在使用长曝光像素值与使用短曝光像素值的使用之间的过渡。
[0273]
(a11)在如(a10)所述的自动曝光方法中，改变长曝光时间的步骤可以包括(1)将长曝光时间设置为初始值并且将短曝光时间设置为最小值；以及(2)实行以下各项的至少一次迭代：(a)执行取得、预处理和合成步骤以生成初步hdr直方图；(b)从初步hdr直方图估计长曝光时间的目标值；(c)针对长曝光时间的在目标值左右的范围内的多个值，计算指示将由长曝光时间导致的噪声差异的相应多个参数；(d)从参数的值推导与过渡点相对应的长曝光时间的修正值，过渡点与同噪声差异的值中的最小值相关联的仓一致；(e)除非长曝光时间的修正值大于或等于长曝光时间的初始值，否则将长曝光时间的初始值更新为长曝光时间的修正值并且继续进行后续迭代；以及(f)如果长曝光时间的修正值大于或等于长曝光时间的初始值，则输出长曝光时间的修正值作为最佳长曝光时间。
[0274]
(a12)如(a2)至(a11)所述的自动曝光方法中的任何一种自动曝光方法可以进一步包括在原始图像数据中检测面部，并且调整步骤可以包括部分地基于优良性度量来调整长曝光时间和短曝光时间的集合，并且部分地调整长曝光时间和短曝光时间的集合来改善面部的曝光。
[0275]
(a13)在如(a2)至(a12)所述的自动曝光方法中的任何一种自动曝光方法中，优良性度量可以进一步包括指示hdr直方图的上端和下端之一或两者处的裁剪的度量。
[0276]
(a14)如(a1)至(a13)所述的自动曝光方法中的任何一种自动曝光方法可以包括(i)在取得步骤中，进一步取得来自sme hdr图像传感器的由比长曝光时间短但比短曝光时间长的中间曝光时间表征的像素的中间曝光像素值作为原始图像数据的一部分；(ii)在预处理步骤，进一步预处理中间曝光像素值以从其中去除无法满足一个或多个第二质量要求
的中间曝光像素值；(iii)在合成步骤中，进一步将预处理步骤之后剩余的中间曝光像素值合成为hdr直方图；(iv)在调整步骤中，进一步调整中间曝光时间；以及(v)在输出步骤中，进一步输出经调整的中间曝光时间。
[0277]
(a15)在如(a1)至(a14)所述的自动曝光方法中的任何一种自动曝光方法中，sme hdr图像传感器可以是具有多个颜色特定像素集合的彩色图像传感器，其中，颜色特定像素集合中的每一个具体地对多种颜色中的相应颜色敏感，并且其中，颜色特定像素集合中的每一个包括由长曝光时间表征的像素的子集和由短曝光时间表征的像素的子集，并且自动曝光时间可以进一步包括(a)单独地针对颜色特定像素集合中的每一个执行取得、预处理、合成和得到步骤；以及(b)共同评估针对颜色特定像素集合确定的每个优良性度量，以生成长曝光时间和短曝光时间的适用于所有颜色的一个经调整的集合。
[0278]
(a16)在如(a1)至(a14)所述的自动曝光方法中的任何一种自动曝光方法中，sme hdr图像传感器可以是具有多个颜色特定像素集合的彩色图像传感器，其中，颜色特定像素集合中的每一个具体地对多种颜色中的相应颜色敏感，并且其中，颜色特定像素集合中的每一个包括由长曝光时间表征的像素的子集和由短曝光时间表征的像素的子集，并且自动曝光方法可以进一步包括(1)在取得步骤中，针对颜色特定像素集合中的每一个，取得相应颜色特定的长曝光像素值和相应颜色特定的短曝光像素值；以及(2)在预处理步骤之前，将颜色特定的长曝光像素值中的与不同颜色相关联的空间上邻近的颜色特定的长曝光像素值组合以生成长曝光像素值，并且将颜色特定的短曝光像素值中的与不同颜色相关联的空间上邻近的颜色特定的短曝光像素值组合以生成短曝光像素值，其中，长曝光像素值和短曝光像素值代表光亮度。
[0279]
(a17)在如(al)至(a16)所述的自动曝光方法中的任何一种自动曝光方法中，预处理步骤可以包括彼此单独地过滤长曝光像素值和短曝光像素值。
[0280]
(a18)在如(a17)所述的自动曝光方法中，预处理步骤可以包括(1)在过滤步骤中，(a)从长曝光像素值中去除高于饱和度相关阈值的长曝光像素值并且(b)从短曝光像素值中去除低于噪声相关阈值的短曝光像素值；以及(2)将过滤步骤之后剩余的长曝光像素值和短曝光像素值进行比较，以评估运动差异并且从sme hdr图像传感器的空间区域中去除受超过阈值运动差异水平的运动差异影响的短曝光像素值和长曝光值。
[0281]
(a19)在如(a1)至(a18)所述的自动曝光方法的任何一种自动曝光方法中，合成步骤可以包括(1)将(a)预处理步骤之后剩余的长曝光像素值的第一直方图和(b)预处理步骤之后剩余的短曝光像素值的第二直方图缩放到共同的比例；(2)从第二直方图中去除在共同的比例上具有小于或等于第一直方图的最上面仓的中心值的中心值的短曝光像素值仓；以及(3)在去除步骤之后，将第一直方图和第二直方图合并以形成hdr直方图。
[0282]
(a20)在如(a1)至(a19)所述的自动曝光方法中的任何一种自动曝光方法中，预处理步骤可以包括缩放长曝光像素值和短曝光像素值，以补偿sme hdr图像传感器与由原始图像数据表示的场景之间光学梯度滤波器的存在。
[0283]
(a21)如(a1)至(a20)所述的自动曝光方法中的任何一种自动曝光方法可以包括执行取得、预处理、合成、得到、调整和输出步骤的多次迭代，以确定优化优良性度量的长曝光时间和短曝光时间的最佳集合。
[0284]
(a22)在如(a21)所述的自动曝光方法中，每个后续迭代可以基于由sme hdr图像
传感器使用在最近的先前迭代中输出到sme hdr图像传感器的长曝光时间和短曝光时间的经调整的集合而获取的原始图像数据。
[0285]
(a23)如(a21)和(a22)所述的自动曝光方法中的任一种自动曝光方法可以进一步包括针对sme hdr图像传感器的多个局部区域单独地执行执行步骤，以局部优化长曝光时间和短曝光时间的空间变化集合。
[0286]
(a24)如(a21)至(a23)所述的自动曝光方法中的任何一种自动曝光方法可以进一步包括(1)在取得步骤中，从由sme hdr图像传感器记录的原始视频流的帧取得原始图像数据；(2)针对原始视频流的多个帧的原始图像数据执行取得、预处理、合成、得到、调整和输出步骤，以在由sme hdr图像传感器捕获原始视频流期间调整曝光时间和短曝光时间的最佳长集合；(3)针对原始视频流的每个帧，从长曝光像素值和短曝光像素值产生hdr图像，以从原始视频流产生hdr视频流；以及(4)对hdr视频流进行后处理，以减少由捕获视频系列期间对长曝光时间和短曝光时间的最佳集合的调整而引起的hdr视频流的时间明亮度不稳定性。
[0287]
(a25)在如(a24)所述的自动曝光方法中，后处理步骤可以包括将每个hdr图像乘以(a)固定参考灵敏度与(b)sme hdr图像传感器在捕获与hdr图像相关联的帧期间使用的长曝光时间和短曝光时间处的灵敏度的比率。
[0288]
(a26)如(a21)至(a23)所述的自动曝光方法中的任何一种自动曝光方法可以进一步包括(1)获得由sme hdr图像传感器记录的帧的原始视频流；(2)分析原始视频流的时间明亮度变化，以预测要由sme hdr图像传感器捕获的后一帧的明亮度；以及(3)对原始视频流的帧中的至少一些帧执行迭代，其中，迭代中的每一次进一步包括基于在分析步骤中预测的明亮度对长曝光时间和短曝光时间的最佳集合进行操纵，以使其对于后一帧是最佳的。
[0289]
(b1)一种用于sme hdr图像传感器的自动曝光的产品可以包括在非暂态存储器中编码的机器可读指令，其中，机器可读指令包括(i)数据输入指令，数据输入指令当由处理器执行时从sme hdr图像传感器的曝光取得原始图像数据，原始图像数据包括来自sme hdr图像传感器的由长曝光时间表征的像素的长曝光像素值和来自sme hdr图像传感器的由短曝光时间表征的像素的短曝光像素值；(ii)预处理指令，预处理指令当由处理器执行时对长曝光像素值和短曝光像素值进行预处理，以从其中去除无法满足一个或多个质量要求的长曝光像素值和短曝光像素值；(iii)合成指令，合成指令当由处理器执行时将(a)在执行预处理指令之后剩余的长曝光像素值和(b)在执行预处理指令之后剩余的短曝光像素值合成为hdr直方图；(iv)度量指令，度量指令当由处理器执行时从hdr直方图中得到优良性度量；(v)调整指令，调整指令当由处理器执行时至少部分地基于优良性度量来调整长曝光时间和短曝光时间中的至少一项；以及(vi)数据输出指令，数据输出指令当由处理器执行时输出长曝光时间和短曝光时间中的至少一项。
[0290]
(b2)在如(b1)所述的产品中，优良性度量可以是hdr直方图的单独仓对hdr直方图的总熵的贡献的跨hdr直方图的方差。
[0291]
(b3)在如(b2)所述的产品中，度量指令可以被配置成当由处理器执行时将hdr直方图的每个单独仓i的贡献s
i
计算为s
i
＝
‑
pilog2(p
i
)，其中，p
i
是单独仓i中的计数。
[0292]
(b4)在如(b3)所述的产品中，机器可读指令可以进一步包括噪声去除指令，噪声
去除指令当由处理器执行时从hdr直方图中去除噪声影响，机器可读指令被配置成当由处理器执行时命令处理器在度量指令之前执行噪声去除指令。
[0293]
(b5)在如(b4)所述的产品中，噪声去除指令可以被配置成当由处理器执行时根据噪声模型对hdr直方图进行去卷积。
[0294]
(b6)在如(b5)所述的产品的噪声模型中，可以用像素值的线性函数对噪声方差的期望值进行建模。
[0295]
(b7)在如(b2)至(b6)所述的产品中的任何一种产品中，机器可读指令可以进一步包括迭代指令，迭代指令当由处理器执行时执行对执行数据输入指令、预处理指令、合成指令、度量指令、调整指令和数据输出指令的多次迭代，以确定并向sme hdr图像传感器输出使方差最小化的长曝光时间和短曝光时间的最佳集合。
[0296]
(b8)一种具有自动曝光功能的sme hdr成像系统可以包括sme hdr图像传感器、处理器和如(b2)至(b7)所述的产品中的任何一种产品，以用于当处理器执行产品的机器可读指令时调整sme hdr图像传感器的长曝光时间和短曝光时间，其中，产品的机器可读指令进一步包括迭代指令，迭代指令当由处理器执行时执行对执行数据输入指令、预处理指令、合成指令、度量指令、调整指令和数据输出指令的多次迭代，以确定并向sme hdr图像传感器输出优化优良性度量的长曝光时间和短曝光时间的最佳集合。
[0297]
(b9)在如(b8)所述的sme hdr成像系统中，sme hdr图像传感器可以是具有多个颜色特定像素集合的彩色图像传感器，其中，颜色特定像素集合中的每一个具体地对多种颜色中的相应颜色敏感，并且其中，颜色特定像素集合中的每一个包括由长曝光时间表征的像素的子集和由短曝光时间表征的像素的子集。机器可读指令可以被配置成当由处理器执行时命令处理器针对颜色特定像素集合中的每一个单独地执行数据输入指令、预处理指令、合成指令和度量指令，并且调整指令可以被配置成当由处理器执行时共同评估针对颜色特定像素集合中的每一个确定的优良性度量，以调整长曝光时间和短曝光时间中的至少一项，其中，长曝光时间和短曝光时间中的至少一项适用于所有颜色。
[0298]
(b10)在如(b9)所述的sme hdr成像系统中，sme hdr图像传感器可以是之字形hdr图像传感器。
[0299]
(b11)在如(b9)或(b10)所述的sme hdr成像系统中，sme hdr图像传感器可以是四hdr图像传感器，并且机器可读指令可以被配置成使得(1)数据输入指令当由处理器执行时进一步取得来自sme hdr图像传感器的由比长曝光时间短但比短曝光时间长的中间曝光时间表征的像素的中间曝光像素值作为原始图像数据的一部分，(2)预处理指令当由处理器执行时进一步处理中间曝光像素值以从其中去除无法满足一个或多个第二质量要求的中间曝光像素值，(3)合成指令当由处理器执行时进一步将执行预处理执行之后剩余的中间曝光像素值合成为hdr直方图，并且(4)调整指令当由处理器执行时进一步调整中间曝光时间，并且(5)数据输出指令的步骤当由处理器执行时进一步输出经调整的中间曝光。
[0300]
(b12)在如(b8)所述的sme hdr成像系统中，sme hdr图像传感器可以是具有多个颜色特定像素集合的彩色图像传感器，其中，颜色特定像素集合中的每一个具体地对多种颜色中的相应颜色敏感，并且颜色特定像素集合中的每一个包括由长曝光时间表征的像素的子集和由短曝光时间表征的像素的子集。数据输入指令可以被配置成当由处理器执行时针对颜色特定像素集合中的每一个取得相应的颜色特定的长曝光像素值和相应的颜色特
定的短曝光像素值，并且机器可读指令可以进一步包括组合指令，组合指令当由处理器在执行预处理指令之前执行时，(a)将颜色特定的长曝光像素值中的与不同颜色相关联的空间上邻近的颜色特定的长曝光像素值组合以生成长曝光像素值，并且(b)将颜色特定的短曝光像素值中的与不同颜色相关联的空间上邻近的颜色特定的短曝光像素值组合以生成短曝光像素值，其中，长曝光像素值和短曝光像素值代表光亮度。
[0301]
(b13)在如(b12)所述的sme hdr成像系统中，sme hdr图像传感器可以是之字形hdr图像传感器。
[0302]
(b14)在如(b12)所述的sme hdr成像系统中，sme hdr图像传感器可以是四hdr图像传感器，并且机器可读指令可以被配置成使得(1)数据输入指令当由处理器执行时进一步取得来自sme hdr图像传感器的由比长曝光时间短但比短曝光时间长的中间曝光时间表征的像素的颜色特定的中间曝光像素值作为原始图像数据的一部分，(2)组合指令当由处理器执行时将颜色特定的中间曝光像素值中的与不同颜色相关联的空间上邻近的颜色特定的中间曝光像素值组合以生成中间曝光像素值，其中，中间曝光像素值代表光亮度，(3)预处理指令当由处理器执行时进一步处理中间曝光像素值以从其中去除无法满足一个或多个第二质量要求的中间曝光像素值，(4)合成指令当由处理器执行时进一步将根据预处理指令进行预处理之后剩余的中间曝光像素值合成为hdr直方图，(5)调整指令当由处理器执行时进一步调整中间曝光时间，并且(6)数据输出指令当由处理器执行时进一步输出经调整的中间曝光时间。
[0303]
(b15)在如(b8)至(b14)所述的sme hdr成像系统中的任何一种sme hdr成像系统中，迭代指令可以被配置成当由处理器执行时针对sme hdr图像传感器的多个局部区域单独地执行迭代，以局部优化长曝光时间和短曝光时间的空间变化集合，并且sme hdr图像传感器可以包括用于针对局部区域中的每一个局部定义长曝光时间和短曝光时间的电路。
[0304]
(c1)一种用于图像传感器的自动曝光方法可以包括(i)针对来自图像传感器在相应曝光时间设置下的相应多个单独曝光的像素值的多个直方图中的每一个，评估直方图的单独仓对直方图的总熵的贡献的方差，以确定图像传感器的与方差的最小值相对应的最佳曝光时间；以及(ii)将最佳曝光时间输出到图像传感器。
[0305]
(c2)在如(c1)所述的自动曝光方法中，评估步骤可以包括针对多个不同的曝光时间设置执行以下各项的相应多次迭代：(a)从图像传感器在曝光时间设置设置中的相应曝光时间设置设置下的曝光生成像素值的直方图的实例；以及(b)从直方图的实例计算方差。
[0306]
(c3)在如(c2)所述的自动曝光方法中，计算步骤可以包括针对每个单独仓i将贡献计算为s
i
＝
‑
pilog2(p
i
)，其中，p
i
是单独仓i中的计数。
[0307]
(c4)在如(c2)和(c3)所述的自动曝光方法中的任一种自动曝光方法中，迭代中的每一次可以进一步包括在计算步骤之前从直方图的实例中去除噪声影响。
[0308]
(c5)在如(c4)所述的自动曝光方法中，去除噪声影响的步骤可以包括根据噪声模型对直方图的实例进行去卷积。
[0309]
(c6)在如(c1)至(c5)所述的自动曝光方法中的任何一种自动曝光方法中，图像传感器可以被配置成在相同的曝光时间下曝光图像传感器的所有像素。
[0310]
(c7)在如(c1)至(c6)所述的自动曝光方法中的任何一种自动曝光方法中，图像传感器可以是空间复用曝光高动态范围图像传感器，并且自动曝光方法可以包括从与在相应
多个不同曝光时间下操作的空间复用曝光高动态范围图像传感器的相应多个像素子集相关联的多个曝光时间特定的直方图合成直方图。
[0311]
(c8)如(c7)所述的自动曝光方法可以进一步包括在合成步骤之前从曝光时间特定的直方图中的每一个中去除噪声影响。
[0312]
(c9)在如(c8)所述的自动曝光方法中，去除噪声影响的步骤可以包括根据噪声模型对曝光时间特定的直方图中的每一个进行去卷积。
[0313]
(c10)在如(c1)至(c9)所述的自动曝光方法中，通过共同最小化方差和来自至少两个不同曝光时间的像素值之间的噪声差异来计算方差的最小值。
[0314]
(c11)在如(c10)所述的自动曝光方法中，共同最小化方差和噪声差异包括最小化取决于方差和噪声差异的函数。
[0315]
(c12)在如(c10)或(c11)所述的自动曝光方法中，在来自两个最接近的曝光时间的像素值之间计算的噪声差异。
[0316]
(c13)在如(c10)或(c11)或(c12)所述的自动曝光方法中，其中，共同最小化方差和噪声差异包括最小化或减少在过渡点处具有像素值的像素的数量。
[0317]
(c14)在如(c10)至(c13)所述的任何方法中的自动曝光方法中，其中，图像传感器是彩色图像传感器，并且其中，共同最小化方差和在过渡点处的噪声差异是针对彩色图像传感器的一种或多种所选颜色或针对光亮度值执行的。
[0318]
(c15)在如(c10)至(c14)所述的自动曝光方法中，方法包括：将第一次曝光设置为初始值；将第二次曝光设置为比第一次曝光短的最小值；从通过将第一次曝光设置为初始值并且将第二次曝光设置为最小值而生成的直方图估计第一次曝光的目标值，以用于对直方图的至少一部分进行缩放；如果目标值等于或超过初始值，则输出目标值作为最佳曝光时间。
[0319]
(c16)在如(c15)所述的自动曝光方法中，方法可以进一步包括优先输出目标值：针对第一曝光时间的在目标值左右的范围内的多个值，计算指示由第一曝光时间导致的噪声差异的参数的相应多个值；从参数的值计算与过渡点相对应的第一曝光时间的修正值，过渡点与同噪声差异的值中的最小值相关联的仓一致；如果修正值等于或超过初始值，则输出修正值作为最佳曝光时间。
[0320]
(c17)在如(c15)或(c16)所述的自动曝光方法中，方法包括：如果目标值或修正值小于初始值，则将第一曝光时间的初始值更新为目标值或修正值，并且根据如(c14)或(c15)所述的方法的步骤继续进行后续迭代。
[0321]
(d1a)一种用于图像传感器的自动曝光的产品可以包括在非暂态存储器中编码的机器可读指令，其中，机器可读指令包括(i)数据输入指令，数据输入指令当由处理器执行时使处理器实行如(c1)至(c16)所述的自动曝光方法中的任何一种自动曝光方法。
[0322]
(d1b)一种计算机程序，包括指令，当程序由计算机执行时，指令使计算机实行如(c1)至(c16)所述的方法中的任何一种方法。
[0323]
(d2)一种具有自动曝光功能的成像系统可以包括图像传感器、处理器和如(d1a)所述的产品或如(d1b)所述的计算机程序，以用于当处理器执行机器可读指令时确定图像传感器的最佳曝光时间。
[0324]
(d3)在如(d2)所述的成像系统中，图像传感器可以被配置成在相同的曝光时间下
曝光图像传感器的所有像素。
[0325]
(d4)在如(d2)和(d3)所述的成像系统中的任一种成像系统中，图像传感器可以是空间复用曝光高动态范围图像传感器，并且机器可读指令可以进一步包括合成指令，合成指令当由处理器执行时从与在相应多个不同曝光时间下操作的空间复用曝光高动态范围图像传感器的相应多个像素子集相关联的多个曝光时间特定的直方图合成直方图。
[0326]
(d5)在如(d4)所述的成像系统中，熵方差优化指令可以包括噪声去除指令，噪声去除指令当由处理器执行时在迭代中的每一次中在执行合成指令之前从曝光时间特定的直方图中的每一个中去除噪声影响。
[0327]
(d6)在如(d5)所述的成像系统中，噪声去除指令可以被配置成当由处理器执行时根据噪声模型对曝光时间特定的直方图中的每一个进行去卷积。
[0328]
(e1)一种用于sme hdr图像传感器的自动曝光方法可以包括(i)从sme hdr图像传感器的曝光取得原始图像数据，其中，原始图像数据包括来自sme hdr图像传感器的由长曝光时间表征的长曝光像素的长曝光像素值和来自sme hdr图像传感器的由短曝光时间表征的短曝光像素的短曝光像素值；(ii)针对sme
‑
hdr图像传感器的多个空间区域中的每一个，评估空间区域中的所选长曝光像素的饱和度水平；(iii)针对由所选长曝光像素的超过饱和度阈值的长曝光像素值表征的空间区域中的每一个，确定(i)用于空间区域中的短曝光像素的减少的短曝光时间和(ii)补偿减少的短曝光时间的增加的数字增益值；以及(iv)针对由所选长曝光像素的超过饱和度阈值的长曝光像素值表征的空间区域中的每一个，将减少的短曝光时间和增加的数字增益值输出到空间区域中的每个短曝光像素。
[0329]
(e2)在如(e1)所述的自动曝光方法中，针对sme
‑
hdr图像传感器的每个像素光谱灵敏度等级，空间区域中的每一个可以由一个长曝光像素和一个相关联的短曝光像素构成。
[0330]
(e3)在如(e1)所述的自动曝光方法中，针对sme
‑
hdr图像传感器的每个像素光谱灵敏度等级，空间区域中的每一个可以包括多个长曝光像素和多个短曝光像素。
[0331]
(e4)在如(e1)至(e3)所述的自动曝光方法中的任何一种自动曝光方法中，空间区域可以共同包括sme
‑
hdr图像传感器的所有长曝光像素和所有短曝光像素。
[0332]
(f1)一种具有自动曝光功能的hdr成像系统可以包括(i)具有电路的空间复用曝光(sme)hdr图像传感器，电路被配置成单独地调整多个空间区域中的每一个的至少一个曝光时间；(ii)处理器；以及(iii)在非暂态存储器中编码的机器可读指令，其中，机器可读指令包括(a)数据输入指令，数据输入指令当由处理器执行时从sme hdr图像传感器的曝光取得原始图像数据，原始图像数据包括来自sme hdr图像传感器的由长曝光时间表征的长曝光像素的长曝光像素值和来自sme hdr图像传感器的由短曝光时间表征的短曝光像素的短曝光像素值；(b)饱和度评估指令，饱和度评估指令当由处理器执行时针对空间区域中的每一个，评估空间区域中的至少一个所选长曝光像素的饱和度水平；(c)调整指令，调整指令当由处理器执行时针对由至少一个所选长曝光像素的超过饱和度阈值的长曝光像素值表征的空间区域中的每一个，确定(i)用于空间区域中的每个短曝光像素的减少的短曝光时间和(ii)补偿减少的短曝光时间的增加的数字增益值；以及(d)数据输出指令，数据输出指令当由处理器执行时针对由至少一个所选长曝光像素的超过饱和度阈值的长曝光像素值表征的每个空间区域，将减少的短曝光时间和增加的数字增益值输出到空间区域中的每个
短曝光像素。
[0333]
(f2)在如(f1)所述的产品中，针对sme
‑
hdr图像传感器的每个像素光谱灵敏度等级，空间区域中的每一个可以由一个长曝光像素和一个相关联的短曝光像素构成。
[0334]
(f3)在如(f1)所述的产品中，针对sme
‑
hdr图像传感器的每个像素光谱灵敏度等级，空间区域中的每一个可以包括多个长曝光像素和多个短曝光像素。
[0335]
(f4)在如(f1)至(f3)所述的产品中的任何一种产品中，空间区域可以共同包括sme
‑
hdr图像传感器的所有长曝光像素和所有短曝光像素。
[0336]
在不脱离其范围的情况下，可以对以上系统和方法进行改变。因此，应当注意，包含在以上说明书中并且在附图中示出的内容应当被解释为说明性的而不是限制性的意义。以下权利要求旨在涵盖本文所描述的一般特征和特定特征以及本发明系统和方法的范围的所有陈述，该陈述在语言上可以被说成落在其间。