曝光控制系统及其方法与流程

本发明涉及图像处理，特别涉及可依据长曝光图像及短曝光图像而调整当前曝光模式的一种曝光控制系统及其方法。

背景技术：

市面上较常见的相机或摄像机，其内部感光元件所能捕捉的动态范围大约为1000：1(意即最亮像素与最暗像素的亮度比)。专业的相机或摄像机的感光元件，其动态范围也往往不会超过10⁴：1。然而，常见的室内场景的动态范围大多超过2000：1，室外场景更高达10⁶：1以上。换句话说，上述相机或摄像机的感光元件仅能捕捉到场景的部分信息。

一般而言，传统曝光控制系统均是将整张画面的亮度平均值调整至使用者所设定的亮度，但这对于具有高动态范围的动态图像的图像效果并不佳。因此，需要一种曝光控制系统及其方法以解决上述问题。

技术实现要素：

本发明提供一种曝光控制系统，包括：一图像提取单元，用以一第一曝光值及一第二曝光值对一场景提取一长曝光图像及一短曝光图像；以及一处理器，用以分别计算该长曝光图像及该短曝光图像的直方图，并依据长曝光图像及短曝光图像的直方图、第一曝光值、及第二曝光值计算一曝光比，其中当曝光比小于一第一阈值时，处理器将曝光控制系统之一当前曝光模式切换至一低动态范围模式，并设定第一曝光值等于第二曝光值，其中当曝光比大于一第二阈值时，处理器将曝光控制系统的当前曝光模式切换至一高动态范围模式，并将长曝光图像及短曝光图像合成为一高动态范围图像，且第二阈值大于第一阈值，其中当曝光比介于第一阈值及第二阈值之间时，处理器不切换当前曝光模式。

本发明还提供一种曝光控制方法，用于一曝光控制系统，其中该曝光控制系统包括一图像提取单元，该方法包括：利用该图像提取单元以一第一曝 光值及一第二曝光值对一场景提取一长曝光图像及一短曝光图像；计算该长曝光图像及该短曝光图像的直方图，并依据该长曝光图像及该短曝光图像的直方图、该第一曝光值、及该第二曝光值计算一曝光比；当该曝光比小于一第一阈值时，将该曝光控制系统的一当前曝光模式切换至一低动态范围模式，并设定该第一曝光值等于该第二曝光值；当该曝光比大于一第二阈值时，将该曝光控制系统的该当前曝光模式切换至一高动态范围模式，并将该长曝光图像及该短曝光图像合成为一高动态范围图像，其中该第二阈值大于该第一阈值；以及当该曝光比介于该第一阈值及该第二阈值之间时，不切换该当前曝光模式。

附图说明

图1是显示依据本发明一实施例中的曝光控制系统100的方块图。

图2A及图2B是显示依据本发明一实施例中分别用于长曝光图像及短曝光图像的直方图。

图3A及图3B是显示依据本发明另一实施例中分别用于长曝光图像及短曝光图像的直方图亮度区间的示意图。

图4是显示依据本发明一实施例中的曝光控制方法的流程图。

【符号说明】

100～曝光控制系统；

110～图像提取单元；

120～处理器；

130～存储器单元；

140～存储单元；

210－240～曲线；

S410－S450～步骤。

具体实施方式

为使本发明的上述目的、特征和优点能更明显易懂，下文特举一优选实施例，并配合附图，作详细说明如下。

图1是显示依据本发明一实施例中的曝光控制系统100的方块图。如图1所示，曝光控制系统100包括一图像提取单元110、一处理器120、一存储 器单元130、以及一存储单元140。图像提取单元110用以提取一场景的图像。存储单元140存储用于图像处理的高动态范围成像(high dynamic range imaging)等等。举例来说，存储器单元130为一易失性存储器，例如是一动态随机存取存储器(DRAM)。存储单元140为一非易失性存储器，例如是硬盘、快闪存储器等等。处理器120将存储于存储单元140中的高动态范围成像模块的程序代码载入至存储器单元130，并对图像提取单元110所提取的图像执行相应的图像处理。

图像提取单元110具有多重曝光(multi exposure)的功能，意即在图像提取单元110中的图像传感器(image sensor)所提取的图像可用不同的曝光值进行曝光以产生两张不同曝光值的图像，曝光时间的增加或是感光度的增加，都会使曝光值上升。

图2A及图2B是显示依据本发明一实施例中分别用于长曝光图像及短曝光图像的直方图。在一个特定位置的场景中，其动态范围在一段时间内的变化不大。因此，本发明先利用初始拍摄的图像中的前百分之x的暗点以及前百分之y的亮点的亮度来估算此场景的动态范围，然而上述x及y的比例可随着应用及传感器的不同而进行调整。因为传感器所能捕捉到的动态范围是有限的，为了让传感器捕捉到上面两点的亮度信息，曝光控制系统100让前百分之x的暗点能被长曝光图像捕捉到。同样地，也会让前百分之y的亮点能被短曝光图像捕捉到。更进一步而言，曝光控制系统100在产生高动态范围图像时，会考虑到动态图像的连续性及收敛速度，并设计让前百分之x的暗点以及前百分之y的亮点落在指定范围内。当曝光值收敛后，曝光控制系统100则可依据曝光比以估计场景的动态范围。

在本实施例中，初始的长曝光时间T_L，INIT以及初始的短曝光时间T_S，INIT并没有特别要求，只要T_L，INIT曝光时间大于等于T_S，INIT即可。举例来说，于一具体实施例中，初始的长曝光时间T_L，INIT可以是100ms，初始的短曝光时间T_S，INIT可以是51ms。在本发明的高动态范围成像模块的设定中，长曝光图像中的亮度低于一第一预定亮度值(例如10)的像素数量需小于全部像素数量的一第一比例(例如2％，即前述的x＝2)。处理器120先依据第一图像的直方图计算在该直方图中的像素亮度小于该第一预定亮度值的像素数量。

如图2A所示，若初始长曝光图像中针对相对较低亮度像素的直方图如曲线210所表示，且在初始长曝光图像中亮度低于一第一预定亮度值(例如10) 的像素数量大于第一比例(例如2％)。详细而言，曲线210中，亮度低于10的像素数量共占4％，其大于第一比例(如2％)，因此无法符合预设的长曝光图像中亮度低于第一预定亮度值的像素数量小于第一比例的条件(亮度低于10的像素数量只要占2％)。

故，处理器120会判断在初始长曝光图像中低亮度的像素过多，需将曲线210往右移动或扩展，使得在调整后的直方图曲线220中亮度低于第一预定亮度值(例如10)的像素数量小于第一比例(例如2％)。举例来说，处理器120可增加长曝光图像的曝光值(例如可调整曝光时间或感光度)，使得低亮度的像素数量相对地减少，藉以符合预设的长曝光图像中亮度低于第一预定亮度值的像素数量小于第一比例的条件。

换句话说，假设图像提取单元110的传感器具有一线性相机光电转换函数(linear camera opto-electronic conversion function)时，当曝光值增加，图像提取单元110所提取到的像素亮度也会随着线性增加。为了便于说明，上述曝光值仅考虑曝光时间，并假定在曲线210中亮度10以下的像素数量小于第一比例(2％)，且在曲线220中亮度20以下的像素数量小于第一比例(2％)。此时，处理器120则计算目标长曝光时间T_L＝T_L，INIT*(20/10)＝200ms。

在本发明的高动态范围成像模块的设定中，短曝光图像中的亮度高于一第二预定亮度值(例如1020)的像素数量需小于全部像素数量的一第二比例(例如2％，即前述的y＝2)。处理器120先依据第一图像的直方图计算在该直方图中的像素亮度小于该第二预定亮度值的像素数量。

如图2B所示，若初始图像中针对相对较低亮度像素的直方图由曲线230所表示，且在初始图像中亮度高于第二预定亮度值(例如1020)的像素数量(例如为4％)大于第二比例(2％)。此时，处理器120判断在初始短曝光图像中高亮度的像素数量过多，需将曲线230往左移动或扩展，使得在调整后的直方图曲线240中亮度高于第二预定亮度值(例如1020)的像素数量小于第二比例(例如2％)。举例来说，处理器120可降低短曝光图像的曝光值(例如可调整曝光时间或感光度)，使得高亮度的像素数量相对地减少，藉以符合预设的短曝光图像中亮度高于第二预定亮度值的像素数量小于第二比例的条件。

同样地，假设图像提取单元110的传感器具有线性相机光电转换函数时，当曝光值降低，图像提取单元110所提取到的像素亮度也会随着线性降低。为了便于说明，上述曝光值仅考虑曝光时间，并假定在曲线230中亮度1020 以上的像素数量小于第一比例(2％)，且在曲线240中亮度1000以上的像素数量小于第一比例(2％)。此时，处理器120则计算目标长曝光时间T_S＝T_S，INIT*(1000/1020)＝50ms。

当分别调整完长曝光图像的曝光时间T_L及短曝光图像的曝光时间T_S后，处理器120则依据目标长曝光时间T_L及目标短曝光间T_S计算曝光比R＝T_L/T_S，并可藉由调整后的长曝光图像以及短曝光图像以产生一高动态范围图像。

在实际应用中，并非所有的实际场景皆须使用上述的高动态范围图像。举例来说，如果实际场景的动态范围不大(低动态范围场景)，此时可采用现今相机内建的自动曝光系统拍摄单一图像即可。现今相机内建的自动曝光系统通常先计算此单一图像于拍摄后的平均亮度值或中位数等将落于特定范围，例如亮度128，而后根据相关的参数(光圈、快门与感光度)拍摄此单一图像。

处理器可根据上述调整后的曝光时间T_L及T_S所产生的曝光比R判断目前场景高动态范围抑或低动态范围，进而分别采取高动态范围模式(即通过上述流程以产生高动态范围图像，或是采取低动态范围模式(即直接采用相机内建的自动曝光系统的参数而直接拍摄单一图像)。

详细而言，若曝光比R小于或等于一第一阈值时(例如2)，表示目标长曝光时间T_L比目标短曝光时间Ts接近，甚至目标长曝光时间T_L比目标短曝光时间Ts小(若曝光比R小于1)，代表所拍摄的长曝光图像及短曝光图像的动态范围有限，是以图像提取单元110使用低动态范围模式即可涵盖此时该场景中的动态范围。因此若曝光比R小于第一阈值，处理器120判断目前场景为低动态范围场景，此时进入低动态范围模式，进而采用相机内建的自动曝光系统拍摄单一图像即可。

相对的，若曝光比R大于一第二阈值时(例如3)，第二阈值大于或等于第一阈值，代表长曝光图像与短曝光图像的曝光时间差距较大，表示所拍摄的长曝光图像及短曝光图像所涵盖的动态范围较大，是以图像提取单元110需使用高动态范围模式才足以涵盖此时目前场景中的动态范围。因此，若曝光比R大于第二阈值时，处理器120判断目前场景为高动态范围场景，此时进入高动态范围模式，进而通过上述流程以分别拍摄的长曝光图像以及短曝光图像产生一高动态范围图像。

在实际应用中，由于图像提取单元110持续拍摄视频图像，虽然同一场景所拍摄的视频图像的动态范围通常是固定的，然而视频图像的前后帧可能会因为场景切换(scene change)，而造成所提取的前后张图像的直方图变化很大，此时，若贸然在低动态范围模式及高动态范围模式之间进行切换，则很可能会造成图像的闪动(flicker)或瑕疵(artifact)。

为解决上述问题，处理器120阈值阈值可设定第二阈值大于第一阈值，例如将第一阈值设定为2，且将第二阈值设定3，如此定义出介于第二阈值及第一阈值的一区间。当曝光比R小于或等于第一阈值时，处理器120将当前曝光模式切换为低动态范围模式。当曝光比R大于或等于第二阈值时，处理器120则将当前曝光模式切换为高动态模式。当曝光比R介于第一阈值及第二阈值的区间时，处理器120则不切换当前曝光模式，即依循上一张图像产生的模式，如此即可避免在低动态范围模式及高动态范围模式快速切换的次数。需注意的是，上述第一阈值及第二阈值可视实际情况进行调整。此外，当前曝光模式也不会因为画面像素处于某一边界条件附近或是有噪声产生而一直造成在低动态范围模式及高动态范围模式之间切换而造成图像的闪动。

需特别说明的是，以视频图像所拍摄的时间顺序观之，处理器120系统计第N张图像的直方图，并且计算第N张图像的长曝光图像及短曝光图像的目标曝光时间。在图像提取单元110提取第N+1张图像时，即是利用所计算出的第N张图像的目标曝光时间做为第N+1张图像的长曝光图像及短曝光图像的当前曝光时间。同样地，第N+1张图像的长曝光图像及短曝光图像的当前曝光时间，则分别用来计算第N+2张图像的长曝光图像及短曝光图像的目标曝光时间。

图3A及图3B是显示依据本发明另一实施例中分别用于长曝光图像及短曝光图像的直方图亮度区间的示意图。在另一实施例中，处理器120在计算长曝光图像及短曝光图像的目标曝光时间时，处理器120分别统计在直方图中的不同亮度区间(interval)内的像素数量。如图3A所示，当处理器120在计算长曝光图像的目标曝光时间时，处理器120分别统计亮度区间0～10、0～20、0～40、0～80、0～160的累积像素数量，依此类推。例如在区间0～20内的像素数量(例如4％)大于第一比例(例如2％)，处理器120同样可将图3A的亮度区间往右扩展，例如亮度区间0～20的像素会分别扩展至亮度区间0～40。因此，在亮度20以下的累积像素数量可控制在小于第一比例。简单来说， 在此实施例中，若初始长曝光时间T_L，INIT例如是100ms，则目标长曝光时间T_L＝T_L，INIT*2＝200ms。

如图3B所示，当处理器120在计算短曝光图像的目标曝光时间时，处理器120分别统计亮度区间1000～1023、950～1023、910～1023的像素数量，依此类推。例如在区间1000～1023内的像素数量(例如4％)大于第二比例(例如2％)，处理器120同样可将图3B的亮度区间往左扩展，例如亮度区间1000～1023的像素会分别扩展至亮度区间950～1023。因此，在亮度1000以上的像素数量可控制在小于第二比例。同样地，处理器120更依据相应的调整比例计算目标短曝光时间。需注意的是，为了便于说明，上述实施例中的亮度区间以等比数列进行计算，本发明的亮度区间可以随着实际情况进行调整，并不限于上述数值，亦非限于等比数列，只要能通过曝光决定策略的统计稳定性以达成防闪烁的目的即可。

图4是显示依据本发明一实施例中的曝光控制方法的流程图。在步骤S410，图像提取单元110以一第一曝光值及一第二曝光值对一场景提取一长曝光图像及一短曝光图像。需注意的是处理器120在每张画面处理完后更新第一曝光值及第二曝光值，且图像提取单元110则利用更新后的第一曝光值及第二曝光值拍摄下一张长曝光图像及短曝光图像。

在步骤S420，处理器120计算长曝光图像及短曝光图像的直方图，并依据长曝光图像及短曝光图像的直方图、该第一曝光值、及该第二曝光值计算一曝光比。曝光比的计算方式可参考图2A～图2B及图3A～图3B的实施例。

在步骤S430，当该曝光比小于一第一阈值时，处理器120将曝光控制系统100的一当前曝光模式切换至一低动态范围模式。需注意的是，在曝光比小于第一阈值时，表示目标长曝光时间与目标短曝光时间接近，意即同一时间所拍摄的长曝光图像及短曝光图像的动态范围有限，此时图像提取单元110使用低动态范围模式即可涵盖此时该场景中的动态范围。

在步骤S440，当该曝光比大于一第二阈值时，处理器120将曝光控制系统100的当前曝光模式切换至一高动态范围模式，并将长曝光图像及短曝光图像合成为一高动态范围图像，其中该第二阈值大于该第一阈值。需注意的是，若所计算出的曝光比R较大时，即长曝光图像与短曝光图像的曝光时间差距较大，表示同一时间所拍摄的长曝光图像及短曝光图像的动态范围较大。此时，图像提取单元110需使用高动态范围模式才能涵盖此时该场景中的动 态范围。

在步骤S450，当该曝光比介于该第一阈值及该第二阈值之间时，处理器120不切换曝光控制系统100的当前曝光模式。需注意的是，曝光控制系统100的当前曝光模式不会因为画面像素处于某一边界条件附近或是有噪声产生而一直造成在低动态范围模式及高动态范围模式之间切换而造成图像的闪动。

本发明的方法，或特定形态或其部分，可以以程序代码的形态包含于物理介质，如软盘、光盘、硬盘、或是任何其他机器可读取(如计算机可读)存储介质，其中，当程序代码被机器，如计算机载入且执行时，此机器变成用以参与本发明的装置或系统。本发明的方法、系统与装置也可以以程序代码形态通过一些传送介质，如电线或电缆、光纤、或是任何传输形态进行传送，其中，当程序代码被机器，如计算机接收、载入且执行时，此机器变成用以参与本发明的装置或系统。当在一般用途处理器实作时，程序代码结合处理器提供一操作类似于应用特定逻辑电路的独特装置。

本发明虽以优选实施例公开如上，然其并非用以限定本发明的范围，本领域技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视所附权利要求书界定范围为准。