高动态范围图像曝光时间控制方法
【专利摘要】一种高动态范围图像曝光时间控制方法，其包含：利用图像感测器连续产生第一高动态范围图像以及第二高动态范围图像，第一高动态范围图像具有第一曝光时间比，第二高动态范围图像具有第二曝光时间比，第二曝光时间比大于第一曝光时间比；对第一高动态范围图像进行图像质量评估，以得到第一图像质量，对第二高动态范围图像进行图像质量评估，以得到第二图像质量；判断第二图像质量是否优于第一图像质量，如果是，则以第三曝光时间比拍摄第三高动态范围图像，其中，第三曝光时间比大于第二曝光时间比；如果否，则以第一曝光时间比拍摄第三高动态范围图像，并将第一曝光时间比设定为最佳曝光时间比。
【专利说明】高动态范围图像曝光时间控制方法
【技术领域】
[0001] 本发明涉及一种高动态范围图像曝光时间控制方法，特别涉及一种利用图像感测 器捕捉不同曝光时间的图像，将不同曝光时间的图像结合成高动态范围图像，并通过调整 曝光时间比，以获得最佳质量的高动态范围图像的方法。
【背景技术】
[0002] 目前的消费型数字相机或网络摄像机（Webcam)的动态范围（DynamicRange)(亮 度信号最大值与最小值的比值）约为400,而较专业的数字单眼相机可将动态范围增加到 1000。然而，室内场景的动态范围大多超过1500,而室外场景的动态范围往往高达10 5。因 此，这些器材仅能捕捉到场景的部分亮度信息。
[0003] 为解决以上的问题，P.E.Debevec在1997年提出了高动态范围图像的技术，"Paul E.Debevec,JitendraMalik,RecoveringHighDynamicRangeRadianceMapsfrom Photographs，SIGGRAPH1997"，即结合多张不同曝光时间的图像。提高两张原始图像的曝 光时间比，可得到更高的动态范围信息。然而，也需要将更大的动态范围信息压缩在屏幕可 显示的动态范围，此过程称为色调映射（ToneMapping)。由于屏幕的动态范围很低（约为 200)，色调映射的压缩过程会破坏画面中的细节与对比，导致整体的图像质量低落。换句话 说，一味的提高曝光时间比，无法得到最佳的图像质量。此外，市面上所见的高动态范围图 像系统，大多使用固定的曝光时间比，或是需要使用者手动决定曝光时间比。
【发明内容】
[0004] 本发明提出一种高动态范围图像曝光时间控制方法，并提供一套评估图像质量的 技术以自动决定最佳的曝光时间比。当场景中光源有所改变时，可自动重新寻找最佳曝光 时间比，以维持最佳的图像质量。
[0005] -种高动态范围图像曝光时间控制方法，其包含：利用图像感测器连续产生第一 高动态范围图像以及第二高动态范围图像，第一高动态范围图像具有第一曝光时间比，第 二高动态范围图像具有第二曝光时间比，第二曝光时间比大于第一曝光时间比；对第一高 动态范围图像进行图像质量评估，以得到第一图像质量，对第二高动态范围图像进行图像 质量评估，以得到第二图像质量；判断第二图像质量是否优于第一图像质量，如果是，则以 第三曝光时间比拍摄第三高动态范围图像，其中，第三曝光时间比大于第二曝光时间比；如 果否，则以第一曝光时间比拍摄第三高动态范围图像，并将第一曝光时间比设定为最佳曝 光时间比。
[0006] 承上所述，本发明的高动态范围图像曝光时间控制方法，利用图像感测器经由图 像产生过程，产生连续的多个高动态范围图像并对其进行图像质量评估。由最低曝光时间 比开始，逐步增加曝光时间比到图像质量开始变差，则可决定上一个曝光时间比为最佳曝 光时间比。找到最佳曝光时间比之后，使用图像质量评估方法，比较本张图像的图像质量是 否与前一张图像的图像质量相同。如相同则维持最佳曝光比，如因光源的改变造成图像质 量下降，则将曝光时间比设定成原始的最低曝光时间比，并重新寻找最佳曝光时间比。
【专利附图】
【附图说明】
[0007] 图1为根据本发明的高动态范围图像曝光时间控制方法的方法流程图。
[0008] 图2为根据本发明的高动态范围图像曝光时间控制方法的长曝光图像的像素值 与短曝光场影的像素值对应亮度的示意图。
[0009] 图3为根据本发明的高动态范围图像曝光时间控制方法的产生高动态范围图像 的示意图。
[0010] 图4为根据本发明的高动态范围图像曝光时间控制方法的曝光时间比与图像质 量的关系图。
[0011] 【符号说明】
[0012] S41 ?S51:步骤
[0013] R1?R3:曝光时间比
[0014] 10:第一高动态范围图像
[0015] 20:第二高动态范围图像
[0016] 30:第三高动态范围图像
[0017] 40:第四高动态范围图像
[0018] 50:第五高动态范围图像
[0019] 501:第一长曝光图像
[0020] 502:第一短曝光图像
[0021] 503:第二长曝光图像
[0022] 504 :第二短曝光图像
[0023] 505:第三长曝光图像
[0024] 506:第三短曝光图像
[0025] 507:第四长曝光图像
[0026] 508:第四短曝光图像
[0027] 509:第五长曝光图像
[0028] 510:第五短曝光图像
【具体实施方式】
[0029]为利本领域技术人员了解本发明的技术特征、内容与优点及其所能达成的功效， 现在将本发明配合附图，并以实施例的表达形式详细说明如下，而其中所使用的附图，其主 旨仅为示意及辅助说明书之用，未必为本发明实施后的真实比例与精准配置，故不应就所 附的附图的比例与配置关系解读、局限本发明于实际实施上的权利范围，合先叙明。
[0030] 图1是本发明的高动态范围图像曝光时间控制方法的方法流程图。其流程步骤可 包含如下：
[0031]S41:利用图像感测器产生高动态范围图像。
[0032]S42:对高动态范围图像进行图像质量评估。
[0033] S43:是否第一次进行图像评估。如果是，则进入步骤S45;如果否，则进入步骤 S44。
[0034]S44 :是否为最佳曝光时间比。如果是，则进入步骤S48 ;如果否，则进入步骤S46。
[0035]S45:增加曝光时间比。
[0036]S46 :判断图像质量是否优于前一张图像质量。如果是，则进入步骤S45;如果否， 则进入步骤S47。
[0037]S47:降低曝光时间比，并将降低后的曝光时间比设定为最佳曝光时间比。
[0038]S48:是否为找到最佳曝光时间比后第一次进行图像质量评估。如果是，则进入步 骤S50 ;如果否，则进入步骤S49。
[0039]S49:判断图像质量是否与前一张图像质量相同。如果是，则进入步骤S50;如果 否，则进入步骤S51。
[0040] S50:维持曝光时间比
[0041]S51:将曝光时间比设为初始曝光时间比，并重新寻找最佳曝光时间比。
[0042] 在步骤S41中，请参考图2。图2为本发明的高动态范围图像曝光时间控制方法的 长曝光图像的像素值与短曝光场影的像素值对应亮度的示意图。环境中同一亮度的光源， 受到曝光时间的差异会形成不同的像素值（PixelValue)。假设曝光时间比R为长曝光图 像的曝光时间与短曝光图像的曝光时间的比值，则同样亮度的光源，在两张不同曝光时间 的图像得到的像素值会有R倍的差异。因此只要将短曝光图像的每一像素的像素值乘以R 倍，即可合并两张不同曝光时间的图像。相同地，只要将长曝光图像的每一像素的像素值除 以R倍，即可合并两张不同曝光时间的图像。
[0043] 在一具体实施例中，曝光时间比R可由使用者自行决定或由系统预设决定，当曝 光时间比R决定之后，可利用一般相机的自动曝光（AutoExposure)机制决定出曝光时间 A，而长曝光图像与短曝光图像的曝光时间可以A作为基准而对称地伸缩，亦即，长曝光图 像与短曝光图像的曝光时间的平均值等于A。举例来说，如果曝光时间比R为3,则长曝光 图像的曝光时间为1.5A，而短曝光图像的曝光时间为0.5A。如果曝光时间比R为7,则长曝 光图像的曝光时间为1. 75A，而短曝光图像的曝光时间为0. 25A。
[0044] 在一具体实施例中，使用者可关闭一般相机的自动曝光功能，改由自己手动决定 一曝光值B。接着，长曝光图像的曝光时间及短曝光图像的曝光时间可不对称地向B的两侧 伸缩，以找到最佳的曝光时间比。例如当曝光时间比R为10时，长曝光图像的曝光时间及 短曝光图像的曝光时间可分别为1. 25B及0. 125B。手动决定曝光值的优点是可以得到最佳 质量的高动态范围图像。
[0045] 请参考图3,假设在步骤S41中，图像感测器首先根据一初始曝光时间比R1 (假设 其值为3,其可由上述的使用者自行决定或由系统预设决定)拍摄第一长曝光图像501以及 第一短曝光图像502,并合并成为第一高动态范围图像10。而后进入步骤S42,对第一高动 态范围图像10进行图像质量评估(熵、画面边缘总和或过曝过暗的比例，详下述)。接着进 入步骤S43,判断是否为第一次进行图像评估。此时由于是第一次进行图像评估，因此进入 步骤S45，增加曝光时间比用以寻找最佳曝光时间比。
[0046] 图4为根据本发明的高动态范围图像曝光时间控制方法的曝光时间比与图像质 量的关系图，其是用以说明在步骤S45增加曝光时间比的原因。如图4所示，当曝光时间比 从a、b、c增加到d时，原则上图像质量也随着提高。但在曝光时间比由d增加到e时，由于 色调映射的压缩过程开始破坏画面中的细节与对比，导致图像质量没有随着曝光时间比的 增加而提高。亦即，本发明是为寻找曝光时间比d，而此时d点的曝光时间比即为本发明所 定义的最佳曝光时间比。反映于具体实施例中，如果如后两张_动态范围图像中，后一张_ 动态范围图像的图像质量相较前一张为差，则前一张高动态范围图像的曝光时间比即为最 佳曝光时间比。
[0047] 由于在步骤S43是第一次进行图像评估，仅有一张高动态范围图像10,并无法进 行比较，因此在步骤S45,直接增加曝光时间比（R2,假设其值增至7)，并重新回到步骤S41。 在步骤S41，图像感测器根据曝光时间比R2 (其值为7)拍摄第二长曝光图像503以及第二 短曝光图像504,并合并成为第二高动态范围图像20,而后再次进入步骤S42,对第二高动 态范围图像10进行图像质量评估(熵、画面边缘总和或过曝过暗的比例，详下述)。
[0048] 在一具体实施例中，图像质量评估可根据数据信息量来进行。当画面中的像 素亮度的分布越分散时，亦即，像素值分布越分散时，代表该画面保留最多的信息。因 此可使用熵（Entropy，又称之为"乱度"）作为图像质量评估的标准。其公式如下：
【权利要求】
1. 一种高动态范围图像曝光时间控制方法，其包含下列步骤： 利用一图像感测器连续产生一第一高动态范围图像以及一第二高动态范围图像，该 第一高动态范围图像具有一第一曝光时间比，该第二高动态范围图像具有一第二曝光时间 t匕，其中，该第二曝光时间比大于该第一曝光时间比； 对该第一高动态范围图像进行一图像质量评估，以得到一第一图像质量，对该第二高 动态范围图像进行该图像质量评估，以得到一第二图像质量；以及 判断该第二图像质量是否优于该第一图像质量，如果是，则以一第三曝光时间比拍摄 一第三高动态范围图像，其中，该第三曝光时间比大于该第二曝光时间比；如果否，则以该 第一曝光时间比拍摄该第三高动态范围图像，并将该第一曝光时间比设定为一最佳曝光时 间比。
2. 如权利要求1所述的高动态范围图像曝光时间控制方法，其中该图像感测器产生这 些高动态范围图像的过程，包含下列步骤： 分别利用该图像感测器拍摄一长曝光图像以及一短曝光图像，并将该长曝光图像与该 短曝光图像合并成为对应的_动态范围图像。
3. 如权利要求2所述的高动态范围图像曝光时间控制方法，其中该长曝光图像的曝光 时间与该短曝光图像的曝光时间的比值为该曝光时间比。
4. 如权利要求3所述的高动态范围图像曝光时间控制方法，其中每一曝光时间比对应 一曝光时间，该长曝光图像与该短曝光图像的曝光时间的平均值等于该曝光时间。
5. 如权利要求4所述的高动态范围图像曝光时间控制方法，其中该图像质量评估的过 程包含以一公式计算熵值（Entropy)，该公式为
，其中Pi为像素的像 素值为i的出现机率，E为熵值，熵值越大，代表对应的图像质量越佳。
6. 如权利要求4所述的高动态范围图像曝光时间控制方法，其中该图像质量评估的过 程包含计算边缘总和，边缘总和的值越大，代表对应的图像质量越佳。
7. 如权利要求4所述的高动态范围图像曝光时间控制方法，其中该图像质量评估的过 程还包含计算过曝过暗的比例。
8. 如权利要求4所述的高动态范围图像曝光时间控制方法，还包括下列步骤： 利用该最佳曝光时间比拍摄一第四高动态范围图像以及一第五高动态范围图像； 对该第四高动态范围图像进行该图像质量评估，以得到一第四图像质量；对该第五高 动态范围图像进行该图像质量评估，以得到一第五图像质量；以及 判断该第五图像质量是否与该第四图像质量相同，如果是，则维持该最佳曝光时间比 以持续拍摄高动态范围图像；如果否，则清除该最佳曝光时间比，并以一初始曝光时间比重 新寻找该最佳曝光时间比。
9. 如权利要求8所述的高动态范围图像曝光时间控制方法，如果该第五图像质量与该 第四图像质量的差异在±5%或±10%的范围，则该第五图像质量与该第四图像质量为相 同。
10. 如权利要求9所述的高动态范围图像曝光时间控制方法，这些曝光时间比是介于1 至64之间的整数。
【文档编号】H04N5/235GK104349070SQ201310381695
【公开日】2015年2月11日 申请日期:2013年8月28日 优先权日:2013年8月8日
【发明者】林耿生, 程之奇, 李宗德, 陈信宇, 杨文助 申请人:广达电脑股份有限公司