专利名称：影像拍摄装置及其影像合成方法
技术领域：
本发明是有关于一种影像拍摄装置及其影像合成方法，特别是有关于一种可对拍摄场景进行多种的曝光亮度分析，以进一步合成高动态范围影像的影像拍摄装置及其影像合成方法。
背景技术：
高动态范围(High Dynamic Range, HDR)档是一种特殊图形档格式，它的每一个图元除了普通的RGB资讯，还有该点的实际亮度资讯。普通的图形档每个图元只有0至255 的灰度范围，这实际上是不够的。想像一下太阳的发光强度和一个纯黑的物体之间的灰度范围或者说亮度范围的差别，远远超过了 256个级别。因此，一张普通的白天风景图片，看上去白云和太阳可能都呈现是同样的灰度/亮度，都是纯白色，但实际上白云和太阳之间实际的亮度不可能一样，它们之间的亮度差别是巨大的。因此，普通的图形档格式是很不精确的，远远没有记录到现实世界的实际状况。高动态范围是指一个场景的最亮和最暗部分之间的相对比值。一张高动态范围影像，它记录了远远超出256个级别的实际场景的亮度值，超出的部分在屏幕上是显示不出来的。可以这样想像在Wiotoshop里打开一张从室内往窗外拍的图片，窗外的部分处在强烈的阳光下，曝光过度，呈现的是一片白色，没有多少细节。你将毫无办法，调暗只会变成灰色而已，并不会呈现更多的细节。但如果同一场景是由高动态范围影像所记录的话，减低曝光度，原来纯白的部分将会呈现更多的细节。目前合成高动态范围影像，大多都是针对同一场景，以固定的曝光值来拍摄数张影像，每张影像的曝光值约略差1至2曝光值(Expose Value, EV)的曝光补偿，或是更少， 来尝试结合多张不同曝光影像来包含该场景的影像动态。然而，现有的方法，由于每张影像的动态有限，所以得拍摄多张影像来合成，然而一般相机的处理能力有限，无法在短时间内处理3张以上的影像时，我们就得从中选出几张影像进行合成。例如，针对2至3张影像进行处理，且以固定的曝光补偿来拍摄2至3张影像，来合成高动态范围影像。然而，此种方式有时因场景的关系，无法有效地选出恰当的曝光补偿值来拍摄或处理影像，因而常常无法产生预期的高动态范围影像。因此，以需求来说，设计一理想的影像拍摄装置及其影像合成方法，来合成高动态范围影像，已成市场应用上一刻不容缓的议题。
发明内容
因为上述现有技术存在的问题，本发明的目的就是提供一种影像拍摄装置及其影像合成方法，以解决已知的技术将不同曝光补偿的影像一并进行合成，所造成的高动态范围影像处理时间及影像品质不如预期的问题。根据本发明的目的，提出一种影像拍摄装置，其包含一影像拍摄模组、一曝光模组以及一处理模组。影像拍摄模组对一场景拍摄一高位元场景影像。曝光模组对该场景做测光，以产生多个色阶分布图。处理模组根据该些色阶分布图运算出该高位元场景影像于不
4同曝光条件的多个离散值，且该处理模组根据至少二个最高的离散值对该高位元场景影像进行影像处理，以产生至少二个不同亮度条件的低位元暂时影像，并将该至少二个不同亮度条件的低位元暂时影像进行影像合成，以产生一储存影像。其中，该曝光模组以多种曝光补偿对该场景进行测光，以产生不同曝光条件的该些色阶分布图。其中，该曝光模组就一区间亮度范围，产生不同曝光条件的该些色阶分布图。其中，各该离散值代表该高位元场景影像于不同曝光补偿条件的亮暗变化程度。其中，该处理模组更包含一转换单元，该转换单元根据该至少二个最高的离散值将该高位元场景影像转换成该至少二个不同亮度条件的低位元暂时影像。其中，该处理模组合成该至少二个不同亮度条件的低位元暂时影像中相同影像物件中的每一像素，以产生该储存影像。其中，该储存影像为一高动态范围影像。根据本发明的目的，再提出一种影像合成方法，适用于一影像拍摄装置，该影像合成方法包含下列步骤由一影像拍摄模组对一场景拍摄一高位元场景影像；通过一曝光模组对该场景做测光，以产生多个色阶分布图；利用一处理模组根据该些色阶分布图运算出该高位元场景影像于不同曝光条件的多个离散值；以该处理模组根据至少二个最高的离散值对该高位元场景影像进行影像处理，以产生至少二个不同亮度条件的低位元暂时影像； 以及由该处理模组将该至少二个不同亮度条件的低位元暂时影像进行影像合成，以产生一储存影像。其中，此方法更包含通过该曝光模组以多种曝光补偿对该场景进行测光，以产生不同曝光条件的该些色阶分布图。其中，此方法更包含使用该曝光模组就一区间亮度范围产生不同曝光条件的该些色阶分布图。其中，此方法更包含利用该处理模组的一转换单元根据该至少二个最高的离散值将该高位元场景影像转换成该至少二个不同亮度条件的低位元暂时影像。其中，此方法更包含由该处理模组合成该至少二个不同亮度条件的低位元暂时影像中相同影像物件中的每一像素，以产生该储存影像。其中，各该离散值代表该高位元场景影像于不同曝光补偿条件的亮暗变化程度。其中，该储存影像为一高动态范围影像。根据本发明的目的，又提出一种影像拍摄装置，其包含一影像拍摄模组、一曝光模组、一处理模组、一转换模组以及一影像合成模组，影像拍摄模组对一场景拍摄一高位元场景影像。曝光模组对该场景做测光，以产生多个色阶分布图。处理模组系根据该些色阶分布图运算出该高位元场景影像于不同曝光条件的多个离散值。转换模组根据至少二个最高的离散值将该高位元场景影像转换成至少二个不同亮度条件的低位元暂时影像。影像合成模组将该至少二个不同亮度条件的低位元暂时影像合成为一高动态范围影像。其中，各该离散值代表该高位元场景影像于不同曝光补偿条件的亮暗变化程度。承上所述，依本发明的影像拍摄装置及其影像合成方法，其可具有一或多个下述优点(1)此影像拍摄装置及其影像合成方法可在拍摄过程中，利用对拍摄场景测光时，进行亮度动态分析，然后按照影像拍摄装置所能处理的影像张数，动态地且有效率地产生不同曝光值的低位元暂时影像，以合成一高动态范围影像。如此将能缩短高动态范围影像合成的时间。(2)此影像拍摄装置及其影像合成方法可在拍摄过程中，利用对拍摄场景测光时， 进行亮度动态分析，然后按照影像拍摄装置所能处理的影像张数，动态地且有效率地产生不同曝光值的低位元暂时影像，以合成一高动态范围影像。如此将能提升高动态范围影像合成的品质。
图1为本发明的影像拍摄装置一实施例的框图。图2为本发明的影像拍摄装置一实施例的示意图。图3为本发明的影像拍摄装置一实施例影像的各色阶分布图的示意图。图4为本发明的影像拍摄装置一实施例的高低位元影像转换的示意图。图5为本发明的影像拍摄装置一实施例的高动态范围影像的合成示意图。图6为本发明的具有影像拍摄功能的电子装置一实施例的示意图。图7为本发明的影像合成方法的流程中1 影像拍摄装置10 影像拍摄模组101 高位元场景影像11 曝光模组111 色阶分布图12 处理模组13 转换模组131 第一低位元暂时影像132 第二低位元暂时影像14 影像合成模组141 高动态范围影像15 储存模组16 显示模组41 高位元影像的部分区块42 低位元影像的部分区块6 电子装置60 本体61 输入装置S71 S75:步骤
具体实施例方式以下将参照相关图式，说明依本发明的影像拍摄装置及其影像合成方法的实施例，为使便于理解，下述实施例中的相同元件以相同的符号标示来说明。本发明的影像拍摄装置可以是数字相机(Digital Camera)、照相手机(Camera Phone)、智慧型手机(Smartphone)或数字摄影机(Digital Video Camera)等各种具有摄像功能的可携式电子装置，为便于更了解本发明的技术特征，底下是以照相手机为实施例， 但并不以此为限。请参阅图1，其为本发明的影像拍摄装置一实施例的框图。如图所示，本发明的影像拍摄装置1包含了一影像拍摄模组10、一曝光模组11、一处理模组12、一转换模组13、一影像合成模组14、一储存模组15以及一显示模组16。影像拍摄模组10系用来拍摄影像及产生影像资料。影像拍摄模组10可包含镜头、感光元件如互补式金氧半导体元件(Complementary Metal-Oxide-Semiconductor, CMOS)或电荷耦合元件 (Charge-Coupled-DevichCCD)、模拟/数字电路、影像处理器等。曝光模组11具有自动曝光(Auto Exposure)调节的机制，可包含光圈大小、快门、ISO感光度等，且其以多种曝光补偿对欲进行拍摄的场景进行测光，来产生不同曝光条件的该些色阶分布图111。储存模组 15可作影像的储存，其可为嵌入式记忆体、外接式记忆卡或其组合。显示模组16用以显示影像，其可为液晶显示器(Liquid Crystal Display，IXD)或触控式液晶屏幕。处理模组12电性连接影像拍摄模组10、曝光模组11、转换模组13、影像合成模组 14、储存模组15以及显示模组16，其可为中央处理器(Central Processing Unit,CPU)或微处理器(Micro-Processing Unit)。处理模组12可根据曝光模组11产生的该些色阶分布图111运算出该高位元场景影像101于不同曝光条件的多个离散值。接着，转换模组13 可根据至少二个最高的离散值将该高位元场景影像101转换成至少二个不同亮度条件的低位元暂时影像。例如，如图1中所示，处理模组12可控制转换模组13将高位元场景影像 101进行影像处理，产生第一低位元暂时影像131及第二低位元暂时影像132。而后，处理模组12可控制影像合成模组14将该至少二个不同亮度条件的低位元暂时影像(如第一低位元暂时影像131及第二低位元暂时影像13 进行影像合成，以产生一张高动态范围影像141，储存于储存模组15。并处理模组12可控制显示模组16显示该高动态范围影像141。此外，熟悉此项技术者当可任意结合上述的功能模组成一整合式模组，或分拆成各个功能细部单元，端看设计上的方便而定。请一并参阅图2，其为本发明的影像拍摄装置一实施例的示意图。如图所示，使用者在使用影像拍摄装置1拍摄影像的过程中，可在影像拍摄模组10对拍摄场景拍摄一高位元场景影像101的同时，利用曝光模组11自动曝光(Auto Exposure, AE)调节的机制对该拍摄场景做测光，以统计出该拍摄场景在不同曝光条件下的色阶分布图111。在本实施例中，曝光模组11在进行自动曝光调节机制的测光时，可分别用+2EV、+1EV、0EV、-1EV和-2EV 等5种曝光补偿进行测光。使得影像拍摄模组10在拍摄该高位元场景影像101的同时，曝光模组11可得到各种不同曝光条件的各该色阶分布图111 (如图3所示)。接着，处理模组12可利用各该色阶分布图111运算出该张高位元场景影像101在特定曝光补偿条件下的熵值(Entropy)。其中，熵值越高，代表该高位元场景影像101于特定曝光补偿条件下所涵盖的有效动态范围越大，亦即亮暗范围的变化越大。请一并参阅表1，其为不同的曝光补偿分别对应的熵值。如表所示，可得知+2EV、 +1EV、0EV、-IEV和-2EV等5种曝光补偿条件下的熵值分别为3. 31,4. 01,3. 75,3. 83禾口
7CN 102469248 A说明书5/7 页
2. 96。根据前面叙述可进一步推知该高位元场景影像101在特定曝光补偿条件下所涵盖的有效动态范围，由大至小的顺序依序为+1EV、-1EV、0EV、+2EV和-2EV。如此，处理模组12可根据影像拍摄装置1初始设定的高动态范围影像的处理时间或合成张数(该初始设定可依厂商或使用者动态地调整成不同的初始值)，控制转换模组13对高位元场景影像101进行影像处理。例如，初始设定的高动态范围影像的合成张数为两张较低位元的暂时影像(在本实施例中，初始设定的两张合成张数，然而本发明于实际实施时，并不限于此合成张数的限定)，转换模组13可将影像拍摄模组10所拍摄到的高位元场景影像101进行影像处理， 依据5种曝光补偿的熵值大小，产生+IEV的第一低位元暂时影像131及-IEV的第二低位元暂时影像132。表1不同的曝光补偿分别对应的熵值
I曝光补偿I熵值 I +23731
+14Γθ
Γ~0Γ 5
-1Γ83
-2 ““27%影像拍摄装置1在拍摄场景所拍摄的高位元场景影像101，可为一 12或14 位元RAW格式的影像。也就是说，其为一个经过最少处理的原始数据影像档，且具有 4, 096(2" 12)或16，3840~14)的亮度阶层，以记录每个像素的亮度。在本实施例中，转换模组13可依据5种曝光补偿的熵值大小，且利用位元变换(bit shift)的方式，将此12或 14位元具有较高色相、饱和度、亮度和解析度等的场景影像101转换成具有256 (2~8)亮度阶层的+IEV 8位元暂时影像131及-IEV 8位元暂时影像132。其可结合蓝波-立夫-卫曲编码法(Lempel-Ziv-Welch Encoding, LZff)所产生的8位元GIF格式影像的转换方式或离散余弦转换法(Discrete Cosine Transform, DCT)所产生的8位元JPEC格式影像的转换方式等。请参阅图4，其为本发明的影像拍摄装置一实施例的高低位元影像转换的示意图。 如图所示，图中右上方及右下方分别为一高位元影像的部分区块41及一低位元影像的部分区块42。由图可知，高位元影像通常具有较高色相、饱和度、亮度和解析度等(在此示意图中，仅显示解析度的差异)；而低位元影像的色相、饱和度、亮度和解析度等，通常较不及高位元影像。不过，在一般的显示模组显示低位元影像时，使用者不易分辨上述的差别。故， 结合实际应用上的考量，转换模组13在此可兼固影像的清晰度，亦可节省相当的影像处理时间。顺带一提的是，在本发明所属领域中具有通常知识者应当明了，在前面叙述方式的位元变换(bit shift)实施形式仅为举例而非限制，在此先行叙明。请参阅图5，其为本发明的影像拍摄装置一实施例的高动态范围影像的合成示意图。如图所示，处理模组12可将+IEV的第一低位元暂时影像131及-IEV的第二低位元暂时影像132进行影像合成，以产生一张高动态范围影像141，储存于储存模组15。最后，显示模组16可显示此高动态范围影像141。由上述可知，在初始条件为两张暂时影像的高动态合成张数时，处理模组12以最大熵值组合的曝光补偿来进行影像处理，来产生出+IEV的第一低位元暂时影像131及-IEV 的第二低位元暂时影像132 ；其代表该高位元场景影像101在此曝光补偿条件下所涵盖的最大有效动态范围。而后，处理模组12合成不同亮度条件的第一低位元暂时影像131及第二低位元暂时影像132中相同影像物件中的每一像素，以得到最大动态范围的高动态范围影像。也就是说，在有限的拍摄条件下，使用者可由选出最佳的曝光参数，使得合成的高动态范围影像，其动态与细节都是最佳的。值得一提的是，影像拍摄装置1亦可对高位元场景影像101中有兴趣的区间亮度范围作进一步地处理。类似前面所叙述，如使用者对亮度值介于64-192间的资讯有兴趣， 使用者可经由一操作介面(图未示)控制处理模组12对此范围内的色阶分布图111进行统计，以找出最佳的曝光组合。而后，处理模组12再将高位元场景影像101处理成至少二不同亮度条件的低位元暂时影像131及132，以进行高动态影像合成。最后，产生一张亮度值介于64-192间的区间亮度范围的高动态范围影像141。此外，在本发明所属领域中具有通常知识者应当明了，自动曝光调节机制进行测光时，其不一定要以1为单位来进行曝光补偿的测光，亦可以0. 3或其他数字单位为间隔进行自动曝光调节机制的曝光补偿的测光。且影像在特定曝光补偿条件下的熵值可由其他的离散值或统计值来代表。前面叙述的实施形式仅为举例而非限制，在此先行叙明。请参阅图6，其为本发明的具有影像拍摄功能的电子装置一实施例的示意图。如图所示，本发明的电子装置6包含一本体60、输入装置61及影像拍摄装置1，影像拍摄装置1 设置于本体60之上且与输入装置61电性连接。影像拍摄装置1则包含了影像拍摄模组、 曝光模组、处理模组、转换模组、影像合成模组、储存模组以及显示模组，此处的影像拍摄装置1的详细叙述已于前面详述过，在此便不再赘述。然而值得一提的是，本发明所提出的电子装置6可为各式移动式手持装置，例如数字相机、具有照相功能的多媒体播放装置、具有照相功能的行动电话、智慧型手机(Smart phone)、导航装置(Navigator)、具照相功能的平板电脑或个人数字助理(PDA)等。在本实施例中，本发明的电子装置6即以智慧型手机为例，其可内嵌本发明所提出的影像拍摄装置1作为照相用，因而使用者可由智慧型手机的输入装置61如触控屏幕或实体按键等，在需要拍摄高动态范围影像的情况下，电子装置6随即开始进行上述的自动曝光的测光、熵值运算、影像的高低位元转换及高动态范围影像合成的动作，其大大的缩短了高动态范围影像合成的时间以及提升影像合成的品质。本实施例所揭露的智慧型手机仅为举例而非限制，在本发明所属技术领域具有通常知识者应可轻易置换其他的装置搭配本发明的影像拍摄装置，在此先行叙明。尽管前述在说明本发明的影像拍摄装置的过程中，亦已同时说明本发明的影像拍摄装置的影像合成方法的概念，但为求清楚起见，以下仍另绘示流程图详细说明。请参阅图7，其为本发明的影像合成方法的流程图。如图所示，本发明的影像合成方法，其适用于一影像拍摄装置，该影像拍摄装置包含一影像拍摄模组、一曝光模组、一处理模组、一转换模组、一影像合成模组、一储存模组以及一显示模组。影像拍摄装置的影像合成方法包含下列步骤(S71)由一影像拍摄模组对一场景拍摄一高位元场景影像；(S72)通过一曝光模组以多种曝光补偿对该场景进行测光，以产生不同曝光条件的多个色阶分布图；(S73)利用一处理模组根据该些色阶分布图运算出该高位元场景影像在不同曝光条件的多个离散值；(S74)以该处理模组根据至少二个最高的离散值对该高位元场景影像进行影像处理，以产生至少二个不同亮度条件的低位元暂时影像；以及(S75)由该处理模组将该至少二个不同亮度条件的低位元暂时影像进行影像合成，以产生一高动态范围影像。本发明的影像拍摄装置的影像合成方法的详细说明以及实施方式已于前面叙述本发明的影像拍摄装置以及电子装置时描述过，在此为了简略说明便不再叙述。综上所述，本发明所提出的影像拍摄装置及其影像合成方法可于拍摄过程中，利用对拍摄场景测光时，进行亮度动态分析，然后按照影像拍摄装置所能处理的影像张数，动态地且有效率地产生不同曝光值的低位元暂时影像，以合成一高动态范围影像。如此将能缩短高动态范围影像合成的时间且提升高动态范围影像合成的品质。以上所述仅为举例性，而非为限制性者。任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包含于申请专利范围中。
权利要求
1.一种影像拍摄装置，其特征在于包含一影像拍摄模组，其对一场景拍摄一高位元场景影像；一曝光模组，其对所述场景做测光，以产生多个色阶分布图；以及一处理模组，其根据所述色阶分布图运算出所述高位元场景影像在不同曝光条件的多个离散值，且所述处理模组根据至少二个最高的离散值对所述高位元场景影像进行影像处理，以产生至少二不同亮度条件的低位元暂时影像，并将所述至少二个不同亮度条件的低位元暂时影像进行影像合成，以产生一储存影像。
2.如权利要求1所述的影像拍摄装置，其特征在于所述曝光模组以多种曝光补偿对所述场景进行测光，以产生不同曝光条件的所述色阶分布图。
3.如权利要求2所述的影像拍摄装置，其特征在于所述曝光模组就一区间亮度范围， 产生不同曝光条件的所述色阶分布图。
4.如权利要求1所述的影像拍摄装置，其特征在于所述处理模组更包含一转换单元， 所述转换单元根据所述至少二个最高的离散值将所述高位元场景影像转换成所述至少二个不同亮度条件的低位元暂时影像。
5.如权利要求1所述的影像拍摄装置，其特征在于所述处理模组合成所述至少二个不同亮度条件的低位元暂时影像中相同影像物件中的每一像素，以产生所述储存影像。
6.一种影像合成方法，适用于一影像拍摄装置，其特征在于该影像合成方法包含下列步骤由一影像拍摄模组对一场景拍摄一高位元场景影像；通过一曝光模组对所述场景做测光，以产生多个色阶分布图；利用一处理模组根据所述色阶分布图运算出所述高位元场景影像于不同曝光条件的多个离散值；以所述处理模组根据至少二个最高的离散值对所述高位元场景影像进行影像处理，以产生至少二个不同亮度条件的低位元暂时影像；以及通过所述处理模组将所述至少二个不同亮度条件的低位元暂时影像进行影像合成，以产生一储存影像。
7.如权利要求6所述的影像合成方法，其特征在于更包含下列步骤通过所述曝光模组以多种曝光补偿对所述场景进行测光，以产生不同曝光条件的所述色阶分布图。
8.如权利要求7所述的影像合成方法，其特征在于更包含下列步骤使用所述曝光模组就一区间亮度范围产生不同曝光条件的所述色阶分布图。
9.如权利要求6所述的影像合成方法，其特征在于更包含下列步骤利用所述处理模组的一转换单元根据所述至少二个最高的离散值将所述高位元场景影像转换成所述至少二个不同亮度条件的低位元暂时影像。
10.如权利要求6所述的影像合成方法，其特征在于更包含下列步骤由所述处理模组合成所述至少二个不同亮度条件的低位元暂时影像中相同影像物件中的每一像素，以产生所述储存影像。
11.一种影像拍摄装置，其特征在于包含一影像拍摄模组，其对一场景拍摄一高位元场景影像；一曝光模组，其对所述场景做测光，以产生多个色阶分布图；一处理模组，其根据所述色阶分布图运算出所述高位元场景影像于不同曝光条件的多个离散值；一转换模组，其根据至少二个最高的离散值将所述高位元场景影像转换成至少二个不同亮度条件的低位元暂时影像；以及一影像合成模组，其将所述至少二个不同亮度条件的低位元暂时影像合成为一高动态范围影像。
12.如权利要求11所述的影像拍摄装置，其特征在于 所述各离散值代表所述高位元场景影像于不同曝光补偿条件的亮暗变化程度。
全文摘要
本发明公开一种影像拍摄装置及其影像合成方法，其中影像拍摄装置包含一影像拍摄模组、一曝光模组以及一处理模组，影像拍摄模组对一场景拍摄一高位元场景影像，曝光模组对该场景做测光，以产生多个色阶分布图，处理模组根据该些色阶分布图运算出该高位元场景影像于不同曝光条件的多个离散值，且该处理模组根据至少二个最高的离散值对该高位元场景影像进行影像处理，以产生至少二个不同亮度条件的低位元暂时影像，并将该至少二个不同亮度条件的低位元暂时影像进行影像合成，以产生一高动态范围影像。本发明将能提升高动态范围影像合成的品质。
文档编号H04N5/235GK102469248SQ20101054179
公开日2012年5月23日 申请日期2010年11月12日 优先权日2010年11月12日
发明者李运锦 申请人:华晶科技股份有限公司