图像处理方法与电子装置与流程

本发明涉及一种图像处理方法与电子装置，尤其涉及高动态范围图像的图像处理方法与电子装置。

背景技术：

图1a至图1c是传统单张图像的取像技术的示意图。传统单张图像的取像技术，在高反差亮度的场景时(例如：逆光场景)，由于感测器动态范围(dynamicrange)的限制，此时若主体(例如：人像)亮度较暗，为拉亮此暗部区域图像亮度，而选择较长的曝光设定，会造成图像其他明亮区域，因曝光设定增长而造成过曝，因此形成主体亮度正常但背景过曝的不佳图像，如图1a所示。若曝光设定改以亮部区域为主时，为避免亮部区域过曝，则会因选择较短的曝光设定，反而造成图像主体区域因曝光不足而过暗，如图1b所示。如此，不管怎样的曝光设定，使用者皆无法拍到主体、背景皆清晰的图像。

一般来说，为了达到图像最佳的效果，可以将多张图像叠合成单一高动态范围图像，并通过阶调再现(tonereproduction)技术，调整每一个像素的亮度。此方法可以较精准地还原现场景物的动态范围，避免图像有过曝或过暗的区域，并产生明亮与暗部区域的细节。为了产生好的迭合图像，通常需要多张不同曝光设定的图像，因此得花费较多的计算时间(computationtime)与存储器空间，方能有效地完成迭合。然而，区域性阶调再现的调整不仅费时，且容易产生光晕(例如，黑白边界处，有异常的白边或黑边)的问题，如图1c所示。此外，现有高动态图像处理技术，有时主体亮度经图像处理迭合后，对比度也跟着下降，造成主体立体感下降且不自然的亮度变化。

技术实现要素：

本发明提供一种图像处理方法与电子装置，可以使用深度信息来优化高动态范围图像，使得优化后的高动态范围图像可以更贴近人眼所见，并且能达到更佳的视觉效果。

本发明的提出一种图像处理方法，用于电子装置，所述方法包括：取得多个第一图像；取得第一深度信息；根据所述多个第一图像产生第二图像；根据所述第一深度信息，识别所述第二图像中的主体以及背景；判断是否需对所述第二图像中的所述主体进行优化；当需对所述第二图像中的所述主体进行优化时，对所述第二图像中的所述主体进行优化，根据所述背景以及优化后的所述主体产生输出图像，并输出所述输出图像；以及当不需对所述第二图像中的所述主体进行优化时，根据所述背景以及所述主体产生所述输出图像，并输出所述输出图像。

在本发明的一实施例中，其中取得所述多个第一图像的步骤包括：取得对应于所述主体的第二深度信息；根据所述第二深度信息，决定第一曝光值；根据所述第一曝光值，决定至少一第二曝光值；以及根据所述第一曝光值以及所述第二曝光值获取所述多个第一图像。

在本发明的一实施例中，其中取得所述第一深度信息的步骤包括：根据所述多个第一图像中使用所述第一曝光值拍摄的第三图像，取得所述第一深度信息。

在本发明的一实施例中，所述方法还包括：取得使用所述第一曝光值获取的第四图像，其中用于获取所述多个第一图像的第一图像获取电路不同于用于获取所述第四图像的第二图像获取电路。其中取得所述第一深度信息的步骤包括：根据所述第三图像以及所述第四图像取得所述第一深度信息。

在本发明的一实施例中，其中取得对应于所述主体的所述第二深度信息的步骤包括：获得至少一第五图像，其中所述第五图像是由所述第一图像获取电路所获取；获得至少一第六图像，其中所述第六图像是由所述第二图像获取电路所获取；以及根据所述第五图像以及所述第六图像取得对应于所述主体的所述第二深度信息。

在本发明的一实施例中，其中所述第二深度信息是通过深度感测电路所获得，其中取得所述第一深度信息的步骤包括：根据所述多个第一图像中使用所述第一曝光值拍摄的所述第三图像以及所述深度感测电路感测所述主体所获得的第三深度信息，取得所述第一深度信息。

在本发明的一实施例中，其中判断是否需对所述第二图像中的所述主体进行优化的步骤包括：根据所述第二图像以及所述多个第一图像中的至少一第五图像，判断所述第二图像中的所述主体的第一参数与所述第五图像中的所述主体的第二参数的差值是否大于一门槛值；当所述差值大于所述门槛值时，判断需对所述第二图像中的所述主体进行优化；以及当所述差值不大于所述门槛值时，判断不需对所述第二图像中的所述主体进行优化。

在本发明的一实施例中，所述第一参数与所述第二参数为亮度值和/或对比度。

在本发明的一实施例中，其中在产生所述输出图像的步骤包括：对所述背景进行虚化，并根据虚化后的所述背景产生所述输出图像。

在本发明的一实施例中，其中所述第二图像为高动态范围图像(highdynamicrangeimage，hdr)。

本发明提出一种电子装置，所述电子装置包括处理器。所述处理器用以执行下述操作：取得多个第一图像；取得第一深度信息；根据所述多个第一图像产生第二图像；根据所述第一深度信息，识别所述第二图像中的主体以及背景；判断是否需对所述第二图像中的所述主体进行优化；当需对所述第二图像中的所述主体进行优化时，对所述第二图像中的所述主体进行优化，根据所述背景以及优化后的所述主体产生输出图像，并输出所述输出图像；以及当不需对所述第二图像中的所述主体进行优化时，根据所述背景以及所述主体产生所述输出图像，并输出所述输出图像。

在本发明的一实施例中，其中在取得所述多个第一图像的操作中，所述处理器还用以执行下述操作：取得对应于所述主体的第二深度信息；根据所述第二深度信息，决定第一曝光值；根据所述第一曝光值，决定至少一第二曝光值；以及所述处理器根据所述第一曝光值以及所述第二曝光值获取所述多个第一图像。

在本发明的一实施例中，其中在取得所述第一深度信息的操作中，所述处理器根据所述多个第一图像中使用所述第一曝光值拍摄的第三图像，取得所述第一深度信息。

在本发明的一实施例中，所述处理器取得使用所述第一曝光值获取的第四图像，其中用于获取所述多个第一图像的第一图像获取电路不同于用于获取所述第四图像的第二图像获取电路。其中在取得所述第一深度信息的操作中，所述处理器根据所述第三图像以及所述第四图像取得所述第一深度信息。

在本发明的一实施例中，其中在取得对应于所述主体的所述第二深度

信息的操作中，所述处理器获得至少一第五图像，其中所述第五图像是由所述第一图像获取电路所获取。所述处理器获得至少一第六图像，其中所述第六图像是由所述第二图像获取电路所获取。所述处理器根据所述第五图像以及所述第六图像取得对应于所述主体的所述第二深度信息。

在本发明的一实施例中，其中所述第二深度信息是通过深度感测电路所获得，其中在取得所述第一深度信息的操作中，所述处理器根据所述多个第一图像中使用所述第一曝光值拍摄的所述第三图像以及所述深度感测电路感测所述主体所获得的一第三深度信息，取得所述第一深度信息。

在本发明的一实施例中，其中在判断是否需对所述第二图像中的所述主体进行优化的操作中，所述处理器根据所述第二图像以及所述多个第一图像中的至少一第五图像，判断所述第二图像中的所述主体的第一参数与所述第五图像中的所述主体的第二参数的差值是否大于门槛值。当所述差值大于所述门槛值时，所述处理器判断需对所述第二图像中的所述主体进行优化。当所述差值不大于所述门槛值时，所述处理器判断不需对所述第二图像中的所述主体进行优化。

在本发明的一实施例中，所述第一参数与所述第二参数为亮度值和/或对比度。

在本发明的一实施例中，其中在产生所述输出图像的操作中，所述处理器对所述背景进行虚化，并根据虚化后的所述背景产生所述输出图像。

在本发明的一实施例中，其中所述第二图像为高动态范围图像(highdynamicrangeimage，hdr)。

基于上述，本发明的图像处理方法与电子装置可以使用深度信息来优化高动态范围图像中的主体，藉此修正高动态范围图像中主体的亮度和/或对比度，让优化后的高动态范围图像可以更贴近人眼所见，并且能达到更佳的视觉效果。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。

附图说明

图1a至图1c是传统单张图像的取像技术的示意图。

图2是依照本发明的一实施例所示出的电子装置的示意图。

图3是依照本发明的第一实施例所示出的图像处理方法的流程图。

图4是依照本发明的第一实施例所示出的第一深度信息的示意图。

图5是依照本发明的第一实施例所示出的输出图像的示意图。

图6是依照本发明的第二实施例所示出的图像处理方法的流程图。

附图标记说明

100：电子装置；

20：处理器；

22：深度感测电路；

24：图像获取电路；

26：储存电路；

s301：取得多个第一图像的步骤；

s303：取得第一深度信息的步骤；

s305：根据所述多个第一图像产生第二图像的步骤；

s307：根据第一深度信息，识别第二图像中的主体以及背景的步骤；

s309：判断是否需对第二图像中的主体进行优化的步骤；

s311：对第二图像中的主体进行优化，根据背景以及优化后的主体产生输出图像的步骤；

s313：根据背景以及主体产生输出图像的步骤；

s315：输出前述的输出图像的步骤；

s601：取得对应于主体的第二深度信息的步骤；

s603：根据第二深度信息，决定第一曝光值的步骤；

s605：根据第一曝光值，决定第二曝光值的步骤；

s607：根据第一曝光值以及第二曝光值获取多个第一图像的步骤；

s609：取得第一深度信息的步骤；

s611：根据所述多个第一图像产生第二图像的步骤；

s613：根据第一深度信息，识别第二图像中的主体以及背景的步骤；

s615：判断是否需对第二图像中的主体进行优化的步骤；

s617：对第二图像中的主体进行优化，根据前述背景以及优化后的主体产生输出图像的步骤；

s619：根据前述背景以及前述主体产生输出图像的步骤；

s621：输出前述的输出图像的步骤。

具体实施方式

现将详细参考本发明的示范性实施例，在附图中说明所述示范性实施例的实例。另外，凡可能之处，在附图及实施方式中使用相同标号的元件/构件代表相同或类似部分。

图2是依照本发明的一实施例所示出的电子装置的示意图。

请参照图2，电子装置100包括处理器20、深度感测电路22、图像获取电路24以及储存电路26。其中，深度感测电路22、图像获取电路24以及储存电路26分别耦接至处理器20。电子装置100例如是手机、平板电脑、笔记型电脑等电子装置，在此不设限。需注意的是，在本实施例中，深度感测电路22以及图像获取电路24是被配置于电子装置100中。然而本发明不限于此，在其他实施例中，深度感测电路22以及图像获取电路24也可以被配置于电子装置100以外的其他装置中。

处理器20可以是中央处理器(centralprocessingunit，cpu)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digitalsignalprocessor，dsp)、可程序化控制器、特殊应用集成电路(applicationspecificintegratedcircuit，asic)或其他类似元件或上述元件的组合。

深度感测电路22可以是用来发射红外线与接收所述红外线的反射来获取深度的深度感测器。或者，深度感测电路22也可以是相同于图像获取电路24的图像获取电路，其可以用于获取图像并且让处理器20根据深度感测电路22所获取的图像以及图像获取电路24所获取的图像来判断所拍摄的图像中的物体的深度。或者，深度感测电路22也可以是其他种类可以取得深度信息的电路，在此不做限制。

图像获取电路24是用以获取一或多张图像。举例来说，图像获取电路24可以配备有电荷耦合元件(chargecoupleddevice，ccd)、互补性氧化金属半导体(complementarymetal-oxidesemiconductor，cmos)元件或其他种类的感光元件的摄像镜头。

储存电路26可以是任何类型的固定或可移动随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)或类似元件或上述元件的组合。

在本范例实施例中，电子装置100的储存电路26中储存有多个程序码片段，在上述程序码片段被安装后，会由处理器20来执行。例如，储存电路26中包括多个模块，通过这些模块来分别执行本发明的图像处理方法的各个操作，其中各模块是由一或多个程序码片段所组成。然而本发明不限于此，电子装置100的各个操作也可以是使用其他硬件形式的方式来实现。

以下以多个实施例来描述本发明的图像处理方法。

[第一实施例]

图3是依照本发明的第一实施例所示出的图像处理方法的流程图。

请同时参照图2与图3。首先，处理器20可以取得由图像获取电路24对一场景进行拍摄的多张第一图像(步骤s301)。此些第一图像可以是分别使用不同的曝光值所拍摄。之后，处理器20可以取得由深度感测电路22和/或图像获取电路24检测到的第一深度信息(步骤s303)。第一深度信息例如是深度感测电路22和/或图像获取电路24对前述场景进行检测而所获得的对应于所述场景的深度信息。例如，图4是依照本发明的第一实施例所示出的第一深度信息的示意图。请参照图4，深度感测电路22和/或图像获取电路24可以对具有人物(即，主体)的场景进行深度的检测以获得如图4得深度信息。

此外，处理器20还会根据前述多个第一图像产生一张第二图像(步骤s305)。在本范例实施例中，此第二图像为高动态范围(highdynamicrange，hdr)图像，且第二图像可以保留真实环境的亮、暗部细节。需注意的是，通过图像迭合所产生的高动态范围图像中，主体的亮度和/或对比度可能会下降(或变差)，因此本发明的图像处理方法会根据前述的第一深度信息来优化前述第二图像中的主体。

更详细来说，处理器20会根据前述的第一深度信息，识别第二图像中主体以及背景的位置(步骤s307)。在识别出第二图像中主体以及背景的部分后，处理器20会判断是否需对第二图像中的主体进行优化(步骤s309)。在本范例实施例中，处理器20会从前述的多个第一图像中挑选出至少一图像(也称为，第五图像)，并且根据第二图像以及第五图像，判断第二图像中的主体的一参数(也称为，第一参数)与第五图像中的主体的参数(也称为，第二参数)的差值是否大于一门槛值。当前述的差值大于门槛值时，处理器20会判断需要对第二图像中的主体进行优化。然而，当前述的差值不大于所述门槛值时，处理器20会判断不需对第二图像中的主体进行优化。特别是，前述的第一参数与第二参数可以是亮度值和/或对比度。

当需对第二图像中的主体进行优化时，处理器20会对第二图像中的主体进行优化，并根据第二图像中的背景以及第二图像中优化后的主体产生输出图像(步骤s311)。其中，前述的优化可以包括阶调转换(tonemapping)或其他种的优化处理，在此不做限制。然而，当不需对第二图像中的主体进行优化时，处理器20会根据前述第二图像中的背景以及主体产生输出图像(步骤s313)。之后，处理器20会输出前述的输出图像(步骤s315)。例如，图5是依照本发明的第一实施例所示出的输出图像的示意图。请参照图5，当处理器20在执行步骤s311或步骤s313后，处理器20会产生如图5的输出图像，并且在步骤s315输出所述图像。特别是，若主体有经过前述的优化处理时，则输出图像可以更贴近人眼所见。

在一实施例中，在步骤s311与步骤s313产生前述的输出图像之前，处理器20还可以对前述的背景进行虚化，并可以根据虚化后的背景与主体产生输出图像。

需注意的是，本发明并不用于限定上述图3中各个步骤的执行顺序。在其他实施例中，也可以先执行步骤s305再执行步骤s303。

[第二实施例]

图6是依照本发明的第二实施例所示出的图像处理方法的流程图。

请同时参照图2与图6，在本范例实施例中，处理器20会取得对应于欲拍摄的场景中主体的一第二深度信息(步骤s601)。在一实施例中，假设深度感测电路22也是类似于图像获取电路24的图像获取电路，则处理器20可以获得由深度感测电路22获取的图像(也称为，第五图像)以及由图像获取电路24获取的图像(也称为，第六图像)，并且根据第五图像以及第六图像取得对应于场景中的主体的第二深度信息。然而本发明不限于此，在另一实施例中，第二深度信息例如也可以是直接通过深度感测电路22进行感测而获得。

在获得第二深度信息后，处理器20会根据第二深度信息决定第一曝光值(步骤s603)，并且根据此第一曝光值决定至少一第二曝光值(步骤s605)。举例来说，第一曝光值例如是拍摄所述场景的最佳曝光值(例如，0ev)，之后在产生高动态范围图像时，使用第一曝光值拍摄的图像会作为主体图像(subjectimage)。此外，第二曝光值例如是相对于前述最加曝光值的多个延伸的曝光值(例如，+nev或-nev)。

在决定出前述的第一曝光值与第二曝光值后，处理器20会控制图像获取电路24根据第一曝光值以及第二曝光值对欲拍摄的场景获取多个第一图像(步骤s607)。其中，此些第一图像包括使用第一曝光值拍摄的图像(也称为，第三图像)以及使用第二曝光值拍摄的图像。

之后，处理器20会取得第一深度信息(步骤s609)。在一实施例中，假设深度感测电路22也是类似于图像获取电路24的图像获取电路，则处理器20可以取得深度感测电路22使用第一曝光值对所述场景进行拍摄(或获取)的图像(也称为，第四图像)，并且根据前述的第三图像以及前述的第四图像取得如图4所示出的第一深度信息。然而在另一实施例中，处理器20也可以根据前述第三图像以及深度感测电路22感测所拍摄的场景所获得的深度信息(也称为，第三深度信息)而取得如图4所示出的第一深度信息。特别是，所辨别出的第一深度信息包括高动态范围图像中主体与背景部分的深度信息。

此外，处理器20还会根据前述多个第一图像产生一张第二图像(步骤s611)。在本范例实施例中，此第二图像为高动态范围(highdynamicrange，hdr)图像。

之后，处理器20会根据前述的第一深度信息，识别第二图像中主体以及背景的位置(步骤s613)。在识别出第二图像中主体以及背景的部分后，处理器20会判断是否需对第二图像中的主体进行优化(步骤s615)。在本范例实施例中，处理器20会从前述的多个第一图像中挑选出至少一图像(也称为，第五图像)，并且根据第二图像以及第五图像，判断第二图像中的主体的一参数(也称为，第一参数)与第五图像中的主体的参数(也称为，第二参数)的差值是否大于一门槛值。当前述的差值大于门槛值时，处理器20会判断需要对第二图像中的主体进行优化。然而，当前述的差值不大于所述门槛值时，处理器20会判断不需对第二图像中的主体进行优化。特别是，前述的第一参数与第二参数可以是亮度值和/或对比度。特别是，在本范例实施例中，第五图像是第一图像中使用第一曝光值拍摄的第三图像。然而本发明不限于此，在其他实施例中，第五图像也可以是第一图像中其他的图像。

当需对第二图像中的主体进行优化时，处理器20会对第二图像中的主体进行优化，并根据第二图像中的背景以及第二图像中优化后的主体产生输出图像(步骤s617)。其中，前述的优化可以包括阶调转换(tonemapping)或其他种的优化处理，在此不做限制。然而，当不需对第二图像中的主体进行优化时，处理器20会根据前述第二图像中的背景以及主体产生输出图像(步骤s619)。之后，处理器20会输出前述的输出图像(步骤s621)。

在一实施例中，在步骤s617与步骤s619产生前述的输出图像之前，处理器20还可以对前述的背景进行虚化，并可以根据虚化后的背景与主体产生输出图像。

需注意的是，本发明并不用于限定上述图6中各个步骤的执行顺序。在其他实施例中，也可以先执行步骤s611再执行步骤s609。

综上所述，本发明的图像处理方法与电子装置可以使用深度信息来优化高动态范围图像中的主体，藉此修正高动态范围图像中主体的亮度和/或对比度，让优化后的高动态范围图像可以更贴近人眼所见，并且能达到更佳的视觉效果。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视所附的权利要求所界定者为准。