处理图像的设备和方法
【专利摘要】一种通过宽动态范围（WDR）处理来处理图像并利用WDR处理获得具有宽动态区域的图像的设备和方法。所述方法包括：接收具有不同的曝光时间的长曝光图像和短曝光图像；检测当长曝光图像和短曝光图像融合时可能出现的运动伪影区域；通过非线性地调节短曝光图像的增益以使得短曝光图像的亮度分量对应于长曝光图像的亮度分量来产生非线性增益控制短曝光图像；基于检测到的运动伪影区域补偿非线性增益控制曝光图像中的运动；融合非线性增益控制短曝光图像和长曝光图像以输出执行了WDR处理的图像。
【专利说明】处理图像的设备和方法
[0001]本申请要求于2013年I月17日提交到韩国知识产权局的第10-2013-0005428号韩国专利申请的权益，所述申请的公开内容通过引用完整地合并与此。
【技术领域】
[0002]与示例性实施例一致的设备和方法涉及处理图像，更具体地讲，涉及通过宽动态范围(WDR)处理获得具有宽动态区域的图像的处理图像。
【背景技术】
[0003]近来，对于诸如数码相机、数码摄像机和相机电话的数字图像处理设备的用户需求快速增加。因此，数字图像处理设备变得越来越复杂，且添加了越来越多样化的功能。
[0004]然而，由于数字图像处理设备获得与实际屏幕的动态区域相比具有相对较小区域的动态区域，数字图像处理设备无法处理实际屏幕的所有信息。具体地讲，当在图像的亮部分与暗部分之间的发光强度的差异由于背光而较大的情况下获得图像时，难以获得关于图像的亮部分和暗部分二者的足够信息。因此，对应区域的图像质量可能显著劣化。为了解决这一问题，已开发出WDR图像处理。
[0005]WDR处理允许通过融合短曝光图像和长曝光图像来产生图像的亮部分和暗部分均清楚可见的图像。短曝光图像的曝光时间被调节为较短，以使得图像的亮部分可被清楚地看见，长曝光图像的曝光时间被调节为较长，以使得图像的暗部分可被清楚地看见。
[0006]然而，当实际图像中出现移动对象时，在执行WDR处理的图像中可能产生运动伪影。
[0007]因此，在应用WDR处理时，需要校正运动伪影的图像处理技术。
【发明内容】
[0008]示例性实施例至少解决上述问题和/或缺点以及上面没有描述的其他缺点。另夕卜，不要求示例性实施例克服上述缺点，示例性实施例可不克服上述任何问题。
[0009]一个或多个示例性实施例提供一种处理图像的设备和方法，据此可校正在WDR处理中可能出现的运动伪影。
[0010]根据示例性实施例的一方面，提供一种图像处理设备，包括:图像输入单元，被构造为接收具有不同的曝光时间的长曝光图像和短曝光图像；运动伪影区域检测单元，被构造为检测由长曝光图像和短曝光图像的融合引起的运动伪影区域；非线性增益调节单元，被构造为通过非线性地调节接收的短曝光图像的增益来产生非线性增益控制短曝光图像，其中所述调节将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量，所述非线性增益调节单元还被构造为基于检测到的运动伪影区域补偿产生的非线性增益控制短曝光图像中的运动；融合单元，被构造为融合非线性增益控制短曝光图像和长曝光图像，以输出执行了宽动态范围(WDR)处理的图像。
[0011]根据示例性实施例的另一方面，提供一种处理图像的方法，所述方法包括:利用图像传感器接收具有不同的曝光时间的长曝光图像和短曝光图像；检测由长曝光图像和短曝光图像的融合引起的运动伪影区域，以产生检测到的运动伪影区域的位置信息和将应用于检测到的运动伪影区域的权重信息；非线性地调节短曝光图像的增益以产生非线性增益控制短曝光图像，其中所述非线性地调节的步骤将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量；基于检测到的运动伪影区域补偿非线性增益控制短曝光图像中的运动；融合非线性增益控制短曝光图像和长曝光图像，以输出执行了宽动态范围(WDR)处理的图像。
[0012]根据示例性实施例的另一方面，提供一种图像处理设备，包括:运动伪影区域检测单元，被构造为检测由长曝光图像和短曝光图像的融合引起的运动伪影区域；非线性增益调节单元，被构造为通过非线性地调节短曝光图像的增益来产生非线性增益控制短曝光图像，并且还被构造为基于运动伪影区域补偿非线性增益控制短曝光图像中的运动。.【专利附图】
【附图说明】
[0013]通过参照附图描述特定示例性实施例，上述和/或其他方面将更清楚，其中:
[0014]图1A至图1C是示出根据现有技术的WDR处理以及在WDR处理中产生的运动伪影的不意图；
[0015]图2A是示出根据示例性实施例的图像处理设备的示意性结构图；
[0016]图2B是示出根据示例性实施例的图像处理方法的示意性流程图；
[0017]图3A是示出根据示例性实施例，根据长曝光图像和短曝光图像的拍摄时间的差异，在融合长曝光图像和短曝光图像时可能出现的运动伪影的示意图；
[0018]图3B是示出根据示例性实施例的检测图3A所示的运动伪影的运动伪影区域检测单元的示意性结构框图；
[0019]图4A是示出根据示例性实施例的作为图像处理设备的元件的非线性增益调节单元的示意性结构框图；
[0020]图4B是示出根据示例性实施例的可使用图4A所示的非线性增益调节单元执行的图像处理方法的示意性流程图；
[0021]图4C是示出图4B所示的图像处理方法的操作的示意图；
[0022]图5A是示出根据示例性实施例的基于运动伪影区域补偿非线性短曝光图像内的运动的方法的示意性流程图；
[0023]图5B是图5A所示的运动补偿方法的算法的示意图；
[0024]图6示出根据示例性实施例的将短曝光图像的亮度分量规范化，以符合长曝光图像的亮度分量的操作；
[0025]图7示出根据示例性实施例的融合长曝光图像和短曝光图像的操作；
[0026]图8示出当应用根据示例性实施例的图像处理方法时，去除了运动伪影的结果图像。
【具体实施方式】
[0027]下面的描述仅举例说明了特定示例性实施例的原理。即使未在本说明书中清楚地描述或示出，本领域普通技术人员可采用示例性实施例的原理并在示例性实施例的概念和范围内发明各种设备。本说明书中所呈现的条件术语和示例性实施例的使用仅意在清楚表达示例性实施例的概念，其不限于说明书中所提及的示例性实施例和条件。另外，对示例性实施例的原理和观点的所有详细描述应该被理解为包括结构和功能等同物。所述等同物不仅包括目前已知的等同物，而且包括未来将开发出的等同物，即，为执行相同功能而发明的所有装置，而不管其结构。
[0028]因此，图中所示的各种装置的功能(包括表示为处理或类似概念的功能块)不仅可利用专用于所述功能的硬件来提供，而且可利用能够运行用于所述功能的适当软件的硬件来提供。当通过处理器提供功能时，所述功能可通过单个专用处理器、单个共享处理器或多个单独的处理器(其部分可被共享)来提供。术语“处理器”、“控制”或类似概念的使用不应被理解为排他地表示能够运行软件的一件硬件，而是应该理解为隐含地包括存储软件的数字信号处理器(DSP)、硬件、ROM、RAM和非易失性存储器。其他已知和常用的硬件也可包括在其中。
[0029]通过下面参照附图进行的详细描述，上述目的、特征和优点将更明显。另外，省略或不详细描述熟知技术或构造，因为它们将在不必要的细节方面模糊示例性实施例。
[0030]当一个部件“包括”组件时，其表示该部件不包括除了所述组件之外的组件，但可包括其他组件，只要没有相反的特殊指示即可。
[0031 ] 以下，将参照附图详细描述示例性实施例。
[0032]如本文所用，术语“和/或”包括一个或多个关联所列项的任何和所有组合。在元件列表之前的诸如“……中的至少一个”的表达修饰整个元件列表，而非修饰列表中的各个元件。
[0033]尽管诸如数码相机的图像处理设备的性能在不断提高，但是由于动态范围的局限，在获得图像时所使用的现有技术的电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器中引起亮区域或暗区域的信息的丢失。动态区域是指图像的最亮区域和最暗区域之间的亮度之比。由于与实际场景的动态区域相比，图像获得设备中所使用的传感器的动态区域非常小，所以可能未完全表现实际场景的亮范围。
[0034]图1A是不出广生可表现实际场景的売度范围的具有宽动态范围的图像的现有技术的WDR处理的示意图。
[0035]参照图1A，在WDR处理中，在长的曝光时间段中获得长曝光图像信号101，在短的曝光时间段中获得短曝光图像信号102。执行预定的曝光信号处理103，其中，在所述曝光信号处理103中，通过根据光量向长曝光图像和短曝光图像不同地应用权重来调节长曝光图像和短曝光图像的曝光平衡，然后可将图像融合以产生具有宽动态范围的图像104。例如，如果拍摄设备的动态范围为60dB，则通过TOR处理可获得具有约120dB的动态范围的图像。
[0036]图1B示出在现有技术 的WDR处理中利用长/短可变曝光方法感测长曝光图像和短曝光图像的操作。图1C示出在现有技术的WDR处理中产生的运动伪影。
[0037]参照图1B，根据长/短可变曝光方法，通过针对每一帧选择性地调节曝光时间来控制快门，从而获得WDR处理所需的长曝光图像和短曝光图像。
[0038]在用图像传感器拍摄帧时所应用的标准曝光时间期间获得长曝光信号111。可基于长曝光信号111构成一个长帧121 (参见图1C)。在针对标准曝光时间而言相对较短的曝光时间期间获得短曝光信号112。可基于短曝光信号112构成短帧122 (参见图1C)。
[0039]当利用图1B所示的长/短可变曝光方法交替获得长帧121和短帧122时，在长曝光图像和短曝光图像融合的融合帧123中可能产生运动伪影124。融合帧123中的运动伪影124是由于长帧121的图像捕获时间与短帧122的图像捕获时间之间的时间差引起的。具体地讲，当图像中包括快速移动对象时，运动伪影更经常出现。
[0040]图2A是根据示例性实施例的图像处理设备200的示意性结构框图，图2B是示出根据示例性实施例的可利用图像处理设备200执行的图像处理方法的示意性流程图。参照图2A和图2B，根据当前示例性实施例的图像处理设备200包括运动伪影区域检测单元210、非线性增益调节单元220和融合单元230。在操作S201，图像处理设备200通过利用图像传感器(未示出)选择性地调节每一帧的曝光时间，来获得长曝光图像和短曝光图像。
[0041]图像处理设备200的运动伪影区域检测单元210、非线性增益调节单元220和融合单元230的至少一部分可通过包括操作系统、应用程序模块和其他程序模块中的至少一个的软件实现，并且可物理地存储在本领域熟知的各种存储器装置中。另外，如上所述的软件模块也可存储在能够与图像处理设备200通信的远程存储器装置中。软件模块的示例包括执行特定功能或特定抽象数据类型(将稍后描述)的例程、子例程、程序、对象、组件和数据结构。然而，示例性实施例不限于此。
[0042]在操作S202，非线性增益调节单元220通过将短曝光图像的增益非线性调节为短曝光图像的亮度分量YS对应于长曝光图像的亮度分量YL，来产生非线性增益控制短曝光图像。根据示例性实施例，利用图像处理设备的图像传感器获得的长曝光图像和短曝光图像的图像信号作为具有R-G-G-B阵列(由25%R、50%G和25%B构成)的贝尔图形(Bayerpattern)输入。因此，非线性增益调节单元220针对贝尔图形的每一单位区域计算最大颜色，并基于非线性曲线计算与每一单位区域的最大颜色对应的增益值，所述非线性曲线通过将短曝光图像的增益非线性调节为短曝光图像的亮度分量对应于长曝光图像的亮度分量来获得。
[0043]运动伪影区域检测单元210在操作S203基于长曝光图像和短曝光图像检测运动伪影区域，并将检测结果传输给非线性增益调节单元220。根据示例性实施例，运动伪影区域是指产生长曝光图像与短曝光图像之间的运动信息差异的区域。运动伪影区域检测单元210检测如上所述的运动伪影区域的位置，并把将被应用于对应运动伪影区域的权重与检测到的运动伪影区域的位置一起传输给非线性增益调节单元220。
[0044]尽管按照依次顺序示出操作S202和S203，但是该顺序可改变，可利用另外的处理器电路或组件并行或同时地执行所述操作。这两个操作的顺序不限于此。
[0045]在操作S204，基于在操作S203检测到的运动伪影区域，非线性增益调节单元220补偿在操作S202中产生的非线性增益控制短曝光图像中的运动。如果检测到运动伪影区域，其指示长曝光图像与短曝光图像之间的运动信息存在差异，因此，非线性增益调节单元220针对非线性增益控制短曝光图像补偿此差异。
[0046]在操作S205，为了输出执行了 WDR处理的图像，融合单元230将在操作S204中补偿了运动的非线性增益控制短曝光图像与在操作S201中获得的长曝光图像融合。
[0047]图3A是示出根据示例性实施例的当长曝光图像和短曝光图像融合时由于长曝光图像和短曝光图像的图像捕获时间的差异而可能出现的运动伪影的示意图。图3B是示出根据示例性实施例的检测图3A所示的运动伪影的运动伪影区域检测单元300的结构框图。
[0048]参照图3A，如果存在移动对象，则在长曝光图像与短曝光图像彼此融合的部分LI周围的与移动对象的运动对应的部分L3中出现运动模糊。运动模糊是由于当特别是根据长/短可变曝光方法获得图像时长曝光图像与短曝光图像之间的图像捕获时间的时间差引起的。这称作运动伪影。
[0049]参照图3B，运动伪影区域检测单元300包括放大单元310、第一低通滤波器320、局部对象检测单元330、第二低通滤波器340和权重设置单元350。
[0050]放大单元310按照长曝光图像的曝光时间与短曝光图像的曝光时间之比放大短曝光图像，以便补偿短曝光图像和长曝光图像的曝光时间的差异。
[0051]例如，当短曝光图像的快门速度为xl/ΙΟ，长曝光图像的快门速度为Xl时，可按照10 (快门速度之比)放大短曝光图像。
[0052]当长曝光图像与短曝光图像融合时，第一低通滤波器320平滑长曝光图像的区域，平滑的区域形成为边界。
[0053]局部对象检测单元330检测长曝光图像与短曝光图像之间的差异等于或大于阈值Thr的区域，作为局部对象。可利用绝对差和(SAD)算法来计算长曝光图像与短曝光图像之间的差异。局部对象是指当长曝光图像和短曝光图像稍后融合时预期会出现运动伪影的区域。
[0054]第二低通滤波器340针对被检测为局部对象的区域的将形成所述区域的边界的一部分执行平滑。
[0055]权重设置单元350针对检测到的局部对象区域设置将在融合长曝光图像和短曝光图像时应用的权重。所述权重可预先设置，可根据长曝光图像和短曝光图像的亮度级设置，或者可根据是否存在运动伪影来设置。
[0056]图4A是示出根据示例性实施例的作为图像处理设备的元件的非线性增益调节单元400的示意性结构框图。图4B是示出根据示例性实施例的可利用图4A所示的非线性增益调节单元400执行的图像处理方法的示意性流程图。图4C是示出图4B所示的图像处理方法的详细操作的示意图。
[0057]参照图4A，非线性增益调节单元400包括最大颜色计算单元410、最大颜色非线性增益调节单元420、运动伪影处理单元430和自适应增益调节单元440。非线性增益调节单元400可改善输入的短曝光图像的亮部分与暗部分之间的对比度比率并产生直方图，所述直方图通过反映改善的对比度来提供关于短曝光图像的对比度和对比度的分布的信息。
[0058]最大颜色计算单元410在操作S401中基于短曝光图像的当前像素选择2 X 2阵列的贝尔图形区域451 (参见图4C)，从对应贝尔图形区域选择最大颜色，并在操作S402中产生最大颜色平面452 (参见图4C)，在该平面452中所有的对应贝尔图形区域用选择的最大颜色代替。
[0059]在操作S403，最大颜色非线性增益调节单元420基于非线性曲线453计算与对应贝尔图形区域的最大颜色对应的非线性增益值(参见图4C)。根据当前示例性实施例，可在将短曝光图像的亮度分量的每一区域规范化以对应于长曝光图像的亮度分量的每一区域时产生用于计算非线性增益值的非线性曲线453。与长曝光图像的亮度分量对应的短曝光图像的亮度分量可被分类到三个区域中:低亮度区域、中间亮度区域和高亮度区域。不同的系数可应用于每一亮度分量区域，以形成亮度分量区域中的每一个的线性曲线。可通过将相应线性曲线连接来形成非线性曲线。
[0060]如下面的等式I (参见图4C的标号454)中所表示的，在操作S404中通过基于计算的最大颜色MaxCo 1r以及与计算的最大颜色MaxCo I or对应的非线性增益值NonLinearGain (MaxColor)调节短曝光图像的非线性增益来产生非线性增益控制短曝光图像。
[0061][等式I]
[0062]NonLinearGain (MaxColor) /MaxColorX 输入像素图像
[0063]在当前示例性实施例中，当利用计算的贝尔图形区域的最大颜色执行非线性增益调节时，即使图像还未进行白平衡处理，也可没有颜色失真地控制非线性增益。
[0064]另外，当在操作S405中上述运动伪影检测单元300成功检测运动伪影区域时，在操作S406中基于检测到的运动伪影区域补偿非线性增益控制短曝光图像内的运动。
[0065]图5A是示出根据示例性实施例的基于运动伪影区域补偿非线性短曝光图像内的运动的方法的示意性流程图。图5B是图5A所示的运动补偿方法的算法的示意图。图5A和图5B所示的运动补偿方法可利用上面详细描述的图2所示的图像处理设备200和/或图4A所示的非线性增益调节单元400执行。
[0066]在当前示例性实施例中，当上述运动伪影检测单元300检测到运动伪影区域时，输入关于检测到的运动伪影区域的位置以及将应用于该运动伪影区域的权重的信息。
[0067]在操作S501和S511中，基于利用上述运动伪影检测单元300输入的运动伪影区域的位置信息，设置非线性增益控制短曝光图像的伪影局部块521。
[0068]另外，在操作S502和S512中，基于利用上述运动伪影检测单元300输入的运动伪影区域的位置信息，设置长曝光图像的伪影局部块521周围的八个局部块522。
[0069]在操作S503、S513和S514中，计算非线性增益控制短曝光图像的伪影局部块521的红-绿-蓝(RGB)区域平均值以及运动伪影周围的长曝光图像的八个局部块522中的每一个的RGB区域平均值。
[0070]在操作S504和S515中，将非线性增益控制短曝光图像的伪影局部块521的RGB区域平均值与运动伪影周围的长曝光图像的八个局部块522的RGB区域平均值进行比较，以从运动伪影周围的长曝光图像的局部块当中获得最类似于伪影局部块521的局部块。
[0071]为了比较非线性增益控制短曝光图像的伪影局部块和运动伪影周围的长曝光图像的局部块，可使用SAD算法。
[0072]根据上述一系列操作，可从长曝光图像的信息获得与短曝光图像中识别出运动伪影的位置的信息最类似的信息。通过基于长曝光图像中与识别出运动伪影的位置的信息最类似的信息将短曝光图像规范化，可去除运动伪影。
[0073]S卩，在操作S505和S516中，通过比较伪影局部块521的RGB区域平均值和伪影局部块周围的局部块522中的获得的局部块的RGB区域平均值来计算用于补偿运动伪影的增益值。
[0074]如下面的等式2中所表示的，将利用上述运动伪影检测单元300输入的运动伪影区域的权重以及用于补偿运动伪影的增益值Motion_Artifact_gain应用于短曝光图像Short_NonLinearGain,以补偿非线性增益控制短曝光图像内的运动。这样做是为了以高柔和度补偿运动伪影区域。
[0075][等式2]
[0076]Short_NonLinearGain_Motion_Artifact_removal=
[0077]Short_NonLinearGainX (Motion_Artifact_gainXWeight)
[0078]如上所述，根据当前示例性实施例，除了补偿WDR处理中的长曝光图像与短曝光图像的曝光度之外，另外补偿长曝光图像与短曝光图像之间导致运动差异的一部分图像，从而减少由于运动引起的伪影。
[0079]图6示出根据示例性实施例的将短曝光图像的亮度分量规范化，以符合长曝光图像的亮度分量的操作。根据当前示例性实施例的将短曝光图像规范化的方法可利用上面详细描述的图2A所示的图像处理设备200和/或图4A所示的非线性增益调节单元400执行。
[0080]根据示例性实施例的将短曝光图像规范化的方法，短曝光图像和长曝光图像的亮度分量各自被分类到三个区域中:低亮度区域、中间亮度区域和高亮度区域。不同的权重应用于相应区域，以产生每一区域的线性曲线。
[0081]在将不同的权重应用于每一区域时，可针对低亮度区域调节权重以减少图像的运动伪影。还可针对中间亮度区域调节权重以降低图像的噪声。还可针对高亮度区域调节权重以加宽图像的动态区域。
[0082]如上所述，可通过将针对相应区域产生的线性曲线组合来产生具有短曝光图像的非线性增益值的非线性曲线。
[0083]图7示出根据示例性实施例的融合长曝光图像和短曝光图像的操作。融合长曝光图像和短曝光图像的方法可利用上面详细描述的图2A所示的图像处理设备200来执行。参照图7，从图像传感器获得的长曝光图像701以及从上述非线性增益调节单元220输出的非线性增益控制短曝光图像702彼此融合。在融合长曝光图像701和短曝光图像702时，基于长曝光图像701的亮度分量值按照分段方式计算权重曲线，以计算长曝光图像701和短曝光图像702的融合权重。另外，如下面的等式3中所表示的，可附加地应用从上述运动伪影检测单元300导出的运动伪影区域的权重Motion_Detect_weight。S卩，可基于运动伪影区域的权重Motion_Detect_Weight调节非线性增益控制短曝光图像和长曝光图像的融合权重(Weight 和 1-Weight)。
[0084][方程3]
[0085]Fusion=(ffeight-Motion_Detect_ffeight) X long+(1-(ffeight-Motion_Detect_Weight))X short
[0086]图8示出当应用根据示例性实施例的图像处理方法时，去除了运动伪影的结果图像。参照图8，在通过融合长帧801和短帧802形成融合帧图像803时，如图1C所示由于运动伪影引起的边界区域可如标号804所指示被平滑，从而提供执行更自然的WDR处理的帧图像。
[0087]如上所述，根据示例性实施例的图像处理方法，与现有技术的WDR处理不同，在获得具有宽动态区域的图像时由于移动对象而可能出现的运动伪影可被最小化。
[0088]本发明还可实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储能够随后被计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、⑶-ROM、磁带、软盘、光学数据存储装置等。计算机可读记录介质还可分布于联网的计算机系统上，以使得计算机可读代码以分布式方式存储和执行。另外，用于实现本发明的功能程序、代码和代码段可容易地由示例性实施例所属领域的程序员解释。
[0089]上述示例性实施例和优点仅是示例性的，而不应解释为限制。本教导可容易地应用于其他类型的设备。另外，示例性实施例的描述意在为示意性的，而非限制权利要求的范围，对于本领域技术人员而言许多替代、修改和变化将是明显的。
【权利要求】
1.一种图像处理设备，包括: 图像输入单元，被构造为接收具有不同的曝光时间的长曝光图像和短曝光图像； 运动伪影区域检测单元，被构造为检测由长曝光图像和短曝光图像的融合引起的运动伪影区域； 非线性增益调节单元，被构造为通过非线性地调节接收的短曝光图像的增益来产生非线性增益控制短曝光图像，其中，所述调节将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量，所述非线性增益调节单元还被构造为基于检测到的运动伪影区域补偿产生的非线性增益控制短曝光图像中的运动； 融合单元，被构造为融合非线性增益控制短曝光图像和长曝光图像，以输出执行了宽动态范围(WDR)处理的图像。
2.根据权利要求1所述的图像处理设备，其中，所述图像输入单元还被构造为利用图像传感器选择性地调节各个帧的曝光时间，以获得长曝光图像和短曝光图像。
3.根据权利要求1所述的图像处理设备，其中，所述运动伪影区域检测单元还被构造为产生运动伪影区域的位置信息和用于运动伪影区域的权重信息。
4.根据权利要求1所述的图像处理设备，其中，所述运动伪影区域检测单元包括: 放大单元，被构造为按照 短曝光图像的曝光时间与长曝光图像的曝光时间之比放大短曝光图像； 第一低通滤波器，被构造为对由短曝光图像和长曝光图像的融合引起的形成为短曝光图像与长曝光图像之间的边界的长曝光图像的区域进行平滑； 局部对象检测单元，被构造为基于长曝光图像与短曝光图像之间的差异检测运动伪影区域； 第二低通滤波器，被构造为对将形成为检测到的运动伪影区域的边界的区域进行平滑； 权重设置单元，被构造为设置用于检测到的运动伪影区域的权重。
5.根据权利要求1所述的图像处理设备，其中，所述非线性增益调节单元还被构造为计算短曝光图像的贝尔图形的每一单位区域的最大颜色，被构造为将短曝光图像规范化以使得短曝光图像的亮度分量对应于长曝光图像的亮度分量，并且被构造为基于非线性曲线计算与每一单位区域的最大颜色对应的增益值，其中，通过调节短曝光图像的增益产生所述非线性曲线。
6.根据权利要求5所述的图像处理设备，其中，通过根据亮度级将与长曝光图像的亮度分量对应的短曝光图像的亮度分量分类到多个亮度分量区域中，向分类的亮度分量区域分别应用不同的系数以分别形成与每一个分类的亮度分量区域对应的线性曲线，并将分别形成的线性曲线连接，来产生所述非线性曲线。
7.根据权利要求1所述的图像处理设备，其中，所述非线性增益调节单元还被构造为基于检测到的运动伪影区域的位置信息对非线性增益控制短曝光图像的伪影局部块以及伪影局部块周围的长曝光图像的局部块进行定位，并被构造为从伪影局部块周围的长曝光图像的局部块中获得与伪影局部块最类似的局部块，以基于伪影局部块与伪影局部块周围的长曝光图像的局部块中的获得的局部块之间的差异计算短曝光图像的增益值，以用于补偿检测到的运动伪影区域。
8.根据权利要求7所述的图像处理设备，其中，所述非线性增益调节单元还被构造为从运动伪影区域检测单元接收用于检测到的运动伪影区域的权重，并且被构造为基于接收的权重和计算的短曝光图像的增益值补偿非线性增益控制短曝光图像中的运动。
9.根据权利要求1所述的图像处理设备，其中，所述融合单元还被构造为从运动伪影区域检测单元接收用于检测到的运动伪影区域的权重，并且被构造为基于接收的权重调节非线性增益控制短曝光图像和长曝光图像的融合权重。
10.一种处理图像的方法，所述方法包括: 利用图像传感器接收具有不同的曝光时间的长曝光图像和短曝光图像； 检测由长曝光图像和短曝光图像的融合引起的运动伪影区域，以产生检测到的运动伪影区域的位置信息和用于检测到的运动伪影区域的权重信息； 非线性地调节短曝光图像的增益以产生非线性增益控制短曝光图像，其中，非线性地调节的步骤将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量； 基于检测到的运动伪影区域补偿非线性增益控制短曝光图像中的运动； 融合非线性增益控制短曝光图像和长曝光图像，以输出执行了宽动态范围(WDR)处理的图像。
11.根据权利要求10所述的方法，其中，在接收长曝光图像和短曝光图像的步骤中，通过选择性地调节各个帧的曝光时间来获得长曝光图像和短曝光图像。
12.根据权利要求10所述的方法，其中，检测运动伪影区域的步骤包括: 按照短曝光图像的曝光时间与长曝光图像的曝光时间之比放大短曝光图像； 利用第一低通滤波器对由短曝光图像和长曝光图像的融合引起的形成为短曝光图像与长曝光图像之间的边界的长曝光图像的区域进行平滑； 基于长曝光图像与短曝光图像之间的差异检测运动伪影区域； 利用第二低通滤波器对将形成为检测到的运动伪影区域的边界的区域进行平滑； 设置用于检测到的运动伪影区域的权重。
13.根据权利要求10所述的方法，其中，非线性地调节增益值的步骤包括: 计算短曝光图像的贝尔图形的每一单位区域的最大颜色； 通过将短曝光图像规范化以使得短曝光图像的亮度分量对应于长曝光图像的亮度分量来调节短曝光图像的增益，从而产生非线性曲线； 基于非线性曲线计算与每一单位区域的最大颜色对应的增益值。
14.根据权利要求13所述的方法，其中，通过根据亮度级将与长曝光图像的亮度分量对应的短曝光图像的亮度分量分类到多个亮度分量区域中，向分类的亮度分量区域分别应用不同的系数以分别形成与每一个分类的亮度分量区域对应的线性曲线，并将分别形成的线性曲线连接，来产生所述非线性曲线。
15.根据权利要求10所述的方法，其中，补偿步骤包括: 基于检测到的运动伪影区域的位置信息对非线性增益控制短曝光图像的伪影局部块进行定位； 基于检测到的运动伪影区域的位置信息设置伪影局部块周围的长曝光图像的局部块； 从设置的伪影局部块周围的长曝光图像的局部块当中获得与伪影局部块最类似的局部块； 基于伪影局部块与伪影局部块周围的长曝光图像的局部块中的获得的局部块之间的差异计算短曝光图像的增益值，以用于补偿检测到的运动伪影区域； 基于计算出的短曝光图像的增益值补偿非线性增益控制短曝光图像中的运动。
16.根据权利要求15所述的方法，其中，在补偿步骤中，基于用于检测到的运动伪影区域的权重以及计算出的接收的短曝光图像的增益值来补偿非线性增益控制短曝光图像中的运动。
17.根据权利要求10所述的方法，其中，在融合步骤中，基于用于检测到的运动伪影区域的权重信息，调节非线性增益控制短曝光图像和长曝光图像的融合权重。
18.一种图像处理设备，包括: 运动伪影区域检测单元，被构造为检测由长曝光图像和短曝光图像的融合引起的运动伪影区域； 非线性增益调节单元，被构造为通过非线性地调节短曝光图像的增益来产生非线性增益控制短曝光图像，并且还被构造为基于运动伪影区域补偿非线性增益控制短曝光图像中的运动。
19.根据权利要求19所述的图像处理设备，其中，所述调节将短曝光图像的亮度分量调节为对应于长曝光图像的亮度分量。
20.根据权利要求19所述的图像处理设备，还包括:融合单元，被构造为融合非线性增益控制短曝光图像和长曝光图像以输出执行了宽动态范围(WDR)处理的图像。
【文档编号】H04N5/355GK103945145SQ201310751111
【公开日】2014年7月23日 申请日期:2013年12月31日 优先权日:2013年1月17日
【发明者】李畅敏 申请人:三星泰科威株式会社