无重影高动态范围图像的产生的制作方法

本申请案主张2013年8月28日申请的标题为“无重影高动态范围图像的产生(Generation of ghost-free high dynamic range images)”的第14/012,534号美国专利申请案的权益和优先权，所述专利申请案又主张2013年4月15日申请的标题为“用于运动重影滤波的参考图像选择(Reference image selection for motion ghost filtering)”的第61/812,148号美国临时专利申请案以及2013年4月15日申请的标题为“无重影高动态范围图像的产生(Generation of ghost-free high dynamic range images)”的第61/812,151号美国临时专利申请案的权益和优先权。本申请案还与2013年8月28日申请的标题为“用于运行重影滤波的参考图像选择(Reference image selection for motion ghost filtering)”的第14/012,518号美国专利申请案有关。所有前面提到的申请案均以引用的方式并入本文中。

技术领域

本文所揭示的标的物大体上涉及图像处理。

背景技术：

数字图像的创建通常受到相机、透镜和传感器的固有硬件限制制约。举例来说，归因于传感器的较小形状因子或生产较宽动态范围传感器的成本，相机传感器可具有有限的亮度动态范围。然而，虽然许多相机传感器的限制大约为两个数量级，但真实世界场景的动态范围可至多达十个数量级。附接到无法提供较宽视角或可能无法捕获对焦的整个场景的不贵或较小的固定焦距透镜进一步妨碍了来自数字相机的输出图像质量。

然而，数字相机越来越多地变为与相对强大的处理器集成(例如，当与智能电话或专业数字相机集成时)。与强大处理器集成可将先前受限的硬件扩展到新的能力。举例来说，由于许多相机传感器中所提供的受限动态范围以及新可用的经改进的图像处理能力，可使用高动态范围(HDR)图像产生来大大增加输出图像的动态范围。HDR组合以不同曝光设定(例如，通过改变快门速度，同时保持光圈相同，或通过改变传感器增益-ISO，或一或多个曝光设定的组合)捕获的多个低动态范围(LDR)图像。举例来说，可以半秒曝光来捕获一个图像，以一秒曝光来捕获第二图像，且以三秒曝光来捕获第三图像。在另一实例中，可以ISO 100(或等效敏感度)来捕获第一图像，可以ISO 200来捕获第二图像，且可以ISO 400来捕获第三图像。可使用来自所述图像中的每一者的适当暴露的区段来组合具有各种曝光设定的三个图像，以创建最终输出图像。

组合多个输入图像以创建合并输出图像的现有技术的限制是当移动对象在输入图像时，最后输出图像中出现重影/有重影假像或“重影形成”的可能性。因为移动对象通常存在于真实世界图像捕获情形中，因此改进的多图像处理技术是合意的。

技术实现要素：

本文所揭示的实施例可与用于高动态范围(HDR)图像处理的方法有关。所述方法包含接收一组输入图像，其中所述组输入图像中的输入图像中的每一者具有相应的HDR合并权重。所述方法进一步包含为所述输入图像中的一或多者确定相应的经重影优化的合并权重。所述方法进一步包含通过将所述相应经重影优化的合并权重而不是HDR合并权重用于所述组输入图像中的一或多者来合并所述组输入图像，来创建HDR输出图像。

本文所揭示的实施例可涉及具有用来执行高动态范围(HDR)图像处理的指令的机器可读非暂时性存储媒体。所述媒体包含用于接收一组输入图像的指令，其中所述组输入图像中的所述输入图像中的每一者具有相应的HDR合并权重。所述媒体进一步包含用于为所述输入图像中的一或多者确定相应的经重影优化的合并权重的指令。所述媒体进一步包含用于通过将相应的经重影优化的合并权重而不是HDR合并权重用于所述组输入图像中的一或多者来合并所述组输入图像从而创建HDR输出图像的指令。

本文所揭示的实施例也可涉及一种用以执行高动态范围(HDR)图像处理的设备。所述设备包含用于接收一组输入图像的装置，其中所述组输入图像中的所述输入图像中的每一者具有相应的HDR合并权重。所述设备还包含用于为所述输入图像中的一或多者确定相应的经重影优化的合并权重的装置。所述设备还包含用于通过将相应的经重影优化的合并权重而不是HDR合并权重用于所述组输入图像中的一或多者来合并所述组输入图像从而创建HDR输出图像的装置。

本文所揭示的实施例可进一步涉及一种包含处理器和存储装置的数据处理系统，所述存储装置可配置以存储用来执行高动态范围(HDR)图像处理的指令。所述指令致使所述处理器接收一组输入图像，其中所述组输入图像中的输入图像中的每一者具有相应的HDR合并权重。所述指令进一步致使所述处理器为所述输入图像中的一或多者确定相应的经重影优化的合并权重。所述指令进一步致使所述处理器通过将相应的经重影优化的合并权重而不是HDR合并权重用于所述组输入图像中的一或多者来合并所述组输入图像从而创建HDR输出图像。

其它特征和优点将从附图且从详细描述中明白。

附图说明

图1是其中可实践本发明的方面的示范性系统的框图。

图2说明具有运动重影滤波的HDR处理的一个实施例的流程图。

图3A、3B和3C分别说明一个实施例中的一系列循序捕获图像中的第一、第二和第三图像。

图3D说明一个实施例中从具有不同曝光的三个LDR输入图像组合的所得HDR图像。

图3E说明一个实施例中隔离骑脚踏车者的运动所导致的重影的分量的运动掩模和掩模边界的表示。

图4A说明一个实施例中在第一时刻捕获的帧内具有两个单独的移动标的的输入图像。

图4B说明一个实施例中的在第二时刻捕获的帧内具有两个单独的移动标的的第二输入图像。

图4C说明一个实施例中的因第一输入图像与第二输入图像的合并而产生的运动掩模。

图4D说明一个实施例中从两个输入图像处理的有重影假像输出图像。

图4E说明一个实施例中从两个输入图像处理的无假像输出图像。

图5说明一个实施例中的运动重影滤波的流程图。

图6说明一个实施例中的无重影权重修改的流程图。

图7说明另一实施例中的有重影假像去除的流程图。

图8说明另一实施例中的有重影假像去除的流程图。

具体实施方式

本文使用词语“示范性”或“实例”来表示“用作实例、例子或说明”。本文所描述为“示范性”或描述为“实例”的任何方面或实施例不一定被解释为比其它方面或实施例优选或有利。

装置概述

图1是说明其中可实践本发明的实施例的示范性系统的框图。所述系统可为装置100，其可包含控制单元160。控制单元160可经配置以实施执行如下文所述的各种实施例的方法。举例来说，控制单元160可经配置以实施图5到8中所描述的装置100的功能。装置100还可包含通用处理器161、图像处理器166、图形引擎167和存储器164。图像处理器166可包含如下文更详细描述的指令，其用于处理多个图像以创建经合并输出图像、参考图像的选择以及有重影假像的去除。图形引擎167可将指令提供给经处理和输入图像的输出显示器，以及用户接口。装置100还可包含耦合到一或多个总线177或信号线的若干装置传感器，所述总线177或信号线进一步耦合到通用处理器161和图像处理器166中的至少一者。装置100可为：移动装置、无线装置、手机、个人数字助理、可穿戴装置(例如，眼镜、腕表、头饰或类似的身体附加装置)、移动计算机、平板计算机、个人计算机、膝上型计算机，或任何类型的具有处理能力的装置。

在一个实施例中，装置100为移动/便携式平台。装置100可包含用于捕获图像的装置，例如相机114。装置100可进一步包含用户接口150，其包含用于显示图像的装置，例如显示器112。用户接口150还可包含键盘、小键盘152或其它输入装置，用户可通过其将信息输入到装置100中。如果需要，那么将虚拟小键盘集成到具有触摸屏/传感器的显示器112中可排除键盘或小键盘152。装置100可包含与本发明无关的其它元件，例如卫星位置系统接收器、电力装置(例如，电池)，以及通常与便携式和非便携式电子装置相关联的其它组件。装置100可为便携式电子装置(例如，智能电话、专用成像装置、游戏装置，或具有图像捕获、处理和显示能力的其它装置)。

在一些实施例中，装置100可为数据处理系统、个人计算机、网络计算机、服务器，或另一装置或消费型电子产品内的嵌入式处理装置。如本文所使用，术语计算机、装置、系统、处理系统、处理装置和“包括处理装置的设备”可与装置100互换使用，且包含本文所列的示范性实施例。

未展示的额外组件也可为装置100的一部分，且在某些实施例中，装置100中也可使用比图1所示少的组件。从本描述将明白，本发明的方面可至少部分地在软件中实施。就是说，图5到8的计算机实施的方法可在计算机系统或其它数据处理系统中响应于其处理器或处理系统执行包含在存储器中的指令序列而进行，所述存储器例如为存储器164或其它非暂时性机器可读存储媒体。可进一步经由网络接口装置，通过网络(未图示)来发射或接收所述软件。在各种实施例中，可结合用以实施本发明实施例的软件指令来使用硬连线电路。因此，所述技术不限于硬件电路和软件的任何特定组合，或装置100所执行的指令的任何特定来源。

运动重影滤波概述

如本文所使用，有重影假像和重影形成描述可能在具有移动对象/标的的一组图像已合并或组合之后发生的输出图像异常。举例来说，当图像内的标的或对象从一组输入图像中的一个图像到另一图像改变相对位置，以用于HDR处理、全景图像或焦点堆叠时。

在一个实施例中，当将多个图像合并成单个输出图像时，运动重影滤波(MGF)明智地选择理想参考图像来减少或消除有重影假像(即，重影形成)。所述参考图像可为运动掩模区域下的像素的来源图像，MGF可将其用来创建最终输出图像。

在一个实施例中，MGF可确定一组输入图像中的哪一者具有最佳个别图像质量，而不考虑其它图像或输出图像。在确定具有最佳感知图像质量的图像后，MGF可即刻将所述运动掩模下的区段(例如，将易受重影形成影响的区段)从单个参考图像复制到最终输出图像中。通过使用单个参考图像和准确的运动掩模，MGF可实质上保证经合并输出图像将不具有重影形成。下文更详细地描述运动掩模(即，重影地图)和MGF。

具有运动重影滤波的高动态范围成像

MGF可校正高动态范围(HDR)图像、全景图像、扩大景深图像(即，焦点堆叠)以及合并或组合含有移动标的的图像的其它成像处理技术中的重影。如下文详细论述，MGF可有效地去除HDR图像处理中的重影，然而，关于HDR所描述的技术中的许多技术也适用于全景成像和扩大景深图像。因此，如本文所述，具有MGF的HDR仅为一个示范性实施例，且不将MGF限于HDR图像处理。

在一个实施例中，MGF可从一系列低动态范围(LDR)图像创建HDR图像。在其它实施例中，单独的HDR进程、模块或引擎处理HDR图像，并调用MGF来确定哪一参考图像是最适当的。

图2说明具有智能参考图像选择的HDR图像创建的一个实施例。在框205处，实施例(例如，MGF)可接收输入LDR图像。举例来说，实施例可接收一组3个、7个或其它数量的独特输入图像。所述输入图像中的每一者可具有不同的曝光、色彩和纹理值，仅举几个例子。

在框210处，实施例可对齐所述LDR图像。当整个相机视点移位，使得两个或两个以上输入图像从不同的视点捕获场景时，可能发生错位。举例来说，手持式相机图像捕获可能遭受从一个图像帧到下一图像帧的图像错位。错误不同于在所述帧内移动的标的的模糊或重影。为了更准确地比较和组合所述组输入图像中的图像，实施例可等级(即，对准)每一图像，使得每一图像表示大约相同的视点(即，相机位置)。

在框215处，实施例可产生运动掩模。运动掩模可识别场景的存在运动的部分，且指定运动包含在所述图像中何处的边界。运动掩模M可为与LDR输入图像相同大小的单通道二进制图像，界定为：

等式1

为了计算M，实施例可以所对齐的LDR输入图像开始。如本文所使用，所对齐的输入指示所述输入图像全部相对于彼此对准，使得每一图像的静止特征或元素在每一图像帧的相同位置中出现。对齐可在对错位的一组图像进行后处理之后发生，或可通过贯穿一组输入图像(例如，用安装到三脚架的相机捕获的图像)维持相同相机视点而在图像创建期间完成。

因为以不同的曝光设定(例如，通过改变传感器的曝光次数或敏感度/ISO)来捕获所述输入图像，所以的值随i改变。然而，如果对应于所述像素的场景点是静态的，那么所述像素的辐照度值保持恒定。在给定像素值I_i(x，y)的情况下，可将曝光时间Δt_i和相机相应函数f、像素的辐照度E_i(x，y)计算为：

等式2

此关系针对曝光时间而规范化，且允许跨图像堆叠(即，输入图像集合)而比较像素的所述值。除欠饱和和过饱和像素以外，如果对应场景点是静态的，那么E_i(x，y)应与i保持恒定。然而，如果此像素在捕获LDR图像的持续时间中移动，那么E_i(x，y)可任意地对i变化，且可(例如，由MGF)用作计算M的线索。在给定两个曝光图像I_i、I_i+1的Y通道的情况下，可通过首先计算照明不变量差来计算运动掩模M_i，i+1：

|log(E_i(x，y))-log(E_i+1(x，y))| 等式3

曝光图像I_i、I_i+1可为连续的，或者可来自曝光序列的任一部分。来自等式3的此差异图像可乘以加权因子，以抑制过饱和和欠饱和像素的影响。为了去除散斑，实施例可对所述差异图像进行盒式滤波。接着可为所得图像设阈值，以获得运动掩模M_i，i+1。在一些实施例中，运动掩模计算可结合其它色彩空间，例如RGB来确定。接着通过所有成对掩模的逻辑“或”来计算组合运动掩模M。举例来说，在N为LDR图像的数目的情况下：

等式4

在框220处，实施例可选择参考图像。因为组合运动掩模区域中的多个图像可导致有重影假像，所以MGF可从LDR图像(本文称为参考图像)中的一者复制运动掩模区域下的像素。MGF可从参考图像复制像素，以确保最终HDR图像(即，输出图像)中不存在有重影假像。MGF可捕获多个LDR图像，以产生最终输出图像(例如，图像、全景图像、扩大景深图像)。MGF可明智地选择基于图像质量得分或准则选择哪一参考图像，如下文更详细地论述。

在框225处，实施例可融合并混合曝光。实施例可产生权重w_i，i＝1、2、...、N来融合LDR图像。实施例可通过LDR图像的经加权组合来获得辐照度域中的标准HDR：

等式5

其中，E_i(，y)是变换到辐照度域的LDR图像。E_HDR是辐照度域中的标准HDR图像，其中尚未补偿运动的效应，且因此可能容易存在有重影假像。为了创建无重影HDR图像，实施例可利用运动掩模M，并从参考图像复制运动掩模区域下的像素。然而，盲目复制可导致运动掩模的边界上的假像。实施例可通过在混合图像之前，以较大的平滑核平滑运动掩模，来减少或消除边界假像。平滑确保了从运动掩模到场景的静态部分的转变以非突然(即，缓慢且平滑)方式发生。其中B表示经平滑运动掩模，MGF HDR可计算为：

等式6

其中E_{MGF HDR}是辐照度域中的MGF HDR图像，B(x，y)是经平滑运动掩模，且E_ref是参考图像。

在框230处，实施例可映射色调。实施例可将HDR图像内的色调从辐照度域映射到像素强度域。实施例可首先将相机响应功能(即，伽马曲线)应用于HDR图像。接着，实施例可应用自适应直方图均衡的变体，称为对比度受限自适应直方图均衡(CLAHE)，来获得最终HDR图像。在其它实施例中，可使用其它色调映射算法或技术来代替上文的示范性色调映射。

图3A、3B和3C说明用于多图像处理(例如，HDR或焦点堆叠)的一系列输入图像的第一、第二和第三图像。在时间t＝1，骑脚踏车者位于LDR图像帧301中的第一位置310。在时间t＝2，骑脚踏车者位于LDR图像帧302中的第二位置310′。在时间t＝3，骑脚踏车者位于LDR图像帧303中的第三位置310″。尽管曝光的变化在输入图像的线表示中可能并不容易看出，但每一LDR图像帧301、302和303可表示场景的不同曝光的图像捕获。举例来说，LDR图像帧301可表示第一图像曝光(例如，曝光不足)，LDR图像帧302可表示第二图像曝光(例如，正常、默认或标准曝光)，且LDR图像帧303可表示第三图像曝光(例如，曝光过度)。

图3D说明一个实施例中从具有不同曝光的三个LDR输入图像组合的所得HDR输出图像。所得HDR图像304含有在正产生输出图像HDR时，因骑脚踏车者穿过图像帧的移动而产生的运动图像重影320。

图3E说明一个实施例中因LDR图像帧301到303的合并而产生的运动掩模305的表示。图3E包含由区段350指示的静止(即，在所界定的边界内部具有任何运动的静态区域)。图3E还包含隔离骑脚踏车者的移动所导致的重影的分量365的运动掩模边界360。

图4A和4B说明在不同时间点捕获的两个不同输入图像，其各自在所述帧内具有两个单独的移动标的。第一输入图像401中的第一位置405处的骑脚踏车者在第二输入图像402中已移到新的位置405′。来自位置410的慢跑者在第二输入图像402也已移到新的位置410′。第一位置405处的骑脚踏车者和位置410处的慢跑者两者表示组合输出图像内的移动标的。MGF可检测标的/对象(例如，骑脚踏车者和慢跑者)的移动，以减少或消除在组合图像时可能发生的重影。

图4C说明因第一输入图像401与第二输入图像402的合并而产生的运动掩模403。MGF可确定运动掩模403具有单独的非连接分量，且在确定参考图像时，分别对待每一分量。举例来说，MGF可创建运动掩模403内的单独分量，使得骑脚踏车者和慢跑者各自具有个别的单独非连接分量。举例来说，非连接分量440与慢跑者移动相关联，而非连接分量435与骑脚踏车者移动相关联。所述非连接分量中的每一者通过静态/静止空间而分离。

图4D说明一个实施例中的从图像401和402组合的有重影假像输出图像。在重影减少被停用的情况下，在合并来自图像401和402的图像后，一些有重影假像(例如，假像460和470)可存在。在一个实施例中，MGF可如下文所述去除重影假像。

在一个实施例中，MGF可针对每一输入图像，分别处理下面的图像特征(例如，确定准则或图像质量得分)。举例来说，分量420下的区域440依据相应的输入图像而变化。举例来说，与第一输入图像401相关联的区域440可含有以第一组曝光设定在第一位置405处捕获的骑脚踏车者。与第二输入图像402相关联的区域440可含有以第二组曝光设定在新的位置405′处捕获的骑脚踏车者。因此，第一输入图像401中的分量下的区域可在一或多个图像质量准则中，与第二输入图像402中的分量下的区域不同地得分。举例来说，骑脚踏车者可在一个图像中移动较快，从而导致尖锐度较小的图像，或骑脚踏车者可在来自树木的一片树荫中，从而导致与另一图像捕获不同的色彩渲染。分量420可保持恒定(即，维持设定边界)，然而，分量420下面的图像数据可从第一输入图像401到第二输入图像402改变。

MGF还可与同一运动掩模内的每一其它分量分开且独立地分析每一分量。举例来说，MGF可为第一分量确定最佳图像，且为第二分量确定最佳图像，其中最佳图像针对每一分量可不同。举例来说，当位置410处的慢跑者在树木的正下方时，在所述树木的树荫下的位置410处的慢跑者可在位置410处充分曝光，但当位置410处的慢跑者在较直射的阳光下时，可能不在新的位置410′处充分曝光。MGF可使用充分曝光图像质量准则来确定可从第一输入图像401而不是来自402的输入图像取得分量430的参考图像。另外，对于同一输出图像，MGF可使用充分曝光图像质量准则来确定可从第二输入图像402而不是来自401的输入图像取得分量420的参考图像。因此，在一些实施例中，与运动掩模内的其它分量(例如，包含第一位置405处的骑脚踏车者的分量420)相比，MGF可为一个分量(例如，包含位置410处的慢跑者)选择不同的参考图像(例如，401)。图4E说明从图像401的输入图像的慢跑者410和来自输入402的骑脚踏车者405′处理的无假像输出图像。

参考图像准则

参考图像是MGF可在创建最终经合并输出图像时使用(即，从中复制)的运动掩模区域下的像素的来源图像。选择低质量参考图像可导致对应降低的输出图像质量。举例来说，当创建HDR图像时，选择曝光不足的图像作为参考图像可导致有噪声且较暗的像素，从而导致输出的感知质量的较大降级。或者，选择曝光过度的图像可导致明显褪色的图像特征。

在一个实施例中，MGF可将参考图像选择用公式表示为具有嵌入式曝光、色彩、饱和度、尖锐度和纹理准则的优化成本函数。在一个实施例中，如果运动掩模中存在多个非连接(例如，非邻近或单独)分量(即，块，或图像片)，那么MGF可为这些分量中的每一者选择最佳参考图像，以实现最高质量输出图像。举例来说，当创建HDR图像时，MGF可为最佳输出图像复制来自低曝光图像的分量中的一者，以及来自高曝光图像的另一分量。MGF为每一分量选择最佳图像的灵活性在图像在曝光不足区和曝光过度区两者中具有运动时特别有用。

在一个实施例中，MGF可测量准则(例如，曝光、色彩、饱和、尖锐度和纹理)，并将准则得分(即，图像质量得分)指派给相应输入图像中的每一者内的每一分量、块或片。举例来说，一组输入图像中的每一输入图像可具有一相关联的运动掩模，如上文所述。所述运动掩模可具有一或多个有独特图像特性的单独/不同分量区域。在一个实施例中，MGF可为与每一分量(即，块或片)相关联的图像中的区域确定相应的图像质量。

图5说明一个实施例中的运动有重影假像滤波的流程图。在框505处，实施例(例如，MGF)可为多个独特图像中的每一者内的每一分量确定图像质量得分。在一个实施例中，MGF可求所有准则得分的总和，并对结果进行分级，以确定哪一输入图像接收到针对运动掩模中的每一相应分量的最高总准则得分。MGF可选择最高总得分作为每一分量的参考图像。

在一些实施例中，MGF可基于特定准则的感知重要性来改变每一准则权重。举例来说，MGF可确定适当曝光比色彩重要，并给予曝光得分比其它准则大的权重。在此先前实例中，如果所述准则中的每一者被指派初始权重1，那么MGF可减小其它准则权重(例如，减小到0.5)，和/或增加曝光准则的权重(例如，增加到2)。

在框510处，实施例可基于与第一参考图像相关联的第一分量的第一相应图像质量得分，从多个独特输入图像选择第一参考图像。MGF可选择针对相应分量具有最高得分的图像作为对应的参考图像。

在框515处，实施例可基于多个独特图像的合并来创建输出图像。所述输出图像还可包含与每一分量相关联的每一参考图像的至少一部分。举例来说，为了从一组输入图像创建HDR输出图像，MGF可合并、融合或混合每一输入图像，以创建具有每一输入图像的视觉上最令人愉悦的部分的单个输出图像。在一些实施例中，MGF可将参考图像的分量直接复制到输出图像中。举例来说，第一分量可表示图像的具有在树木的树荫下跑步的人的区域，而第二分量可表示在洒满阳光的道路上骑行的人。MGF可与每一其它分量区域分开且独立于每一其它分量区域而确定具有视觉上最令人愉悦的图像特性的每一分量区域，并将“最佳”或最高得分参考图像分量复制到最终输出图像中。

色彩丰满度

色彩的丰满度可为确定图像质量的重要因素。感知的图像质量强烈地朝鲜艳意像偏置。MGF可客观地测量在图像内发现得色彩，以基于色彩提供图像质量得分。在一些实施例中，色彩准则(即，色彩的丰满度)越高，与具有较少色彩的其它图像相比，所述图像将被选择为参考图像的可能性越大。

在一个实施例中，在(例如，从RGB色彩空间)测量色彩的丰满度之前，MGF可将输入图像转换到YUV色彩空间。在YUV色彩空间中，Y通道表示强度值，且通道U和V表示色彩信息。MGF可通过对图像片内的色度通道U和V的绝对值进行求和(即，|U|+|V|)来确定色彩得分的丰满度。MGF也可在运动掩模下将图像的色彩信息测量为：

等式7

充分曝光的像素

欠饱和的像素，即接近零的强度值的像素，可含有大于平均量的噪声。当将有噪声的像素复制到输出图像时，可降低输出图像的整体感知质量。或者，可将所述强度范围(例如，接近255的强度值)的相反光谱上的像素视为过饱和/过度曝光的，且也可导致输出图像的质量降低。

在一个实施例中，图像的曝光等级也可用作用于测量图像质量且选择参考图像的准则。MGF可测量运动掩模的分量内的像素的曝光等级。举例来说，

等式8

其中Y是像素强度，且N是加权因子中的正指数(例如，6或其它值)。中等范围曝光值可导致输出图像的(例如，HDR图像的)改进的感知质量。因此，在一些实施例中，当图像像素具有中值范围强度值(即，大约Y_mid＝128)时，MGF为曝光准则打分较高。随着Y_mid移动较远离强度范围的任一侧，将相应图像选择为参考图像的合意性降低。

在一个实施例中，MGF通过具有Y_mid＝128的像素强度值上的帽状函数来测量充分曝光的准则。

等式9

不饱和像素

在一个实施例中，MGF可确定由运动掩模的相应分量覆盖的不饱和像素的数目。输入图像(例如，作为用于HDR处理的一组图像的一部分的LDR图像)可含有若干饱和像素，其可使相应输入图像成为参考图像的坏选择。为了测量场景点的强度，相机传感器可在曝光时间期间，在时间上整合落在像素网格上的光子的数目。然而，强度值可具有255的上限，且在255处为对应于非常明亮的场景点的像素加上限。因此，具有接近于255值的饱和像素的区中的信息存在固有损耗。此外，过饱和的像素还可导致输出图像(例如，最终HDR图像)的感知质量的恶化。

在一个实施例中，MGF可降低含有饱和像素的分量的图像质量得分。举例来说，MGF可使含有强度大于阈值(例如，值253，其中255是像素的最大强度)的像素的输入图像不利。

在一个实施例中，MGF可使具有饱和处罚C_i的饱和像素不利，例如，

等式10

其中C_i是图像I的饱和处罚，且I是指标函数，且Y_i(x，y)是像素(x，y)的强度值。饱和处罚C_i是图像索引i的函数。分量内存在的饱和像素越多，越多的MGF将试图使成本函数偏向于选择低曝光输入图像(例如，LDR图像)。这可通过设定饱和处罚的值，使得C_i-1≤C_i来实现。最终成本函数于是为个别成本函数的经加权组合。

J_ref(i)＝J_cost(i)+αJ_we(i)+βJ_sat(i) 等式11

其中MGF将参考图像选择为具有索引的输入图像(例如，LDR图像)，且其中，

等式12

额外准则

在其它实施例中，除上文所描述的准则中的一或多者之外或代替于上文所描述的准则中的一或多者，MGF还计算额外准则。举例来说，MGF可基于纹理、对比度、尖锐度或其它图像质量度量来计算图像质量得分。举例来说，MGF可计算输入图像的梯度，来对每一运动区(即，由运动掩模的每一分量覆盖的区)的纹理/尖锐度丰满度进行分级。MGF可使用分类器，其经训练以检测模糊图像来避免将模糊的输入图像选择为参考。举例来说，除如所描述的区的曝光度和色彩度之外，MGF可使用测量输入帧的尖锐度/模糊度的度量。在一些实施例中，MGF可使用分类器来将掩模下的图像/片分类为尖锐/模糊。

在其它实施例中，MGF可使用上文所述的准则/度量的一个、所有或任意组合/权重。举例来说，MGF可确定使用色彩准则，且跳过/忽略用于确定参考图像的所有其它准则。MGF也可确定除了饱和之外的所有准则应较不重要，且改变得分或计算的相对权重，以反映增加的饱和重要性(即，或所有其它准则的相对较低重要性)。

无重影权重修改

如上文所述，MGF可捕获各自以不同曝光度取得的多个独特LDR图像(即，输入图像)以混合成HDR图像。举例来说，可以曝光度“X”(例如，第一快门速度，而光圈和ISO保持恒定)取得第一图像，同时可以曝光度“Y”(例如，与用于产生曝光度“X”的快门速度不同的快门速度，而光圈和ISO保持恒定)取得第二图像。MGF可接收在不同曝光等级下取得的两个或两个以上LDR输入图像，以创建组合来自LDR输入图像中的每一者的方面的HDR输出图像。

在给定一组N个曝光度加括号输入图像I₁、I₂、...I_N的情况下，MGF或HDR处理程序可基于所有输入图像的经加权总和产生输出HDR图像。举例来说，等式13：

I_HDR＝[(W₁)(I₁)]+[(W₂)(I₂)]+[(W₃)(I₃)]+...+[(W_N)(I_N)] 等式13

其中对于每一像素，W₁+W₂+...+W_N＝1。以上是矩阵元素的逐元素乘法。以相等的50％权重组合的两个图像将产生HDR输出图像，其产生以50/50比率来自所述两个图像的数据。举例来说，输出HDR图像内的每一像素可包含均等像素的两个初始图像值中的每一者的一半。确切的权重值可取决于HDR实施例的类型。当创建最终的经合并HDR输出图像时，不同类型的HDR算法可产生不同的相应权重。

如上文所述的基于经加权总和合并或组合图像与HDR可为HDR曝光混合而优化，但不会主动校正输出图像中的运动重影。当输入图像内的元素、标的或对象移动时，所得的输出图像可含有不相关数据的混合(例如，与标的数据组合的背景数据)。因此，LDR图像的HDR混合或合并可产生准确或改进的动态范围输出，但也可无意地将有重影假像引入到最终图像中。

为了减少或消除来自HDR输出结果的重影，MGF可调整每一参考图像的权重，以基于运动掩模中的分量消除有重影假像。MGF可在像素域和辐照度域两者中调整每一参考图像的权重。如本文所使用，辐照度是图像场景的实际亮度，而不管相机的任何特定曝光设定如何。举例来说，改变相机的曝光设定可产生曝光不足或过度曝光的图像，而场景中的辐照度值不变化。

图6说明一个实施例中的无重影权重修改的流程图。在框605处，实施例读取一组图像，以一起合并成高动态范围(HDR)输出图像，其中所述图像中的每一者具有相应的HDR权重。

在框610处，在使用所述组图像的经加权平均值来合并所述组图像之前，所述实施例可用所述图像中的每一者的相应无重影权重来代替相应的HDR权重。

在框615处，所述实施例可使用所述组图像的经加权平均值来合并所述组图像，所述图像的所述经加权平均值是基于所述图像中的每一者相应无重影权重。

在一个实施例中，对于运动掩模M中的每一分量，MGF可独立地修改用于如上文所述创建I_HDR的权重W₁、W₂、...W_N。在一个实施例中，运动掩模可为平滑掩模，使得M为从0(即，无运动)到1(即，运动)的任何值。运动掩模可具有P个非连接分量，其中P＞＝0。当P＝0时，运动掩模不含有任何分量，因此场景中没有可导致无重影输出图像的运动。每一掩模可具有若干非连接分量，使得可存在P个参考图像，其各自具有用于混合成HDR输出图像的个别权重。MGF可通过使用预定运动掩模R，利用有重影假像图像(I_HDR)与相应参考图像的经加权组合来减少或消除输出图像中的重影。

其中，当I_j不是参考图像时，W_j′＝[(1-M)W_j]，且当I_j是参考图像时，W_j′＝M+[(1-M)Wj]。静止区域(即，不在运动掩模内的区域)可保持不修改，而MGF确保具有运动的区域将为输出图像中无重影的。

在一个实施例中，运动掩模可具有两个或两个以上分量，(例如，片或块)。MGR可调整与所述分量中的每一者相关联的每一参考图像的权重。

有重影假像去除

在一个实施例中，在已产生具有有重影假像的输出图像之后，MGF可减少或消除输出图像中的重影或有重影假像。

图7说明一个实施例中的有重影假像去除的流程图。在框705处，所述实施例可接收从多个独特输入图像合并的输出图像，且所述输出图像具有第一有重影假像分量，其含有从多个独特输入图像的合并而产生的运动假像。举例来说，所述实施例可接收基于一组输入图像的HDR成像输出。所述HDR成像输出可由MGF产生，或MGF可读取预定的HDR成像输出来校正重影假像。在一些实施例中，多个单独不同分量可含有重影假像(例如，含有运动假像的两个或两个以上有重影假像分量)。

在框710处，所述实施例可将第一有重影假像分量与所述多个独特输入图像中的每一者内的目标分量进行比较，所述目标分量包含由第一有重影假像分量覆盖的同一相对图像区域。所述实施例可尝试将输出图像内的一或多个有重影假像分量与来自所述组输入图像的原始图像进行比较。在比较期间，所述实施例可确定来自所述输入图像的图像是否比其它输入图像更类似于输出图像分量。在一个实施例中，MGF可通过比较纹理、色彩或其它准则来确定图像相似性。相似性对于确定参考图像来说是有益的，以便最小化可在组合两个图像时发生的任何混合假像。举例来说，如果两个图像的色彩或纹理非常不同，那么与两个图像较相似的情况相比，组合或合并成单个图像可导致较低质量输出图像。

在一个实施例中，MGF可用像素等级结构相似性或块等级相似性来最大化参考图像的相似性。MGF可比较相似性，且独立于像素等级结构相似性或块等级相似性，合并参考图像的两个或两个以上分量。举例来说，MGF可确定来自图像X的分量A最类似于输出图像内的分量A，而来自图像Y的分量B最类似于输出图像内的分量B。在为每一个别分量确定每一相应参考图像后，MGF可即刻将所述分量复制到所述输出图像，以创建经更新的输出图像。

在一个实施例中，MGF可使用通过标准化交叉相关(NCC)的像素等级结构相似性，或由运动掩模的相应分量覆盖的像素的差异。举例来说，MGF可计算候选参考图像分量(例如，所述组输入图像分量中的一者)与输出图像的每一像素值之间的差。如本文所使用，像素值可为任何可测量像素信息，例如曝光度或色彩。MGF可对分量(即，块或片)中的每一像素值的所有差的总和进行求和，以返回相应输入图像与输出图像之间的最终差得分。MGF可选择具有最低差得分(例如，最相似图像)的输入图像(例如，与所述分量相关联的图像)。

在另一实施例中，MGF可计算块等级(即，片或分量等级)相似性。代替于计算分量内的每一像素与输出图像之间的差，块等级相似性可将所述分量的整个块与输出图像中的整个块进行比较。举例来说，MGF可计算由掩模的相应分量(即，块或片)覆盖的像素的红色、绿色和蓝色(RGB)通道的均值。MGF可接着分量中的RGB通道的分量均值与输出图像中的RGB通道的均值的差。在计算每一相应输入图像与输出图像之间的差后，可即刻将与输出图像具有最少不同(最相似)均值的图像选择为参考图像。

在框715处，所述实施例可基于将第一有重影假像分量与多个独特输入图像中的每一者内的目标分量进行比较，来从所述多个独特输入图像选择第一参考图像。举例来说，所述实施例可从所述组输入图像选择参考图像，且使用所述参考图像来修改输出图像的有重影假像分量。MGF可选择具有与有重影假像图像分量最接近的相似性的参考图像。在一个实施例中，MGF基于曝光度、色彩、饱和度或纹理的一或多个准则的相似性来选择参考图像。

在框720处，所述实施例可通过用第一参考图像的至少一部分代替输出图像的第一有重影假像分量的至少一部分，来校正第一有重影假像分量。举例来说，MGF可操纵或编辑输出图像，来创建具有减少或消除的重影假像的最终图像结果。在一些实施例中，MGF可从参考图像复制干净的(即，缺乏运动重影或假像)区段，以覆盖输出图像中的相应区域。对于每一分量，MGF可复制由有重影假像分量表示的图像区域上的相应参考图像。

无假像混合

在一个实施例中，MGF可通过匹配色度和照明度来将多个输入图像混合或合并成无假像输出图像。在一或多个图像的混合之前，MGF可将参考和HDR输出图像转换成YUV色彩空间或log(YUV)色彩空间。MGF使每一图像(即，参考图像Ri)的色度(即，色彩)和照明度(即，强度)与HDR输出图像(即，I_HDR)的色度和/或照明度匹配。如上文所述，当创建输出图像时，参考图像指代将与其它参考图像合并的选定图像。可选择不同的参考图像，以结合运动掩模的每一分量下的区域使用。匹配色度和照明度可减少或消除参考图像与最终合并的HDR输出图像之间的不同色度和照明度差异所导致的混合假像。

在替代实施例中，MGF可将图像转换到RGB色彩空间或log(RGB)色彩空间。在RGB或log(RGB)色彩空间内，MGF可将均值从一个RGB通道移位到另一RGB通道。举例来说，如果如果一个参考图像具有比HDR输出图像多的红色，那么MGF可使相应参考图像色彩移位，以与HDR输出图像的通道等级匹配。

图8说明通过匹配色度和照明度进行无假像混合的流程图。在框805处，所述实施例可通过计算用来创建HDR输出图像的参考图像中的每一者的逐像素差(例如，差异图像Di＝I_HDR-Ri)来创建一组差。举例来说，所述实施例将来自第一参考图像的每一像素与HDR输出图像内的每一像素进行比较，以创建与第一参考图像相关联的差异图像。可将每一参考图像像素与HDR输出图像内的均等像素进行比较，其中均等涉及同一相对像素位置内的像素。举例来说，参考图像内的位置/坐标“X”处的像素将与HDR输出图像内的位置/坐标“X”处的无论哪个像素进行比较。

在框810处，所述实施例可使差异图像Di中的每一者模糊以产生Di′。所述实施例可使差异图像模糊，以求每一差异图像内的像素的相邻像素的平均值，来得出平滑偏移图像Di′。在其它实施例中，在确定逐像素差异之前，MGF分别使参考图像和HDR输出图像模糊。

在框815处，所述实施例可将经模糊的(即，平滑的)偏移图像添加/组合到相应的参考图像，以产生经校正的参考图像Ri′。举例来说，Ri′＝Ri+Di′。所述实施例可提供经校正的参考图像，作为图像的线性组合的输入，从而产生无假像输出图像。

MGF可实施为软件、固件、硬件、模块或引擎。在一个实施例中，先前的MGF描述可由装置100中的通用处理器161实施，来实现先前所要的功能。

本文的教示可并入到多种设备(例如，装置)中(例如，在所述设备内实施或由所述设备执行)。举例来说，本文所教示的一或多个方面可并入到电话(例如，蜂窝式电话)、个人数据助理(“PDA”)、平板计算机、移动计算机、膝上型计算机、平板计算机、娱乐装置(例如，音乐或视频装置)、头戴式耳机(例如，头戴耳机、耳机等)、医学装置(例如，生物统计传感器、心率监视器、计步器、EKG装置等)、用户I/O装置、计算机、服务器、销售点装置、娱乐装置、机顶盒，或任何其它合适装置。

在一些方面中，无线装置可包括用于通信系统的接入装置(例如，Wi-Fi接入点)。此接入装置可提供例如经由有线或无线通信链路，穿过收发器140(例如，广域网，例如因特网或蜂窝式网络)到另一网络的连接性。因此，所述接入装置可使另一装置(例如，Wi-Fi站)能够接入其它网络或某一其它功能性。另外，应了解，所述装置中的一者或两者可为便携式的，或在一些情况下，为相对非便携式的。

所属领域的技术人员将理解，可使用多种不同技术和技艺中的任一者来表示信息和信号。举例来说，贯穿以上描述可参考的数据、指令、命令、信息、信号、位、符合和码片可由电压、电流、电磁波、磁场或颗粒、光场或微粒，或其任何组合来表示。

技术人员将进一步了解，结合本文所描述的实施例而描述的各种例示性逻辑块、模块、引擎、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的这种可互换性，上文已大体上按照其功能性描述了各种例示性组件、块、模块、引擎、电路和步骤。将此功能性实施为硬件还软件取决于特定应用，以及强加于整个系统上的设计约束。熟练的技术人员可针对每一特定应用，以不同方式来实施所描述的功能性，但此类实施决策不应被解释为导致脱离本发明的范围。

结合本文所揭示的实施例而描述的各种例示性逻辑块、模块和电路可用经设计以执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行。通用处理器可为微处理器，但在替代方案中，所述处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的联合、结合DSP核的一或多个微处理器，或任何其它此类配置。

结合本文所揭示的实施例而描述的方法或算法的步骤可直接在硬件中、在处理器所执行的软件模块中，或在两者的组合中实施。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息，且将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻存在ASIC中。ASIC可驻存在用户终端中。在替代方案中，处理器和存储媒体可作为离散组件驻存在用户终端中。

在一或多个示范性实施例中，(例如，图5到8)所描述的所述功能、方法或模块可在硬件(例如，硬件162)、软件(例如，软件165)、固件(例如，固件163)或其任何组合中实施。如果在软件中实施为计算机程序产品，那么所述功能或模块可存储在非暂时性计算机可读媒体上，或作为一或多个指令或代码经由非暂时性计算机可读媒体传输。计算机可读媒体可包含计算机存储媒体和通信媒体两者，所述通信媒体包含促进计算机程序从一处传送到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。作为实例，而不是限制，此非暂时性计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于以指令或数据结构的形式运载或存储所要程序代码且可由计算机存取的任何其它媒体。并且，任何连接均可适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术，从网站、服务器或其它远程来源发射所述软件，那么所述同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。磁盘和光盘，如本文所使用，包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘以及蓝光光盘，，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各项的组合也应包含在非暂时性计算机可读媒体的范围内。

提供所揭示实施例的先前描述，以使所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易明白对这些实施例的各种修改，且在不脱离本发明的精神或范围的情况下，本文所界定的一般原理可应用于其它实施例。因此，本发明无意限于本文所展示的实施例，但将被赋予与本文所揭示的原理和新颖特征一致的最宽范围。