用于处理图像的设备和方法与流程

本发明的示例性实施例总体涉及一种图像处理设备和方法，更具体地讲，涉及一种能够去除宽动态范围(wdr)图像中的运动伪像的图像处理设备和方法。

背景技术：

最近，诸如数码相机、数码摄像机和相机手机的数字图像处理设备的用户需求正在快速增长。因此，数字图像处理设备已变得更加复杂，并且已经增加更多不同的功能。

然而，传统数字图像处理设备不处理关于实际场景的所有信息，因为与实际场景的动态范围相比，通过图像传感器可获得的动态范围相对小。具体地讲，当在由于背光导致图像的亮的部分与暗的部分之间的照度强度的差很大的条件下获得图像时，难以获得关于图像的亮的部分和暗的部分二者的充分的信息。因此，这样的区的图像质量可被显著地劣化。为了解决这个问题，已经开发了宽动态范围(wdr)图像处理。

wdr处理通过对短曝光图像和长曝光图像进行融合从而能够产生图像的亮的部分和暗的部分二者都清晰可见的图像。短曝光图像的曝光时间被调节为很短，使得图像的亮的部分可被清楚地看见，长曝光图像的曝光时间被调节为很长，使得图像的暗的部分可被清楚地看见。

然而，当运动对象出现在将被捕捉的实际场景中时，可能在通过wdr处理产生的图像中产生运动伪像。

本背景技术部分中公开的上述信息仅为了理解本发明构思的背景技术，因此，可包含不构成现有技术的信息。

技术实现要素：

根据本发明的示例性实施方式构造的用于处理图像的设备和方法能够通过确定关于捕捉的实际场景是获得使动态范围最大化的第一wdr图像还是获得运动伪像被校正的第二wdr图像来提高wdr图像的质量。

根据本发明的示例性实施例构造的用于处理图像的设备和方法能够通过将具有相同的曝光时间的至少两个短曝光图像帧与长曝光图像帧进行比较并基于哪个图像帧具有最小的运动改变量来校正运动伪像。

本发明构思的额外的特征将在下面的描述中阐述，并且部分通过该描述将是清楚的，或者可通过本发明构思的实践来获知。

根据本发明的一方面，一种用于处理图像的设备，包括：图像传感器，用于输出基于第一曝光时间的长曝光图像帧和具有与第一曝光时间不同的单一的第二曝光时间的至少两个短曝光图像帧；模式确定单元，用于基于从图像传感器输出的图像帧中的饱和像素的数量来确定第二曝光时间；快门控制器，用于基于来自模式检测单元的输出信号来控制图像传感器的每一帧的曝光时间；图像处理单元，用于对长曝光图像帧和所述至少两个短曝光图像帧进行融合以输出宽动态范围(wdr)图像。

图像处理单元可包括：运动检测单元，用于将长曝光图像帧中的图像帧的预定区域与所述至少两个短曝光图像帧中的每一个进行比较，并检测图像帧中的对象的运动的改变；帧选择单元，用于基于哪个图像帧在图像帧的预定区域中具有最小的对象运动改变量来选择长曝光图像帧或短曝光图像帧；融合单元，用于对所有选择的图像帧区域进行融合并输出宽动态范围(wdr)图像。

如果长图像帧的所述预定区域中的像素未饱和，则帧选择单元可选择长图像帧的所述预定区域。

如果长图像帧的所述预定区域中的像素饱和，则帧选择单元可基于哪个图像帧在每个短图像帧的预定区域中具有最小的对象运动改变量来选择短曝光图像帧的所述预定区域。

模式确定单元可包括：饱和像素计数器，用于接收从图像传感器输出的与预定图像帧对应的信号，并对包括在预定图像帧中的饱和像素的数量进行计数；比较器，用于将饱和像素的数量与预定参考值进行比较；模式决定单元，用于基于来自比较器的输出来确定图像处理单元的操作模式。

所述操作模式可包括第一操作模式和第二操作模式，其中，当饱和像素的数量大于所述参考值时采用第一操作模式；当饱和像素的数量小于所述参考值时采用第二操作模式。

在第二操作模式下，图像处理单元可接收基于第一曝光时间的长曝光图像帧和具有比第一曝光时间小的第二曝光时间的三个短曝光图像帧。

第二曝光时间可小于第一曝光时间。

根据本发明的另一方面，一种用于图像处理的设备，包括：图像传感器，用于输出基于第一曝光时间的长曝光图像帧和具有与第一曝光时间不同的单一的第二曝光时间的至少两个短曝光图像帧；运动检测单元，用于将长曝光图像帧中的图像帧的预定区域与所述至少两个短曝光图像帧中的每一个进行比较，并检测图像帧中的对象的运动的改变；帧选择单元，用于基于哪个图像帧在图像帧的预定区域中具有最小的对象运动改变量来选择长曝光图像帧或短曝光图像帧；融合单元，用于对所有选择的图像帧区域进行融合并输出宽动态范围(wdr)图像。

如果长图像帧的所述预定区域中的像素未饱和，则帧选择单元可选择长图像帧的预定区域。

如果长图像帧的所述预定区域中的像素饱和，则帧选择单元可基于哪个图像帧在每个短图像帧的预定区域中具有最小的对象运动改变量来选择该短曝光图像帧的所述预定区域。

所述至少两个短曝光图像帧可包括三个短曝光图像帧，第二曝光时间可小于第一曝光时间。

根据本发明的另一方面，一种用于处理图像的方法，包括以下步骤：接收与预定图像帧对应的信号；对包括在预定图像帧中的饱和像素的数量进行计数；将饱和像素的数量与预定参考值进行比较；当饱和像素的数量小于所述参考值时，输出基于第一曝光时间的长曝光图像帧和具有与第一曝光时间不同的单一的第二曝光时间的至少两个短曝光图像帧；将长曝光图像帧中的图像帧的预定区域与所述至少两个短曝光图像帧中的每一个进行比较，并检测图像帧中的对象的运动的改变；基于哪个图像帧在图像帧的预定区域中具有最小的对象运动改变量来选择长曝光图像帧或短曝光图像帧；对所有选择的图像帧区域进行融合并输出宽动态范围(wdr)图像。

选择长曝光图像帧或短曝光图像帧的步骤可包括：如果长图像帧的预定区域中的像素未饱和，则选择长图像帧的所述预定区域。

选择长曝光图像帧或短曝光图像帧的步骤可包括：如果长图像帧的预定区域中的像素饱和，则基于哪个图像帧在短图像帧的每一个的预定区域中具有最小的对象运动改变量来选择该短曝光图像帧的所述预定区域。

所述至少两个短曝光图像帧可包括三个短曝光图像帧，第二曝光时间可小于第一曝光时间。

所述方法还可包括以下步骤：当饱和像素的数量大于所述参考值时，输出基于第一曝光时间的长曝光图像帧和具有与第一曝光时间不同的至少两个第二曝光时间的所述至少两个短曝光图像帧。

所述至少两个短曝光图像帧可包括：具有小于第一曝光时间的不同的三个第二曝光时间的三个短曝光图像帧。

将理解，上面的总体描述和下面的具体实施方式二者是示例性和解释性的，并且意在提供请求保护的本发明的进一步解释。

附图说明

被包括以提供对本发明的进一步理解并被合并在本说明书中且构成本说明书的一部分的附图示出本发明的示例性实施例，并且与说明书一起用于解释本发明构思。

图1a和图1b是示出wdr处理中产生的运动伪像的示意图。

图2a是根据本发明的示例性实施例构造的图像处理设备的框图。

图2b是示出从图2a中所示的图像传感器输出的长图像帧和短图像帧在两种操作模式下的曝光时间的示意图。

图3是图2a中所示的模式确定单元的框图。

图4是用于示出根据本发明的示例性实施例的图像处理方法的流程图。

图5是示出图2a中所示的第二模式处理单元的示例性实施例的内部组件的框图。

图6是用于示出由图5中所示的第二模式处理单元实施的示例性图像处理方法的流程图。

图7是示出用于根据图5中所示的第二模式处理单元对图像帧的块进行融合的处理的示意图。

具体实施方式

在下面的描述中，为了解释的目的，阐述大量特定细节以提供对本发明的各种示例性实施例或实施方式的彻底理解。如在此使用的，“实施例”和“实施方式”是采用在此公开的本发明构思中的一个或多个发明构思的装置或方法的非限制性示例的可互换的词。然而，应该清楚，在没有这些具体细节或者具有一个或多个等同的布置的情况下，可实践各种示例性实施例。在其他情况下，以框图形式示出公知的结构和装置以避免不必要的模糊各种示例性实施例。此外，各种示例性实施例可以是不同的，但不是必须排他性的。例如，在不脱离本发明构思的情况下，可在另一示例性实施例中使用或实现示例性实施例的具体形状、配置和特性。

除非另有指示，否则所示的示例性实施例将被理解为提供可对在实践中实现本发明构思的一些方式的细节进行变化的示例性特征。因此，除非另有指示，否则在不脱离本发明构思的情况下，各种实施例的特征、组件、模块、层、膜、面板、区域和/或方面等(在下文中，单独地或共同地称为“元件”)可被以其他方式组合、分开、互换和/或重新布置。

附图中交叉影线和/或阴影的使用通常被提供以阐明相邻元件之间的边界。这样，除非指示，否则交叉影线或阴影的存在或不存在不传达或指示针对所示的元件之间的具体材料、材料性质、尺寸、比例、共性和/或元件的任何其他特性、属性、性质等的任何倾向或要求。此外，在附图中，为了清楚和/或描述的目的，元件的大小和相对大小可被夸大。当示例性实施例可被不同地实现时，特定的处理顺序可以与描述的顺序不同地被执行。例如，两个连续描述的处理可基本上被同时执行或者以与描述的顺序相反的顺序执行。此外，相同的参考标号表示相同的元件。

当元件(诸如，层)被称为“在”另一元件或层“上”、“连接到”或者“结合到”另一元件或层时，所述元件可“直接在”所述另一元件或层“上”、“直接连接到”或者“直接结合到”所述另一元件或层，或者可存在中间元件或层。然而，当元件或层被称为“直接在”另一元件或层“上”、“直接连接到”或者“直接结合到”另一元件或层时，不存在中间元件或层。为此，术语“连接”可表示具有或不具有中间元件的物理连接、电连接和/或流体连接。此外，d1轴、d2轴和d3轴不限于直角坐标系的三个轴(诸如x轴、y轴和z轴)，并且可在更广泛的意义上解释。例如，d1轴、d2轴和d3轴可彼此垂直，或者可以表示彼此不垂直的不同方向。为了本公开的目的，“x、y和z中的至少一个”以及“从由x、y和z组成的组所选择的至少一个”可被解释为只有x、只有y、只有z，或者x、y和z中的两个或更多个的任何组合(诸如，例如，xyz、xyy、yz以及zz)。如在此所使用的，术语“和/或”包括相关所列项中的一个或多个的任何组合以及所有组合。

尽管在此可使用术语“第一”、“第二”等来描述各种类型的元件，但是这些元件不应受这些术语限制。这些术语用于将一个元件与另一元件区分开来。因此，在不脱离本公开的教导的情况下，以下讨论的第一元件可被称为第二元件。

为了描述性目的，在此可使用诸如“在…之下”、“在…下面”、“在…下方”、“下方的”、“在…之上”、“在…上面”、“在…上方”、“高于”、“在…侧面”(例如，如在“侧壁”中)等的空间相对术语，从而描述如附图中所示的一个元件与另一个元件的关系。除了附图中描述的方位之外，空间相对术语意在包含使用、操作和/或制造中的设备的不同方位。例如，如果附图中的设备被翻转，则描述为“在”其他元件或特征“下面”或者“在”其他元件或特征“之下”的元件之后将被定位“在”其他元件或特征“之上”。因此，示例性术语“在…下面”可包含上面和下面两种方位。此外，设备可被另外定位(例如，旋转90度或在其他方位)，这样，在此使用的空间相对描述语被相应地解释。

在此使用的术语是为了描述具体实施例的目的，而不意在限制本发明。除非上下文明确另有指示，否则如在此所使用的单数形式也意在包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”时，指定存在叙述的特征、整体、步骤、操作、元件、组件和/或它们的组，但并不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。还应注意，如在此所使用的，术语“基本上”、“大约”以及其他类似术语用作近似的术语，而不是程度的术语，这样，用于解释将被本领域普通技术人员认可的测量值、计算值和/或提供值中的固有偏差。

如本领域中的惯例，在附图中根据功能块、单元和/或模块来描述和示出一些示例性实施例。本领域技术人员将理解，这些块、单元和/或模块通过可使用基于半导体的制造技术或其他制造技术形成的电子(或光学)电路(诸如，逻辑电路、分立组件、微处理器、硬连线电路、存储器元件、接线连接等)被物理地实现。在块、单元和/或模块由微处理器或其他类似硬件实现的情况下，它们可使用软件(例如，微代码)而被编程和控制以执行在此讨论的各种功能，并且可选择地由固件和/或软件驱动。还会预期，每个块、单元和/或模块可由专用硬件实现，或者可被实现为用于执行一些功能的专用硬件和用于执行其他功能的处理器(例如，一个或多个编程的微处理器和相关联的电路)的组合。此外，在不脱离本发明构思的范围的情况下，一些示例性实施例的每个块、单元和/或模块可被物理地分成两个或更多个相互作用并且分立的块、单元和/或模块。此外，在不脱离本发明构思的范围的情况下，一些示例性实施例的块、单元和/或模块可物理地组合成更复杂的块、单元和/或模块。

根据一个或多个示例性实施例，在此描述的特征、功能、处理等可经由软件、硬件(例如，通用处理器、数字信号处理(dsp)芯片、专用集成电路(asic)、现场可编程门阵列(fpga)等)、固件或它们的组合来实现。在这种方式下，服务器和/或服务器的一个或多个组件可包括一个或多个存储器(未示出)或以其他方式与一个或多个存储器(未示出)相关联，其中，该一个或多个存储器包括被配置为使服务器和/或服务器的一个或多个组件执行在此描述的特征、功能、处理等中的一个或多个的代码(例如，指令)。

存储器可以是参与向用于执行的一个或多个软件、硬件和/或固件组件提供代码的任何介质。这样的存储器可以以任何合适的形式(包括，但不限于非易失性介质、易失性介质和传输介质)来实现。例如，非易失性介质包括光盘或磁盘。易失性介质包括动态存储器。传输介质包括同轴电缆、铜线和光纤。传输介质还可采用声波、光波或电磁波的形式。例如，计算机可读介质的常见形式包括软盘、软磁盘、硬盘、磁带、任何其他磁介质、光盘只读存储器(cd-rom)、可重写光盘(cd-rw)、数字视频盘(dvd)、可重写dvd(dvd-rw)、任何其他光学介质、穿孔卡、纸带、光学标示表单、具有孔的图案或其他光学可识别标记的任何其他物理介质、随机存取存储器(ram)、可编程只读存储器(prom)以及可擦除可编程只读存储器(eprom)、快闪eprom(flash-eprom)、任何其他存储器芯片或匣、载波或者可通过例如控制器/处理器读取信息的任何其他介质。

除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开作为其中一部分的领域的普通技术人员通常理解的含义相同的含义。除非在此清楚地这样定义，否则术语(诸如，在通用词典中定义的术语)应被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且不应被解释为理想化或过于正式的含义。

虽然诸如数码相机的图像处理设备的性能被持续提高，但在由于动态范围的限制，在获得图像时使用的现有技术的电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)传感器中引起亮的区或暗的区的信息的丢失。动态区表示图像的最亮的区与最暗的区之间的亮度的比率。由于图像获得设备中使用的传感器的动态区与在实际场景时的动态范围相比非常小，因此实际场景的亮度范围不能被完全表达。

图1a和图1b是示出wdr处理中产生的运动伪像的示意图。

图1a示出用于根据本领域已知的wdr处理通过使用长/短可变曝光方法来感测长曝光图像和短曝光图像的操作。图1b示出wdr处理中产生的运动伪像。

参照图1a，根据长/短可变曝光方法，通过控制快门来选择性地调节针对每一帧的曝光时间，从而获得wdr处理所需的长曝光图像和短曝光图像。

在当使用图像传感器拍摄帧时应用的标准曝光时间期间，获得长曝光信号111。可基于长曝光信号111产生一个长帧121(参见图1b)。在针对标准曝光时间相对短的曝光时间期间，获得短曝光信号112。可基于短曝光信号112产生短帧122(参见图1b)。

当通过使用图1a中所示的长/短可变曝光方法交替地获得长帧121和短帧122时，可能在融合帧123中产生运动伪像124，其中，长曝光图像和短曝光图像如本领域已知的那样被融合。融合帧123中的运动伪像124由归因于长帧121的图像捕捉时间与短帧122的图像捕捉时间之间的时间差发生的场景的改变而引起。具体地讲，当快速移动的对象包括在将被成像的场景中时，运动伪像更频繁地发生。

根据本发明的原理，为了改善图像质量，有必要基于捕捉的实际场景的状态来确定是获得使动态范围最大化的第一wdr图像还是获得运动伪像被校正的第二wdr图像。

图2a是根据本发明的示例性实施例构造的图像处理设备的框图。图2b是示出从图2a中所示的图像传感器输出的长图像帧和短图像帧在两种操作模式下的曝光时间的示意图。图3是图2a中所示的模式确定单元的框图。此外，图4是用于示出根据本发明的示例性实施例的图像处理方法的流程图。

在下文中，将参照图2至图4描述根据本发明的实施例的用于处理图像的设备和方法。

参照图2a，根据示例性实施例的图像处理设备200可包括图像传感器210、模式确定单元220、快门控制器240和图像处理单元230。

图像传感器210可以是如下面更详细地讨论的可将由相机获得的光信号转换为电信号的本领域已知的任何传感器。图像传感器210可具有两种操作模式。在任何一种模式下，传感器210输出具有预定曝光时间的长图像帧以及具有与长图像帧不同曝光时间的多个短图像帧。长图像帧可以是长曝光图像(如图2b(a)或图2b(b)中所示的“长帧”f1)，短图像帧可以是短曝光图像(如图2b(a)中所示的“短帧”f2至f4或者如图2b(b)中所示的短帧f5至f7)。如下面所解释的，在图2b(a)中，短帧f2至f4具有不同的递减的曝光时间，其中，所有的这些曝光时间都比f1的曝光时间短。在图2b(b)中，短帧f5至f7具有比f1的曝光时间短的相同的曝光时间。

这里，如果曝光时间长，则图像传感器中积累的光的量增加，使得暗的部分中的层次表现的能力增强，但是亮的区域变得饱和并且层次表现可能不足。另一方面，如果曝光时间缩短，则积累的光的量变小，使得亮的部分的层次表现的能力增强，但是暗的区域变得饱和并且层次表现可能不足。

图像传感器110可以是电荷耦合器件(ccd)或互补金属氧化物半导体图像(cmos)传感器或者本领域已知的另一种图像捕捉装置。cmos图像传感器对于捕捉图像具有低功耗，这在保持电池供电的监控相机的电力方面具有很大优势。此外，制造成本相对低，这在使成像装置的图像捕捉区变大方面是有利的。此外，可使用ccd图像传感器。ccd图像传感器的优点包括比cmos图像传感器更少的噪声产生，并且图像信息传递速度非常快，图像质量优异。

如上所述，多个短图像帧可彼此具有不同的曝光时间或者全部具有相同的曝光时间。

图2b(a)示出具有不同的曝光时间(t2、t3、t4)的三个短图像帧(f2、f3、f4)，图2b(b)示出具有相同的曝光时间(t5)的另外三个短图像帧(f5、f6、f7)。如图2b(a)中所示的短图像帧的曝光时间(t2、t3、t4)比长图像帧(f1)的曝光时间(t1)短。此外，如图2b(b)中所示的短图像帧的曝光时间(t5)比长图像帧(f1)的曝光时间(t1)短。具体地讲，可在从最短曝光时间(t4)到最长曝光时间(t1)的范围内选择短图像帧(f5、f6、f7)的曝光时间(t5)。例如，短图像帧(f5、f6、f7)的曝光时间(t5)可被选择为与第二最长曝光时间(t2)相同。为了说明性目的，尽管图2示出三个短图像帧，但是短图像帧的数量不限于此。

在这种情况下，如图2b(a)中所示，如果短图像帧(f2、f3、f4)具有不同的曝光时间(t2、t3、t4)，则图像传感器的像素的层次表现的能力可被最大化，使得在对长图像帧和短图像帧进行融合时能够确保进一步增强的动态范围。另一方面，如图2b(b)中所示，如果短图像帧(f5、f6、f7)具有相同的曝光时间(t5)，则在对长图像帧和短图像帧进行融合时引起的图像劣化可被最小化。

因此，当期望获得使动态范围最大化的第一wdr图像时(即，在第一操作模式的情况下)，图像传感器210可输出如图2b(a)中所示的具有不同的曝光时间(t2、t3、t4)的三个短图像帧(f2、f3、f4)。另一方面，当期望获得补偿运动伪像的第二wdr图像时(即，在第二操作模式的情况下)，图像传感器210可输出如图2b(b)中所示的具有相同的曝光时间(t5)的三个短图像帧(f5、f6、f7)。

模式确定单元220可通过对包括在从图像传感器210输出的预定图像帧中的饱和像素的数量进行计数并将饱和像素的数量与预定参考值进行比较来确定第一操作模式或第二操作模式。

更具体地讲，参照图3，模式确定单元220可包括饱和像素计数器222、比较器224和模式决定单元226。

饱和像素计数器222可接收与从图像传感器210输出的预定图像帧对应的信号im，并且可对包括在预定图像帧中的饱和像素的数量进行计数(st400)。此时，优选地从短图像帧选择预定图像帧，并且，优选的是，选择短图像帧中的具有最长曝光时间的短图像帧(例如，图2b(a)中所示的f2或者图2b(b)中所示的f5)。然而，示例性实施例不限于此。

参照图3和图4，比较器224可将饱和像素的数量与预定参考值(ref)进行比较，并且可将结果输出到模式决定单元226(st410)。可根据用户的偏好来改变预定参考值。

当饱和像素的数量大于预定参考值时，模式决定单元226可通过确定图像传感器的像素的层次表现的能力应该被提高来确定在第一操作模式下操作图像处理单元230(st420)。另一方面，当饱和像素的数量小于或等于预定参考值时，模式决定单元226可确定在第二操作模式下操作图像处理单元230以校正运动伪像而不是提高层次表现的能力(st430)。

如图2a中所示，来自模式决定单元226的信号输出om(即，模式确定单元220的输出信号)可被输入到快门控制器240。快门控制器240可基于模式确定单元220的输出信号om将控制信号cont输出到图像传感器210，以控制图像传感器210的快门速度。也就是说，从图像传感器210输出的第一图像帧和短图像帧的曝光时间(t1、t2、t3、t4)可通过快门控制器240的控制来确定。例如，如果模式确定单元220确定第一操作模式将被执行，则图像传感器210可在快门控制器240的控制下输出单个长图像帧(f1)和具有不同的曝光时间(t2、t3、t4)的三个短图像帧(f2、f3、f4)(st440)。以相同的方式，当模式确定单元220确定第二操作模式将被执行时，图像传感器210可在快门控制器240的控制下输出单个长图像帧(f1)和具有相同的曝光时间(t5)的三个短图像帧(f5、f6、f7)(st450)。

在任何一种模式下，图像处理单元230可接收从图像传感器210输出的长图像帧和短图像帧，并可对长图像帧和短图像帧进行融合。具体地讲，图像处理单元230可包括用于执行第一操作模式的第一模式处理单元232和用于执行第二操作模式的第二模式处理单元234。在这种情况下，第一模式处理单元232和第二模式处理单元234根据它们的操作而被彼此区分开来，使得它们不需要是如图2a中所示的物理上分离的模块，而是可被集成在单个组件中。

第一模式处理单元232可接收具有不同的曝光时间(t2、t3、t4)的三个短图像帧(f2、f3、f4)和具有长曝光时间(t1)的长图像帧，然后对长图像帧和短图像帧进行融合以输出进一步增强的wdr图像信号(st460)。

另一方面，第二模式处理单元234可接收具有相同的曝光时间(t5)的三个短图像帧(f5、f6、f7)和具有长曝光时间(t1)的长图像帧，并将每个短图像帧与长图像帧进行比较，然后基于哪个图像帧具有最小的对象运动改变量(即，最小运动伪像)来选择短图像帧，然后将长图像帧和短图像帧进行融合以在运动伪像校正期间输出已经对图像劣化进行补偿的wdr信号(st470)。

在这种情况下，模式确定单元220、图像处理单元230和快门控制器240中的每一个可包括能够处理数据的任何类型的装置(例如，处理器)。术语“处理器”表示嵌入在硬件中并具有用于执行程序的代码或指令的物理电路的数据处理装置。嵌入在硬件中的数据处理装置的示例可包括，但不限于：微处理器、中央处理器(cpu)、处理器核、多处理器、专用集成电路(asic)、现场可编程门阵列(fpga)以及其他已知或以后开发的处理单元。此外，模式确定单元220、图像处理单元230和快门控制器240中的每一个可根据功能和/或设计被实现为一个物理芯片或者一个或多个芯片。然而，示例性实施例不限于此。

在下文中，将参照图5至图7更详细地描述根据本发明的示例性实施例的第二模式处理单元的配置和操作。

图5是示出图2a中所示的第二模式处理单元的示例性实施例的内部组件的框图。图6是用于示出由图5中所示的第二模式处理单元执行的示例性图像处理方法的流程图。图7是示出用于根据图5中所示的第二模式处理单元对图像帧的块进行融合的处理的示意图。

参照图5，第二模式处理单元500可包括运动检测单元510、帧选择单元520和融合单元530。

运动检测单元510可接收具有相同的曝光时间(t5)的三个短图像帧(f5、f6、f7)和具有长曝光时间(t1)的长图像帧。具体地讲，运动检测单元510可包括第一运动检测单元512、第二运动检测单元514和第三运动检测单元516，其中，第一运动检测单元512接收第五图像帧(f5)和长图像帧(f1)，并检测第五图像帧(f5)中的对象的运动的改变；第二运动检测单元514接收第六图像帧(f6)和长图像帧(f1)，并检测第六图像帧(f6)中的对象的运动的改变；第三运动检测单元516接收第七图像帧(f7)和长图像帧(f1)，并检测第七图像帧(f7)中的对象的运动的改变。

更具体而言，第一运动检测单元512可将长图像帧(f1)中的图像帧的预定区域与第五图像帧(f5)中的所述预定区域进行比较，并且可检测所述预定区域中的对象的运动的改变。以相同的方式，第二运动检测单元514可将长图像帧(f1)中的图像帧的预定区域与第六图像帧(f6)中的所述预定区域进行比较，并且可检测所述预定区域中的对象的运动的改变。第三运动检测单元516可将长图像帧(f1)中的图像帧的预定区域与第七图像帧(f7)中的所述预定区域进行比较，并且可检测预定区域中的对象的运动的改变。

图像帧的预定区域可以是包括至少一个像素的块区域。例如，图像帧的整个区可被划分成多个块，第一运动检测单元512、第二运动检测单元514和第三运动检测单元516可针对每一个块区域将长图像帧与对应的短图像帧(f5、f6、f7)中的每一个进行比较，从而能够检测每个块区域中的运动改变。块区域可仅包括一个像素或包括多个像素(例如，13×13个像素)。

例如，在每个块区域具有多个像素的情况下，第一运动检测单元512、第二运动检测单元514和第三运动检测单元516可通过执行归一化之后计算差来检测每个块区域中的运动的改变。可通过根据针对与每个块区域对应的图像的曝光比率乘以增益来执行归一化。然而，示例性实施例不限于此。

帧选择单元520可接收长图像帧(f1)以及第一运动检测单元512的输出信号m1、第二运动检测单元514的输出信号m2和第三运动检测单元516的输出信号m3，并且可选择具有最小的对象运动改变量的短图像帧的对应的块区域或者长图像帧的对应的块区域。

具体地讲，如果长图像帧的预定块区域中的像素未饱和，则不管运动检测单元510的结果如何，帧选择单元520都可选择长图像帧的预定块区域。

另一方面，如果长图像帧的块区域中的像素饱和，则帧选择单元520可接收第一运动检测单元512的输出信号m1、第二运动检测单元514的输出信号m2和第三运动检测单元516的输出信号m3，并且可选择具有最小的对象运动改变量的短图像帧的对应的块区域。

融合单元530可通过对经由帧选择单元520的所有选择的块区域进行融合来输出宽动态范围(wdr)图像。

在另一示例性实施例中，块区域可仅由一个像素构成。在这种情况下，第一运动检测单元512的输出信号m1、第二运动检测单元514的输出信号m2和第三运动检测单元516的输出信号m3可被分类为在对应的像素中检测到运动的改变的输出信号以及在对应的像素中没有检测到运动的改变的输出信号。例如，当第一运动检测单元512的输出信号m1、第二运动检测单元514的输出信号m2和第三运动检测单元516的输出信号m3是“0”时，可认为检测到运动的改变，当第一运动检测单元512的输出信号m1、第二运动检测单元514的输出信号m2和第三运动检测单元516的输出信号m3是“1”时，可认为未检测到运动的改变。

图6是示出当块由一个像素构成时通过第二模式处理单元500的帧选择单元520和融合单元530进行图像处理的方法的示例的流程图。然而，这是为了便于解释，示例性实施例不限于此。例如，块可包括多个像素。

参照图5和图6，首先，帧选择单元520可确定与长图像帧(f1)的块对应的像素是否饱和(st61)。如果像素不饱和，则不管运动检测单元的结果如何，长图像帧(f1)的块都被选择(st62)。

另一方面，当与长图像帧(f1)的块对应的像素饱和时，帧选择单元520可确定第一运动检测单元512的输出信号m1是“0”还是“1”(st63)。如果第一运动检测单元512的输出信号m1是“1”而不是“0”，则表示没有检测到运动的改变。因此，第五图像帧(f5)的块被选择(st64)。

接下来，当第一运动检测单元512的输出信号m1是“0”时，表示检测到运动的改变。因此，帧选择单元520可确定第二运动检测单元514的输出信号m2是“0”还是“1”(st65)。如果第二运动检测单元514的输出信号m2是“1”而不是“0”，则表示没有检测到运动的改变。因此，第六图像帧(f6)的块被选择(st66)。

接下来，当第二运动检测单元514的输出信号m2是“0”时，表示检测到运动的改变。因此，帧选择单元520可确定第三运动检测单元516的输出信号m3是“0”还是“1”(st67)。如果第三运动选择单元516的输出信号m3是“1”而不是“0”，则表示没有检测到运动的改变。因此，第七图像帧(f7)的块被选择(st68)。

另一方面，如果第三运动检测单元516的输出信号m3是“0”，则表示检测到运动的改变。因此，帧选择单元520可选择长图像帧(f1)的块，因为已经在短图像帧(f5、f6、f7)的所有的块中检测到运动的改变。

图7示出根据图5中所示的第二模式处理的图像帧的块的融合处理。

参照图5至图7，假设三角形对象从左向右移动，指定为星形的新对象出现在通过拍摄图像而捕捉的实际场景中以产生运动伪影。当在对图像帧进行融合以形成针对诸如第一块至第四块(b1、b2、b3、b4)的若干块的融合帧时，帧选择单元520可选择长图像帧(f1)的第一块(b1)和没有检测到任何运动的改变的短图像帧(f5、f6、f7)的块(b3、b2、b4)。例如，如图7中所示，第五图像帧(f5)的第三块(b3)、第六图像帧(f6)的第二块(b2)以及第七图像帧(f7)的第四块(b4)可被选择。

具体地讲，例如，假设长图像帧(f1)的第一块(b1)中的像素未饱和，但是第二块至第四块(b2、b3、b4)饱和。

针对第一块(b1)，因为长图像帧(f1)的第一块(b1)未饱和，所以不管运动检测单元的结果如何，长图像帧(f1)的第一块(b1)都被选择。

针对第二块(b2)，因为长图像帧(f1)的第二块(b2)饱和，并且在第五图像帧(f5)的第二块(b2)中检测到运动的改变，所以第六图像帧(f6)的第二块(b2)被选择。

针对第三块(b3)，因为长图像帧(f1)的第三块(b3)饱和，并且在第五图像帧(f5)的第三块(b3)中没有检测到运动的改变，所以第五图像帧(f5)的第三块(b3)被选择。

针对第四块(b4)，因为长图像帧(f1)的第四块(b4)饱和，并且在第五图像帧(f5)的第四块(b4)和第六图像帧(f6)的第四块(b4)中检测到运动的改变，所以第七图像帧(f7)的第四块(b4)被选择。

此外，在本发明的示例性实施例中，由于短图像帧(f5、f6、f7)的曝光时间(t5)相同，因此，图像处理设备可在运动伪像校正期间输出使图像劣化最小化的wdr图像信号。例如，由于多个短曝光图像帧的曝光时间相同，因此，可防止在融合处理中由于不同的图像帧中的块之中的亮度的差异而导致的图像劣化。

虽然在此已经描述了特定示例性实施例和实施方式，但是根据本说明书其他实施例和修改将是清楚的。因此，本发明构思不被限定为这样的实施例，而是被限定为所附权利要求的更广泛的范围以及对本领域普通技术人员来说将是清楚的各种显而易见的修改和等同的布置。