增强的高动态范围的制作方法

本发明涉及图像传感器操作，且尤其(但非排他性地)涉及增强的高动态范围。

背景技术：

图像传感器已变得无处不在。它们广泛用于数码相机、蜂窝电话、监控摄像机，以及医疗、汽车及其它应用中。用于制造图像传感器的技术已持续以迅猛的速度进步。举例来说，对更高分辨率及更低能耗的需求已促进这些装置的进一步微型化及集成化。

高动态范围(hdr)是指用于扩展相机/图像传感器中的光度范围的技术。目标是使相机俘获与人眼通常看到的相似的亮度范围。hdr相机可显示比使用更传统方法的相机更大的亮度水平范围。这在含有与极端阴影或黑暗相对的非常明亮的光的图像场景的摄像中最明显。

实现hdr图像的最常见的方法中的一者是通过循序地俘获及堆叠同一图像场景的若干不同的窄范围曝光。然而，如果在图像俘获期间(例如在野生动物摄像或类似者中)图像的对象移动，那么此技术可导致图像失真。此外，hdr图像获取的替代方法可能需要昂贵的设备来实现相同结果。

技术实现要素：

一方面，本申请案涉及一种成像系统。所述成像系统包括：图像传感器，其俘获包含至少一个低动态范围(ldr)图像及至少一个高动态范围(hdr)图像的图像序列；控制电路及读出电路，其中所述控制电路耦合到所述图像传感器以控制ldr图像俘获及hdr图像俘获，且其中所述读出电路经耦合以读出由所述图像传感器俘获的图像数据；处理器，其耦合到所述读出电路以接收对应于所述至少一个ldr图像的图像数据及对应于所述至少一个hdr图像的图像数据，且其中所述处理器经配置以：将从对应于所述至少一个ldr图像的图像数据提取的高频图像数据与从对应于所述至少一个hdr图像的图像数据提取的低频图像数据进行组合；以及从所述低频图像数据及所述高频图像数据产生合成图像；及数据输出，其耦合到所述处理器以接收所述合成图像。

另一方面，本申请案涉及一种图像处理方法。所述方法包括：用图像传感器俘获图像数据序列，其中所述图像数据序列包含对应于至少一个低动态范围(ldr)图像的图像数据及对应于至少一个高动态范围(hdr)图像的图像数据；用处理器接收所述图像数据序列；将从对应于所述至少一个ldr图像的图像数据提取的高频图像数据与从对应于所述至少一个hdr图像的图像数据提取的低频图像数据进行组合；以及从所述低频图像数据及所述高频图像数据产生合成图像。

附图说明

参考以下图式描述本发明的非限制性及非穷尽实例，其中相似参考数字贯穿各视图指代相似部分，除非另有指定。

图1描绘根据本发明的教示的实例成像系统。

图2说明根据本发明的教示的实例图像传感器。

图3描绘根据本发明的教示的图像传感器操作的实例方法。

图4描绘根据本发明的教示的图3的实例方法的部分。

图5描绘根据本发明的教示的图3的实例方法的部分。

图6描绘根据本发明的教示的图3的实例方法的部分。

图7描绘根据本发明的教示的图3中方法的简化图形表示。

图8描绘根据本发明的教示的图3中方法的简化图形表示。

对应参考字符贯穿图式的若干视图指示对应组件。所属领域的技术人员应了解，图式中的元件出于简单及清楚的目的而说明，且未必是按比例绘制。举例来说，图式中一些元件的尺寸相对于其它元件可能被夸示以帮助改善对本发明的各种实施例的理解。此外，为促进对本发明的这些各种实施例的更顺畅理解，通常不描绘在商业上可行的实施例中有用的或必需的普通但众所周知的元件。

具体实施方式

本文描述用于增强的高动态范围成像的设备及方法的实例。在以下描述中，阐述众多特定细节以提供对所述实例的透彻理解。然而，相关领域的技术人员将认识到，能够在不具有一或多个特定细节的情况下或在具有其它方法、组件、材料等等的情况下实践本文所描述的技术。在其它情况下，未展示或详细地描述众所周知的结构、材料或操作以避免混淆某些方面。

贯穿本说明书的对“一个实例”或“一个实施例”的提及意指结合所述实例所描述的特定特征、结构或特性包含于本发明的至少一个实例中。因此，贯穿本说明书的各种地方的短语“在一个实例中”或“在一个实施例中”的出现未必皆是指同一实例。此外，特定特征、结构或特性可以任何合适方式组合于一或多个实例中。

贯穿本说明书，使用所属领域的若干术语。除非在本文中具体定义或其使用的上下文将清楚地另有说明，否则这些术语采取其来自的领域的普通含义。值得注意的是，电路/逻辑的特定元件可代替逻辑上等效或类似的电路，且可在软件系统及硬件系统两者中实施。

图1描绘实例成像系统101。成像系统101包含：图像传感器103、处理器105、输入107、输出109、读出电路111及控制电路121。图像传感器103经配置以俘获包含至少一个低动态范围(ldr)图像及至少一个高动态范围(hdr)图像的图像序列。在所描绘的实例中，这可为图像对象(即，人)的至少一个hdr图像及至少一个ldr图像。控制电路121耦合到图像传感器103以控制ldr图像俘获及hdr图像俘获，且读出电路111经耦合以读出由图像传感器103俘获的图像数据(例如，对应于图像对象的ldr及hdr图像的图像数据)。处理器105耦合到读出电路111以接收对应于至少一个ldr图像的图像数据及对应于至少一个hdr图像的图像数据。

处理器105经配置以将高频图像数据(从对应于至少一个ldr图像的图像数据提取)与低频图像数据(从对应于至少一个hdr图像的图像数据提取)进行组合。处理器105还经配置以从经组合的低频图像数据及高频图像数据产生合成图像。数据输出109耦合到处理器105以接收合成图像。在若干实例中，数据输出109可包含显示器、hdmi端口、usb端口、打印机或任何其它合适的硬件/软件。

在所描绘的实例中，处理器105经配置以产生混合掩码，且所述混合掩码管理合成图像中的高频图像数据及低频图像数据的放置。在一个实例中，形成混合掩码包含使用处理器105以：(1)确定低频图像数据与高频数据之间的差异；(2)确定高频图像数据的欠饱和的部分；以及(3)确定高频图像数据的过饱和的部分。在此实例中，混合掩码展示低频图像数据与高频图像数据之间的差异，且混合掩码展示高频图像数据的过饱和的部分及高频图像数据的欠饱和的部分(参见图8的以下论述)。

应注意，在一个实例中，混合掩码的展示低频图像数据与高频图像数据之间的差异的部分被扩展。换句话说，混合掩码的展示高频图像数据与低频图像数据之间的差异的部分可标称地延伸超出实际差异区域的边界，以确保这些区域从最终合成图像被干净地去除。举例来说，如果图像的对象在ldr图像的俘获与hdr图像的俘获之间移动，那么混合掩码将注意到这两个图像之间的差异(例如，通过将白色像素放置在不同的区域中)。然后，混合掩码可添加略微多于填充差异区域所需的白色像素，以便确保差异区域从最终合成图像被干净地去除。

在一个实例中，产生合成图像包含使用混合掩码以：(1)使用低频图像数据校正高频图像数据的过饱和的部分；(2)使用低频图像数据校正高频图像数据的欠饱和的部分；以及(3)使用低频图像数据校正低频图像数据与高频图像数据之间的差异。换句话说，处理器105可检查高频图像数据的过饱和及欠饱和的区域(例如，亮度值大于/小于阈值)，且还可确定图像序列中图像的哪些部分是不同的(例如，在图像的对象在图像帧之间移动的情况下)。处理器105然后将使混合掩码说明过饱和、欠饱和及差异的这些区域。随后，处理器105将使用低频图像数据(即，来自至少一个hdr图像)来校正高频图像(即，来自至少一个ldr图像)。

如前所述，处理器105用于组合高频图像数据与低频图像数据。在一个实例中，这可包含形成高分辨率亮度图像数据及低分辨率亮度图像数据，且使用这两种类型的图像数据来形成最终合成图像。高分辨率亮度图像数据可包含对应于至少一个ldr图像的图像数据及对应于至少一个hdr图像的图像数据，且低分辨率亮度图像数据可包含对应于至少一个hdr图像的图像数据。在一个实例中，通过对对应于至少一个ldr图像的图像数据应用高通滤波器且对对应至少一个hdr图像的图像数据应用低通滤波器来实现高分辨率亮度图像数据。在另一或同一实例中，通过锐化对应于至少一个hdr图像的图像数据来实现低分辨率亮度图像数据。

在一或多个实例中，进行若干混合步骤以形成最终组合的高分辨率图像。首先，将高分辨率亮度图像数据与第一颜色数据(来自对应于至少一个ldr图像的图像数据)组合以形成高分辨率颜色图像数据。类似地，将低分辨率亮度图像数据与第二颜色数据(来自对应于至少一个hdr图像的图像数据)组合以形成低分辨率颜色图像数据。然后，可接着根据混合掩码的参数通过组合高分辨率颜色图像数据与低分辨率颜色图像数据来产生合成图像。

为总结在图1中所描绘的实例，成像系统101用于通过形成经组合的ldr及hdr图像来产生高质量合成图像。图像传感器103可俘获ldr图像及hdr图像。ldr图像将可能描绘关于图像对象的许多细节，但由于ldr图像的有限的动态范围，图像的某些区域将被清除(例如，在ldr图像中可能无法正确地分辨具有非常暗的阴影的区域或具有非常亮的光的区域)。相反，hdr图像将展示比ldr图像更少的中间范围细节，但将不会清除暗/亮点。此外，在ldr图像与hdr图像之间可能存在差异，这是因为图像的对象在图像获取之间移动。

成像系统101消除上述两个图像缺陷。首先，成像系统101用hdr图像的完全分辨的部分替换ldr图像的清除掉的部分。第二，成像系统101去除ldr图像的与hdr图像的相同部分不同的部分。因此，成像系统101可产生(1)缺少运动诱发的图像失真及(2)组合ldr图像的中间范围细节与hdr图像的宽亮度光谱的合成图像。

图2说明实例图像传感器203。图像传感器203包含像素阵列205、控制电路221、读出电路211及功能逻辑215。在一个实例中，像素阵列205是光电二极管或图像传感器像素(例如，像素p1、p2、…、pn)的二维(2d)阵列。如所说明，光电二极管布置成行(例如，行r1到ry)及列(例如，列c1到cx)以获取人员、位置、物体等等的图像数据，其能够随后用于呈现所述人员、位置、物体等等的2d图像。

在一个实例中，在像素阵列205中的每一图像传感器光电二极管/像素已获取其图像数据或图像电荷之后，图像数据由读出电路211读出，且接着传送到功能逻辑215。读出电路211可经耦合以从像素阵列205中的多个光电二极管读出图像数据。在各种实例中，读出电路211可包含放大电路，模/数(adc)转换电路或其它电路。功能逻辑215可简单地存储图像数据或甚至通过应用后图像效果来操纵图像数据。在一个实例中，功能逻辑可在执行实质性图像处理之前按比例放大hdr图像。在另一个或同一实例中，功能逻辑可含在处理器(例如，处理器105)中。

在一个实例中，控制电路221耦合到像素阵列205以控制像素阵列205中的多个光电二极管的操作。举例来说，控制电路221可产生用于控制图像获取的快门信号。在一个实例中，快门信号是全局快门信号，用于同时使像素阵列205内的所有像素在单个获取窗期间同时俘获其相应图像数据。在另一实例中，图像获取与例如闪光的照明效果同步。

在一或多个实例中，俘获图像序列数据包含使用图像传感器203来俘获第一帧中的n个hdr图像及第二帧中的一个ldr图像。n个hdr图像是一个ldr图像的大小的1/n，且n个hdr图像可被按比例放大到一个ldr图像的大小。这可通过对像素阵列205中的像素(例如，像素p1、p2、…、pn)进行分组以俘获不同的亮度范围来实现。举例来说，像素p1到pn可被组织为四个像素的群组，其中四个像素的第一群组具有深色滤波器层，四个像素的第二群组具有中等深色滤波器层，四个像素的第三群组具有中等浅色滤波器层，且四个像素的第四群组具有浅色滤波器层。此图案可跨像素阵列205重复。因此，四个像素的四个群组将各自俘获可用于形成hdr图像的亮度数据的唯一范围。然而，使用这种技术，hdr图像是一个ldr图像的大小的1/4(其中所有像素用于俘获单个ldr图像)。因此，hdr图像必须按比例放大到ldr图像的大小以便与ldr图像组合。

在一个实例中，成像传感器203可包含在数码相机、蜂窝电话、膝上型计算机或类似物中。另外，成像传感器203可耦合到例如处理器(例如，处理器105)、存储器元件，照明/闪光及/或显示器的其它硬件。其它硬件可向成像传感器203递送指令、从成像传感器203提取图像数据、操纵由成像传感器203供应的图像数据或使成像传感器203中的图像数据复位。

图3描绘图像传感器操作的实例方法300。一些或所有过程框出现在方法300中的顺序不应被认为是限制性的。而是，受益于本发明的所属领域的一般技术人员将理解，方法300中的部分可以未说明的各种顺序或甚至并行地执行。值得注意的是，方法300描绘根据本发明的教示的高度简化(高级)实例。将结合图4到6的论述更详细地描述所述方法的部分。

方法300包含过程框301、401、501及601。过程框301、401、501及601中的每一者对应于用于形成一或多个组件以呈现最终合成图像645的子方法。

过程框301展示用图像传感器(例如，图像传感器103)俘获输入图像(对应于图像数据序列)。图像数据序列包含对应于至少一个低动态范围(ldr)图像305的图像数据及对应于至少一个高动态范围(hdr)图像307的图像数据。图像获取可经由结合图2或任何其它可行的成像方法描述的技术来实现。应注意，将不进一步论述过程框301，因为已在别处(即，结合图2)论述ldr及hdr图像的俘获。

过程框401描绘经由映射产生过程423形成混合掩码425。具体来说，经由读出电路提取来自图像传感器的图像数据，且用产生混合掩码425的处理器接收图像数据。混合掩码425用于控制ldr图像数据及hdr图像数据在最终合成图像中的放置。

过程框501描述使用ldr图像305及hdr图像307形成高分辨率亮度图像数据535及低分辨率亮度图像数据357。高分辨率亮度图像数据535及低分辨率亮度图像数据537是根据混合掩码425而组合以形成合成图像。

过程框601描绘根据混合掩码425来组合高分辨率亮度图像数据535与低分辨率亮度图像数据537以形成增强的合成图像645。合成图像645具有ldr图像的高频细节且具有hdr图像的宽亮度范围。

图4描绘图3的实例方法的部分。具体来说，图4描述过程框401。在过程框401内，产生混合掩码425，且混合掩码425控制高分辨率亮度图像数据535及低分辨率亮度图像数据537在合成图像645中的放置。

首先，将一或多个ldr图像305及一或多个hdr图像307从图像传感器(例如，图像传感器103)发送到处理器(例如处理器105)。在过程框405中，来自一或多个ldr图像305及一或多个hdr图像的图像数据被转换为亮度数据。在一些实例中，到亮度数据的转换明显减少呈现最终合成图像645所需的处理能力的量。在从hdr图像数据及ldr图像数据两者提取亮度信号之后，在框407中将亮度图像数据线性化。在一个实例中，这可经由预定义查找表来实现。在所描绘的实例中，在过程框409中将hdr亮度图像数据按比例放大，这是因为所使用的hdr图像小于ldr图像(参见图2的以上论述)。可经由线性内插或类似者来实现按比例放大。

一旦将ldr及hdr图像数据转换为亮度数据且适当地缩放，就可产生混合掩码425。在框411中，从ldr亮度图像数据中减去hdr亮度图像数据以便确定图像之间的差异。这允许混合掩码校正归因于图像之间的移动的图像失真。在所描绘的实例中，过程框415扩展且平滑化混合掩码的展示hdr亮度图像数据与ldr亮度图像数据之间的差异的部分。这可有助于从最终合成图像645干净地移除运动模糊。

在过程框413中，将欠/过饱和程序应用于ldr图像。如果ldr图像的像素值低于/超过阈值(例如，太暗或太亮)，那么将在混合掩码中注意到这种情况。因此，在过程框417中，将通过欠/过饱和过程获得的信息与来自差异过程的信息组合以形成混合掩码425。因此，混合掩码425可展示ldr图像数据与hdr图像数据之间的差异，以及ldr图像数据的过饱和的部分及ldr图像数据的欠饱和的部分。

图5描绘图3的实例方法的部分。具体来说，图5描述其中形成高分辨率亮度图像数据535及低分辨率亮度图像数据537的过程框501。高分辨率亮度图像数据535及低分辨率亮度图像数据537用于形成合成图像645。

在过程框505中，处理器接收ldr图像305及hdr图像307，且将其转换为亮度数据。应注意，ldr图像305及hdr图像307可能已在过程框405(参见图4)中被转换为亮度数据，在这种情况下可省略框505。过程框509描绘在将hdr图像307转换为亮度数据之前对hdr图像307进行按比例放大。然而，由于hdr图像307可能已被按比例放大以产生混合掩码(参见以上图4的框409)，因此这个过程框也可能是冗余的。

在过程框511中，一旦将ldr图像305转换为亮度图像数据，就应用高通滤波器。在一个实例中，可通过从ldr亮度图像数据减去低通信号(例如，过程框517中的低通信号)对ldr图像数据进行高通滤波。在过程框513中，可应用噪声滤波器以去除图像噪声。随后，在过程框515中应用增益/箝位。

类似地，在过程框517中，一旦hdr图像307被转换为亮度图像数据且按比例放大，那么可将低通滤波器应用于hdr亮度图像数据以实现低频信号。另外，在过程框519中，可锐化hdr亮度图像数据以实现低分辨率亮度图像数据537。

在过程框521中，将含有在ldr图像中俘获的图像对象的细节的高频亮度信号添加到从hdr图像307提取的低频信号中。这导致高分辨率亮度图像数据535。随后组合高分辨率亮度图像数据535与低分辨率亮度图像数据537以形成合成图像645。

图6描绘图3的实例方法的部分。具体来说，图6描绘根据混合掩码425混合高分辨率亮度图像数据535、低分辨率亮度图像数据537与色度图像数据以形成合成图像645。

在过程框607及609中，分别从ldr图像305及hdr图像307提取色度(颜色)信号。在一个实例中，来自hdr图像305的颜色信号可被按比例放大。然后，在过程框611及613中，将颜色信号添加回到高分辨率亮度图像数据535及低分辨率亮度图像数据537中。高分辨率亮度图像数据535与第一颜色数据(来自对应于至少一个ldr图像的图像数据)以形成高分辨率颜色图像数据。低分辨率亮度图像数据537与第二颜色数据(来自对应于至少一个hdr图像的图像数据)组合以形成低分辨率颜色图像数据。在过程框643中，根据混合掩码425混合高分辨率亮度图像数据535与低分辨率亮度图像数据537(具有添加的颜色信号)。这导致合成图像645的形成。

图7描绘图3中的方法的高度简化的图形表示。如所展示，获取低分辨率hdr信号701(例如，通过俘获hdr图像307)，且获取ldr高分辨率信号701(例如，通过俘获ldr图像305)。通过为简化目的而省略的一系列处理步骤，产生纯低频信号703及纯高频信号704。这两个信号在曲线705中组合以实现具有高动态范围及中间范围细节两者的信号。

图8描绘图3中的方法的简化图形表示。具体来说，图8说明混合掩码可如何用于将高分辨率ldr信号与低分辨率hdr信号混合。hdr图像807及ldr图像805被俘获且用于形成混合掩码825。应注意，混合掩码展示(1)hdr图像807与ldr图像805之间的差异；(2)ldr图像805的过饱和；及(3)ldr图像805的欠饱和。举例来说，hdr图像807与ldr图像805之间的差异包含走进ldr图像805的帧中的人。因此，混合掩码已用白色将人掩盖，使得处理器将知道将此从合成图像845移除。此外，ldr图像805中的天空是过饱和的，因为在ldr图像中不存在云细节。因此，混合掩码825已用白色将天空掩盖，使得处理器将知道用来自hdr图像807的天空替换来自ldr图像805的天空。随后，混合掩码用于形成合成图像845，其包含来自ldr图像805的所有中间范围细节及hdr图像807的高动态范围。

不希望本发明的所说明实例的以上描述(包含摘要中所描述的内容)为穷尽性或将本发明限于所揭示的精确形式。尽管本文描述本发明的特定实例是出于说明性目的，但相关领域的技术人员将认识到，本发明范围内的各种修改是可能的。

依据以上详细描述可对本发明做出这些修改。所附权利要求书中使用的术语不应解释为将本发明限于本说明书中所揭示的特定实例。而是，本发明的范围全部由所附权利要求书确定，将根据权利要求解释的既定原则解释所附权利要求书。