专利名称：用于在成像系统中防止运动模糊和重影的方法及装置的制作方法
技术领域：
本发明涉及数字图像数据的处理，更详细而言，涉及用于成像系统中的防止运动 模糊(motion blur)和重影(ghost)的方法及装置。
背景技术：
图像传感器中存在动态范围和灵敏度的限制。图像传感器的灵敏度取决于能够检 测的光的等级。在昏暗的场景，由图像传感器捕获的图像显得较暗且像噪声。这被已知作为 灵敏度限制。图像传感器的动态范围受其噪声本底和饱和容量(full-well capacity)限 制。多数情况下，图像传感器的动态范围低于存在于要捕获的场景中的动态范围。结果，所 捕获的图像中光强度低的区域显得较暗且像噪声，另一方面，光强度高的区域显得已饱和。 为了克服这些问题而使用的一个技术是在同一场景捕获多个图像，随后将所捕获的多个 图像融合为一个图像。为了降低噪声，能够以相同的曝光量捕获多个图像，并进行融合。这 等同于增加图像传感器的灵敏度。为了增加动态范围，也能够以不同的曝光量捕获多个图 像，并进行融合。这被已知作为高动态范围(HDR，high dynamic range)成像。该技术需要多个输入图像，因此，运动问题有可能由于在该场景中移动的要素而 发生。其在输出图像中有可能引发模糊和重影的伪影(artifact)。这是众所周知的问题。在HDR成像中，提出了用于解决HDR图像中的运动问题的一些技术。参照图IA和图1B，说明根据美国专利第7142723号(专利参考文献1)的、用于生 成HDR图像的系统和处理的一个例子。提出了这样的方法，通过其，用于生成HDR图像的系 统和处理包括最初指定参照图像；接下来，针对参照图像注册各个非参照图像；该注册过 程生成各个非参照图像的流场，包含计算每像素光流场(optical flow field)；接下来，所 生成的流场被用于使各个非参照图像扭曲；接下来，被扭曲的图像通过与参照图像组合而 创建表示HDR图像的辐射图。通过该方法，为了解决运动问题，所输入的非参照图像在组合 /融合前被扭曲。专禾丨J参考文献 1 :US Patent,"System and process for generating highdynamic range images from multiple exposures ofa moving scene”， US7142723，28Nov 2006. (在先专利技术)
发明内容
发明所要解决的问题根据上述“专利参考文献1，，所记载的发明，通过计算光流场以估计正在该场景中 移动的要素并在融合前使非参照图像扭曲，而生成输出图像。因此，出现如下的问题，即在 闭塞的区域和在图像之间的运动模糊程度差异很大的区域无法正确地生成流场，运动造成 的运动模糊和重影的伪影仍然留在输出图像中。其他问题在于一般情况下流场的计算非
常复杂。解决问题的方案
本发明是考虑到上述问题而完成的，其目的在于即使输入图像在各个图像之间 具有不同的运动模糊程度，也有效地防止场景运动造成的输出图像中的运动模糊和重影的 伪影，同时复杂性较低。为了实现上述目的，用于成像系统中的防止运动模糊和重影的方法及装置包括以 下步骤从图像差分集计算残余图像，其中，所述图像差分计算来自输入图像集的图像对的 绝对差；计算噪声自适应像素阈值集；使用所述残余图像和所述噪声自适应像素阈值集创 建运动掩蔽图(motion masking map)；以及融合像素，以生成输出图像。发明的有益效果本发明通过考虑多个输入图像中的运动像素而融合多个输入图像，以生成输出图像。本发明的新颖之处在于从残余图像和噪声自适应像素阈值集创建运动掩蔽图。通 过对图像差分集应用空间-时间滤波，计算残余图像。使用空间-时间滤波的优点在于残 余图像对于噪声具有健壮性。基于传感器噪声统计，以像素等级自适应地计算噪声自适应 像素阈值。噪声自适应像素阈值的一个优点在于带来不依赖于图像内容的、对静止区域与 运动区域的更好的区分。其他优点在于本发明在宽广的照度范围也有效。运动掩蔽图用于表示多个输入图像中的运动像素与非运动像素。在融合像素时使 用该图。因此，所得到的输出图像中不受到运动(模糊)像素的影响。本发明的优点是在 输出图像中不具有或者具有更少的运动模糊和重影的伪影。本发明的复杂性低，而且对噪 声也具有健壮性。本发明对多个图像在各个图像间具有不同的模糊程度的情况也有效。另外，本发明优选地应用在Bayer (拜耳)原域中。优选地，在应用白平衡后并且 在应用去马赛克处理前，也在Bayer原域中执行色调映射(tonemapping)。优点是对每个 像素仅处理一个色分量，因此，减少了计算量和存储量。其他优点是=Bayer原域中的处理 特别在沿着边缘处不受到去马赛克处理伪影的影响，因此，信号保真度更高。
图IA是说明现有技术中用于生成HDR图像的整体处理的流程图。图IB是说明现有技术中用于生成HDR图像的整体处理的流程图。图2A是表示成像装置的图。图2B是表示成像装置的图。图3A和图:3B是根据本发明的能够防止运动模糊和重影的HDR处理器的详细框 图。图4是说明根据本发明的能够防止运动模糊和重影的HDR处理器的操作的流程 图。图5是说明残余图像计算模块的操作的流程图。图6是说明噪声自适应像素计算模块的操作的流程图。图7是说明运动掩蔽图创建模块的操作的流程图。图8A是说明像素融合模块的操作的流程图。图8B是说明像素融合模块的操作的流程图。图9是用于以多个曝光量捕获多个图像的装置的一个例子。
图10是用于以多个曝光量捕获多个图像的装置的另一个例子。图IlA是来自脉冲发生器的脉冲输出信号的一个例子。图IlB是来自脉冲发生器的脉冲输出信号的另一个例子。图12A是表示成像装置的另一个图。图12B是表示成像装置的另一个图。图13A和图1 是根据本发明的能够防止运动模糊和重影的图像融合处理器的详 细框图。图14是说明根据本发明的能够防止运动模糊和重影的图像融合处理器的操作的 流程图。图15是说明图像融合处理器内的残余图像计算模块的操作的流程图。图16是说明图像融合处理器内的噪声自适应像素计算模块的操作的流程图。图17是说明图像融合处理器内的运动掩蔽图创建模块的操作的流程图。图18是说明图像融合处理器内的像素融合模块的操作的流程图。
具体实施例方式参照附图详细地说明本发明的优选实施方式。(实施方式1)参照图2A，表示本发明的第一实施方式的成像装置(200)的框图。成像装置(200) 包括光学系统002)、图像传感器004)、模拟-数字转换器006)、图像处理器020)、存 储/发送装置O08)以及显示器010)。图像处理器(220)包括存储器装置012)、能够 防止运动模糊和重影的HDR处理器030)、白平衡模块014)、色调映射模块016)以及去 马赛克模块018)。虽然未表示用户接口、麦克风、扬声器等其他组件，但这并不限定本发明 的范围和精神。光学系统(20 可包括用于控制到达图像传感器O04)的光信号的透镜、快门、 光圈、变焦/聚焦机构以及棱镜等组件。图像传感器(204)将光信号转换成电信号，电信号 通过模拟-数字转换器(206)被转换成数字数据，并且被存储到存储器装置012)中。能 够防止运动模糊和重影的HDR处理器(230)从存储器装置(21 获取具有多个曝光量的多 个原图像，并生成作为原HDR图像的输出图像。原HDR图像可通过存储/发送装置(208) 被存储或发送。原HDR图像还可通过白平衡模块014)、色调映射模块016)以及去马赛 克模块(218)被进一步处理；由此，获得适合于在低动态范围的显示器(210)上的显示或者 由存储/发送装置(208)存储/发送的范围压缩的图像。存储装置的例子包括但不限于 基于闪存的存储卡、硬盘驱动器以及光驱动器。发送装置的例子包括但不限于HDMI接口、 USB接口、无线接口以及打印机直接连接接口。存储或者发送装置能选择性地具有无损压缩 或有损压缩。多个原图像还可通过使用存储/发送装置(208)直接存储或者发送。然后， HDR图像可通过本发明的单独的HDR图像生成装置来生成，或者通过具有实现本发明的HDR 图像生成方法的模块的、执行计算机可执行的指令的计算机来生成。图像处理器(220)、能够防止运动模糊和重影的HDR处理器(230)以及内部的模块 通常通过IC(集成电路)、ASIC(专用集成电路)或LSI (大规模集成)电路来实现。这些模 块中的各个模块既可以在多个具有单一功能的LSI中，或者，也可以在一个集成的LSI中。虽然这里使用的名称是LSI，但根据集成的程度，其也可以称为IC、系统LSI、超LSI、或超级 LSI。另外，实现集成的方法不仅是LSI，特殊的电路或通用处理器等也能够实现集成。可以 为相同的目的，使用将在制造LSI后能够编程的FPGA(Field Programmable feiteArray，现 场可编程门阵列)、或能够对LSI的连接或结构进行重构的可重构处理器。将来，随着制造 技术的进步，最新的技术可取代LSI。通过这种技术能够进行集成。生物技术的应用是一种 这样的可能性。参照图3A，表示本发明的第一实施方式的成像装置000)的能够防止运动模糊和 重影的HDR处理器Q30)的详细框图。能够防止运动模糊和重影的HDR处理器(230)包 括残余图像计算模块(300)、噪声自适应像素阈值计算模块(302)、运动掩蔽图创建模块 (304)以及像素融合模块(308)。能够防止运动模糊和重影的HDR处理器(230)获取具有 不同的曝光量的多个原图像。残余图像计算模块(300)从图像差分集计算残余图像。噪声 自适应像素阈值计算模块(30 使用依据各个像素强度的噪声模型，基于图像传感器噪声 统计，计算噪声自适应像素阈值集。运动掩蔽图创建模块(304)使用上述残余图像和上述 噪声自适应像素阈值集，创建运动掩蔽图。像素融合模块(308)基于上述运动掩蔽图，融合 多个原图像的像素，从而生成输出图像，即，原HDR图像。参照图4，表示说明根据本发明的、用于生成能够防止运动模糊和重影的HDR处理 器030)的输出图像的操作的流程图。在步骤400中，通过输入包含具有不同的曝光量的 多个原图像的输入图像集，开始本方法。接下来，本方法在步骤402中计算残余图像。从图 像差分集计算残余图像。该图像差分集包括计算各个图像对的绝对差的图像的差。为了获 得残余图像，对图像的差应用空间-时间滤波。接下来，本方法在步骤404中，基于传感器 噪声统计和输入图像的强度，计算噪声自适应像素阈值集。基于输入图像的各个像素强度 的噪声方差而获得该噪声自适应像素阈值集。然后，本方法在步骤406中，使用上述残余图 像和上述噪声自适应像素阈值集，创建运动掩蔽图。该运动掩蔽图用于表示多个输入图像 中的运动像素与非运动像素。在步骤408中，本方法基于运动掩蔽图和像素饱和等级，考虑 多个输入图像的运动像素，融合来自多个输入图像的像素以生成HDR图像。在融合像素时 考虑运动像素的优点在于，在最终的HDR图像中将不出现由这些运动像素引起的伪影(例 如，运动模糊和重影的伪影)。最后，本方法在步骤410中输出最终的原HDR图像。在最终 的原HDR图像中，没有或者有较少的运动模糊和重影的伪影。残余图像计算模块(300)图5是说明本成像装置(图3A所示的能够防止运动模糊和重影的HDR处理器 (230))的残余图像计算模块(300)的操作和图4所示的方法的流程图。残余图像为了创建 运动掩蔽图而发挥重要作用，该运动掩蔽图在融合像素时被使用，用于生成没有或者具有 较少的运动模糊和重影的伪影的输出图像。通过噪声自适应像素阈值，残余图像被用以识 别多个输入图像的图像中的运动像素与非运动像素。多个输入图像可以在不同的时间依序 被捕获。随着场景运动，该场景中的相同对象在图像间有可能出现在不同的位置。这在输 出图像中引起模糊和重影的伪影。并且，以不同的曝光量捕获多个输入图像。这使得运动 对象在边缘周围具有不同的模糊程度。例如，在较短的曝光(快门速度)中模糊较少，而在 较长的曝光(快门速度)中运动对象的模糊伪影较多。这难以通过采用传统方法(诸如使 用图像的均值和方差、或仅使用图像之间的差)来正确地识别(或检测)运动像素。
具体地，参照图5，通过输入包含多个原图像的图像集(步骤500)，开始残余图像 计算方法。接下来，在步骤502中，为了生成图像差分集，计算图像对的绝对差。在本发明 的上下文中，在辐射域中计算图像的绝对差。首先，使输入图像成对。图像对的数量能够计 算为
权利要求
1.用于在成像系统中防止运动模糊和重影的方法，包括以下步骤输入包含多个拜耳原图像的输入图像集，所述输入图像集具有不同的曝光量； 计算残余图像； 计算噪声自适应像素阈值集；使用所述残余图像和所述噪声自适应像素阈值集，创建运动掩蔽图；以及 基于所述运动掩蔽图，融合来自所述输入图像集的像素，以生成没有或者有较少运动 模糊和重影的伪影的输出图像。
2.如权利要求1所述的、用于计算残余图像的方法，还包括以下步骤 计算辐射域中的图像对的绝对差，以生成图像差分集；对所述图像差分集使用空间-时间滤波，计算初始残余图像；以及 对所述初始残余图像应用最大值滤波，以获得所述残余图像。
3.如权利要求1所述的、用于计算噪声自适应像素阈值集的方法，还包括以下步骤 计算所述输入图像集的针对各个强度等级的噪声方差；以及基于所述输入图像集的各个强度等级的所述噪声方差，计算针对各个强度等级的噪声 自适应像素阈值。
4.如权利要求1所述的、用于使用所述残余图像和所述噪声自适应像素阈值集创建运 动掩蔽图的方法，还包括以下步骤创建参照运动掩蔽图；将所述残余图像中的像素与对应的噪声自适应像素阈值进行比较； 如果所述残余图像中的像素大于所述对应的噪声自适应像素阈值，则将所述参照运动 掩蔽图中的相同像素位置指定为“运动”像素；以及如果所述残余图像中的像素不大于所述对应的噪声自适应像素阈值，则将所述参照运 动掩蔽图中的相同像素位置指定为“非运动”像素。
5.如权利要求1所述的、用于融合来自所述输入图像集的像素以生成没有或者有较少 运动模糊和重影的伪影的输出图像的方法，还包括以下步骤确定所述输入图像集的像素饱和等级；对所有像素位置，将来自所述输入图像集的像素值与所述像素饱和等级进行比较； 如果来自所述输入图像集的各个像素位置的像素值都不低于所述像素饱和等级，则从 所述输入图像集中的具有最短曝光等级的图像计算所述输出图像的相同像素位置的辐射 值；如果来自所述输入图像集的各个像素位置的像素值都低于所述像素饱和等级，则检查 所述运动掩蔽图中的位于相同位置的像素；如果所述运动掩蔽图中的位于相同位置的所述像素不是“运动”像素，则通过对来自所 述输入图像集的像素使用基于它们的曝光量的加权平均而进行融合，计算所述输出图像的 相同像素位置的辐射值；如果所述运动掩蔽图中的位于相同位置的所述像素是“运动”像素，则从所述输入图像 集中的没有运动模糊的图像计算所述输出图像的相同像素位置的辐射值；如果来自所述输入图像集的各个像素位置的像素值中的一个或多个低于所述像素饱 和等级，则检查所述运动掩蔽图中的位于相同位置的所述像素；如果所述运动掩蔽图中的位于相同位置的所述像素不是“运动，，像素，则通过对来自所 述输入图像集中的一个或多个图像的像素使用基于它们的曝光量的加权平均而进行融合， 计算所述输出图像的相同像素位置的辐射值；以及如果所述运动掩蔽图中的位于相同位置的所述像素是“运动”像素，则从所述输入图像 集中的没有运动模糊、且低于所述像素饱和等级的图像，计算所述输出图像的相同像素位 置的辐射值。
6.用于在成像系统中防止运动模糊和重影的方法，包括以下步骤输入包含多个RGB(经过了去马赛克的红、绿、蓝)图像的输入图像集，所述输入图像集 具有不同的曝光量； 计算残余图像； 计算噪声自适应像素阈值集；使用所述残余图像和所述噪声自适应像素阈值集，创建运动掩蔽图；以及 基于所述运动掩蔽图，融合来自所述输入图像集的像素，以生成没有或者有较少运动 模糊和重影的伪影的输出图像。
7.如权利要求6所述的、用于计算残余图像的方法，还包括以下步骤 计算辐射域中的图像对的绝对差，以生成图像差分集；对所述图像差分集使用空间-时间滤波，计算初始残余图像；以及 对所述初始残余图像应用最大值滤波，以获得所述残余图像。
8.如权利要求6所述的、用于计算噪声自适应像素阈值集的方法，还包括以下步骤 计算所述输入图像集的针对各个强度等级的噪声方差；以及基于所述输入图像集的各个强度等级的所述噪声方差，计算针对各个强度等级的噪声 自适应像素阈值。
9.如权利要求6所述的、用于使用所述残余图像和所述噪声自适应像素阈值集创建运 动掩蔽图的方法，还包括以下步骤创建参照运动掩蔽图；将所述残余图像中的像素与对应的噪声自适应像素阈值进行比较； 如果所述残余图像中的像素大于所述对应的噪声自适应像素阈值，则将所述参照运动 掩蔽图中的相同像素位置指定为“运动”像素；以及如果所述残余图像中的像素不大于所述对应的噪声自适应像素阈值，则将所述参照运 动掩蔽图中的相同像素位置指定为“非运动”像素。
10.如权利要求6所述的、用于融合来自所述输入图像集的像素以生成没有或者有较 少运动模糊和重影的伪影的输出图像的方法，还包括以下步骤确定所述输入图像集的像素饱和等级；对所有像素位置，将来自所述输入图像集的像素值与所述像素饱和等级进行比较； 如果来自所述输入图像集的各个像素位置的像素值都不低于所述像素饱和等级，则从 所述输入图像集中的具有最短曝光等级的图像计算所述输出图像的相同像素位置的辐射 值；如果来自所述输入图像集的各个像素位置的像素值都低于所述像素饱和等级，则检查 所述运动掩蔽图中的位于相同位置的像素；如果所述运动掩蔽图中的位于相同位置的所述像素不是“运动，，像素，则通过对来自所 述输入图像集的像素使用基于它们的曝光量的加权平均而进行融合，计算所述输出图像的 相同像素位置的辐射值；如果所述运动掩蔽图中的位于相同位置的所述像素是“运动”像素，则从所述输入图像 集中的没有运动模糊的图像计算所述输出图像的相同像素位置的辐射值；如果来自所述输入图像集的各个像素位置的像素值中的一个或多个低于所述像素饱 和等级，则检查所述运动掩蔽图中的位于相同位置的所述像素；如果所述运动掩蔽图中的位于相同位置的所述像素不是“运动”像素，则通过对来自所 述输入图像集中的一个或多个图像的像素使用基于它们的曝光量的加权平均而进行融合， 计算所述输出图像的相同像素位置的辐射值；以及如果所述运动掩蔽图中的位于相同位置的所述像素是“运动”像素，则从所述输入图像 集中的没有运动模糊、且低于所述像素饱和等级的图像计算所述输出图像的相同像素位置 的辐射值。
11.如权利要求1、2、3、4、5中的任一项所述的、用于在成像系统中防止运动模糊和重 影的方法，所述多个输入拜耳原图像可以具有相同的曝光量。
12.如权利要求6、7、8、9、10中的任一项所述的、用于在成像系统中防止运动模糊和重 影的方法，所述多个输入RGB图像可以具有相同的曝光量。
13.用于在成像系统中防止运动模糊和重影的装置，包括用于输入包含多个拜耳原图像的输入图像集的单元，所述输入图像集具有不同的曝光量；用于计算残余图像的单元；用于计算噪声自适应像素阈值集的单元；用于使用所述残余图像和所述噪声自适应像素阈值集，创建运动掩蔽图的单元；以及 用于基于所述运动掩蔽图，融合来自所述输入图像集的像素，以生成没有或者有较少 运动模糊和重影的伪影的输出图像的单元。
14.如权利要求13所述的、用于计算残余图像的装置，还包括 用于计算辐射域中的图像对的绝对差，以生成图像差分集的单元；用于对所述图像差分集使用空间-时间滤波，以计算初始残余图像的单元；以及 用于对所述初始残余图像应用最大值滤波，以获得所述残余图像的单元。
15.如权利要求13所述的、用于计算噪声自适应像素阈值集的装置，还包括 用于计算所述输入图像集的针对各个强度等级的噪声方差的单元；以及用于基于所述输入图像集的针对各个强度等级的所述噪声方差，计算针对各个强度等 级的噪声自适应像素阈值的单元。
16.如权利要求13所述的、用于使用所述残余图像和所述噪声自适应像素阈值集创建 运动掩蔽图的装置，还包括用于创建参照运动掩蔽图的单元；用于将所述残余图像中的像素与对应的噪声自适应像素阈值进行比较的单元； 用于如果所述残余图像中的像素大于所述对应的噪声自适应像素阈值，则将所述参照 运动掩蔽图中的相同像素位置指定为“运动”像素的单元；以及用于如果所述残余图像中的像素不大于所述对应的噪声自适应像素阈值，则将所述参 照运动掩蔽图中的相同像素位置指定为“非运动”像素的单元。
17.如权利要求13所述的、用于融合来自所述输入图像集的像素以生成没有或者有较 少运动模糊和重影的伪影的输出图像的装置，还包括用于确定所述输入图像集的像素饱和等级的单元；用于对所有像素位置，将来自所述输入图像集的像素值与所述像素饱和等级进行比较 的单元；用于如果来自所述输入图像集的各个像素位置的像素值都不低于所述像素饱和等级， 则从所述输入图像集中的具有最短曝光等级的图像计算所述输出图像的相同像素位置的 辐射值的单元；用于如果来自所述输入图像集的各个像素位置的像素值都低于所述像素饱和等级，则 检查所述运动掩蔽图中的位于相同位置的像素的单元；用于如果所述运动掩蔽图中的位于相同位置的所述像素不是“运动”像素，则通过对来 自所述输入图像集的像素使用基于它们的曝光量的加权平均而进行融合，计算所述输出图 像的相同像素位置的辐射值的单元；用于如果所述运动掩蔽图中的位于相同位置的所述像素是“运动”像素，则从所述输入 图像集中的没有运动模糊的图像计算所述输出图像的相同像素位置的辐射值的单元；用于如果来自所述输入图像集的各个像素位置的像素值中的一个或多个低于所述像 素饱和等级，则检查所述运动掩蔽图中的位于相同位置的所述像素的单元；用于如果所述运动掩蔽图中的位于相同位置的所述像素不是“运动”像素，则通过对来 自所述输入图像集中的一个或多个图像的像素使用基于它们的曝光量的加权平均而进行 融合，计算所述输出图像的相同像素位置的辐射值的单元；以及用于如果所述运动掩蔽图中的位于相同位置的所述像素是“运动”像素，则从所述输入 图像集中的没有运动模糊、且低于所述像素饱和等级的图像计算所述输出图像的相同像素 位置的辐射值的单元。
18.用于在成像系统中防止运动模糊和重影的装置，包括用于输入包含多个RGB图像的输入图像集的单元，所述输入图像集具有不同的曝光量；用于计算残余图像的单元；用于计算噪声自适应像素阈值集的单元；用于使用所述残余图像和所述噪声自适应像素阈值集，创建运动掩蔽图的单元；以及 用于基于所述运动掩蔽图，融合来自所述输入图像集的像素，以生成没有或者有较少 运动模糊和重影的伪影的输出图像的单元。
19.如权利要求18所述的、用于计算残余图像的装置，还包括 用于计算辐射域中的图像对的绝对差，以生成图像差分集的单元；用于对所述图像差分集使用空间-时间滤波，以计算初始残余图像的单元；以及 用于对所述初始残余图像应用最大值滤波，以获得所述残余图像的单元。
20.如权利要求18所述的、用于计算噪声自适应像素阈值集的装置，还包括 用于计算所述输入图像集的针对各个强度等级的噪声方差的单元；以及用于基于所述输入图像集的各个强度等级的所述噪声方差，计算针对各个强度等级的 噪声自适应像素阈值的单元。
21.如权利要求18所述的、用于使用所述残余图像和所述噪声自适应像素阈值集创建 运动掩蔽图的装置，还包括用于生成参照运动掩蔽图的单元；用于将所述残余图像中的像素与对应的噪声自适应像素阈值进行比较的单元；用于如果所述残余图像中的像素大于所述对应的噪声自适应像素阈值，则将所述参照 运动掩蔽图中的相同像素位置指定为“运动”像素的单元；以及用于如果所述残余图像中的像素不大于所述对应的噪声自适应像素阈值，则将所述参 照运动掩蔽图中的相同像素位置指定为“非运动”像素的单元。
22.如权利要求18所述的、用于融合来自所述输入图像集的像素以生成没有或者有较 少运动模糊和重影的伪影的输出图像的装置，还包括用于确定所述输入图像集的像素饱和等级的单元；用于对所有像素位置，将来自所述输入图像集的像素值与所述像素饱和等级进行比较 的单元；用于如果来自所述输入图像集的各个像素位置的像素值都不低于所述像素饱和等级， 则从所述输入图像集中的具有最短曝光等级的图像计算所述输出图像的相同像素位置的 辐射值的单元；用于如果来自所述输入图像集的各个像素位置的像素值都低于所述像素饱和等级，则 检查所述运动掩蔽图中的位于相同位置的像素的单元；用于如果所述运动掩蔽图中的位于相同位置的所述像素不是“运动”像素，则通过对来 自所述输入图像集的像素使用基于它们的曝光量的加权平均而进行融合，计算辐射值的单 元；用于如果所述运动掩蔽图中的位于相同位置的所述像素是“运动”像素，则从所述输入 图像集中的没有运动模糊的图像计算所述输出图像的相同像素位置的辐射值的单元；用于如果来自所述输入图像集的各个像素位置的像素值中的一个或多个低于所述像 素饱和等级，则检查所述运动掩蔽图中的位于相同位置的所述像素的单元；用于如果所述运动掩蔽图中的位于相同位置的所述像素不是“运动”像素，则通过对来 自所述输入图像集中的一个或多个图像的像素使用基于它们的曝光量的加权平均而进行 融合，计算所述输出图像的相同像素位置的辐射值的单元；以及用于如果所述运动掩蔽图中的位于相同位置的所述像素是“运动”像素，则从所述输入 图像集中的没有运动模糊、且低于所述像素饱和等级的图像计算所述输出图像的相同像素 位置的辐射值的单元。
23.如权利要求13、14、15、16、17中的任一项所述的、用于在成像系统中防止运动模糊 和重影的装置，所述多个输入拜耳原图像可以具有相同的曝光量。
24.如权利要求18、19、20、21、22中的任一项所述的、用于在成像系统中防止运动模糊 和重影的装置，所述多个输入RGB图像可以具有相同的曝光量。
全文摘要
公开了用于在成像系统中防止运动模糊和重影的方法及装置。通过对来自输入图像的图像对的绝对图像差分集执行空间-时间滤波，计算残余图像。基于图像传感器的噪声统计，对各个像素计算噪声自适应像素阈值。残余图像和噪声自适应像素阈值用于创建运动掩蔽图。运动掩蔽图用于在像素融合时表示运动像素与非运动像素。执行像素融合步骤，以便通过考虑运动像素来生成输出图像，其中分别执行运动像素。即使是在各个图像之间运动模糊的程度不同的输入图像，也能够获得作为结果的、没有或者有较少运动模糊和重影的伪影的输出图像，并且复杂性较低。本发明优选地在Bayer原域中应用。优点是减少的计算量和存储量，这是因为对每个像素仅处理一个色分量。其他优点是更高的信号保真度，这是因为Bayer原域中的处理特别在沿着边缘处不受去马赛克处理伪影的影响。但是，本发明在RGB域中也能应用。
文档编号H04N5/217GK102077572SQ20088012994
公开日2011年5月25日 申请日期2008年6月19日 优先权日2008年6月19日
发明者庞萨克·拉桑, 物部佑亮, 王振珀, 田村健二, 申省梅 申请人:松下电器产业株式会社