用于图像稳定化的图像融合方法
【专利说明】用于图像稳定化的图像融合方法
【背景技术】
[0001] 本公开整体涉及数字摄影领域。更具体地，但并非加以限制，本公开涉及静止图像 稳定化技术。如本文所使用，图像稳定化是指在图像捕获操作期间用于减少运动诱发的模 糊的一系列技术。此类运动可能源自相机、场景中的对象或两者的运动。
[0002] 在低环境光条件下拍摄高质量照片，或者拍摄动态场景（例如，体育比赛场景）是 有挑战性的，这是因为在图像捕获期间的相机运动和/或场景内的对象的运动。减少运动 模糊而不放大图像噪声的一种方式是捕获并融合场景的多个短曝光图像。此类操作常常被 称为"静止图像稳定化"。尽管缩短图像曝光时间可减少运动模糊伪影，但这样做的代价是 图像噪声更大和/或图像更暗。
[0003] 图像稳定化的一般方法由如下方面构成：（1)从一组多个短曝光图像选择参考图 像，（2)相对于参考图像来全局地配准所有非参考图像，以及（3)通过将所有所捕获的图像 融合为参考图像来合成输出图像。通过这种方式，输出图像代表了捕获参考图像时的场景 的样子，其中使用非参考图像通过对所有图像间的每个参考像素的多次观察进行平均/合 并来减少参考图像中的噪声。
[0004] 通过将所有所配准的非参考图像融合为参考图像来合成输出图像的一般方法是 对图像直接求平均值。直接求平均值将减少图像中的静态区域中的噪声，但也将引入鬼影 伪影。由于场景中的对象移动而在一些非参考图像中遮蔽参考图像中的一些像素时常常发 生鬼影伪影。在所捕获的图像之间存在运动时，在直接对图像求平均值时，在最终的输出中 可能存在明显的鬼影伪影。图1中示出此类鬼影伪影的效应的实例。图1示出了对全局配 准的图像直接求平均值的所得输出。从图1中可以看出，在对图像求直接平均值时，存在明 显的鬼影伪影。
[0005] 避免鬼影伪影的一种方式是对遮蔽和噪声进行区分并拒绝融合所有被遮蔽区域 的融合流程。这可通过拒绝对与其对应参考像素相比具有非常不同的值的所有非参考像素 求平均值来实现。确定可接受差异的一种方式是基于特定像素中的预计噪声来对其进行计 算。一旦已确定接受阈值，便可从求平均值过程中排除与其对应参考像素差异超过这个阈 值的非参考像素。
[0006] 然而，使用针对鬼影/非鬼影像素分类而设置的阈值自身可能导致图像伪影，尤 其是在存在严重噪声的情况下，这对于图像稳定化而言可能是一种典型情况。这是因为接 受阈值是可能具有一定失败比例的统计估计值。相邻像素可能容易落在阈值的一侧或另一 侦牝从而导致在鬼影像素/非鬼影（即，更大噪声/更清洁）像素之间产生突然的过渡。因 此，可改进当前使用的融合方法。
【发明内容】
[0007] 在一个实施例中，提供了一种将所捕获的参考图像与所捕获的非参考图像融合的 方法。该方法包括获取在第一时间处所捕获的场景的第一图像，其中该图像具有多个像素， 并且在第二时间处获取场景的第二图像，其中第一图像中的多个像素中的每个像素在第二 图像中具有对应像素。该方法然后可涉及从第一图像选择第一像素，并且针对第二图像中 的第一像素的对应像素来确定非二元权重值。然后可使用非二元权重值来将第一像素及其 来自第二图像的对应像素组合以获取第一融合像素。可重复该过程以针对第一图像中的多 个其他像素中的每个像素进行选择、确定和组合以获取融合图像。
[0008] 在另一个实施例中，提供了一种用于将所捕获的参考图像与所捕获的非参考图像 融合的替代方法。根据这种方法的一种方法包括获取在第一时间处所捕获的场景的第一图 像，其中第一图像具有多个像素，然后在第二时间处获取场景的第二图像，其中第一图像中 的多个像素中的每个像素在第二图像中具有对应像素。然后可确定第一像素在第二图像中 的对应像素的非二元权重值。在非二元权重值大于指定阈值时，该方法然后可将第一像素 以及其来自第二图像的对应像素组合，以获取第一融合像素。在非二元权重值小于或等于 指定阈值时，可不将第一像素及其来自第二图像的对应像素组合。然后可重复该过程以针 对第一图像中的多个其他像素中的每个像素进行选择、确定和组合，以获取融合图像。
[0009] 在又一个实施例中，可通过替代方式将拍所捕获的参考图像与所捕获的非参考图 像融合，以获取融合图像。这种方法涉及获取在第一时间处所捕获的场景的第一图像，其中 第一图像具有多个像素，然后获取在第二时间处所捕获的场景的第二图像，其中第二图像 具有多个像素，并且第二图像中的每个像素在第一图像中具有对应像素。然后可生成第一 图像的多层级金字塔表示，其中多层级金字塔的顶部层级包括第一图像的低分辨率表示， 并且第一多层级金字塔的基本级包括第一图像的高分辨率表示，并且其中顶部层级和基本 级之间的每个层级包括与该层级的分辨率对应的第一图像的高空间频率表示。该方法然后 可生成第二图像的多层级金字塔表示，其中第二多层级金字塔的顶部层级包括第二图像的 低分辨率表示，并且第二多层级金字塔的基本级包括第二图像的高分辨率表示，并且其中 顶部层级和基本级之间的每个层级在第一图像的多层级金字塔表示中具有对应层级。该方 法然后可通过针对场景的第一多层级金字塔表示中的层级中的每一组像素来识别场景的 第二多层级金字塔表示中的对应的一组像素以及将来自场景的第一层级金字塔表示和第 二多层级金字塔表示的所识别的一组像素融合，针对场景的第一层级金字塔表示和第二多 层级金字塔表示中的每个层级来生成场景的输出多层级金字塔表示中的层级。最后，通过 组合场景的输出多层级金字塔表示可生成表示场景的输出图像并将其存储在存储器中。
[0010] 在又一个实施例中，可通过另一种方式将所捕获的参考图像与所捕获的非参考图 像融合，以获取融合图像。这种方法涉及获取在第一时间处所捕获的场景的第一图像，其 中第一图像具有多个像素，然后对第一图像执行多分辨率分解，以生成第一图像的第一多 层级金字塔表示。然后可获取场景的第二图像，其中所述第二图像在与第一图像不同的时 间处被捕获，并且其中第一图像中的所述多个像素中的每个像素在第二图像中具有对应像 素。然后可对第二图像执行多分辨率分解，以生成第二图像的第二多层级金字塔表示。该方 法然后通过如下方式针对场景的第一层级金字塔表示和第二多层级金字塔表示中的每个 层级来生成场景的输出多层级金字塔表示中的层级：从第一图像选择一个或多个像素；针 对第二图像中的与第一图像中的一个或多个像素对应的一个或多个像素来确定非二元权 重值；以及在非二元权重值大于指定阈值时，将来自第一图像的一个或多个像素及其来自 第二图像的对应一个或多个像素组合，以获取第一融合像素；在非二元权重值小于或等于 指定阈值时，不将来自第一图像的一个或多个像素及其来自第二图像的对应像素组合。然 后重复该过程以针对第一图像的多分辨率分解中的每个层级来生成场景的输出多层级金 字塔表示中的层级。可组合场景的输出多层级金字塔表示中的不同层级以生成输出图像。
【附图说明】
[0011] 图1示出了根据现有技术的图像融合操作的实例。
[0012] 图2以流程图形式示出了根据一个实施例的融合操作。
[0013] 图3示出了根据一个实施例的示例性时间融合操作。
[0014] 图4示出了根据一个实施例的使用块像素的示例性时间融合操作。
[0015] 图5示出了根据一个实施例的示例性时空融合操作。
[0016] 图6以流程图形式示出了根据一个实施例的多分辨率融合操作。
[0017] 图7示出了根据替代实施例的所捕获的示例性图像序列。
[0018] 图8A-8B示出了根据又一个替代实施例的通过融合图7的所捕获的图像序列而产 生的融合输出图像。
[0019] 图9示出了根据一个实施例的通过多个分辨率分解而创建的示例性图像。
[0020] 图10以流程图形式示出了根据一个实施例的多分辨率融合操作。
[0021] 图11以框图形式示出了根据一个实施例的多功能电子设备。
【具体实施方式】
[0022] 本公开涉及一种改善图像稳定性操作的系统、方法和计算机可读介质。在一个实 施例中，可利用一种用于在一组共同捕获的图像中将配准的非参考图像与参考图像融合的 新型方法。融合方法可通过使用针对鬼影像素/非鬼影像素的加权平均值来利用像素间的 软过渡，以避免几乎相似的像素的邻居之间的突然过渡。在替代实施例中，可基于一组相邻 像素而不是针对每个像素独立地进行鬼影/非鬼影决策。替代方法可能涉及使用一组相邻 像素的加权平均值和/或在每个层级处检查所述一组相邻像素以确定在每个层级处融合 哪些像素，以及组合不同层级以生成输出图像来对所有所捕获的图像执行多分辨率分解。
[0023] 在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对发明构思的彻 底理解。作为该描述的一部分，本公开的附图中的一些附图以框图形式表示结构和设备，以 避免模糊本发明。为了清晰起见，不对