是0. 1。
[0049] 在一个实施例中，可以与时间融合相似的方式通过将中心在参考图像中的对应像 素附近的小图像块与中心在被分析像素附近的类似块进行比较来决定像素是否代表鬼影。
[0050] 如果在框630处确定权重大于阈值，则可使用时间融合来计算输出图像中的对应 像素的值（框635)。如果权重小于阈值从而指示像素可能是鬼影像素，则操作600可以在 包含像素（x，y)的图像中执行空间搜索，以找到用于融合的更好的候选者（框640)。在一 个实施例中，可通过考虑像素（x，y)的邻域中的所有其他空间位置来执行空间搜索。可通 过考虑非参考图像中的空间位置在（x，y)附近特定邻域中的所有像素来这样做。替代实施 例涉及仅使用非参考像素中的位于空间坐标（x，y)的特定邻域中的子集。如前面针对时间 融合所述的，替代方式可能涉及将中心在参考像素附近的像素块与来自非参考图像的所选 择的候选像素中的每个所选择的候选像素周围的对应像素块进行匹配。也可将非参考候选 像素的子集从一个参考像素变为另一个参考像素。这意味着在处理新参考像素时，非参考 像素候选者的图案可能与处理前一参考像素时使用的图案不同。
[0051] 不论用于搜索的方法如何，一旦在每个非参考图像中找到用于与参考图像中的对 应像素融合的一个或多个像素，便可通过与前面类似的方式来计算所选择的像素的权重 (框645)。然后可所使用计算的权重针对输出图像中的对应像素来确定值（框635)。
[0052] 已发现，以这种方式组合时间融合和空间融合可提高效率，同时还改善了输出图 像的质量。这是因为仅在确定像素可能是鬼影时才搜索更好的像素。这意味着与图像中所 有像素相比，通常仅针对有限数量的像素执行搜索操作，从而显著改善效率。
[0053] 上文论述的时间融合和时空融合操作在图像序列中的所有图像相对清晰时效果 很好。然而，不能保证图像序列中的所有图像都是清晰的。尽管参考图像一般是清晰的图 像，但由于相机或快速对象运动，非参考图像中的一些非参考图像可能是模糊的。通过如前 述操作中所述来融合图像，在输出图像中，在任何非参考图像中存在的模糊可能变得不可 见。在图7和8中示出了这种情况。
[0054] 图7示出了图像序列中的四个短曝光图像705、710、715和720,通过根据本公开的 图像稳定性操作来处理该图像序列以生成输出图像。可以看出，图像序列中的图像705呈 现显著的运动模糊伪影。图8A示出了使用时间融合或时空融合来将图像705、710、715和 720融合所得到的输出图像805。可以看出，在最终输出图像805中存在也存在于输入图像 705中的模糊。为了避免这个问题，可使用多分辨率融合策略，该多分辨率融合策略以不同 方式融合不同频段中的图像，从而有效地消除一些输入图像中存在的模糊区域。
[0055] 由模糊帧导致的劣化主要表现在图像边缘的邻域中和高频纹理中。相反，在平滑 图像区域（例如，低空间频带）中，模糊帧的贡献可能在减少噪声方面是有用的。在一个实 施例中，通过在融合低空间频率内容过程中使用模糊帧以及在融合图像边缘或高频纹理过 程中排除这些帧时，多分辨率融合方法利用了这一理解。
[0056] 实施这种方式的一种方式可以是将输入图像中的每个图像分解成不同的空间频 段并独立地融合每个此类频段。在不同的频段中进行多分辨率图像分解是现有技术中已知 的，并且可通过各种方式来实现。一种流程可以是使用高通金字塔分解算法。另一种方式 可以是利用小波分解。其他替代方式也是可能的。
[0057] 在优选实施例中，可使用高通分解算法。这种算法可能涉及产生原始图像副本的 序列，其中以常规步骤降低样本密度和分辨率，以生成多个中等水平的原始图像。为了实现 这个目的，可对该图像首先进行低通滤波，然后以预先确定的因子来对其进行下采样，以获 取图像的下一个金字塔层级。预先确定的因子可以变化并且这是设计选择的问题。在一个 实施例中，预先确定的因子是四。在替代实施例中，预先确定的因子是二。每个所产生的图 像的层级的数量也可根据需要和所使用设备的处理能力而变化。在一个实施例中，该层级 的数量是四。在替代实施例中，该层级的数量是三。
[0058] -旦通过这种方式生成了所有中间层级，便可对每个层级进行上采样并进行低通 滤波，以实现与前一层级相同的分辨率并从前一层级减去该结果，以获取在每个层级处的 与该分辨率对应的高频段分量。然而，应当指出，一般不能以这种方式来获取来自顶部层级 的高频段。在所得的金字塔中，每个层级均小于前一层级并包含该分辨率下的高空间频段。 金字塔的顶部层级类似于原始图像的低分辨率版本并包含低空间频段。在图9中示出了这 种情况的实例，其包括三个层级905、910和915。顶部层级图像905是该图像的低频表达。 各层级从上到下呈现出逐渐升高的分辨率/频率。通过这种方式，可将原始图像分解成不 同的空间频段，从而可以将这些频段独立地融合在一起。
[0059] -旦针对图像序列（包括参考图像）中的每个图像生成了各个层级，便可通过 接收图像序列中的图像中的每个图像的所有层级来开始根据图10的多分辨率融合操作 1000(框1005)。然后可选择顶部层级图像进行处理（框1010)，并可在顶部层级处执行时 间融合。如上所述，可通过将非参考图像顶部层级处的每个像素与参考图像中的对应像素 进行比较（框1015)并针对每个非参考像素计算权重函数来这样做。在针对每个像素来 计算权重函数之后，可将该权重与预先确定的阈值进行比较以决定该像素是否为鬼影（框 1025)。如果所计算的权重高于预先确定的阈值，则可在针对输出图像顶部层级的对应像素 计算值时使用非参考像素（框1045)。
[0060] 如果权重低于预先确定的阈值，则操作1000可通过在所选择的像素的邻域中执 行空间搜索来利用时空技术以找到更好的匹配（框1030)。然后可在用于所选择的像素的 对应字段中存储最佳匹配的相对位置或坐标（框1035)。对应字段是指所识别的对应像素 的字段。该操作然后可针对最佳匹配的像素计算权重函数（框1040)，并使用这个值来确定 输出图像的顶部层级处的对应像素的值（框1045)。
[0061] -旦针对顶部层级的所有像素完成处理，该操作便可进行到框1050,以确定是否 存在另一层级待处理。如果已处理了所有层级，则各个值可用于该输出图像的所有层级处 的像素。然后可合成或组合各个层级以生成最终输出图像（框1060)。可通过在金字塔顶 部层级处开始并向上推进（即，上采样和低通滤波）输出层级，然后将其添加到下一输出层 级来这样做。可重复这种操作，直到组合了所有层级并且输出图像具有与输入图像相同的 分辨率。如果在框1050处确定还有另一个层级，则可更新针对当前层级处的每个所发现的 最佳匹配的对应字段（框1055)。可通过考虑预先确定的因子来这样做，每个层级被下采样 预先确定的因子，并且对应字段中的位置信息被放大相同因子以匹配下一层级的分辨率。 然后可选择下一层级进行处理（框1065)，并在框1015开始重复该过程。然而，对于这个层 级而言，可将更新的对应字段用作待在某个地方查找的初始估计值，以找到每个参考像素 的对应像素。可重复步骤1005-1055,直到所有层级都经过处理过并根据框1060来生成最 终输出图像。
[0062] 通过这种方式，操作1000从顶部层级（低频段）处开始并且在最高分辨率层级处 结束，从而在每个金字塔层级处执行融合。在每个层级处，可使用对应非参考和参考像素之 间的相似性以便避免鬼影伪影。在金字塔的顶部层级处，可假设对应像素具有相同的空间 坐标。然而，因为由于场景中的对象移动，对应像素在下一层级中不具有相同的空间坐标， 对于每个非参考层级，可确定存储每个非参考像素和其对应参考像素之间的空间位移的对 应字段。如果权重低于特定阈值，则确定非参考像素可能是鬼影。在这种情况下，可执行其 空间位置附近的本地搜索，以便找到与参考像素的更好匹配。然后可在利用其相关联的权 重进行融合时使用所找到的最佳匹配，并可保持所找到的最佳匹配相对于参考像素坐标的 空间位移。典型地，仅对小百分比的像素需要这样的搜索，因为大部分场景是静态的。这提 高了效率，因为该过程仅在需要时才执行搜索。可通过如上所述的块匹配来进行搜索。通 过采取这些步骤，方法1000利用所论述的所有三种融合技术（时间、时空和多分辨率）以 执行可显著减少或消除噪声和模糊并产生高质量的最终输出图像的有效率的融合操作。
[0063] 或者，可通过在每个层级处仅使用时间融合来执行多分辨率融合方法。可通过仅 使用在所有图像中具有相同空间坐标的那些像素在每个金字塔层级处进行融合来这样做。 因此，可将来自每个非参考层级处的单个像素与具有相同空间坐标的对应参考像素（在对 应的参考图像层级中）融合。
[0064] 在替代实施例中，为了获取时空融合的优点，多分辨率融合流程可在每个金字塔 层级处使用时空融合。在一个实施例中，可通过在每个金字塔层级处将参考像素与来自每