实的际具体实施的所有特征进行描述。此外，本公 开中所使用的语言已主要被选择用于可读性和指导性目的，并且可能没有被选择为划定或 限定本发明的主题，从而诉诸于所必需的权利要求以确定此类发明主题。在本公开中提到 "一个实施例"（"one embodiment"或"an embodiment"）意指包括在本发明的至少一个实 施例中的结合该实施例所述的特定特征、结构或特性，并且多次提到"一个实施例"（"one embodiment"或"an embodiment"）不应被理解为必然地全部参考相同的实施例。
[0024] 应当理解，在任何实际具体实施的开发中（如在任何开发项目中那样），必须要作 出许多决策以实现开发者的特定目标（如，符合与系统和商务相关的约束条件），并且这些 目标可在不同具体实施之间变化。还应当理解，此类开发工作可能是复杂并且耗时的，但尽 管如此，对于在受益于本公开而设计和实施图像稳定性系统的那些普通技术人员而言，这 仍然是他们的日常工作。
[0025] 图像稳定化的一种新型方法涉及通过将配准的非参考图像与参考图像进行时间 融合来产生输出图像。参考图2,在根据这种方法的一个实施例中，图像稳定性操作200在 接收到图像序列R时开始（框205)。典型图像稳定性操作中的第一步骤中的一个第一步骤 是在序列中选择图像中的一个图像作为参考图像（框210)。在该领域中已知用于选择参 考图像的多种方法。与本专利申请同时提交并且题为"Reference Frame Selection for Still Image Stabilization"的申请号未知的美国专利申请描述了一种这样的方法，该专 利申请全文以引用方式并入本文。在选择参考图像之后，可相对于参考图像来对序列中的 剩余图像进行全局配准（框215)。在与本专利申请同时提交并且全文以引用方式并入本文 的题为"Image Registration Methods for Still Image Stabilization" 的美国专利申 请中论述了用于相对于参考图像来全局配准非参考图像的一种方法。
[0026] -旦对非参考图像进行了全局配准，图像序列中的所有图像中的对应像素可具有 相同的空间坐标（X，y)。因为图像是在不同时刻获得的，所以每个像素可通过代表时间的第 三坐标来表示，该第三坐标仅仅对应于图像索引（X，y，t)。例如，像素（x，y，3)可代表位于 第三图像中的空间坐标（x，y)处的像素。
[0027] 时间融合涉及连同其时间维度来一起融合像素。在图3中示出了这一点，其中线 305代表参考图像，并且线310、315和320中的每条线代表图像序列中的一个经配准的非参 考图像。为了简单起见，仅示出了被表示为s的一个空间坐标。水平轴代表其时间坐标，沿 着该水平轴可放置所接收的帧。像素325代表参考图像中的需要与非参考图像中的对应像 素融合的像素。可以看出，在时间融合中，可将当前像素与所有图像中的具有相同空间坐标 的像素融合。因此，在图3中，像素325可与像素330、335和340融合。
[0028] 有时由于场景中的对象移动，可排除与参考图像像素对应的非参考图像像素。如 上所述，将此类像素与参考像素融合可能导致鬼影伪影。为了防止最终输出图像中存在鬼 影伪影，时间融合操作200 (参考图2)可决定非参考图像中的像素是否为鬼影。这可通过 将非参考图像中的每个像素与参考图像中的对应像素进行比较（框220)以确定两个像素 之间的相似性来完成。
[0029] 然而，并非基于像素相似性来进行硬鬼影/非鬼影决策，该操作可针对每个非参 考像素来计算加权函数（框225)。在一个实施例中，该加权函数可具有介于0和1之间的 值。权重1可对应于非鬼影像素，并且权重0对应于鬼影像素。
[0030] 在一种具体实施中，可通过将每个非参考像素与其在参考图像中的对应像素进行 比较来计算权重。在替代实施例中，可基于像素相似值和特定曝光参数处的预期噪声内容 来计算权重。如本领域中所已知的，在具体曝光参数下，许多相机针对每个像素具有已知的 预期噪声内容。可在计算其权重函数时使用像素的预期噪声内容。可通过基于噪声标准偏 差S(x，y)和像素相似值D(x，y)针对像素（x，y)计算权重W(x，y)来这样做。像素相似值可 以是像素（x，y)及其对应的参考像素之间的像素差异值。假设在YUV彩色空间中表达图像， 对于每个像素，可存在三个像素值差异（Dy, Du，Dv)，以及三个噪声标准偏差（Sy，Su，Sv)。
[0031] 所使用的具体权重函数可变化，这是设计选择的问题。在一个实施例中，该权重函 数可以是高斯函数。在另一个实施例中，该权重函数可以是线性的。等式（1)表示示例性 权重函数。
[0032] ω t = ω γ* ω u* ω v
[0033] (I)
[0034] 其中ω玳表分配给非参考像素（χ，y，t)的权重，ω γ代表与Y通道对应的权重分 量，ω?]代表与U通道对应的权重分量，并且ω ν代表与V通道对应的权重分量。在本实施 例中，所计算的权重函数《,代表像素（x，y，t)是非鬼影像素的概率。在基于预期噪声内 容和像素值差异来计算权重的实施例中，可根据以下方程计算权重参数：
[0038] 其中（Ky，Ku，Ku)可以是常数，可根据设计偏好来设置该常数的值。
[0039] 用于确定像素是否是鬼影的替代方法是将像素块彼此进行比较。可针对每个像素 (X，y)通过分析中心在（X，y)附近的像素块而不是通过单独分析个体像素来这样做。在图 4中示出了实例，其中图像400代表参考图像并且图像420和450代表两个非参考图像。在 为了将图像400的像素405与对应像素425和455融合而需要计算权重时，可将中心在像 素405附近的块410与块430和460进行比较，块430和450中的每一者的中心在相应非 参考图像中的对应像素附近。代替计算个体像素之间的差异，可计算对应块例如块410和 块430或块410和块460之间的差异。例如，可通过计算块之间的平均绝对差异（MD)或 均方差异（MSD)来这样做。可根据以下方程来计算MD :
[0041] 其中（Xp yj代表位于非参考图像中的像素的坐标，该非参考图像的状态被确定 为鬼影/非鬼影，并且（xp，y p)代表位于参考图像中的对应像素的坐标。I和j是跨越每个 像素附近的块的汇总索引，并且" I I "代表绝对值运算符。一旦根据方程（5)针对块计算了 像素差异值，便在如上所述计算权重参数ωγ，ω μ，ων时使用所计算的值。所选择的块的尺 寸可变化并且这是设计选择的问题。在一个实施例中，该块可为3X3的。在另一个具体实 施中，该块可为5X5的。
[0042] 再次参考图2, 一旦针对每个非参考像素计算了权重，便可以使用所得的值针对输 出图像中的对应像素来计算值（框230)。以下方程可用于这种计算：
[0044] 其中r(x，y)代表最终输出像素值，p(x，y，t)代表图像t中的空间坐标（X，y)处 的像素值，并且W t是分配给非参考像素（x，y，t)的权重。可假设参考图像具有时间坐标t =0〇
[0045] 通过使用权重函数而非一组阈值，时间融合操作可提供鬼影像素和非鬼影像素之 间的软过渡，从而避免突然过渡和所得的图像伪影。然而，仅考虑所有图像中的具有相同 (X，y)空间坐标的像素来限制该过程以仅实现针对每个序列所接收的若干个短曝光图像的 良好的噪声去除效果。例如，如果在图像序列中接收到4个图像，可利用其他图像中的最多 三个未遮蔽的像素来对参考像素求平均。如果一个或多个图像中的像素为鬼影，则进一步 减少可被融合的像素的数量。在这种情况下，发现有更多的像素可供选择，这将显著改善最 终输出图像的质量。在一个实施例中，可通过使用本文称为时空融合的操作来这样做。
[0046] 在一个实施例中，时空融合可能涉及不仅通过融合具有相同空间坐标的像素而且 通过融合其他可能像素来扩展时间融合方法。因此，可将参考图像中的像素（X，y)与非参 考图像中的具有不同空间坐标的像素进行匹配。在图5中示出了这种情况，其中将来自参 考图像505的像素525与非参考图像510、515和520中的每个非参考图像中的多个像素融 合。
[0047] 参考图6,在根据该方法的一个实施例中，图像稳定性操作600在接收到图像序列 R时开始（框605)。可从图像序列选择参考图像（框610)，并相对于所选择的参考图像来 配准非参考图像（框615)。然后可将非参考图像中的每个像素（x，y)与参考图像中的对应 像素进行比较（框620)以针对每个非参考像素来计算权重函数（框625)。一旦计算了权 重，便可将其与预先确定的阈值进行比较，以确定该像素是否可能是鬼影（框630)。
[0048] 可从用于权重的任何可能值中选择预先确定的阈值。在一个实施例中，阈值可等 于权重的最大值的10%。因此，如果权重值范围在0和1之间，则阈值可以