专利名称：用于视频中的噪声降低的方法和装置的制作方法
用于视频中的噪声降低的方法和装置本发明涉及视频处理。更具体地，本发明的一些实施例涉及视频中的噪声降低。
背景技术：
美国专利No. 7，447，382描述了利用基于模型的、稳健贝叶斯估计根据多个较低分辨率图像来计算较高分辨率图像。给定一场景的多个观测到的较低分辨率(LR)图像，利用贝叶斯估计图像重构方法计算该场景的作为结果的较高分辨率(HR)图像。该方法基于似然概率函数产生作为结果的HR图像，其中该函数在存在噪声的情况下实现用于形成LR 图像的模型。该噪声由概率性的、非高斯的、稳健函数建模。附图简述本专利或申请文件包含用色彩完成的至少一个附图。经请求且缴纳必要费用，专利局将提供具有彩色附图的本专利或专利申请公开的副本。本发明的各种特征将在以下附图中所示的优选实施例的描述中显而易见，其中在各附图中同样的附图标记通常表示相同部分。附图不一定是按比例的，相反，重点放在示出本发明的原理上。
图1是根据本发明的某些实施例的流程图。
图2是根据本发明的某些实施例的又一流程图。
图3是根据本发明的某些实施例的又一流程图。
图4是根据本发明的某些实施例的视频处理装置的框图。
图5是根据本发明的某些实施例的另一视频处理装置的框图。
图6是根据本发明的某些实施例的去噪声模块的框图。
图7是根据本发明的某些实施例的另一去噪声模块的框图。
图8是根据本发明的某些实施例的基于处理器的电子系统的框图。
图9是根据本发明的某些实施例的光流估计模块的框图。
图10是根据本发明的某些实施例的另一去噪声模块的框图。
图11是参考数字图像。
图12是根据本发明的某些实施例的经处理的数字图像。
图13是根据本发明的某些实施例的另一经处理的_女字图像。
图14是另一参考数字图像。
图15是根据本发明的某些实施例的另一经处理的_女字图像。
图16是根据本发明的某些实施例的另一经处理的_女字图像。
图17是另一参考数字图像。
图18是根据本发明的某些实施例的另一经处理的_女字图像。
图19是根据本发明的某些实施例的另一经处理的_女字图像。
具体实施例方式
在以下描述中，出于解释而非限制的目的，为提供对本发明的各个方面的透彻理解，阐明诸如特定结构、体系结构、接口、技术等具体细节。然而，对受益于本发明的那些本领域的技术人员来说显而易见的是，可以在背离这些具体细节的其它示例中实践本发明的各个方面。在某些实例中，省略公知设备、电路、以及方法的描述，以不使非必要的细节模糊本发明的描述。参考图1，根据本发明的某些实施例处理视频序列的方法可包括接收具有输入视频序列分辨率的输入视频序列(例如在框10处)，对准来自输入视频序列的图像(例如在框11处)，降低经对准的图像中的噪声(例如在框12处)，以及根据经降低噪声的图像产生输出视频序列，其中输出视频序列的分辨率与输入视频序列分辨率相同(例如在框13 处)。例如，在对准来自输入视频序列的图像之前，还可要求在对准来自输入视频序列的图像之前估计输入视频序列的光流(例如在框14处)。例如，输入视频序列可包括参考帧以及相对于该参考帧的至少一个前向帧和至少一个后向帧(例如在框15处)。参考图2，在本发明的某些实施例中，降低经对准的图像中的噪声可包括对经对准的图像执行与共轭梯度最小化相对应的迭代的前后重新映射。在本发明的某些实施例中， 降低经对准的图像中的噪声可包括执行迭代的行最小化(例如在框21处)。参考图3，在本发明的某些实施例中，降低经对准的图像中的噪声可包括对经对准的图像执行图像扭曲(image warping)。在本发明的某些实施例中，降低经对准的图像中的噪声可包括对经对准的、扭曲的图像执行时空双向滤波。参考图4，根据本发明的某些实施例的视频处理装置40可包括第一模块41，用于接收具有输入视频序列分辨率的输入视频序列；第二模块42，其耦合至第一模块41，用于对准来自输入视频序列的图像；第三模块43，其耦合至第二模块42，用于基于经对准的图像降低输入视频序列中的噪声；以及第四模块44，其耦合至第三模块43，用于基于经降低噪声的输入视频序列产生输出视频序列，其中输出视频序列的分辨率不大于输入视频序列分辨率。参考图5，图像对准模块52 (例如图4中的第二模块4 还可包括用于估计输入视频序列的光流的模块阳。例如，输入视频序列可包括参考帧R以及相对于该参考帧R的至少一个前向帧F和至少一个后向帧B。 参考图6，去噪声模块63 (例如图4中的第三模块43)可包括对经对准的图像执行与共轭梯度最小化相对应的迭代的前后重新映射的模块65。去噪声模块63还可包括用于执行迭代的行最小化的模块66。参考图7，替换的去噪声模块73 (例如图4中的第三模块43)可包括用于对经对准的图像执行图像扭曲的模块75。该替换的去噪声模块73还可包括用于对经对准的、扭曲的图像执行时空双向滤波的模块76。参考图8，基于处理器的电子系统80可包括处理器81以及与处理器81耦合的存储器82。例如，存储器82可具有当由处理器执行时接收具有输入视频序列分辨率的输入视频序列，对准来自输入视频序列的图像，基于经对准的图像降低输入视频序列中的噪声，基于经降低噪声的输入视频序列产生输出视频序列、其中输出视频序列的分辨率不大于输入视频序列分辨率的指令。例如，存储器82还可具有当由处理器执行时估计输入视频序列的光流的指令。例如，输入视频序列可包括参考帧以及相对于该参考帧的至少一个前向帧和至少一个后向帧。
例如，存储器82还可具有当由处理器执行时对经对准的图像执行与共轭梯度最小化相对应的迭代的前后重新映射的指令。存储器82还可具有当由处理器执行时执行迭代的行最小化的指令。替换地，存储器82还可具有当由处理器执行时对经对准的图像执行图像扭曲以及对经对准的、扭曲的图像执行时空双向滤波的指令。例如，处理器81和存储器82可设置在外壳83中。例如，外壳可对应于台式计算机、膝上型计算机、机顶盒、手持设备以及用于基于处理器的系统80的许多其它可能设备中的任何一种。例如，系统80还可包括与处理器81和存储器82耦合的显示设备84。输出视频序列可在显示设备84上显示。例如，系统80还可包括用于将用户输入提供给处理器 81和82的输入设备85。例如，输入设备85可以是无线远程控制设备。有利地，本发明的某些实施例可降低视频和/或图像序列中的噪声。在不限于操作理论的情况下，本发明的某些实施例可提供视频中的基于光流的稳健多帧噪声降低。例如，本发明的某些实施例可应用于来自各种不同的源、质量和采集方法的视频和/或图像序列，包括用廉价设备(如泛在的蜂窝电话照相机、网络摄像头等)获得的消费者级视频、 在非最佳条件下(弱照明)获得的专业级视频、来自各种源(X射线、超声波等)的医疗图像序列、以及许多其它视频序列源。在不限于操作理论的情况下，本发明的某些实施例可开发在视频和图像序列中通常存在的高度冗余。例如，在静止场景和照相机的有噪声视频序列的情况下，在每个像素处具有噪声强度的帧的许多样本可用于获得对该像素的内在的恒定强度的统计估计(例如通过对所有可用样本取平均)。然而，在许多视频序列中，由于照相机或对象运动，场景通常不是静止的。有利地， 本发明的某些实施例可估计视频序列的光流。例如，光流可对应于由照相机或场景中的对象的运动引起的从序列中的一个图像到下一个图像的强度水平的表观运动。例如，光流可从参考帧(例如标称中心帧)周围的帧的窗口来估计，例如使用总共五个帧的两个前向帧和两个后向帧，且使每个帧与参考帧对准。例如，可使用不同的运动模型来估计图像对准，这些运动模型可以在从在普通视频中具有有限应用的低参数运动模型(例如纯平移、旋转、仿射的、投射的等)到其中对于每个像素估计位移矢量的密集非参量模型(例如光流)的范围内，其中中间方案也是可能的(一个低参数运动模型加上被该模型考虑为异常值的点的个体光流)。例如，美国专利公开No. 2008-01U630、题为“基于稳健主要运动估计的数字视频稳定化(DIGITAL VIDEO STABILIZATION BASED ON ROBUST DOMINANT MOTION ESTIMATION) ”描述了一种装置可接收输入图像序列并估计图像序列中邻近图像之间的主要运动。该装置可使用稳健估计器来自动检测和低估与独立地运动的对象相对应的异常值。本发明的某些实施例可利用基于梯度的、多分辨率、具有理论子像素精度的光流估计。然而，用于密集运动估计的其它方法是潜在地可应用的。例如，应用于帧率转换的运动估计技术是可应用的。参考图9，本发明的某些实施例可包括使用基于梯度的粗糙到精细估计的光流估计。例如，一旦获得了多分辨率锥体，则可使用从前一水平估计的流(如果可用的话)作为附加输入在每个分辨率水平估计光流。通过首先根据对光流的当前估计重新映射输入图像、随后计算第二阶梯度且使用来自每个像素自身邻域的梯度约束求解该像素处的流矢量，在每个水平迭代地估计光流。根据本发明的某些实施例，稳健的帧去噪可应用于视频序列中的经对准的图像。 例如，一旦对准已被估计，则可组合来自对应于相同场景位置的不同帧的噪声强度以获得中心的参考帧的去噪声版本。根据本发明的某些实施例，各种稳健性可应用于帧去噪。例如，在本发明的某些实施例中，稳健的帧去噪可涉及较高的计算成本且提供非常有效的去噪声(例如贝叶斯方法)。例如，在本发明的某些实施例中，稳健的帧去噪可涉及较低的计算成本但提供有效性较小的去噪声(例如基于预扭曲)。稳健方法中的一个重要参数(像此处建议的那些一样)是所谓的尺度参数，该参数关于多大的误差被认为是噪声以及多大被认为是异常值。使用对图像噪声的稳健估计从输入图像自动地估计该重要参数(基于垂直和水平的像素差异的MAD(绝对差的中值))。 这允许所建议的方法以完全自动的模式工作而无需独立于输入图像序列的噪声水平的用户交互。参考图10，示例的贝叶斯方法可基于使用从无噪声图像到相应的测量帧的直接图像形成模型，其包括对准图像和添加性噪声所需的扭曲。它也可包括无噪声图像上的先验模型，其是对我们在自然图像中所期望看到的事物的简明的概率性描述。例如，该方法可使用非线性共轭梯度来使贝叶斯模型所给定的费用函数最小化。给定对无噪声图像g的当前估计，使用图像形成模型(涉及后向重新映射、计算误差、应用非线性函数、以及前向重新映射)和先验模型来计算两个更新。一旦计算了更新，则使用行最小化估计最优加权因子 α，并将该更新乘以该权重且添加到无噪声图像g的估计，以获得对g的新的当前估计。随后可迭代该过程直至收敛。有利地，与上述美国专利No. 7，447，382中所述的超分辨率图像处理相比较，本发明的某些实施例可涉及较低的计算成本同时仍提供良好的去噪声性能。例如，因为本发明的某些实施例不增加图像的分辨率，所以图像形成模型可省略下降/上升采样。本发明的某些实施例可能是迭代的且多次应用直接和相反图像形成模型(基本上后向和前向重新映射)，以及每次迭代时进行行最小化，从而导致高的计算成本。有利地，该迭代的基于模型的方法的结果通常是非常高的质量，其具有高噪声降低且实际上没有在所得到的图像中引入额外的模糊。在本发明的某些实施例中可利用附加的去模糊能力。根据本发明的某些实施例，较低计算成本的方法可基于预先扭曲图像且随后组合结果。例如，一旦对准已被估计，则可能以统计方式组合来自对应于同一场景位置的不同帧的有噪声强度以获得中心帧的去噪声版本。例如，可使用所估计的光流对在中心帧周围的图像的窗口中的每个图像执行扭曲。可使用后向插值进行扭曲(例如使用双线性插值)。在周围的图像已与中心帧对准且被扭曲之后，结果得到像素被对准的帧的集合， 从而给每个帧提供了具有内在无噪声强度的至少一个噪声样本。例如，取决于每个像素在不同图像中的可见度，在每个像素位置有从1(与中心帧相对应的那个)到图像数量的范围的多个有噪声强度样本。根据本发明的某些实施例，随后可使用与双向滤波类似的方法来组合所有可用的样本。例如，可确定每个像素位置的加权平均值，其中每个样本的权重是该样本与中心帧之间的强度差的函数(例如使用高斯函数)。有利地，本发明的某些实施例可能偏爱与中心帧的强度值接近的强度，这可避免组合来自错误对准的错误强度。有利地，该方法的计算成本较低，因为它不需要迭代且该过程是在逐个像素的基础上局部地完成的。有利地，本发明的某些实施例可提供用于视频的多帧去噪声方法，该方法相对简单(例如与贝叶斯方法相比较)、没有增加分辨率、且具有较低的计算成本。一旦对准了要组合的帧，本发明的某些实施例就可涉及非常少的附加带宽和操作。有利地，本发明的某些实施例可利用已由其它模块(例如，用于帧率转换的一个模块)估计的运动来执行图像对准，从而导致更多的计算节省(例如，以及用于硬件实现的潜在的硅面积或板面积节省)。本发明的某些实施例可包括使用双向滤波的稳健去噪声。一旦图像被对准，可在逐个像素的基础上组合强度值以利用适当的统计方法估计在有噪声测量值下的无噪声强度的值。例如，用于组合测量值的简单方法可采用简单的统计估计器，诸如平均值或中值。 然而，这些估计器对于对准中的误差可能不是足够地稳健。即使使用先进的运动估计技术， 在对准中也可能发生严重错误。有利地，本发明的某些实施例可基于双向滤波组合有噪声测量值，即使在存在对准误差时这也可改善结果。基于在每个像素处获得周围窗口中的像素的强度的加权平均值(例如类似于线性滤波)，双向滤波可用于空间去噪声，其中在给定像素处的权重是该像素处的强度与中心帧处的强度之间的差的函数(例如，对接近中心像素的强度将赋予更多权重的高斯函数)。本发明的某些实施例可组合来自不同帧的强度，这导致用于给定图像的以下解决方案(为清楚起见，该等式忽略个体像素位置)
权利要求
1.一种处理视频序列的方法，包括接收具有输入视频序列分辨率的输入视频序列； 对准来自所述输入视频序列的图像； 降低经对准的图像中的噪声；以及根据经降低噪声的图像产生输出视频序列，其中所述输出视频序列的分辨率与所述输入视频序列分辨率相同。
2.如权利要求1所述的方法，其特征在于，对准来自所述输入视频序列的图像还包括 在对准来自所述输入视频序列的图像之前估计所述输入视频序列的光流。
3.如权利要求2所述的方法，其特征在于，所述输入视频序列包括参考帧以及相对于所述参考帧的至少一个前向帧和至少一个后向帧。
4.如权利要求1所述的方法，其特征在于，降低经对准的图像中的噪声包括 对经对准的图像执行与共轭梯度最小化相对应的迭代的前后重新映射。
5.如权利要求4所述的方法，其特征在于，降低经对准的图像中的噪声包括 执行迭代的行最小化。
6.如权利要求1所述的方法，其特征在于，降低经对准的图像中的噪声包括 对经对准的图像执行图像扭曲。
7.如权利要求6所述的方法，其特征在于，降低经对准的图像中的噪声包括 对经对准的、扭曲的图像执行时空双向滤波。
8.一种视频处理装置，包括第一模块，用于接收具有输入视频序列分辨率的输入视频序列； 耦合至所述第一模块的第二模块，用于对准来自所述输入视频序列的图像； 耦合至所述第二模块的第三模块，用于基于经对准的图像降低所述输入视频序列中的噪声；以及耦合至所述第三模块的第四模块，用于基于经降低噪声的输入视频序列产生输出视频序列，其中所述输出视频序列的分辨率不大于所述输入视频序列分辨率。
9.如权利要求8所述的视频处理装置，其特征在于，所述第二模块包括用于估计所述输入视频序列的光流的模块。
10.如权利要求9所述的视频处理装置，其特征在于，所述输入视频序列包括参考帧以及相对于所述参考帧的至少一个前向帧和至少一个后向帧。
11.如权利要求8所述的视频处理装置，其特征在于，所述第三模块包括用于对经对准的图像执行与共轭梯度最小化相对应的迭代的前后重新映射的模块。
12.如权利要求11所述的视频处理装置，其特征在于，所述第三模块还包括用于执行迭代的行最小化的模块。
13.如权利要求8所述的视频处理装置，其特征在于，所述第三模块包括用于对经对准的图像执行图像扭曲的模块。
14.如权利要求13所述的视频处理装置，其特征在于，所述第三模块还包括用于对经对准的、扭曲的图像执行双向滤波的模块。
15.一种基于处理器的电子系统，包括 处理器；耦合至所述处理器的存储器，所述存储器具有当由所述处理器执行时进行以下步骤的指令接收具有输入视频序列分辨率的输入视频序列；对准来自所述输入视频序列的图像；基于经对准的图像降低所述输入视频序列中的噪声；以及基于经降低噪声的输入视频序列产生输出视频序列，其中所述输出视频序列的分辨率不大于所述输入视频序列分辨率。
16.如权利要求15所述的基于处理器的电子系统，其特征在于，所述存储器还具有当由所述处理器执行时估计所述输入视频序列的光流的指令。
17.如权利要求16所述的基于处理器的电子系统，其特征在于，所述输入视频序列包括参考帧以及相对于所述参考帧的至少一个前向帧和至少一个后向帧。
18.如权利要求15所述的基于处理器的电子系统，其特征在于，所述存储器还具有当由所述处理器执行时对经对准的图像执行与共轭梯度最小化相对应的迭代的前后重新映射的指令。
19.如权利要求18所述的基于处理器的电子系统，其特征在于，所述存储器还具有当由所述处理器执行时执行迭代的行最小化的指令。
20.如权利要求15所述的基于处理器的电子系统，其特征在于，所述存储器还具有当由所述处理器执行时对经对准的图像执行图像扭曲的指令。
21.如权利要求20所述的基于处理器的电子系统，其特征在于，所述存储器还具有当由所述处理器执行时对经对准的、扭曲的图像执行双向滤波的指令。
全文摘要
在某些实施例中，一种处理视频序列的方法可包括接收具有输入视频序列分辨率的输入视频序列，对准来自输入视频序列的图像，降低经对准的图像中的噪声，以及根据经降低噪声的图像产生输出视频序列，其中输出视频序列的分辨率与输入视频序列分辨率相同。公开了其它的实施例并对其主张权利。
文档编号G06T5/00GK102171722SQ200980139835
公开日2011年8月31日 申请日期2009年12月16日 优先权日2008年12月30日
发明者H·W·豪斯塞科尔, O·奈斯塔尔司, S·M·艾廷格, S·库路帕蒂, Y·盖特 申请人:英特尔公司