专利名称：用来估计视频信号噪声的设备和方法
技术领域：
本发明涉及一种用来估计视频信号的噪声电平的设备和方法、以及包括上述设备的降噪系统和编码系统。
背景技术：
在编码前的视频预处理中，降噪是一个重要的因素。它基于递归的时间域滤波，其中，按照要处理的图像序列中存在的噪声电平来调整递归率。
因此，噪声电平的估计对于得到对输入图像的序列自动地适应的滤波系统而言是重要的。
在已知的方法中，在完全没有运动时且由于它的时间随意性，噪声能通过建立两个连续图像之间的逐个象素的差来检测。然后，图像中差值的平均构成了噪声电平的表示。
当存在运动的时候，利用由运动估计器所提供的矢量场，能够通过计算当前图像和在前图像之间的差来估计噪声电平，其中，在前图像被重构来匹配当前图像。
然而，这样的方法有很多的缺点—由于在图像序列中有运动，运动矢量会产生估计误差，引起图像的不良重构和因此噪声电平的过高估计，—运动矢量和因此在图像之间的差(位移帧差DFD)，在图像周边的周围是不一致的，这也会篡改噪声电平的估计，—噪声电平的估计基于噪声的随机性，这并不总是可靠的。
发明内容
本发明涉及一个通过显著地减少上面解释的负面效果，使用在源图像和滤波图像之间逐个象素差的鲁棒噪声估计设备，其中滤波图像被延迟一个图像和被运动补偿以便获得噪声的良好估计。
为了这个目的，发明提出一个用来估计一个表示图像序列的视频信号的噪声电平的设备，包括—运动补偿内插装置，—一个递归滤波器，被设计在第一输入端来接收通过运动补偿内插装置运动补偿的递归滤波器的输出且在第二输入端接收视频信号，—计算在视频信号和通过内插装置运动补偿的递归滤波器的输出之间差的装置。
依照本发明，所述设备包括按照所述的差和定界这个差的一个最大阈值来估计视频信号噪声电平的装置。
这个设备能使视频序列中的噪声电平的估计鲁棒并且改善它将连接的降噪器的性能。
更可取的，估计噪声电平的装置包括，为视频信号中一幅图像的每一个象素，以所述的阈值(Sc)，比较所述象素值和运动补偿递归滤波后的所述象素值之间差的装置。
这样能为每一个象素得到更好的噪声电平估计且因此避免了在帧上产生模糊效果的整体的估计。
有利地，所述设备包括—为每个图像定义一个由位于图像中心的多个象素组成的一个工作窗口的装置，—为其中的象素值和运动补偿递归滤波后的象素值之间的差小于所述阈值的工作窗口中的每一个象素计算所述差的装置，—通过用累积的差的数目去除先前累积的差，来计算一个平均噪声电平(σavg)的装置。
这样的一个工作窗口，通过实现从图像边缘周围的潜在运动矢量计算误差的独立，能够得到更好的噪声电平估计。
根据优选实施例，所述设备包括—测量图像的图像间和帧内的相关性的装置，—依照平均噪声电平和图像间与内帧的相关性，计算每一帧的总噪声电平的装置，—依照所述帧的总噪声电平和所述象素的亮度，计算所述帧的每个象素的局部噪声电平的装置。
有利地，所述的阈值关联所述递归滤波器的滤波参数。
本发明也涉及一种估计一个表示图像序列的视频信号的噪声电平的方法，包括下列步骤—运动补偿内插，—递归滤波，设计为在递归滤波器的第一输入端接收所述通过内插装置运动补偿的递归滤波器的输出且在递归滤波器的第二输入端接收视频信号，—计算在视频信号和通过内插装置运动补偿的的递归滤波器的输出之间差的方法。
依照本发明，该方法包括一个依照所述差和定界这个差的一个最大的阈值来估计视频信号噪声电平的步骤。
参考所附附图，使用优选实施例和实施方式的例子，而决不是限制，本发明将更好地被理解和说明，其中—附图1表示了依照本发明的实施例，与噪声估计设备相连的降噪设备，—附图2表示能被用在降噪设备中的递归滤波器的实施例。
具体实施例方式
如图1所示，噪声估计设备能被用来获得视频序列10e(x，y，t)上的噪声的鲁棒估计。噪声的良好估计能被用来显著地改善一个降噪器的性能。为了这个目的，降噪器包括递归滤波器1。在附图2中，示出了可用的有效递归滤波器的例子。
为了获得有效的操作，涉及递归滤波器的降噪方法考虑到视频序列的图像有很强的时间相关性。结果，运动和位移(displacement)的概念对使有效的降噪更好而言是很重要的。这就是为什么递归滤波器1被连接到运动补偿内插装置2上的原因。
用来估计输入的视频序列10的噪声电平的设备3，提供指定为σ的估计噪声电平11到递归滤波器1。
噪声估计设备3包括比较装置4，所述比较装置4接收能够与递归滤波器1的滤波严格性关联的阈值Sc，作为输入。
举例来说，如果假定有5位置滤波调整指针(cursor_position)，Sc能够被赋予下面的值Sc＝16+cursor_position，16是任意设定的值。
比较装置4也能够接收差分器9的输出，作为输入。差分器9计算输入的视频信号10和运动补偿滤波后的输出11r(x，y，t)之间的差。
差分器9逐个象素地计算两个信号之间的差。
比较装置4将从差分器9接收的差与阈值Sc进行比较。
如果ε＝e(x，y，t)-r(x，y，t)＜Sc，则比较装置4传输ε到确认装置5。
否则，如果ε＝e(x，y，t)-r(x，y，t)≥Sc，则比较装置4传输值“0”到确认装置5。
比较装置4因此能被用来消除与要消除的噪声无关的显著值的误差。
确认装置仅被用来工作在图像的窗口上，来改善设备的鲁棒性。由于视频信号表示为图像，运动矢量在位于图像边缘的象素上经常呈现不理想。因此，在位于图像中间的图像的窗口上工作是有利的，从而位于周围边缘的象素能够被忽略掉。
累积模块6累积通过确认模块5保留的所有的差。
模块7用累积的差的数目去除模块6所累积的差之和，来计算首先被估计的平均噪声电平σarg，。结果提供了Avgdif 然后，获得的该第一噪声电平适合于目标应用，并且依赖于滤波严格性。
σavg=avgdif2×cursor_positionAvgdif+curosr_position]]>那么能够看出，指针(cursor)值增加得越大，估计的噪声电平增加得越多，并且递归滤波器变得更加严格。
有利地是，在这个实施例中σavg是被限制在0.5和15.5之间。
σavg的值按照帧来改变，但是从一帧到下一帧的变化被限制在+0.5或-2。因此迅速减少σavg的值是可能的，但是迅速增加σavg的值是非常困难的，以便避免振荡效应。
因此模块7在输出端产生被传输到总加权模块8a的估计噪声电平。
为了校正通过模块7产生的平均噪声电平σavg，后者通过模块8a来加权，然后，模块8a生成总噪声电平σglob。这对具有很强运动和/或高清晰度的视频信号来说是非常有利的。
在图像水平上模块8a提供了一个总的加权。
画面间的相关性(corrinter)与当前帧T和在前帧T-2之间的全部逐个象素的差的和被该帧内象素的数目除的结果相等。
帧内相关性(corrintra)与帧的当前行和帧的在前行之间的全部逐个象素的差的和被该帧内象素的数目除的结果相等。
因此，依照下面公式，依照在当前被降噪设备1处理的图像序列上测量的图像间和图像内的相关性来加权σavg，，σglob=σavgK]]>以举例说明的形式，系数K能够通过下面的方法计算出来corr=corrintra+corrinter2]]>如果Corr的值是位于两个阈值S1和S2之间，那么，K就在值“1”和“2”之间线性地变化。
相对于两类视频序列来选择阈值S1和S2首先，没有显著运动并且是低分辨率的简单视频序列在这个序列上计算的“Corr”的值赋予S1的值。
其次，具有很强运动并且是高分辨率的复杂视频序列在这个序列上计算的“Corr”的值赋予S2的值。
考虑下述示例如果Corr＜S1，那么K＝1；如果Corr＞S2，那么K＝2这给出—对于简单序列σglob＝σavg。
—对于复杂序列σglob＝σavg/2。
—对于位于这两个极端的视频序列，σglob＝被“corr”的值加权的σglob。
局部加权模块8b接收σglob和亮度阈值luminance_threshold，作为输入，以便为每一个象素建立局部加权。实际上，通过采用关于人眼对低亮度区域中的恶化的低敏感性的人类视觉系统的特性，有利地，局部地在每个象素的水平上建立噪声电平的加权。
如果当前象素的亮度值小于阈值luminance_threshold，有关这个象素的估计的噪声电平就会被提高到更高的值。
作为示例，例如，在帧上估计的噪声电平σglob能对每个象素，局部地被1.25加权，以获得所述象素的局部噪声电平σ。
附图2表示一个能被使用在如附图1中所述的降噪设备中的典型的递归滤波器。
如附图2所示的一个降噪滤波器1能被用来校正与运动补偿递归滤波设备中的运动补偿关联的不理想性。
这样的装置能被用来分离由于运动补偿和实际噪声导致的误差。
所述设备1包括递归滤波器模块13和多路复用器21。
在一定视频序列中包含的噪声能降低如MPEG类型的视频编码器的有效性，即使是合理的编码率，也导致很差的观看质量。
递归滤波器13优选地具有象素级的颗粒性。
视频信号10代表图像且由一定数量的象素组成。每一个图像以隔行模式被编码且图像由两帧组成。图像的每个象素被装置13滤波。
在减法器19的输入端收到视频信号10。减法器19在它的第二输入端，接收多路复用器21的输出m(x，y，t)。
递归滤波器13在输入端，接收通过如附图1所示的噪声估计器建立的帧的帧噪声电平12 sigma(σ)的估计。
噪声电平(σ)被用来计算递归系数α。
递归系数α依照帧中的噪声电平σ和在输入的视频信号e(x，y，t)与多路复用器21的输出m(x，y，t)或差分器19的输出之间计算的误差18，来对滤波效率进行加权。
α=ϵ4×σ]]>且α∈
系数α被传输到乘法器20。
因此，在乘法器20的输出端获得了下面的式子αxε＝α(e(x，y，t)-m(x，y，t))在加法器15的输出端获得了f(x，y，t)，其中f(x，y，t)＝αxe(x，y，t)+(1-α)xm(x，y，t)信号f(x，y，t)在经历一帧f(x，y，t-1)延时后，被传输到运动补偿内插装置2。内插装置2根据f(x，y，t-1)和当前帧的位移矢量(dx，dy)生成运动补偿输出r(x，y，t)。
然后运动补偿输出r(x，y，t)被传输到一个差分器22。差分器22也接收视频信号e(x，y，t)，作为输入。差分器22产生信号g(x，y，t)作为输出g(x，y，t)＝e(x，y，t)-r(x，y，t)如附图1所示的比较器23接收g(x，y，t)和噪声电平阈值Se作为输入。
阈值Se取决于能连接到本发明的降噪设备的最终应用。它表示降噪器的效果和降噪滤波器的输出端的人为噪声的出现之间的平衡。
在第一实施例中，阈值Se能线性地关联滤波严格度。
例如，如果假设有一个5位置滤波调整指针(cursor_position)，下面的值能被指定给SeSe＝16+cursor_position，16是任意设定的值。
在第二实施例中，Se能自适应噪声电平σ且为每个帧改变它。
依照本发明的第三实施例，阈值能动态且局部地被修正并自适应正在处理的图像的特征区。因此，对于运动区域，人为失真的风险增加了，降低阈值Se的值是优选的。对于低运动区域，阈值可能会更高。
多路复用器21根据阈值Se，将视频信号e(x，y，t)或运动补偿输出r(x，y，t)指向递归滤波器的一个输入端。
多路复用器能被用来在实际噪声和补偿误差之间分类。
比较器23生成对多路复用器21的控制信号。
如果g(x，y，t)＞Se，那么送到多路复用器21的控制信号告诉多路复用器21发送视频信号e(x，y，t)到递归滤波器13。
如果g(x，y，t)＜Se，那么送到多路复用器21的控制信号告诉多路复用器21发送运动补偿输出r(x，y，t)到递归滤波器13。
权利要求
1.用来估计表示图像序列的视频信号的噪声电平的设备，包括—运动补偿内插装置(2)，—递归滤波器(1)，设计为在第一输入端接收通过运动补偿内插装置(2)运动补偿的递归滤波器的输出(r(x，y，t))，且在第二输入端接收视频信号(10)，—装置(9)，计算在视频信号(10)和通过运动补偿内插装置(2)运动补偿的递归滤波器(1)的输出(r(x，y，t))之间的差。其特征在于所述设备包括装置(4)，依照所述差和定界这个差的最大阈值(Sc)，来估计视频信号(10)的噪声电平(σ)。
2.如权利要求1的设备，其特征在于估计噪声电平的装置包括装置(4)，对在视频信号(10)的图像的每一个象素，在所述阈值(Sc)处，比较所述象素值和所述运动补偿递归滤波后的象素值之间的差。
3.依照权利要求1或2中任一个所述的设备，其特征在于所述设备包括—装置(5)，为每一个图像定义由位于图像中心的多个象素组成的工作窗口，—装置(6)，对其中像素值和运动补偿递归滤波后的像素值之间的差小于所述阈值的工作窗口中的每一个象素，累积所述差，—装置(7)，通过用累积的差的数目去除先前累积的差，来计算平均噪声系数(σavg)。
4.如权利要求3所述的设备，其特征在于所述设备包括—测量每一个图像的图像间和帧内的相关性的装置，—根据平均噪声电平(σavg)和图像间与帧内的相关性，为每一帧计算总噪声电平(σglob)的装置(8a)，—依照所述帧的总噪声电平(σglob)和所述象素的亮度(luminance_threshold)，为所述帧的每一个象素计算出局部噪声电平的装置(8b)。
5.根据前述权利要求任一个所述的设备，其特征在于所述阈值(Sc)与所述递归滤波器(1)的滤波参数相关联。
6.一种用来估计表示图像序列的视频信号的噪声电平的方法，包括如下步骤—运动补偿内插，—递归滤波，设计为在递归滤波器的第一输入端接收通过内插装置运动补偿的所述递归滤波器的输出，并且在递归滤波器的第二输入端接收视频信号，—计算在视频信号和通过内插装置运动补偿的递归滤波器的输出之间差，其特征在于所述方法包括依照所述差和定界这个差的最大阈值，来估计视频信号的噪声电平的步骤。
7.一种包括依照权利要求1-5任一个所述的噪声电平估计设备的、用于降低视频信号噪声的设备。
全文摘要
本发明涉及用来估计表示图像序列的一个视频信号的噪声电平的一种设备和方法。所述设备包括－运动补偿内插装置(2)，－递归滤波器(1)，设计为在递归滤波器的第一输入端接收所述通过运动补偿内插装置(2)运动补偿的递归滤波器的输出(r(x，y，t))且在第二输入端接收视频信号(10)，－装置(9)，计算在视频信号(10)和通过运动补偿内插装置(2)运动补偿的递归滤波器(1)的输出(r(x，y，t))之间差。依照本发明，所述设备包括依照所述差和定界这个差的一个最大阈值(Sc)来估计视频信号(10)的噪声电平(σ)的装置(4)。应用于视频压缩前的降噪设备。
文档编号H04N17/00GK1607834SQ200410095150
公开日2005年4月20日 申请日期2004年10月14日 优先权日2003年10月14日
发明者让-伊夫·巴博诺, 雅基·迪厄默加尔, 奥利维耶·勒默尔 申请人:法国耐思讯公司