专利名称：编码和噪声过滤图象序列的制作方法
技术领域：
本发明涉及一种用于编码图象序列的方法和装置，在该方法和装置中把该图象序列进行噪声过滤。
Kleihorst等人[1]描述了一种采用自适应噪声滤波器的单片MPEG2编码器。
图1示出了该噪声滤波器2的结构。除了噪声滤波器2，已有技术的实施例还具有减法器1、加法器3、选择器4、主环路存储器5和运动估计器6。为了简便起见，信号表示为1维数据。此处的g(k)是被观测的有噪声信号；f^MC(k-1)]]>是先前过滤(并且编码-解码)的信号，它是从主环路存储器5恢复的。需要注意的是，下标MC表示该信号被运动补偿以沿着g(k)的运动轨迹。滤波的结果是(k),f^(k)f^]]>而不是有噪声的g(k)被插入到编码链路中。在帧间编码的宏块中，qu信号f^-f^MC(k-1)]]>。卡尔曼-增益乘数0≤C≤1被控制以使滤波器2适应现有的情况。设C=1，则提供(有噪声的)观测信号并且不发生滤波作用。如果C=0，则只提供预测，同时获得C噪声过滤的中间值。除了从整体上控制这个值之外，还可以通过运动补偿的结果直接控制C。这样做避免了在MPEG(平移的)运动模型不充分的情况下的模糊。反之，如果检测到一个良好的运动-补偿，那么该自适应性也提高了滤波作用。
本发明的一个目的特别是要提供一种更有效的滤波。因此，本发明提供了一种用于编码图象序列的方法和装置以及在附属权利要求中定义的一种摄像系统。在附属权利要求中定义了优选实施例。
本发明第一实施例的依据是把噪声过滤看作是速率-失真的优化问题，以便于适应该噪声过滤。本发明既考虑了编码图象的品质降低，又考虑了因噪声破坏而增加的传输比特量。本发明允许图象序列的自适应滤波，从而产生更好的压缩和失真性能。滤波器参数设置最好被确定为适应该滤波器的响应，其中图象序列使用一个用于压缩无噪声图象序列的最佳比特-预算(或-速率)R进行编码，并且该给定比特-预算R的失真D被最小化。因编码处理引起的一个特定帧的失真以及用于编码该帧的比特数需要被估算。通过拉格朗日乘数法计算滤波器的参数设置可有效地解决速率-失真问题。
根据本发明的又一个实施例使用了一种有效算法，该算法通过确定比特预算R的第二微商的最大值来估计最佳拉格朗日乘数。在此实施例中，最佳拉格朗日乘数的确定不需要预先知道速率限制和噪声特征。
根据本发明的一个实际实施例使用空间自适应加权平均滤波来估计该速率。在又一个实施例中，该空间自适应加权平均滤波用于预先过滤图象序列。这样做是为了利用像素间的空间相关，并且与三维滤波技术相比较是为了降低处理的负荷。位移矢量现在通过空间过滤之后的当前和先前帧进行估计，它向运动估计提供了附加的健壮性。
本发明的上述及其它方案通过参考下述的实施例将变得显而易见并且被阐明。
在附图中图1表示通过已有技术可知的自适应噪声滤波器的结构(已经讨论)；图2表示根据本发明的第一实施例，它提供组合的视频编码和噪声降低；图3表示根据本发明的第二实施例，它提供组合的视频编码和噪声降低；以及图4表示根据本发明的摄像系统。
附图仅仅示出了理解本发明所必需的元件。
本发明把图象序列的噪声过滤看作是速率-失真的优化问题，其中滤波器的响应可以被适应。特别是，最佳的滤波器参数设置被确定以使有噪声图象通过使用最佳比特预算进行编码，并且失真被最小化。最佳比特预算是用于压缩无噪声图象序列的若干比特。作为一个优选的实施例，提出了一种基于拉格朗日乘数法的解决方案。此方法可有效地解决速率-失真问题。而且还将讨论一种有效的算法，它不需要预先知道比特预算即速率限制和噪声特征就可以确定最佳拉格朗日乘数。
总之，不降低原始信号就不可能实现最佳的噪声过滤。本发明的一个方案是，在一个特定视频编码的上下文中的过滤图象序列的问题被看作是-通过使用最佳比特预算R，即用于编码一个无噪声序列的比特数来编码有噪声的序列；-已知R，最小化因过滤产生的失真，其中一个给定噪声滤波器的系数被适应。
这可以被看作是一个资源分配问题，其中允许给定比特预算的有效分布的最佳参数设置必须被求出，以确保令人满意的图象品质。本发明可看作是一个通用速率-失真优化框架，以确定一个给定视频编码器的最佳滤波器参数设置。
图2表示根据本发明的装置10，它示出了组合的视频编码和噪声过滤。装置10包括减法器11、带有处理单元CPU12*的噪声滤波器12、加法器13、开关14、离散余弦变换器(DCT)15、量化器(Q)16、可变长编码器(VLC)17、反向量化器(Q-1)18、逆DCT(DCT-1)19、加法器20、运动估计器(ME)／运动补偿器(MC)21和开关22。装置10是一个混合编码器，它通过DCT变换以及量化和运动补偿时空编码输入的图象序列g(i，j，k)。该装置产生帧内编码帧(I)和帧间编码帧(P)。帧间编码帧被运动补偿，而帧内编码帧则没有。如果是帧内编码帧，则开关14和22置于不执行运动补偿的位置上。所有的帧均在DCT15进行DCT编码，在Q16量化并且在VLC17进行熵编码。为了获得运动估计和运动补偿所必需的重建帧，编码帧在Q-118进行反向量化并且在DCT-119进行逆DCT变换。重建的帧存储在位于ME／MC单元21之内的帧存储器中。噪声滤波器12过滤一个差分帧，这是因为它与减法器11连接。下面将更详细地讨论装置10，特别是具有CPU12*的噪声滤波器12。
假定一个典型的简化附加噪声模型，已知g(i，j，k)=f(i，j，k)+n(i，j，k)(1)其中g(i，j，k)表示所观测的图象序列，它输入到了减法器11，f(i，j，k)表示原始序列，并且n(i，j，k)表示噪声；i，j是空间坐标，而k是离散时间变量(帧指数)。噪声n(i，j，k)假定为零-平均，白噪声，独立于f(i，j，k)并且使用恒定变量σ2n进行高斯分布。
作为一个示例并且为了保持低计算量，下面的讨论将集中于一个产生滤波帧的简化运动补偿(MC)的噪声滤波器[2]F(i,j,k)=F(i+vi,jx(k),j+vi,jy(k),k-1)+ci,j(k)(g(i,j,k)-F(i+vi,jx(k),j+vi,jy(k),k-1))]]>其中v‾i,j(k)=[vi,jx(k)vi,jy(k)]T]]>是位置(i，j)的位移，而Ci，j(k)是一个控制参数以适应噪声滤波器12的响应。
对于给定的MC视频编码系统10来说，现在考虑一个被分成k1×k2个固定尺寸的块区域的图象以用于运动估计和运动补偿相应的位移设置是dk=(d-0,0(k),...,d-K1-1,K2-1(k))]]>。另外，假定图象被分成尺寸为I×J的NI×N2个未重叠的块以用于MC滤波。相应地控制参数设置和位移设置分别为Ck=(C0,0(k,....,CN1-1,N2-2(k)))]]>。控制参数设置和运动矢量假定为均在可允许值的有限设置中。Fn1,n2(i,j,k)=F(i+vxn1,n2(k),j+vyn1,n2(k),k-1)+Cn1,n2(k)[gn1,n2(i,j,k)-F(i+vxn1,n2(k),j+vyn1,n2(k),k-1)](3)表示要编码的滤波帧，并且F~k1,k2(i,j,k)=F~(i,+dk1,k2x(k),j+dk1,k2y(k),k-1)]]>+Q[Fn1,n2(i,j,k)-F~(i,+dk1,k2x(k),j+dk1,k2y(k),k-1)(4)]]>表示在解码器所显示的重建的过滤帧，其中Q[．]是在量化器16提供的量化算子。应当注意的是k1和k2是指数，指示用于运动估计和运动补偿的块区域。
两个分离的运动估计/补偿处理必须被执行一个用于噪声过滤，另一个用于运动补偿编码。为了节省计算量，此处假定F(i，j，k)=g(i，j，k)，并且序列g(i，j，k)的编码是沿着运动轨迹vk=dk[1]进行滤波的。这意味着该滤波是基于在编码环路中执行的运动补偿预测。见图2。
重建的过滤帧则是F~k1,k2(i,j,k)=F~(i+dk1,k2x(k),j+dk1,k2y(k),k-1)]]>-Q[Cn1,n2(k)(gn1,n2(i,j,k)-F~(i+dk1,k2x(k),j+dk1,k2y(k),k-1))](5)]]>需要注意的是，由于运动估计是通过有噪声的观测信号g(i，j，k)执行的，所以噪声可能会产生不精确的运动估计，这样就损害了运动补偿预测。因此在一个优选实施例中采用了—种用于dk计算的噪声-健壮运动估计器(ME)21。可使用低复杂性的时空递归ME[3]。
速率-失真优化问题被公式化以用于计算控制参数设置Ck。设定Rkf]]>是用于编码与无噪声序列f(i，j，k)相关的移位帧差(DFD)的比特数，则DFD(f,f~)=Q(fk1,k2(i,j,k)-f~(i+dk1,k2x(k),j+dk1,k2y(k),k-1))--(6)]]>其目的是求得最小化帧失真的设置Ck对于给定的比特率限制来说，Dg(Ck)=函数(g(i，j，k)，F~]]>(i，j，k))。
需要注意的是，由于无法获得f(i，j，k)，所以只有由于通过Dg(Ck)的滤波所引起的失真被考虑，但不可能考虑因噪声而引起的损害。
设Dn1,n2g(Ck)]]>和Rn1,n2g(Ck)]]>分别表示与区域(n1，n2)相关的失真和速率。那么RD优化问题可表示为minDCKg(Ck)=minCkΣn1,n2Dn1,n2g(Ck)--(7)]]>设定Rkg=Σn1,n2Rn1,n2g(Ck)=Rkf-----(8)]]>等式(5)、(7)和(8)定义所提出的用于视频编码的RD优化的MC时间噪声滤波器。
为了有效地解决这个问题，通过拉格朗日乘数λk[4]合并速率项和失真项可以公式化一个未限制的问题。引入总拉格朗日成本函数J(Ck,λk)=Σn1,n2[Dn1,n2g(Ck)+λkRn1,n2g(Ck)]--(9)]]>已经示出[5]，如果具有λk，则C-k=arg{minjCk(ck,λ-k)}(10)]]>得出R-kg=Σn1,n2Rn1,n2g(C-k)=Rkf-----(11)]]>则Ck也是(7)、(8)的最佳解。
平分法可用于求出最佳λk。假定噪声过滤的分配方式是没有帧间区域的相关，则区域(n1，n2)的速率和失真均仅仅是根据与该区域相关的单个Cn1，n2(k)。因此，我们有Rn1,n2g(Ck)=Rn1,n2g(Cn1,n2(k))---(12)]]>以及Dn1,n2g(Ck)=Dn1,n2g(Cn1,n2(k))---(13)]]>其中该失真表示为Dn1,n2g(Cn1,n2(k))1IJΣi-1IΣj-1J(gn1,n2(i,j,k)-F~n1,n2(i,j,k))2--(14)]]>因此，可以引出分离最小化的原则，把(10)的联合优化问题转换为较简单的优化问题，其中每个控制参数Cn1，n2(k)∈Ck可以被单独确定，根据是C-n1,n2(k)=argminCn1,n2(k)[Dn1,n2g(Cn1,n2(k))+λ-kRgn1,n2(Cn1,n2(k))]--(15)]]>由于通常预先不知道与帧f(i，j，k)相关的速率Rkf]]>，所以不可能计算λk以完成(11)。一种有效的方法被提出，它是基于[6]中所述的方案。此方案显示通过输入数据估计噪声功率，而不需要附加的一个事先的信息。最佳λk的估计λk·-]]>计算如下并且所设定的是Rkg(λk*-)=Rkf......(17)]]>此等式的解释如下开始于λk=0，不断变小的比特预算被分配以编码由于附加噪声破坏的图象序列，从而降低资源以编码噪声并且提高图象的可压缩性。在一个导致为拐点的特定λk时，编码原始序列的确切比特数被分配。在这个值之后，压缩率慢慢增加，它表示少于必需的比特被分配以编码视频信息。
在图3所示的本发明第二实施例10*中，空间自适应加权平均(SAWA)滤波器23作为速率项的估计器使用。在[7]中可以找到对SAWA滤波器的详细描述。在第k帧的像素位置(i，j)的SAWA估计h(i，j，k)定义如下h(i,j,k)=Σ(m,n,l)∈S(i,j,k)w(m,n,l)g(m,n,l)---(18)]]>其中(i,j,k)=K(i,j,k)1+αmax{ϵ2,[g(i,j,k)-g(i,j,k)]2}---(19)]]>是空间支持s(i，j，k)之内的加权，定义为以当前像素位置为中心的3×3空间窗口。k(i，j，k)是一个归一化常数，a和ε是调谐参数。通常设置为1的数量a控制加权降低的快速程度以作为像素值间的失配函数，而参数ε2确定加权和直接平均之间的转换。为了不考虑噪声电平而精确估计编码DFD的比特数，可根据实验确定参数ε2和噪声变量σn2]]>之间的关系。通过若干实验已经获得ϵ2=(δσn2)2]]>，其中δ是一个调谐常数。速率Rkf]]>的估计Rkf-]]>则是用于编码的比特数DFD(h,h~)=Q(hk1,k2(i,j,k)-h~(i+dk1,k2x(k),j+dk1,k2y(k),k-1))---(20)]]>比特数Rkf-]]>在VLC17中确定并且提供给噪声滤波器12的CPU12*。可以为每帧计算参数设置Ck，但也可以对特定数的帧保持恒定。
总之，可采用三维滤波技术以便于既利用像素间的空间相关又利用帧间的时间相关。而且，为了降低处理的负荷，滤波程序可以分为一个空间部分和一个时间部分，其中该空间部分对每个帧独立操作，该时间部分在运动方向上进行操作。此技术对于低SNR具有特别的优势，这是因为位移矢量现在通过已经空间滤波之后的当前和先前帧进行估计，它向运动估计提供了附加的健壮性。根据此方案可以首先进行当前帧g(i，j，k)的SAWA预滤波，随后MC时间滤波器可用于整平的图象；即等式(5)的g(i，j，k)由等式(18)的h(i，j，k)代替，见图3。为了实现最佳失真性能，SAWA预过滤设置为ϵ2=2σn2]]>。
根据本发明的视频编码器可以在很多应用中使用，如广播、电视电话、电视会议系统、卫星观测、监视系统等。图4表示根据本发明的一种摄像系统，包括摄像机100和装置200。摄像机把图象序列g(i，j，k)提供给装置200。装置200类似于分别如图2和3所示的装置10或装置10*。
本发明可特别应用于低比特率的运动补偿混合编码方案，如H．261和H．263，但也可应用于MPEG。
简而言之，本发明提供了一种用于编码图象序列g(i，j，k)的方法和装置。该装置具有一个用于噪声过滤图象序列g(i，j，k)的噪声滤波器，用于把噪声过滤看作是速率-失真优化问题以便于适应噪声滤波器的响应的装置。特别是，滤波器参数设置C被确定以适应该滤波器的响应，其中图象序列g(i，j，k)使用最佳比特-预算进行编码，该最佳比特-预算是用于压缩无噪声图象序列的比特预算，并且该给定比特-预算的失真被最小化。
速率-失真问题的解决被提出，它通过拉格朗日乘数法计算滤波器参数设置C。分离的最小化用于独立确定参数设置C的每个参数。在一个实际实施例中，空间自适应加权平均滤波用于估计比特预算并且用于预先过滤图象序列g(i，j，k)。
需要注意的是，上述实施例表示而不是限制本发明，并且本领域的普通技术人员在不背离附属权利要求的范围的情况下能够设计许多其它的实施例。在该权利要求中，括号内的任何参考符号不应当被理解为限制权利要求。词语“包括”不排除存在权利要求所列之外的其它元件或步骤。本发明可通过包括几个不同元件的硬件并且通过适当编程的计算机实施。在列举几个装置的设备要求中，几个这些装置可通过硬件的相同项体现。
权利要求
1．一种编码(10，10*)一个图象序列(g(i，j，k))的方法，该方法包括的步骤是噪声过滤(12)该图象序列(g(i，j，k))；并且根据所述编码(10，10*)的速率-失真优化自适应(12*)所述噪声过滤(12)。
2．根据权利要求1所述的方法，其中该自适应步骤(12*)包括的步骤是通过拉格朗日乘数法计算(12*)所述噪声过滤(12)的滤波器参数设置(C)；以及通过确定在速率-失真优化中使用的一个速率的第二微商的最大值估计(12*)最佳拉格朗日乘数。
3．根据权利要求1所述的方法，其中该自适应步骤包括的步骤是空间过滤(23)该图象序列；以及把用于编码空间滤波的图象序列的若干比特看作是在速率-失真优化中使用的速率(17)。
4．一种编码(10，10*)一个图象序列(g(i，j，k))的装置，该装置包括用于噪声过滤该图象序列(g(i，j，k))的装置(12)；以及用于根据所述编码(10，10*)的速率-失真优化自适应所述噪声过滤(12)的所述装置的响应的装置(12*)。
5．一种摄像系统，包括权利要求4所要求的一个摄像机(100)和一个装置(200)。
全文摘要
本发明提供了一种用于编码(10*)一个图象序列(g(i,j,k))的装置。该装置(10*)包括一个用于噪声过滤(12)该图象序列(g(i,j,k))的噪声滤波器(12),以及用于把噪声过滤(12)看作是速率－失真优化问题以便于适应噪声滤波器(12)的响应的装置(12)。特别是,滤波器参数设置被确定为适应该滤波器(12)的响应,其中图象序列(g(i,j,k))使用一个用于压缩无噪声图象序列的最佳比特－预算进行编码,并且该给定比特－预算的失真被最小化。速率－失真问题的解决被提出,它通过拉格朗日乘数法计算(12)滤波器参数设置(C)。分离的最小化用于独立确定参数设置(C)的每个参数。在一个实际的实施例中,空间自适应加权平均(SAWA)滤波(23)用于估计比特预算(R
文档编号H04N7/50GK1292978SQ99803793
公开日2001年4月25日 申请日期1999年12月24日 优先权日1999年1月15日
发明者S·奥伊维里 申请人:皇家菲利浦电子有限公司