专利名称：用于减小含噪图像或图像序列的编码的噪声的方法
技术领域：
本发明涉及一种用于减小含噪图像或图像序列的编码的噪声的方法。
背景技术：
专业视频应用(例如，建筑物的监视系统、工业制造和医疗应用)需要具有非常高质量的视频信号。这些信号很可能具有非常高的空间分辨率以及时间方向，因此未压缩的数据可以变得非常大。因此，重要的是，在没有可见信息损失的情况下尽可能多地压缩这些信号。最近的视频压缩系统利用了图像之间的时间相关性，但是针对消费者质量应用优化了这些视频压缩系统。通常，通过物理过程而获取的图像序列可以被视为被通过获取过程而引起的噪声降级。噪声可能源自传感器噪声、放大器噪声或量化噪声等等。已经发现，在非常高的质量 下，所谓的帧间编码变得相比于所谓的帧内编码不那么高效。帧间是以一个或多个相邻帧的方式表达的视频压缩流中的帧。术语的部分“间”指代对帧间预测的使用。这种类型的预测尝试利用相邻帧之间的时间冗余，以便实现更高的压缩率。术语帧内编码指代以下事实关于仅包含于当前帧内的信息而不关于视频序列中的任何其他帧来执行各种无损和有损压缩技术。换言之，不在当前画面或帧之外执行时间处理。预期帧间和帧内编码的效率不同的原因是视频信号内的(加性)噪声，其在视频编码器/解码器内实现运动补偿预测。为了改进编码效率，可以在编码之前将不同算法应用于含噪图像序列。可以在视频编码器内进行噪声预滤波。因此，在改进含噪图像序列的主观质量的同时降低了对含噪图像序列进行编码的比特率。然而，滤波过程引入了误差，这在视频信号的无损压缩中是不允许的。比特率降低的另一种方案是有损编码视频数据的环内滤波。在有损编码中，解块滤波器或量化噪声去除滤波器可以改进编码效率以及信号的视觉质量。用于减小脉冲噪声的环内去噪滤波器使得比特率降低并使得主观质量改进。
发明内容
因此，本发明的一个目的是提供一种用于改进含噪图像序列的编码的噪声降低的方法。本发明的另一目的是提供一种用于改进含噪图像序列的无损编码的噪声降低的方法。本发明的又一目的是提供一种允许含噪图像序列的编码的噪声减小方面的改进的编码器和解码器。这些目的由根据权利要求I所述的方法、根据权利要求15所述的编码器和根据权利要求16所述的解码器解决。在从属权利要求中阐述了优选实施例。本发明提供了一种用于减小含噪图像或图像序列的编码的噪声的方法。所述方法包括以下步骤将预测误差与预测帧或预测块相加，以便接收编码器要在预测环中进一步使用或者要发送至解码器的输出端的解码帧或解码块，其中，参考帧或参考块包括相应的有用信号部分和噪声信号部分。作为另一步骤，所述方法包括利用专用噪声减小滤波器来仅对所述参考帧或参考块进行去噪，以减小或消除所述参考帧或参考块的噪声信号部分。为了改进含噪图像或含噪图像序列的运动补偿预测，根据本发明的方法基于以下思想在保持尽可能多的相关细节的同时，最小化参考帧(其是已重构的帧)内的噪声。由此，参考帧中越少的噪声允许越精确的运动估计。此外，差信号具有较小的能量，并且从而导致编码的比特流的比特率降低。因此，生成了用于帧预测的更好的参考帧。本发明的另一优势在于可以实现较高的压缩效率。根据本发明的专用噪声减小滤波器是专门被设计为对噪声进行滤波的滤波器。根据优选实施例，所述参考帧或参考块被运动补偿元件进行运动补偿，以接收预测帧或预测块。因此，运动补偿后的参考帧或参考块是预测帧或预测块，还被本领域技术人员称为预测器或预测器信号。根据另一优选实施例，使用了噪声自适应滤波器，其适于通过评估要被编码的当
前帧来估计噪声。通过评估当前帧，自适应滤波器评估噪声性质和统计特性，例如噪声的均值、方差和自相关函数等等。此外，关于视频/图像内容、视频/图像分辨率、统计特性等等来分析有用信号部分。在该评估后，噪声自适应滤波器在保持相关编码细节的同时去除尽可能或适当多的噪声。例如，暗场景通常比亮图像/视频内容包含更多噪声。噪声自适应滤波器的特性暗示了 当在必须用于预测的参考帧或参考块中存在越多噪声时，滤波越强。此外,可以将像素位置自适应滤波器用作考虑参考巾贞或参考块的内容的噪声减小滤波器。特别地，滤波的量可能依赖于局部信号特性。后者意味着为了高效的视频压缩，应当保留边缘。例如，可能使用用于滤波的具有不同大小的不同滤波器窗口。在优选实施例中，作为噪声减小滤波器，使用了最小均方误差(MMSE)估计器(例如，作为线性估计器的维纳滤波器)。然而，可以使用减小噪声但保留图像内容的任何滤波器。噪声减小滤波器是具有线性特性还是非线性特性是不相关的。根据另一优选实施例，在不直接影响编码器进一步编码的预测误差的情况下，在预测环内对参考帧进行去噪。预测环内的去噪有时被称作环内去噪。根据该建议，有可能使该方法适用于有损以及无损视频编码。进一步优选地，在预测环的缓冲器中对参考帧进行缓冲之前或之后进行去噪。此夕卜，还可以在可特别用于低噪声水平的运动补偿元件之后插入环内去噪滤波器。根据另一优选实施例，在参考帧的每个颜色通道上单独应用或者对其组合应用去噪。对于无损编码，绕过量化元件，该量化元件位于从将当前帧和参考帧进行比较的比较装置至输出预测误差和帧的输出端的路径中。根据另一实施例，要被编码的当前块以及参考块是单个帧的块或区域(即，一个像素或者一定量的像素)。因此，要被编码的块被称为帧内编码块(即，帧内块)。根据另一优选实施例，在编码器和解码器中布置了相同的噪声减小滤波器，以仅对参考帧进行去噪。换言之，必须在解码器中应用相同的噪声减小(去除)滤波器。编码器的噪声减小滤波器的去噪滤波器参数可能是编码比特流的一部分。在将去噪滤波器参数从编码器传输至解码器的情况下，可能发信号通知去噪滤波器参数标记。如果未设置滤波器参数标记，则解码器可能自身估计滤波器参数(或者滤波器参数的部分)。例如，可以在编码器和解码器处类似地估计噪声强度。
根据另一优选实施例，在编码器中，将要被编码的当前帧与预测帧或预测块进行比较以便接收编码器要在预测环中进一步使用的预测误差，其中，所述预测帧或预测块仅由有用信号部分构成(在理想噪声滤波的情况下)。根据另一优选实施例，去噪针对量化元件的量化参数而言是自适应的，使得去噪越低，则量化参数越高(即，量化步长大小越高)，并且反之亦然。去噪算法可以针对量化参数而言是自适应的，这是由于含噪参考帧的量化可以部分地具有对参考帧的噪声部分的噪声减小能力。本发明还提供了一种编码器，包括第一装置，其用于将预测误差(eq[X，y])与预测帧(f[x, y])或预测块相加，以便接收编码器(ENC)要在预测环中进一步使用或者要发送至解码器(DEC)的输出端的解码帧(gq[X，y])或解码块，其中，参考帧(gq[x，y])或参考块(FR)由相应的有用信号部分和噪声信号部分构成。所述编码器还包括第二装置，其用于利用专用噪声减小滤波器(WF)来仅对所述参考帧(gq[X，y])或参考块(FR)进行去噪，以减小或消除所述参考帧(gq[x，y])或参考块(FR)的噪声信号部分。 此外，本发明提供了一种解码器，包括第三装置，其用于将预测误差(eq[x，y])与预测帧(f[x, y])或预测块相加，以便接收编码器(ENC)要在预测环中进一步使用或者要发送至解码器(DEC)的输出端的解码帧(gq[X，y])或解码块，其中，参考帧(gq[X，y])或参考块(FR)由相应的有用信号部分和噪声信号部分构成。所述解码器另外包括第二装置，其用于利用专用噪声减小滤波器(WF)来仅对所述参考帧(gq[X，y])或参考块(FR)进行去噪，以减小或消除所述参考帧(gq[x，y])或参考块(FR)的噪声信号部分。应当注意，根据本发明的方法以及编码器和解码器可以以软件实现，并可以由计算机或处理单元执行。
将参照附图来更详细地解释本发明。图I示出了根据本发明的编码图的第一实施例。图2示出了根据本发明的解码器图的第一实施例。图3示出了关于使用根据本发明的用于帧内预测方法的可能性的示意图。图4A、4B示出了根据本发明的编码器和解码器的第二实施例。图5A、5B示出了根据本发明的编码器和解码器图的第三实施例。图6A、6B示出了根据本发明的编码器和解码器图的第四实施例。
具体实施例方式将借助不同编码器和解码器的框图来更详细地描述本发明。为了简明，在一个具体时间点处观察框图，其中，仅一个当前帧g[x，y]必须被编码，并且另一预测帧: χ，yl可用。图I示出了根据本发明的第一实施例的有损视频编码器ENC的框图。将当前帧g[x，y]和预测帧: χ, y]馈送至比较装置10。在比较装置10的输出端处，将预测误差e[x，y]馈送至变换装置11。被称为T块的变换装置11表示预测误差e[x，y]的任何进一步去相关，即，(几乎)无损的可逆变换。变换装置11的输出端被连接至量化装置12，可以绕过或跳过该量化装置12以接收无损视频编码器。量化装置12的输出端被连接至视频编码器内的熵编码器13。熵编码器13连接至输出编码比特流CB的输出端OUT。预测帧^由预测环的元件提供。预测环由变换装置14构成，该变换装置14适于对变换后且可选地量化后的预测误差e[x，y]进行求逆(reverse)。由此，变换装置14将求逆后的预测误差eq[X，y]馈送至相加装置15的第一输入端。在相加装置15的第二输入端处，馈送预测信号:y]。在相加装置15的输出端处，将作为重构的当前帧的信号gq[X，y]馈送至用于对噪声(例如，加性噪声)进行滤波的噪声减小滤波器16。噪声减小滤波器16的输出端被连接至参考画面缓冲器17。参考画面缓冲器17连接至编码器ENC内的运动估计和运动补偿元件18。在运动估计和运动补偿元件18的输出端处，将(运动补偿后的)参 考中贞^ [X, y]馈送至比较和相加元件10和15。运动估计和运动补偿元件18进一步接收当前帧g[x，y]。熵编码器13从运动估计和运动补偿元件18以及从噪声减小滤波器16接收控制信息。利用以下等式来描述利用视频编码器ENC中的比较装置10从当前帧中减去运动补偿后的参考帧(也被称为预测帧)
_8] Φ,,] = ,[-,] -/[-,]⑴，其中，X和y是空间坐标，g[x，y]是描述必须被压缩的当前帧的信号，纟[x,y]是描述运动补偿后的参考帧的预测信号，并且e[x，y]是必须在变换、可选的量化和熵编码之后传输至图2所示的解码器的预测误差。假定图像序列被独立的加性白噪降级，那么信号可以被写为g[x, y] = sg[x, y]+ng[x, y] (2), / [上·，y] = S f [1，y] + n f [x, y] ⑶其中，\和\分别是信号的有用部分，且\和^分别是相应信号的噪声部分。从等式(I)、(2)和(3)得出
e [丄，y] = Sg [；c ’ y] - s / [丄· ’ y] +
- ,V 卜·， /]’
”办‘ /](4)。从等式(4)中可见，预测误差由两个主要分量构成。如果当前无噪声帧与无噪声参考帧之间的相关性增大，则可以最小化信号分量se[x，y]。然而，噪声分量njx，y]变得更高，这是由于当前帧的噪声一般独立于参考帧的噪声。在加性高斯白噪的情况下，误差图像的噪声方差变为与这两个图像之一的噪声方差的两倍一样高。尤其是在无损编码应用中，必须对当前画面的噪声部分进行编码。为了提高压缩效率，应当在不将高降级引入信号的有用部分中的情况下最小化参考帧中的噪声。这将允许最小化预测误差中的噪声量，而将编码过程保持为无损。
在图I中作为针对(加性)噪声的去噪滤波器而引入的滤波器16在编码器图中位于与有损编码应用中通常使用的解块滤波器相同的位置处。在将重构的图像保存至参考缓冲器17之前，应当利用稍后将解释的去噪算法来处理该图像。然而，还可以在于参考缓冲器17中进行缓冲之后执行借助噪声减小滤波器16而进行的去噪。该去噪算法适于视频(即，当前帧g[x，y])中存在的噪声性质。为了将编码过程保持为无损，应当在解码器DEC中应用相同过程。在图2中，示意了无损解码器DEC的图。在该图中，在解码器DEC的输入端IN处，将编码比特流CB馈送至熵解码器30。参考标记31描绘了与相加装置32相连接的变换装置。在与变换装置31相连接的第一输入端处，馈送误差帧eq[X，y]。在比较装置32的与运动补偿元件35相连接的第二输入端处，馈送预测帧:y]。比较装置32的输出端被连接至预测器环，该预测器环包括在编码器ENC中使用的相同噪声减小滤波器33、参考缓冲器34和运动补偿元件35。在编码器ENC和解码器DEC 二者中，噪声减小元件16和33分别不被连接至其输出端OUT。因此，输出信号(编码比特流BC和已编码的比特流EB)不受噪声减小滤波器影响。 在解码器DEC中，首先在将参考画面存储在参考画面缓冲器34中之前对该参考画面进行去噪。与量化噪声去除滤波器或解块滤波器的主要差别在于将在应用噪声滤波之前显示图像。否则，编码和解码过程不能是无损的。优选地，使用自适应最小均方误差估计器(例如，作为线性估计器的自适应维纳滤波器)算法来减小参考帧中的(加性)噪声。滤波器最小化含噪和无噪图像序列之间的平方误差，这是用于高斯过程的维纳滤波器的目的。此外，滤波器防止通过使用图像信号的局部统计来使轮廓平滑，这对精确运动补偿而言是重要的。如果在编码器ENC处将一组不同滤波器(线性的或非线性的)之一用作噪声减小滤波器16，则必须将对去噪滤波器及其参数的选择发信号通知给解码器，以使用该信息。非线性滤波器通常是在医疗成像应用中使用的或者是在有用信号或噪声信号的特性的高斯假定不正确的情况下使用的。以下，将更详细地描述去噪算法，其中，作为示例，将维纳滤波器用作噪声减小滤波器在信号和加性噪声不相关且被视为固定的局部区域中，维纳滤波器被描述为
「 n Ir(Jn-' ’Φ// , ) -|- Φηη , )
(5),其中，0>#(^\^^)和0 (^^8)分别是信号f[x，y]和噪声η[χ，y]的功率谱密度。在白噪声的情况下，功率谱密度简化为n ( χ , eJ ) =其中，σ 2是噪声信号n[x，y]的方差，其被假定为空间不变的。信号f[x，y]可以由空间局部均值yf[x，y]与空间变化局部方差之和来建模。如果信号f[x，y]是零均值的，则该局部区域内的功率谱密度简化为
权利要求
1.一种用于减小含噪图像或图像序列的编码的噪声的方法，包括以下步骤 -将预测误差(eq[X，y])与预测帧(f[x, y])或预测块相加，以便接收编码器(ENC)要在预测环中进一步使用或者要被发送至解码器(DEC)的输出端的解码帧(gq[X，y])或解码块，其中，参考帧(gq[x，y])或参考块(FR)由相应的有用信号部分和噪声信号部分构成；以及 -利用专用噪声减小滤波器(WF)来仅对所述参考帧(gq[X，y])或参考块(FR)进行去噪，以减小或消除所述参考帧(gq[x，y])或参考块(FR)的噪声信号部分。
2.根据权利要求I所述的方法，其中，所述参考帧(gq[X，y])或所述参考块(FR)由运动补偿元件(18 ；35)进行运动补偿，以接收所述预测帧(f[x, y])或所述预测块。
3.根据权利要求I或2所述的方法，其中，使用了噪声自适应滤波器(WF)，所述噪声自适应滤波器(WF)适于通过评估所述参考帧(gq[X，y])或所述参考块(FR)来估计噪声。
4.根据前述权利要求之一所述的方法，其中，将像素位置自适应滤波器(WF)用作考虑所述参考帧(gq[x，y])或参考块(FR)的内容的噪声减小滤波器。
5.根据权利要求4所述的方法，其中，滤波的量依赖于局部信号特性。
6.根据前述权利要求之一所述的方法，其中，在不直接影响要被编码器(13)进一步编码的预测误差(eq[X，y])的情况下，在预测环内对所述参考帧(gq[X，y])进行去噪。
7.根据前述权利要求之一所述的方法，其中，对所述参考帧(gq[X，y])的每个颜色通道分别应用去噪或者对其组合应用去噪。
8.根据前述权利要求之一所述的方法，其中，所述当前块和参考块(FR)是单个帧的块或区域。
9.根据前述权利要求之一所述的方法，其中，在所述编码器(ENC)和解码器(DEC)中布置了相同的噪声减小滤波器，以便也仅对所述参考帧(gq[x，y])进行去噪。
10.根据权利要求9所述的方法，其中，所述编码器(ENC)的噪声减小滤波器(WF)的去噪滤波器参数是编码比特流的一部分。
11.根据权利要求9所述的方法，其中，所述编码器(ENC)的噪声减小滤波器(WF)的去噪滤波器参数由所述解码器(DEC)估计并被提供给其噪声减小滤波器(WF)。
12.根据前述权利要求之一所述的方法，其中，将要被编码的当前帧(g[x，y])与预测中贞(f[x, y])或预测块进行比较以便接收所述编码器(ENC)要在预测环中进一步使用的预测误差(6[1，7])，其中，所述预测帧(f[x, y])或预测块仅由噪声滤波的信号部分构成。
13.根据权利要求12所述的方法，其中，绕过量化元件(12)，所述量化元件(12)位于从将所述当前帧(g[x，y])和所述预测帧(f[x, y])进行比较的比较装置(10)至输出编码比特流(CB)的输出端(OUT)的路径中。
14.根据权利要求13所述的方法，其中，去噪针对所述量化元件(12)的量化参数而言是自适应的，以使得去噪越低，量化参数越大，并且反之亦然。
15.用于减小含噪图像或图像序列的编码的噪声的编码器，包括 -第一装置，其用于将预测误差(eq[X，y])与预测帧(f[x, y])或预测块相加，以便接收编码器(ENC)要在预测环中进一步使用或者要被发送至解码器(DEC)的输出端的解码帧(gq[x, y])或解码块，其中所述参考帧(gq[x，y])或参考块(FR)由相应的有用信号部分和噪声信号部分构成；以及 -第二装置，其用于利用专用噪声减小滤波器(WF)来仅对所述参考帧(gq[X，y])或参考块(FR)进行去噪，以减小或消除所述参考帧(gq[X，y])或参考块(FR)的噪声信号部分。
16.用于减小含噪图像或图像序列的编码的噪声的解码器，包括 -第三装置，其用于将预测误差(eq[x，y])与预测帧(f[x, y])或预测块相加，以便接收编码器(ENC)要在预测环中进一步使用或者要被发送至解码器(DEC)的输出端的解码帧(gq[x, y])或解码块，其中所述参考帧(gq[x，y])或参考块(FR)由相应的有用信号部分和噪声信号部分构成；以及 -第四装置，其用于利用专用噪声减小滤波器(WF)来仅对所述参考帧(gq[X，y])或参考块(FR)进行去噪，以减小或消除所述参考帧(gq[X，y])或参考块(FR)的噪声信号部分。
全文摘要
本发明涉及一种用于减小含噪图像或图像序列的编码的噪声的方法。本发明包括步骤将预测误差(eq[x，y])与预测帧(公式(I))或预测块相加，以便接收编码器(ENC)要在预测环中进一步使用或者要被发送至解码器(DEC)的输出端的解码帧(gq[x，y])或解码块，其中，参考帧(gq[x，y])或参考块(FR)由相应的有用信号部分和噪声信号部分构成。此外，所述方法包括步骤利用专用噪声减小滤波器(WF)来仅对所述参考帧(gq[x，y])或参考块(FR)进行去噪，以减小或消除所述参考帧(gq[x，y])或参考块(FR)的噪声信号部分。
文档编号H04N7/50GK102870410SQ201180006803
公开日2013年1月9日 申请日期2011年1月12日 优先权日2010年1月20日
发明者E·威格, P·阿蒙, A·胡特, A·考普 申请人:西门子公司