专利名称：视频降噪编码方法和视频降噪编码装置的制作方法
技术领域：
本发明涉及视频编解码技术，尤其涉及一种噪声环境下的视频降噪编码方法和视
频降噪编码装置。
背景技术：
视频编码技术是将数字视频信息压縮，以便实现更有效地被传送和存储；视频解码技术则是对已编码视频信息进行解析重建，得到视频图像。 目前，视频压縮编码标准主要由活动图像专家组(MPEG) 、 ITU-T SG16Q6视频编码专家组(VCEG)及VCEG与MPEG联合专家组(JVT)制定，这些标准包括H. 263、 MPEG2、MPEG4-Part2及最新的H. 264/AVC(MPEG4-Part10)。其它的视频编码标准还有VC_1和中国音视频标准组(AVS)制定的视频编码标准AVS1.0-P2等。上述视频编码标准均采用基于块的运动补偿和变换编码的混合编码架构，包括帧内预测、帧间预测、变换、量化和熵编码等。相应地，在解码时，包括熵解码、反量化、反变换以及预测补偿等一系列解码重建过程。
以H. 264标准为例，视频编解码时，按时间、空间由高到低分成序列、图像组、图像(也称帧)、条带组、条带、宏块、子宏块等不同层次。其中，编解码的基本处理单元是宏块，一个宏块通常包括一个16X16的亮度样值块和对应的色度样值块，宏块又进一步可分为子宏块，在H. 264标准中，子宏块的大小有16*8 、 8* 16 、 8*8 、 8*4、 4*8 、 4*4等。帧内、帧间预测和变换常常对子宏块进行。 参见图1，图1为H. 264/AVC(MPEG4-Part10)标准的视频编码流程框架图。如图1所示，对当前图像Fn编码过程中，可选择采用帧内预测，也可选择采用帧间预测。若采用帧内预测，则在对一给定块编码时，可以使用空间预测模式，根据周围的块对该给定块进行帧内预测，得到预测值P，用给定块的实际值减去预测值P得到残差值Dn ;若采用帧间预测，则在对一给定块编码时，首先在参考图像F' n—工中进行运动估计，找到最优匹配块，得到运动矢量(MV)，然后对参考图像按照运动矢量进行运动补偿(MC)，得到预测值P，用给定块的实际值减去预测值P得到残差值Dn。其中，为了提高预测精度，从而提高压縮比，实际的参考图像可在过去或未来(指显示次序上)已编码解码重建和滤波的帧中进行选择。之后，对残差值Dn经变换、量化后产生一组量化后的变换系数X，再经熵编码，与解码所需的一些边信息(如预测模式量化参数、运动矢量等) 一起组成一个压縮后的码流。
其中，编码过程中的参考图像为已编码图像的重建图像，对残差图像进行反量化、
反变换后得到D'n，将得到的D'n与预测值P相加，得到uF'n(未经滤波的帧)。为了去
除编解码环路中产生的噪声，提高参考帧的图像质量，从而提高压縮图像性能，设置了一个环路滤波器，用于对每个编码块的边界像素进行滤波，经环路滤波后的输出即为重建图像F' n，可用作参考图像。其中，若为帧内预测，则预测值P根据相邻块帧内预测得到；若为帧间预测，则预测值P由解码已重建图像(即该重建图像编码时的参考图像)运动补偿(MC)得到。 实际编解码过程中，对于新一代标准H. 264/AVC(MPEG4-Part10) 、VC-1、AVS1. 0-P2而言，参考图像可有多个，帧间图像(P帧)除了有帧间宏块(P宏块)，还可以有帧内宏块
(I宏块)，环路滤波是必须的环节；而在MPEG2、H. 263、MPEG4_Part2标准中，参考图像只有
一个，帧间图像只有P宏块，环路滤波仅是解码过程中可选的一个后处理环节。 从上述过程可以看出，编解码过程中只有环路滤波涉及到去噪声处理，但该去噪
声处理也只是用于去除编解码环路中引入的噪声，具体进行时只对每个编码块的边界进行
滤波。然而，在实际应用中的很多情况下，尤其是视频监控场景，因为各种原因，例如光线不
够充足等，采集时视频图像时，视频图像中会包含大量的噪声，这些噪声从频谱分布上分析
一般范围都较广，而且没有固定规律。噪声的存在，会削弱视频图像的空间相关性和时间相
关性，使得运动估计过程中的块匹配结果不够准确，另外也会使残差中包含大量噪声的成
份，不利于视频压縮。
发明内容
有鉴于此，本发明中一方面提供一种视频降噪编码方法，另一方面提供一种视频降噪编码装置，以抑制采集的视频图像中的噪声，提高运动估计过程中块匹配结果的精度。
本发明所提供的视频降噪编码方法，包括 在视频编码前，对当前待编码图像进行全像素降噪处理，对降噪处理后的当前编码图像进行视频编码。 较佳地，所述全像素降噪处理包括帧内全像素降噪处理或帧间全像素降噪处理。
较佳地，所述帧内全像素降噪处理包括 分别计算当前待编码图像中每个设定大小的区域内的像素均方差； 将计算得到的各区域的像素均方差分别与设定的区域像素均方差阈值进行比较，
将像素均方差小于所述区域像素均方差阈值的区域确定为所述待编码图像中的平坦区
域； 对所确定的平坦区域进行低通滤波和/或中值滤波的降噪处理。
较佳地，所述帧间全像素降噪处理包括 将在时间顺序上离所述当前待编码图像最近的编码图像的重建图像作为对比图像； 设定比较区域大小，将当前待编码图像中的各个比较区域与所述对比图像中位置对应的各个比较区域分别进行比较，根据比较结果确定处于静止的比较区域，并对所述处于静止的比较区域进行低通滤波和/或中值滤波的降噪处理。 较佳地，所述将当前待编码图像中的各个比较区域与所述对比图像中位置对应的各个比较区域分别进行比较，根据比较结果确定处于静止的比较区域包括
计算当前待编码图像中的当前比较区域与所述对比图像中位置对应的比较区域内各像素的差值，并计算各像素差值的均方差； 将所述均方差与设定的阈值进行比较，在所述均方差小于所述阈值时，确定所述比较区域为处于静止的比较区域。
本发明所提供的视频降噪编码装置，包括编码器和降噪处理单元； 其中，所述降噪处理单元用于对当前待编码图像进行全像素降噪处理，将降噪处
理后的当前待编码图像输出给编码器；
4
编码器用于对来自降噪处理单元的当前待编码图像进行编码处理。
较佳地，所述降噪处理单元包括 帧内降噪子单元，用于分别计算当前待编码图像中每个设定大小的区域内的像素均方差，将计算得到的各区域的像素均方差分别与设定的区域像素均方差阈值进行比较，将像素均方差小于所述区域像素均方差阈值的区域确定为当前待编码图像中的平坦区域，对所述平坦区域进行低通滤波和/或中值滤波的降噪处理。 较佳地，所述编码器中包括重建单元，所述降噪处理单元包括帧间降噪子单元； 所述帧间降噪子单元用于将来自重建单元的在时间顺序上离当前待编码图像最近的编码图像的重建图像作为对比图像，并设定比较区域大小，将当前待编码图像中的各个比较区域与所述对比图像中位置对应的各个比较区域分别进行比较，根据比较结果确定处于静止的比较区域，并对所述处于静止的比较区域进行低通滤波和/或中值滤波的降噪处理。 从上述方案可以看出，本发明中通过在视频编码前，对当前待编码图像进行全像素降噪处理，对降噪处理后的当前待编码图像进行视频编码，从而对采集视频图像时引入的噪声进行了抑制，保证了视频图像的空间相关性和时间相关性，提高了运动估计过程中的块匹配结果精度，另外也会使残差中的噪声成份得到降低，利于视频压縮。
图1为H. 264/AVC(MPEG4-Part10)标准的视频编码流程框架图； 图2为本发明实施例中基于H. 264/AVC (MPEG4_PartlO)标准的视频降噪编码流程
框架图； 图3为本发明实施例中视频降噪编码装置的示例性结构 图4为本发明实施例中视频监控测试效果图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。 图2为本发明实施例中基于H. 264/AVC (MPEG4_PartlO)标准的视频降噪编码流程框架图。如图2所示，本发明实施例中，在视频编码过程前添加了降噪处理环节。降噪处理环节用于对当前待编码图像进行全像素降噪处理。之后，对降噪处理后的当前待编码图像执行后续的视频编码流程。 具体实现时，其中的全像素降噪处理可以是帧内全像素降噪处理，也可以是帧间全像素降噪处理。 其中，帧内全像素降噪处理可包括预先设置区域像素均方差阈值，并设定区域大小，如3X3或4X4等。之后计算当前待编码图像中每个设定大小的区域内的像素均方差，将对应每个区域的计算结果分别与设置的区域像素均方差阈值进行比较，如果计算结果大于预先设置的区域像素均方差阈值，则确定该区域为复杂区域，如果小于预先设置的区域像素均方差阈值，则确定该区域为平坦区域，之后对该平坦区域进行低通滤波和/或中值滤波等降噪处理。例如，对于3X3大小的平坦区域，可将该区域内的像素均值作为该区域中心位置处的像素值。 帧间全像素降噪处理可包括将在时间顺序上离当前待编码图像最近的编码图像的重建图像(也即参考图像)作为对比图像，并设定比较区域大小，如3X3或4X4等。之后，将当前待编码图像中的各个比较区域与所述对比图像中位置对应的各个设定大小的比较区域分别进行比较，确定处于静止状态的区域。例如，可计算对应区域的各像素差值的均方差；若得到的均方差大于预先设定的阈值，则认为该比较区域为发生了运动的区域，若得到的均方差小于预先设定的阈值，则认为该比较区域为处于静止状态的区域。之后对处于静止状态的两(或多)帧中的对应区域进行低通滤波和/或中值滤波的降噪处理。例如，对两帧图像中该区域内对应的像素求平均值，将得到的平均值作为当前待编码图像中该区域内对应的像素值。对于发生了运动的区域，则保留当前待编码图像中该区域内的原像素值不变。 以上对本发明实施例中的视频降噪编码方法进行了详细描述，下面再对本发明实施例中的视频降噪编码装置进行详细描述。 图3为本发明实施例中视频降噪编码装置的示例性结构图。如图3所示，该装置包括降噪处理单元和编码器。 其中，降噪处理单元用于对当前待编码图像进行全像素降噪处理，将降噪处理后的当前待编码图像输出给编码器。 编码器用于对来自降噪处理单元的当前待编码图像进行编码处理。 其中，编码器可以为现有技术中已有的编码器，也可以为其它改进后的编码器，本
发明中不作限定。例如，图3中示出了编码器的一种实现结构，包括预测单元、变换单元、
编码单元、反变换单元和重建单元。
此时，编码流程为当前待编码图像一降噪处理单元一预测单元一变换单元一编
码单元一码流；重建时流程为反变换单元一重建单元一当前图像的重建图像。 相应地，降噪处理单元对当前待编码图像进行全像素降噪处理后，将降噪处理后
的当前待编码图像输出给预测单元。 预测单元用于在进行帧内编码时，对当前待编码图像以宏块或块为单位，根据周
围的块对该给定块进行帧内预测，得到残差块及对应的运动矢量；在进行帧间编码时从重建单元中读取参考图像，对当前待编码图像以宏块或块为单位，对当前待编码块从参考图
像中选取最佳匹配块，用所选取的最佳匹配块对当前待编码块进行预测，得到残差块及对应的运动矢量。之后，将残差块输出给变换单元，将运动矢量输出给编码单元，同时对该运动矢量进行存储，供重建单元使用。 变换单元用于接收来自预测单元的残差块，并对所接收的残差块进行变换及量化，进一步压縮图像码率，并将变换及量化后的变换系数阵输出给编码单元及反变换单元。
编码单元可以包括重排序及熵编码等编码过程，用于接收来自变换单元的变换系数阵，连同来自预测单元的运动矢量一起进行熵编码，写入码流中。 上述预测单元中用到的参考图像为已编码图像的重建图像，而且在对当前待编码图像进行编码时，为了为后续编码图像提供参考图像，也需要对当前待编码图像的已编码图像进行重建，因此本解码器中包括前面所说的反变换单元和重建单元。
6
其中，反变换单元用于接收来自变换单元的变换、量化后的变换系数阵，并对所接收的变换系数阵进行反量化和反变换，得到当前编码图像的残差块，输出给重建单元。
重建单元用于接收来自反变换单元的残差块，并读取预测单元所存储的运动矢量，根据所读取的运动矢量，在当前解码图像(对应帧内编码)或编码时的参考图像(对应帧间编码)中进行运动补偿，得到重建图像块，并将该重建图像块进行存储。若当前编码图像所有的残差块都重建结束，则根据所存储的当前编码图像的所有重建图像块得到当前编码图像的重建图像。 具体实现时，若参考图像不只一帧，例如参考图像为前五帧图像，则下一个待编码图像进行预测所需的五帧图像可以为前四帧图像加上本次重建得到的图像，最前面的一帧图像此时可以被删除。 具体实现时，本发明实施例中的编码器还可在重建单元之后包括一个环路滤波处理单元，用于对重建图像进行宏块边界像素的降噪处理，此处不再详述。 其中对第一个图像进行编码时，参考图像可以为空，即对第一个图像进行编码时，可不经过预测，而直接进行后续编码处理。 其中，降噪处理单元在具体实现时，可具体包括帧内降噪子单元和/或帧间降噪子单元。 帧内降噪子单元用于分别计算当前待编码图像中每个设定大小的区域内的像素均方差，将计算得到的各区域的像素均方差分别与设定的区域像素均方差阈值进行比较，根据比较结果确定当前待编码图像中的平坦区域，即如果计算结果大于预先设置的区域像素均方差阈值，则确定该区域为复杂区域，如果小于预先设置的区域像素均方差阈值，则确定该区域为平坦区域。之后对所确定的平坦区域进行低通滤波和/或中值滤波的降噪处理。 帧间降噪子单元用于将来自重建单元的在时间顺序上离当前待编码图像最近的编码图像的重建图像(即参考图像)作为对比图像，并设定比较区域大小，将当前待编码图像中的各个比较区域与所述对比图像中位置对应的各个比较区域分别进行比较，根据比较结果确定处于静止的比较区域，例如，可计算对应区域的各像素差值的均方差；若得到的均方差大于预先设定的阈值，则认为该比较区域为发生了运动的区域，若得到的均方差小于预先设定的阈值，则认为该比较区域为处于静止状态的区域。之后，对所述处于静止的比较区域进行低通滤波和/或中值滤波的降噪处理。 利用本发明实施例中的技术方案，可以提高运动估计过程中的块匹配结果精度，另外也会使残差中的噪声成份得到降低，利于视频压縮。如图4所示，图4为在某个视频监控测试序列中，场景基本不动，但是噪声较大的情况下得到的试验测试结果。图7中，横坐标表示码率，纵坐标表示峰值信噪比(PSNR)，最下面的那条线为未进行降噪处理时所得出的码率与PSNR的对应关系图，最上面的那条线为进行降噪处理后所得出的码率与PSNR的对应关系图。可见，采用本发明所描述的噪声抑制技术后，不仅在画面质量上得到了大幅提升(即相同码率的情况下PSNR较高)，而且码率也得到大幅节省(即相同PSNR的情况下码率较低)。 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
一种视频降噪编码方法，其特征在于，该方法包括在视频编码前，对当前待编码图像进行全像素降噪处理，对降噪处理后的当前编码图像进行视频编码。
2. 如权利要求1所述的方法，其特征在于，所述全像素降噪处理包括帧内全像素降噪处理或帧间全像素降噪处理。
3. 如权利要求2所述的方法，其特征在于，所述帧内全像素降噪处理包括分别计算当前待编码图像中每个设定大小的区域内的像素均方差；将计算得到的各区域的像素均方差分别与设定的区域像素均方差阈值进行比较，将像素均方差小于所述区域像素均方差阈值的区域确定为所述待编码图像中的平坦区域；对所确定的平坦区域进行低通滤波和/或中值滤波的降噪处理。
4. 如权利要求2所述的方法，其特征在于，所述帧间全像素降噪处理包括将在时间顺序上离所述当前待编码图像最近的编码图像的重建图像作为对比图像；设定比较区域大小，将当前待编码图像中的各个比较区域与所述对比图像中位置对应的各个比较区域分别进行比较，根据比较结果确定处于静止的比较区域，并对所述处于静止的比较区域进行低通滤波和/或中值滤波的降噪处理。
5. 如权利要求4所述的方法，其特征在于，所述将当前待编码图像中的各个比较区域与所述对比图像中位置对应的各个比较区域分别进行比较，根据比较结果确定处于静止的比较区域包括计算当前待编码图像中的当前比较区域与所述对比图像中位置对应的比较区域内各像素的差值，并计算各像素差值的均方差；将所述均方差与设定的阈值进行比较，在所述均方差小于所述阈值时，确定所述比较区域为处于静止的比较区域。
6. —种视频降噪编码装置，包括编码器，其特征在于，该装置还包括降噪处理单元；所述降噪处理单元用于对当前待编码图像进行全像素降噪处理，将降噪处理后的当前待编码图像输出给编码器；编码器用于对来自降噪处理单元的当前待编码图像进行编码处理。
7. 如权利要求6所述的装置，其特征在于，所述降噪处理单元包括帧内降噪子单元，用于分别计算当前待编码图像中每个设定大小的区域内的像素均方差，将计算得到的各区域的像素均方差分别与设定的区域像素均方差阈值进行比较，将像素均方差小于所述区域像素均方差阈值的区域确定为当前待编码图像中的平坦区域，对所述平坦区域进行低通滤波和/或中值滤波的降噪处理。
8. 如权利要求6所述的装置，其特征在于，所述编码器中包括重建单元，所述降噪处理单元包括帧间降噪子单元；所述帧间降噪子单元用于将来自重建单元的在时间顺序上离当前待编码图像最近的编码图像的重建图像作为对比图像，并设定比较区域大小，将当前待编码图像中的各个比较区域与所述对比图像中位置对应的各个比较区域分别进行比较，根据比较结果确定处于静止的比较区域，并对所述处于静止的比较区域进行低通滤波和/或中值滤波的降噪处理。
全文摘要
本发明公开了一种视频降噪编码方法和视频降噪编码装置。其中，视频降噪编码方法包括在视频编码前，对当前待编码图像的重建图像进行全像素降噪处理，对降噪处理后的当前待编码图像进行视频编码。本发明所公开的技术方案，能够抑制采集的视频图像中的噪声，提高运动估计过程中块匹配结果的精度，并节省了压缩码率。
文档编号H04N7/26GK101742288SQ20081022575
公开日2010年6月16日 申请日期2008年11月11日 优先权日2008年11月11日
发明者俞青, 王浩, 邱嵩 申请人:北京中星微电子有限公司;中星电子股份有限公司