专利名称：一种恢复噪声的视频编解码方法和系统的制作方法
技术领域：
本发明涉及视频编码技术领域，尤其涉及一种恢复噪声的视频编解码方法和系 统。
背景技术：
目前，视频技术广泛应用于视频电话、视频会议、视频聊天、可视电子商务、数字电 视和数字电影等领域。在这些领域中，数字视频序列的主观质量往往会直接影响到用户/ 观众的感观体验，而噪声是影响主观视频质量的一个重要因素。具体地讲，数字视频序列在获取、录制、处理和传输的过程中通常会受到噪声的污 染，这些噪声往往会导致视频编码中运动估计的准确度和编码效率的降低。因此，通常会考 虑采用去噪技术来去除视频序列中的噪声分量。但是，在大多数情况下，去噪操作也会去除 视频序列中的细小细节，从而造成失真，影响主观视频质量。因此，在某些对主观视频质量 要求非常高的情况下，往往需要在解码端恢复或添加一些类型的有用噪声来帮助改善主观 视频质量。目前，需要在解码端恢复或添加的有用噪声主要包括(1)胶片颗粒噪声，这种噪 声是由分散在感光乳剂中的卤化银晶体的曝光和显影而引起的，对于HD DVD和数字化影院 这样对视频质量要求非常高的应用，很可能希望保留胶片颗粒噪声来增强数字胶片的真实 性，去掉了这些噪声，反倒会使观众感受到不自然；(2)用于掩饰伪像的随机噪声，比如，抖 动信号，通过添加这些随机噪声可使由于使用基于块的压缩方法而导致的方块效应和其它 结构化的噪声图案变得不那么明显。对于胶片颗粒噪声的恢复，比较常见的方法通常包括编码端的预处理步骤和解码 端的后处理步骤，其中，预处理步骤通常涉及噪声去除、提取、建模或编码等，后处理步骤通 常涉及噪声模拟和合成等。比如，在 C. GomiIa禾口 A. KobiIansky 的"SEI message for filmgrain noise，，(JVT 8th meeting, Doc. JVT-H022, Geneva, 2003)中，提出了一种通过建立胶片颗粒的参数化模 型来模拟胶片颗粒噪声的方法。具体地讲，在编码端，首先从输入的视频数据中去除胶片颗 粒，并将去除了胶片颗粒的视频序列发送给编码器按照标准视频编码技术进行编码，同时 在已知所使用的胶片类型的情况下将标识胶片类型的标识符作为参数发送给编码器，或者 在不知道所使用的胶片类型或者由于拷贝、处理、颜色空间转换等原因而导致颗粒图案失 真的情况下基于预定的胶片颗粒统计模型提取表示胶片颗粒信息的参数，并将这些参数发 送给编码器。编码器利用SEI (SupplementalEnhancement Information,附加增强信息)将 标识符参数或者模型参数发送给解码器。解码器按照相应的标准视频解码技术对编码的视 频数据进行解码，并根据接收的参数模拟胶片颗粒噪声，最后将模拟的胶片颗粒噪声与解 码的视频数据合成，从而得到胶片噪声恢复的视频序列。其中，在建模步骤中，建立了自动 回归模型和相应的卷积模型来表达胶片噪声的空域相关性、颜色相关性和时域相关性。在 B. T. Oh 等 人 的 “Film grain noise modeling in advancedvideocoding，，(Proceedings of SPIE, Visual Communications andlmage Processing, 2007)中， 提出了另外一种提出通过建模模拟胶片颗粒噪声的方法。该方法也是首先在编码端从输入 的视频数据中去除胶片颗粒，并将去除了胶片颗粒的视频序列发送给编码器按照标准视频 编码技术进行编码，同时基于预定的模型提取表示胶片颗粒噪声的参数，然后在解码端根 据通过SEI消息传送过来的参数生成噪声，并将生成的噪声与解码的视频数据合成。其中， 在噪声提取和去除步骤中，利用多层方法检测边缘区域，并通过仅对非边缘的均勻区域进 行选择性滤波来提取和去除噪声；在噪声建模步骤中，根据空间功率谱密度、噪声概率密度 和颜色相关性等方面建立了 3D AR模型来表达胶片颗粒的空间相关性和功率谱相关性；在 噪声合成步骤中，考虑到胶片颗粒噪声依赖于解码信号，通过对白噪声进行缩放来合成噪 声。对于这些基于模型的胶片颗粒噪声恢复方法，由于模型本身的局限性，这些方法 通常仅适用于符合该模型的胶片颗粒，也就是说，往往只有符合该模型的胶片颗粒才能 被适当地编码和恢复。针对这样的问题，在申请号为03019872. 5的欧洲专利申请“Film grainencoding”中，提出了一种改进方法。该方法不是对提取的胶片颗粒信息进行建模，而 是按照标准化视频编码技术对提取的至少一个代表性胶片颗粒信息块进行编码，从而使得 不限于特定类型的胶片噪声的合成。同时，为了增强适应性，通过镜像、旋转、循环移位、改 变胶片颗粒块的强度、对编码的视频信号的统计属性进行监控等操作对胶片颗粒信息进行 修改，从而实现各种不同的胶片颗粒的自适应编码。但是，虽然这种方法消除了建模方法的局限性，但是与建模方法一样，都在编码端 的编码之前增加了噪声去除、提取、建模或编码等预处理，在解码端的解码之后增加了模拟 和合成等后处理，而这些增加的预处理和后处理通常涉及复杂的计算或处理，相应地增加 了编解码器的复杂性，从而给标准视频编码系统引入了一定的额外负担，影响整个系统的 处理效率和传输效率。另外一个关键的问题是这些方法都是利用各种模拟手段来模拟胶片 颗粒噪声，虽然模拟的噪声整体上可具有与原始胶片颗粒噪声类似的主观质量，但是却不 能实现像素对像素的模拟。也就是说，这些方法只能是模拟胶片颗粒噪声，并不能恢复原始 的真实的胶片颗粒噪声，在某些要求高主观视频质量的应用中，最终模拟合成的噪声很可 能不被接受。对于用于掩饰伪像的随机噪声的添加，比较常见的方法是在解码器端通过各种模 拟手段来生成噪声。比如，在申请号为10/572，690的美国专利申请“Video Comfort Noise Addition Technique”中，提出了一种根据噪声的空域相关性和时域相关性以及噪声与解 码图像的亮度之间的关系生成噪声的方法；在申请号为11/059，175的美国专利“Method and Apparatus for Masking of Video Artifactsand/or Insertion of Film Grain in a Video Decoder”中，提出了一种利用线性反馈移位寄存器(LFSR)伪随机噪声(PRN)生成 器来生成噪声和合成噪声的方法。这些方法的缺点也是在于在视频解码之后需要通过一些 后处理来生成噪声和合成噪声，而这些后处理往往涉及到较为复杂的运算或处理，给整个 系统带来了一定的负担。而且，所模拟的噪声只能保证基本类似，却不能保证其真实性。
发明内容
为了解决以上问题，本发明提供一种恢复噪声的视频编码方法和系统，以在给标
6准视频编码系统引入尽可能小的额外负担的情况下恢复真实的噪声。为了实现以上目的，本发明提供的恢复噪声的视频编解码方法包括以下步骤在 编码端执行去除噪声的视频编码方法；在解码端执行恢复噪声的视频解码方法。其中，所述去除噪声的视频编码方法包括以下步骤计算作为输入信号的当前帧 与其参考帧之间的有噪残差信号；对有噪残差信号或者其变换系数进行缩放与平移，以得 到当前帧的真实视频信号的最优估计信号与其参考帧之间的残差信号；对经过缩放与平移 得到的残差信号进行变换、量化和熵编码或者对经过缩放与平移得到的变换系数进行量化 和熵编码，组成压缩码流以供输出，同时对量化后的变换系数进行反量化和反变换，以得到 重构的残差信号，并将该残差信号与参考帧相加得到重构帧，作为下一帧的参考帧。所述恢复噪声的视频解码方法包括以下步骤对编码端输出的压缩码流进行熵解 码、反量化和反变换，得到重构的残差信号；对重构的残差信号进行反缩放与反平移，以得 到全部或部分恢复的有噪残差信号；将得到的有噪残差信号与当前帧的参考帧相加得到噪 声全部或部分恢复的视频信号。相应地，本发明提供一种恢复噪声的视频编解码系统，包括编码器和解码器，编码 器包括输入单元、残差计算单元、预测单元、参考帧缓存单元、变换单元、量化单元、熵编码 单元、重构单元、编码输出单元和去噪滤波器，解码器包括熵解码单元、反量化单元、反变换 单元、参考帧缓存单元、解码输出单元和噪声恢复处理器。其中，去噪滤波器对作为输入信号的当前帧与其参考帧之间的有噪残差信号或者 其变换系数进行缩放与平移，以得到当前帧的真实视频信号的最优估计信号与其参考帧之 间的残差信号，并将经过缩放与平移得到的残差信号发送给变换单元或者将经过缩放与平 移得到的变换系数发送给量化单元；噪声恢复处理器对重构的残差信号进行反缩放与反平 移，以得到全部或部分恢复的有噪残差信号，并将该残差信号发送给输出单元，输出单元将 该残差信号与当前帧的参考帧相加得到噪声全部或部分恢复的视频信号。本发明通过执行互逆的去除噪声过程与恢复噪声过程，能够恢复原始的真实噪 声。而且，仅仅是简单地对残差信号进行缩放和平移，仅需要计算少数几个参数和传输一个 参数，引入的额外负担小。此外，去噪滤波器和噪声恢复处理器或者其去噪处理和噪声恢复 处理可容易地集成到标准视频编解码系统中。
图1是显示根据本发明的恢复噪声的视频编解码方法的示意性框图；图2和图3是显示根据本发明的编码端的示意性框图；图4是显示根据本发明的解码端的示意性框图；图5和图6是显示根据本发明的恢复噪声的视频编解码系统的示意性框图；图7a和图7b是标准H. 264编解码器和嵌入本发明的去噪滤波器和噪声恢复处理 器的标准H. 264编解码器对不同视频序列进行编码的性能比较曲线图；图8a-8c分别是含有胶片颗粒噪声的原始视频帧、利用嵌入去噪滤波器的编码器 编码的重构视频帧和利用嵌入噪声恢复处理器的解码器恢复的重构视频帧。
具体实施例方式以下，将结合附图和实施例对本发明进行进一步的说明。在对本发明方法和系统进行详细描述之前，首先对本发明中所涉及到的数学模型 进行简要说明。在本发明中，假定视频序列中的噪声分量为加性高斯噪声，观察到的有噪的视频 当前帧及其参考帧分别表示为Yk和Yk+其相应的真实视频信号分别表示为Xk和Xk+则下 面的等式成立Yk = Xk+Nk(1)Yh = XH+NH(2)其中，Nk和Nlri分别表示第k帧和第k-Ι帧中的噪声分量。假设Nk的均值和方差 分别为ο和σ k2。另外，由于无法得知视频信号的真实值，因此，在本发明中，将其建模为均值为 、方差为的随机变量。第k帧和第k-Ι帧中的真实视频信号的关系为Xk = Xk_1+rk(3)其中，rk是残差信号。这里，假定rk与Nk和Xlri无关，它的均值为&，方差为Cr:。图1是显示根据本发明的恢复噪声的视频编解码方法的示意性框图。从图1中可 看出，本发明对现有的标准视频编码方法的改进之处在于在编码端通过对残差信号进行缩 放和平移来去除噪声，同时在解码端通过对残差信号进行反缩放和反平移来恢复噪声，从 而通过简单的互逆的去噪和加噪操作来恢复原始的真实噪声，并且仅引入非常少的负担。具体地讲，如图1所示，编码端的输入视频信号为第k帧Yk，经过预测之后获得其 预测信号为又w，两者之间的差值即为有噪残差信号rn,k。根据缩放因子μ和平移因子V对 有噪残差信号rn,k进行缩放与平移操作之后，得到新的残差信号r' n,k= yrn,k+Vo这里， 使得残差信号r' n,k为当前帧Yk的真实视频信号的最优估计信号与其预测信号^之间的 残差信号，从而实现良好的去噪效果，提高编码效率。接着，对新的残差信号r' n,k进行变换、量化和熵编码，组成压缩码流以供输出， 同时对量化后的变换系数进行反量化和反变换，以得到重构的残差信号r" n,k，并将残差信 号r “ n,k与预测巾贞相加得到重构的帧兄，巾贞兄即为Yk的去噪视频信号。将重构的帧兄 缓存，作为下一帧Yk+1的预测帧。在解码端，对编码端输出的压缩码流进行熵解码、反量化和反变换，得到重构的残 差信号rd,k。接着，根据反缩放因子λ和反平移因子θ对残差信号rd,k进行反缩放与反平 移，得到新的残差信号r' d,k。这里，为了可恢复原始的真实噪声，新的残差信号r' d,k应 该等于全部或部分恢复的有噪残差信号rn,k，因此，在编码端应将确定反缩放因子λ和反 平移因子θ所需的参数发送给解码端，解码端根据这些参数确定反缩放因子λ和反平移 因子θ，以使得编码端的去噪操作与解码端的加噪操作是互逆的。最后，将得到的残差信号 r' d,k与当前帧的预测帧相加，从而得到全部或部分恢复原始噪声的视频信号。这里，指出，在本说明书中，参考帧即为预测帧，参考信号即为预测信号。编码端的 输入信号可以是一帧视频信号，还可以是一场或一块视频信号。而外，除了视频信号之外， 编码端的输入信号也可以是音频或声音信号，并且一个信号片段可以是较长的一帧或较短的一帧，帧与帧间可以是相互重叠或者不重叠。在编码端输入这些信号的情况下，仅需根据 实际应用在相应部分作简单修改即可。以下，将参照图2至图4以帧间预测方法作为示例对本发明的具体实现进行详细 描述。在该示例中，利用线性最小均值平方误差估计方法来估计输入的当前帧Yk的去噪
视频信号
Χ^ω,Χ^+ω,Υ,+ (4)其中，(O1和ω2分别为输入信号叉㈡和Yk的权重值，d为用来保证无偏差估计的常数。根据正交原则，最优的滤波器系数为
σ2 =
2 ？
(Tr2 ω2 = k
2 ~ 2 , 2 U
(5)
(6)
(7)d = ωιΓ! 其中，σ k2为第k帧的噪声分量Nk的方差，&和分别为残差信号rk的均值和方 差，此时，Iit即为当前帧Yk的真实视频信号的最优估计信号。利用ω1+ω2 = 1，并将公式(7)代入公式(4)，公式(4)可改写为Jtk = !H + ω Yk - + d = Xk_, + ω2ΓηΛ +(8)其中，rn,k是有噪残差信号，rn,k = rk+Nk,因此，其均值为&，方差为+巧2)。从公式(8)可得到新的残差信号r' n,k rnk =Xk-Xk_, = ω2ΓηΛ + (DlFk(9)这里，缩放因子μ和平移因子ν分别为μ = ω2(10)ν =(11)从公式(5)、(6)和(7)可看出，缩放因子μ和平移因子ν均与噪声分量ok2、残 差信号的均值&和方差σ=这三个参数有关，因此，为了确定缩放因子μ和平移因子V，必须 首先确定这三个参数。可根据以下方法对这三个参数进行估计1.噪声分量σ k2视频序列中平滑区域的像素值的抖动基本都是由噪声的存在而造成的，所以噪声 的方差可以根据平滑区域的样本方差来估计。2.残差信号的均值&和方差由于残差信号的均值&和方差C^不能直接估计得到，所以可根据其与有噪残差信 号rn,k之间的关系rn,k = rk+Nk间接得到。具体地讲，如图2所示，在运动估计和运动补偿预测获得Yk的预测值Ig之后，可得到有噪残差信号rn, k。rn, k是随机变量，相邻的残差信号通常具有相似的特征，因此，可利 用空间统计特性来估计或近似集合统计特性。比如，可将当前视频帧划分为MXM个块，对于 被编码的当前块，计算该块的有噪残差的样本均值和样本方差，并将其作为有噪残差信号rn,k 的均值和方差的估计。在获得有噪残差信号rn, k的均值和方差之后，由于噪声分量的均值和 方差分别为0和σ广而！·“ = rk+Nk，所以，可得到残差信号的均值&即为有噪残差信号rn,k的 均值，残差信号的方差σ=即为有噪残差信号rn,k的方差减去噪声分量的方差σ k2。图2为实现上述去噪编码方法的示意性框图。其中，参数估计模块用于根据当前 帧Yk、参考帧和有噪残差rn,k来估计噪声分量σ k2、残差信号的均值&和方差<<这三个参 数。估计出这三个参数之后，根据公式(5)和(6)计算权重值(O1和ω2。然后，通过将有 噪残差rn,k与权重值ω 2相乘对有噪残差rn,k进行缩放，再通过将其与叫^相加对其进行平 移，从而得到新的残差信号^^。接着，对新的残差信号r' n,k进行变换、量化、 熵编码，从而获得压缩码流。这里，所述变换可以是离散余弦变换、离散正弦变换、哈德曼变 换和KL变换等已知变换中的任何一种，所述量化可以是矢量量化、标量量化和包含死区的 变量均勻量化中的任何一种。此外，由于该示例中的缩放与平移为线性操作，因此，还可在对残差信号进行变换 得到变换系数之后对变换系数执行缩放与平移操作。如图3所示，在这种实现中，首先对有 噪残差信号进行变换，得到变换系数，然后再对变换系数进行缩放与平移，以得到与当前帧 的真实视频信号的最优估计信号与其参考帧之间的残差信号相对应的新的变换系数。在该 示例中，缩放与平移操作具体为将直流系数减去碎^^，并将所有系数乘以，其中，如上所述， 有噪残差信号rn,k的均值即为残差信号的均值^。接着，对新的变换系数进行量化和熵编 码，组成压缩码流以供输出，同时，对量化后的变换系数进行反量化和反变换，以得到重构 的残差信号，并将该残差信号与参考帧相加得到重构帧，作为下一帧的参考帧。在解码端获得压缩码流之后，如图4所示，对其进行熵解码、反量化和反变换，得 到重构的残差信号rd,k，该残差信号即为已去噪的第k帧视频与已去噪的第k-Ι帧视频 戈“之间的残差信号。为了恢复原始噪声，应该将该残差信号反缩放和反平移成原始的有噪 残差信号！·“。因此，根据公式⑶或(9)可知rdJk = ω2νη! + ^1F4(12)那么，从公式(12)可得到原始的有噪残差信号rn,k =—~0^l(13)
， ω2得到原始的有噪残差信号rn,k之后，即可得到恢复了原始噪声的视频信号Yk=Xk^rnjl(14)从公式(13)可看出，为了得到有噪残差信号rn,k，必须知道《”(^和。的值。根据 公式(5)和(6)可知，(^和《2又与<和Qk2相关，因此，必须知道噪声分量的方差ok2、残 差信号的均值Fa和方差。因此，编码器端需要将噪声分量的方差Ok2传送给解码端，而另 外两个参数则需要重新进行估计。比如，可按照公式(12)中！^^和！·。的关系进行估计1.残差信号的均值&
根据公式(12)，可得到Fdjc = ω2Ψη]( + OJiFk = ω2Ψ, + ω, Fk = rk因此，&即等于Fia，也就是当前MXM块的rd,2.残差信号的方差同样根据公式(12)，可得到
σ2= 22<t =ω22(σΙ +σΙ) = (~^-σΙ)\σ
rk对方程(16)进行求解，即可得到的值。图3为实现以上解码方法的示意性框图。在图3中，经过反缩放和反平移后，可得
到新的残差信号。^ =附「0。根据公式(13)，令α和β的值分别为(^和+，即， 反缩放因子夂二 ι，反平移因子~，则输出即为恢复原始噪声的有噪视频序列。当调
CO2CO2
整α和β的值时，还可获得噪声部分恢复的视频序列。以上对采用帧间预测方法的视频编解码方法进行了描述。从中可看出，本发明通 过简单的残差或其变换系数的缩放和平移操作就可实现真实噪声的恢复，从而改进主观视 频质量。而且在编码端和解码端仅需计算少数几个参数，并且编码端只需将噪声方差Ok2 传送到解码端，因此，与视频编解码系统的其余操作相比，其所需的额外开销非常小。此外， 去噪处理和噪声恢复处理可被容易地集成到已有的标准视频编解码系统中。需要指出的是，以上示例仅用作示例性目的，而不用作限制性目的。还可在此基础 上根据实际应用进行各种变型。比如，除了帧间预测之外，还可利用帧内预测或者和帧间预测和帧内预测的组合 来得到预测帧；除了上述线性操作之外，还可利用非线性操作来实现缩放与平移，例如，可 通过查找表的方式来实现非线性操作；除了标量操作之外，例如在矢量量化的特殊情况下 还可实现缩放与平移的矢量操作。以下，将参照图5和图6对根据本发明的视频编解码系统进行说明。参照图5，根据本发明的视频编解码系统包括编码器510和解码器520，其中，编码 器510包括输入单元511、残差计算单元512、预测单元513、参考帧缓存单元514、变换单元 515、量化单元516、熵编码单元517、重构单元518、编码输出单元519和去噪滤波器530 ；解 码器520包括熵解码单元521、反量化单元522、反变换单元523、参考帧缓存单元524、解码 输出单元525和噪声恢复处理器526。在编码器510中，残差计算单元512计算从输入单元511输入的当前帧与其通过 预测单元513预测的参考帧之间的有噪残差信号。去噪滤波器530对残差计算单元512计 算的有噪残差信号进行缩放与平移，以得到当前帧的真实视频信号的最优估计信号与其参 考帧之间的残差信号，并将该残差信号发送给变换单元515。变换单元515、量化单元516 和熵编码单元517分别对从去噪滤波器530接收的残差信号进行变换、量化和熵编码。编 码输出单元519将从熵编码单元517接收的变换系数与解码所需信息一起组成压缩码流以 供输出，其中，解码所需信息包括，例如上述示例中的噪声分量的方差ok2。同时，重构单元 518对量化后的变化系数进行反量化和反变换，以得到重构的残差信号，并将该残差信号与
11
(15)
k的样本均值。
(i6参考帧存储单元514中存储的当前帧的参考帧相加得到重构的视频帧，作为下一帧的参考 帧。具体操作与图2所示编码方法中的相应步骤相同，因此省略其描述。在解码器520中，熵解码单元521、反量化单元522和反变换单元523分别对编码 端输出的压缩码流进行熵解码、反量化和反变换，得到重构的残差信号。噪声恢复处理器 526对重构的残差信号进行反缩放与反平移，以得到全部或部分恢复的有噪残差信号，并将 该残差信号发送给解码输出单元525。解码输出单元525将该残差信号与当前帧的参考帧 相加得到噪声恢复的视频信号。具体操作与图4所示解码方法中的相应步骤相同，因此省 略其描述。参照图6，根据本发明的另一视频编解码系统与图5所示系统的不同之处在于，去 噪滤波器530位于变化单元515和量化单元516之间。此时，首先由变换单元515对残差 计算单元512计算的残差进行变换，得到变换系数，然后，去噪滤波器530对变换系数进行 缩放与平移，得到新的变换系数，量化单元对这些新的变换系数进行量化。具体操作与图3 所示编码方法中的相应步骤相同，因此省略其描述。从图5和图6可看出，编码器510中的输入单元511、残差计算单元512、预测单元 513、参考帧存储单元514、变换单元515、量化单元516、熵编码单元517、重构单元518和编 码输出单元519是公知的标准视频编码系统的一种示意性实现，解码器520中的熵解码单 元521、反量化单元522、反变换单元523、参考帧缓存单元524和解码输出单元525是公知 的标准视频解码系统的一种示意性实现。根据本发明方法构造的去噪滤波器530可集成到 标准视频编码系统或者其类似系统中，噪声恢复处理器526可集成到标准视频解码系统或 者其类似系统中，并且去噪滤波器530和噪声恢复处理器526所引入的额外负担非常小。同样，如上所述，编码器510的输入信号可以是一帧视频信号，还可以是一场或一 块视频信号。而外，除了视频信号之外，编码端的输入信号也可以是音频或声音信号，并且 一个信号片段可以是较长的一帧或较短的一帧，帧与帧间可以是相互重叠或者不重叠。在 编码器输入这些信号的情况下，仅需根据实际应用在相应部分作简单修改即可。这里所 述变换可以是离散余弦变换、离散正弦变换、哈德曼变换和KL变换等已知变换中的任何一 种，所述量化可以是矢量量化、标量量化和包含死区的变量均勻量化中的任何一种。以下将通过实验来说明本发明的技术效果。在该实验中，分别利用H. 264编解码 器和嵌入本发明的去噪滤波器和噪声恢复处理器的H. 264编解码器对视频序列cyclist和 rollingjomatoes进行编码，并对它们的RD性能进行比较。从图7a和图7b中的曲线图可 看出，本发明的RD性能优于标准H. 264编解码器，BDBitrate降低了 10% -20%。此外，图8a-8c分别是含有胶片颗粒噪声的视频序列rollingjomatoes中的原始 视频帧、利用嵌入去噪滤波器的编码器编码的重构视频帧和利用嵌入噪声恢复处理器的解 码器恢复的重构视频帧。从图8b可看出，利用本发明的去噪滤波器，有效地去除了胶片颗 粒噪声，从而提高了编码效率。从图8c可看出，本发明有效地恢复了图8a中所含有的原始 胶片颗粒噪声。从以上描述可看出，本发明的主要技术效果在于1.编码端通过去噪处理，有效地去除了噪声，从而提高了编码效率；2.由于去除噪声过程与恢复噪声过程可逆，因此，可恢复原始的真实噪声，从而改 进了主观视频质量；
3.仅涉及简单的残差或其变换系数的缩放与平移操作，其中仅需要计算少数几个 参数和传输一个参数，引入的额外负担小；4.去噪滤波器和噪声恢复处理器或者其去噪处理和噪声恢复处理可容易地集成 到标准视频编解码系统中。以上已参照实施例对本发明进行了详细描述，但是，应该理解，本发明并不限于以 上所公开的特定实施例，任何本领域的技术人员在此基础之上容易想到的修改和变型都应 包括在本发明的保护范围内。
权利要求
一种恢复噪声的视频编解码方法，包括在编码端执行去除噪声的视频编码方法；在解码端执行恢复噪声的视频解码方法；其中，所述去除噪声的视频编码方法包括以下步骤计算作为输入信号的当前帧与其参考帧之间的有噪残差信号；对有噪残差信号或者其变换系数进行缩放与平移，以得到当前帧的真实视频信号的最优估计信号与其参考帧之间的残差信号；对经过缩放与平移得到的残差信号进行变换、量化和熵编码或者对经过缩放与平移得到的变换系数进行量化和熵编码，组成压缩码流以供输出，同时对量化后的变换系数进行反量化和反变换，以得到重构的残差信号，并将该残差信号与参考帧相加得到重构帧，作为下一帧的参考帧；其中，所述恢复噪声的视频解码方法包括以下步骤对编码端输出的压缩码流进行熵解码、反量化和反变换，得到重构的残差信号；对重构的残差信号进行反缩放与反平移，以得到全部或部分恢复的有噪残差信号；将得到的有噪残差信号与当前帧的参考帧相加得到噪声全部或部分恢复的视频信号。
2.根据权利要求1所述的视频编解码方法，其特征在于，根据以下公式得到所述最优 估计信号 其中，k为帧号，足为去噪的第k巾贞，即为第k帧的真实视频信号的最优估计信号，^ 为第k帧的参考帧，Yk为观察到的第k帧，(^和ω 2分别为权重值，d为用来保证无偏差估 计的常数。
3.根据权利要求2所述的视频编解码方法，其特征在于，根据正交原则，ωι、ω2*(1的 最优值分别为 其中，σ k2为第k帧的噪声分量的方差，&和分别为第k帧与其参考帧的真实视频信 号之间的残差信号的均值和方差。
4.根据权利要求3所述的视频编解码方法，其特征在于，根据以下公式对有噪残差信 号进行缩放和平移 其中，rn,k为有噪残差信号，r'经过缩放和平移后得到的新的残差信号，μ为缩放因子，ν为平移因子。
5.根据权利要求3所述的视频编解码方法，其特征在于，通过以下方式对变换系数进行缩放与平移，即，将变换系数中的直流系数减去叫^，并将所有变换系数乘以ω2。
6.根据权利要求4或5所述的视频编解码方法，其特征在于，根据以下公式对重构的残 差信号进行反缩放和反平移 其中，rd,k为解码端重构的残差信号，r' d’k为rd,k经过反缩放和反平移后得到的新的 残差信号，λ为反缩放因子，θ为反平移因子。
7.根据权利要求1所述的视频编解码方法，其特征在于，所述缩放与平移操作、反缩放 与反平移操作为非线性操作。
8.根据权利要求1所述的视频编解码方法，其特征在于，所述缩放与平移操作、反缩放 与反平移操作为标量或矢量操作。
9.根据权利要求1所述的视频编解码方法，其特征在于，所述输入信号为一场或一块 视频信号或者音频或声音信号，并且一个信号片段的帧长度不限，帧与帧间相互重叠或者 不重叠。
10.一种恢复噪声的视频编解码系统，包括编码器和解码器，编码器包括输入单元、残 差计算单元、预测单元、参考帧缓存单元、变换单元、量化单元、熵编码单元、重构单元、编码 输出单元，解码器包括熵解码单元、反量化单元、反变换单元、参考帧缓存单元和解码输出 单元，其特征在于，所述编码器还包括去噪滤波器，其用于对作为输入信号的当前帧与其参考帧之间的有 噪残差信号或者其变换系数进行缩放与平移，以得到当前帧的真实视频信号的最优估计信 号与其参考帧之间的残差信号，并将经过缩放与平移得到的残差信号发送给变换单元或者 将经过缩放与平移得到的变换系数发送给量化单元；所述解码器还包括噪声恢复处理器，其用于对重构的残差信号进行反缩放与反平移， 以得到全部或部分恢复的有噪残差信号，并将该残差信号发送给输出单元，输出单元将该 残差信号与当前帧的参考帧相加得到噪声全部或部分恢复的视频信号。
11.根据权利要求10所述的视频编解码系统，其特征在于，根据以下公式得到所述最 优估计信号 其中，k为帧号，兄为去噪的第k巾贞，即为第k帧的真实视频信号的最优估计信号，兄q 为第k帧的参考帧，Yk为观察到的第k帧，(^和ω 2分别为权重值，d为用来保证无偏差估 计的常数。
12.根据权利要求11所述的视频编解码系统，其特征在于，根据正交原则，《1、《2和(1 的最优值分别为 d = CO1J7k其中，O k2为第k帧的噪声分量的方差，&和CTj分别为第k帧与其参考帧的真实视频信 号之间的残差信号的均值和方差。
13.根据权利要求12所述的视频编解码系统，其特征在于，根据以下公式对有噪残差 信号进行缩放和平移r' n,k = y rn>k+v μ = ω 2ν = Wk其中，rn,k为有噪残差信号，r'经过缩放和平移后得到的新的残差信号，μ为缩放因子，ν为平移因子。
14.根据权利要求12所述的视频编解码系统，其特征在于，通过以下方式对变换系数 进行缩放与平移，即，将变换系数中的直流系数减去叫，并将所有变换系数乘以ω2。
15.根据权利要求13或14所述的视频编解码系统，其特征在于，根据以下公式对重构 的残差信号进行反缩放和反平移r' d,k=Xrd,k+eCO1ω2其中，rd,k为解码端重构的残差信号，r' d’k为rd,k经过反缩放和反平移后得到的新的 残差信号，λ为反缩放因子，θ为反平移因子。
16.根据权利要求10所述的视频编解码系统，其特征在于，所述缩放与平移操作、反缩 放与反平移操作为非线性操作。
17.根据权利要求10所述的视频编解码系统，其特征在于，所述缩放与平移操作、反缩 放与反平移操作为标量或矢量操作。
18.根据权利要求10所述的视频编解码系统，其特征在于，所述输入单元输入的信号 为一场或一块视频信号或者音频或声音信号，并且一个信号片段的帧长度不限，帧与帧间 相互重叠或者不重叠。
全文摘要
本发明提供一种恢复噪声的视频编解码方法，包括在编码端执行去除噪声的视频编码方法；在解码端执行恢复噪声的视频解码方法。在去噪处理中，对有噪残差信号或者其变换系数进行缩放与平移，以得到当前帧的真实视频信号的最优估计信号与其参考帧之间的残差信号，然后对该残差信号进行变换、量化和熵编码，组成压缩码流以供输出。在恢复噪声处理中，对重构的残差信号进行反缩放与反平移，以得到恢复的有噪残差信号，并将得到的有噪残差信号与当前帧的参考帧相加得到噪声恢复的视频信号。相应地，提供一种恢复噪声的视频编解码系统。本发明可恢复原始的真实噪声，引入的额外负担小，去噪处理和噪声恢复处理可容易地集成到标准视频编解码系统中。
文档编号H04N7/30GK101883280SQ20101016839
公开日2010年11月10日 申请日期2010年5月7日 优先权日2009年5月7日
发明者代晶静, 区子廉, 庞超 申请人:香港科技大学