专利名称：用集成的时间滤波器降噪的视频编码器的制作方法
技术领域：
本发明一般地涉及给视频数据编码的领域，更具体地说涉及在给视频数据编码的 系统和方法中使用集成的时间滤波器。
现有技术传统的以紧凑的数字格式给视频数据编码的系统和方法是作为当软件在专用处 理器上运行的时候或当在软件通用处理器上运行的时候完成各种不同类型的信号处理的 特殊用途集成电路和/或集成电路系统实现的。数字视频信号是为了描述帧序列中每个象素的色调、色饱和度和亮度最后被解码 的数字数值(按照惯例二进制数字(即，位)的序列被组织成字节、字、象素、帧，等等)在 数字电路里面的电流和电压的表示法。现代的数字视频信号已经被设计成表现分辨率非常 高的移动帧序列。因为这样的分辨率非常高的帧序列将需要非常高的带宽(即，信息承载 量)把所表现的大量信息从来源传送到显示装置，所以现代的系统为了传输对信号进行编 码或压缩。数字压缩和移动补偿技术能大幅度地减少所需要的视频信道带宽。传统的视频编 解码器除了其它功能之外在完成移动补偿之后通过将被传送的最后一帧与当前帧进行比 较给帧序列编码并获取差异。传统的时间滤波器配置和传统的视频编解码器分别展示在图6和图7的方框图 中。简要地说，如图6的方框图所示，传统的时间滤波器配置接受输入帧数据101进入 移动预估和移动补偿模块603。输入帧数据101也被时间滤波器605接收并且被储存在旧 帧的存储器606中。旧帧的存储器606可能保存时间滤波之前(即，输入帧数据101)或时 间滤波之后(替代数据路径607)的帧，举例来说，使用无限脉冲响应(IIR)时间滤波器，但 是在任一情况下这些帧都比要对它进行操作的当前帧陈旧。旧帧是在移动预估和移动补偿 模块603的操作期间从存储器606取回的，因为旧帧形成预估和补偿的基础。在图7的方框图所示的传统的成熟的视频编解码器中，输入帧数据101被收进移 动预估和移动补偿模块703，同时也被收进入残差计算模块707。残差计算模块707计算移 动补偿旧帧和现行当前帧之差，被称为残留误差。然后，用变换/量化/熵编码模块709给 残留误差编码。关于旧帧的编码残留误差被重建模块711反馈和解码。重建帧被储存在存 储器713，供移动预估和移动补偿模块703存取。从存储器713取回的重建帧被用于模块 703所做的移动预估和补偿。
发明内容
有输出传送编码帧序列的带集成时间滤波器的视频编码器包括接收输入帧数据 的输入端；接收从输入端输入的帧数据并且产生滤波帧数据的时间滤波器；接收起源于编 码帧序列和滤波帧数据的重建帧并产生残留误差信号输出的移动处理模块；以及接收输入帧数据和残留误差信号并产生编码帧序列的编码器模块。在一种变化中，移动处理模块进 一步包括接收重建帧和输入帧数据并且产生预估移动矢量的移动预估模块；以及接收预 估的移动矢量并且产生移动补偿帧数据的移动补偿模块；其中时间滤波器进一步接收用来 滤波的移动补偿帧数据。在另一种变化中，该编码器进一步包括接收编码帧序列并且把重 建帧提供给移动预估模块的帧重建模块。在另外一种变化中，该编码器进一步包括时间滤 波器用以决定究竟接收提供给移动预估模块的重建帧还是接收交替重建帧的开关。给视频编码的方法包括接收实质上同时进入移动预估模块和时间滤波器要编码 的当前帧；对当前帧进行时间滤波；接收先前编码帧；依据先前编码帧产生重建帧；以及依 据重建帧和当前帧确定在重建帧和当前帧之间是否该掺混和该完成多少掺混。在一种变化 中，该方法包括通过使用重建帧掺混进行时间滤波。在另一种变化中，该方法包括依据 提供给移动预估模块的重建帧或没有移动补偿的交替重建帧有选择地对当前帧进行时间 滤波。依照实施方案的其它方面，视频编码器包括为接收来自移动预估单元的预估移 动矢量而构造和安排的移动补偿单元；与所述的移动补偿单元耦合的残差计算单元；以及 与所述的移动补偿单元耦合并且能够接收当前视频帧的时间滤波器单元，该时间滤波器单 元能够确定对移动补偿参考帧和所述的当前视频帧之间的掺混的需求和所述掺混的强度 水平。在一种变化中，掺混完成到象素水平。对视频帧进行视频编码的另一种方法包括接收待编码的当前视频帧；接收先前 编码的参考帧；依据所述的先前编码的参考帧通过使用移动预估和补偿产生移动补偿参考 帧；以及基于所述的移动补偿参考帧和所述的当前视频帧确定掺混是否是必需的而且如果 是必需的则确定所述的掺混强度。依照变化，掺混完成到象素水平。
附图不打算按比例绘制。在这些附图中，在各种不同的附图中举例说明的每个同 一的或几乎同一的组成部分是用相似的数字表示的。为了清楚，可能并非每个组成部分都 被标示在每张附图中。在展示数据和程序流的方框图中，虚线指出数据流，而实线指出数据 和程序两种流动。在附图中图1是某实施方案的诸方面的方框图；图2是图1的实施方案的诸方面的比较详细的方框图；图3是另一个实施方案的诸方面的方框图；图4是另外一个实施方案的诸方面的方框图；图5是某实施方案的另外一些方面的流程图；图6是传统的视频编码器的方框图；而图7是传统的视频编解码器的方框图。
具体实施例方式这项发明在其应用方面不局限于在下面的描述中陈述的和在附图中举例说明的 组成部分的构造和安排的细节。本发明能够有其它的实施方案而且能够以各种不同的方式 实践和实施。
本发明的诸方面的实施方案能围绕着与位流一样给叫做数字视频位流的帧流编 码的数字信号处理反馈回路构成。编码包括为了预测当前帧的内容使用先前编码的帧(被 称为参考帧)完成移动预估和移动补偿，其中参考帧可能已经为了完成这项预测已被重 建。预测结果和真实的当前帧之间的差异是作为编码信息压缩和传送的。在这样的系统中， 接收当前帧并且把它与已经应用移动预估和补偿的参考帧进行比较，以确定是否已经发生 和已经发生多少不同于预估和补偿的移动，即，残留差异。然后，完成该残留差异的编码和 量化用于输出。在反馈路径中，该当前帧也被解码和重建以便形成用于下一个当前帧的参 考帧。为了消除用空间滤波没有消除的噪声(如果有)，将使用时间滤波。依照实施方案的诸方面，时间滤波能在所描述系统的若干不同的级之一完成。为 完成时间滤波选定的级的业已发现有利的特征(但并非所有的需要都被包括在任何一个 选定的级之中)包括使用同一读取接收当前帧作为移动预估和/或补偿模块以及要么对该 当前帧完成时间滤波运算并把结果提供给残差计算单元进行最后的残差计算要么把关于 所需掺混的决定提供给残差计算单元，由后者同时完成掺混/插值和残差计算。所述结构是由配置成形成对它们的输入完成特定的功能产生输出的模块的专用 或通用硬件和/或软件构成的。现在将要讨论的这样的个别模块的落实对于熟练的技术人 员是众所周知的。类似的模块是也能构成传统的编码器的硬件和/或软件元素。移动预估器移动预估器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的数字信 号处理器(DSP)上运行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法 构成的。移动预估器把当前帧与一个或多个先前帧进行比较以便预估在先前帧和当前帧之 间是否有、哪里有和/或有多少移动可能已经发生。移动是作为矢量表示的，从而指出象素 块或个别象素从一帧到另一帧的位移的方向和幅度。移动补偿器移动补偿器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上 运行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。移动补偿 器把移动矢量应用于参考帧产生有移动补偿的预测帧。预测帧可能不同于当前帧，那个差 异被称为残留误差。残差计算器残差计算器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上 运行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。残差计算 器逐个象素确定当前帧和预测帧之间的差异，然后将该差异编码成数字视频位流。用时间 滤波器指导的掺混也能用残差计算器完成。时间滤波器时间滤波器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上 运行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。时间滤波 器通过确定掺混、插值、和/或其它补偿技术应该被用到什么程度来除去时间噪声。与变更 象素或子象素数值在一帧的某行或某区域内的空间变化速率空间滤波相比较，时间滤波比 较和变更一个或多个象素或子象素在一段时间内的变化速率。掺混(所描述的可仿效的技术)是接收两个以上输入数值、应用一个或多个掺混
5参数并且在输出产生标量数值的计算，该标量值可能，举例来说，是输入数值之间的界限。 在收到两个以上输入数值的实施方案中，它们能表示两帧或多帧的同一部分，例如，两帧或 多帧中对应象素的亮度数值。作为替代，它们能表示在较大区域里的数值，例如，在两帧中 对应的3X3的象素区域里的亮度数值，从而把时间和空间滤波效应结合起来。这个程序 (为了简单，用双输入的情况来举例说明)可以用方程0 = f(A、B、bPl、bp2、...、bPn)来表 示其中A，B是输入数值；Bp” bp2、…、bpn是掺混参数(可能有任意个，η个)；0是在下列范围的输出结果如果A < B，则A < 0 < B，如果A > B，则B < 0 < Α。依照已经尝试过的一个模型，掺混函数可以表示成0 = bPiXA+d-bPi) XB0量化器量化器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上运行 的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。量化器采取先 前计算的结果(该结果可能有更重要的数值或可能包括比例因子或相似的东西)，而后把 该结果减少到有限的量子数之一，即，能被编码的特定数值。逆量化器逆量化器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上运 行的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。逆量化器获 取量子序列，而且基于状态信息、其它的先验信息、插值法或其它技术把数值扩充回可能有 更重要的数值或可能包括比例因子或类似的东西的数值序列。变换/逆变换包括变换/逆变换运算的各种不同的矩阵运算可能是需要的而且可能是作为专 用数字逻辑电路、作为在有足够的速度和带宽的DSP上运行的数字信号处理软件、作为有 限状态机或借助任何其它适当的方法构成的。编码器编码器可能是作为专用数字逻辑电路、作为在有足够的速度和带宽的DSP上运行 的数字信号处理软件、作为有限状态机或借助任何其它适当的方法构成的。编码器可能为 了减少在数值序列中包含的冗余，借此把该序列压缩成数目较少的数值；为了增加在数值 序列中包含的冗余，借此逐渐增加对可能在该序列的传输期间引进的该序列的错误的抵抗 力；或只是为了将信息的一种表示法翻译成该信息的另一种表示法对输入数值序列完成各 种不同的变换。用于视频处理的一些编码器包括熵编码器、变换编码器(例如，离散余弦变 换(DCT)编码器)和移动预估和补偿编码器。在这份讨论中，编码器的特定功能将在一定 条件下被识别，而且单词“编码器”或“译码器”当单独提及功能清楚的时候可能不被使用。现在参照图1描述某实施方案的诸方面。图1所示的组成部分前面已经逐个描述 过了。这些块中每个块的替代构造是熟悉这项技术的人已知的。帧是被系统100捕获并且作为输入帧数据101被提供给完成移动预估和移动补偿 的移动处理模块103的。输入帧数据101也被提供给时间滤波器模块105和残差计算器模 块107。在先前帧和当前正在处理的输入帧数据101之间发生的移动是预估的，而是补偿是
6加给先前帧的每个象素的，从而产生补偿帧，该补偿帧连同输入帧数据101和经时间滤波 105的帧数据和/或元数据(例如，掺混系数)一起被提供给残差计算器模块107。然后，残 差计算器模块107在帧数据的各种不同版本之间进行掺混或插值，产生能用编码模块109 编码的残差数值。为了完成与将来帧进行比较，在给后续帧编码期间，编码帧用帧重建模块 111重建，产生重建帧113。重建帧113起源于经时间滤波的而且在被重建之前完成编码程 序的整个平衡的输入数据。这些重建帧113是移动处理模块103用来与输入帧数据101进 行比较的先前帧。依照一些实施方案，经过时间滤波105的帧数据可能是虚拟的，即，时间滤波器模 块105提供滤波系数作为它的输出，而真实的滤波运算是在飞行时连同残差计算一起在残 差计算器模块107中完成的。依照其它的实施方案，时间滤波器模块105把适当的滤波系 数应用于输入帧数据101直接产生滤波帧数据。图1的各种不同的模块可能是作为集成的专用硬件模块或作为集成的软件模块 实现的，或者可能为了易于落实在功能上被进一步分解。举例来说，移动处理模块103可能 被分解成分开的移动预估模块和移动补偿模块。举例来说，见图2，分别为210和220。现在参照图2描述把图1的几个模块作为实现低级功能性的独立模块举例说明的 实施方案的诸方面。图2所示的组成部分已经在上面个别地描述过。这些块中每个块的替 代构造是熟悉这项技术的人已知的。帧被系统200捕获并且被作为输入帧数据101提供给移动预估模块210，后者的输 出与移动补偿模块220耦合，该移动补偿模块也能非必选地直接接收输入帧数据101。移动 预估是相对于先前帧按编码次序完成的。移动补偿模块220完成插值，如果有必要，在残差 计算模块230中借助残差计算完成减法。依照本发明，时间滤波器模块225与移动补偿模 块220耦合，而且进一步接收输入帧数据101和把输出提供给残差计算模块230。时间滤 波器模块225能够对一定数目的象素(直到对每个象素)检查在移动补偿基准和当前帧之 间是否加和以那种强度加掺混。掺混可能依照需要被应用于帧的某个部份或整个帧。与现 有技术的解决办法相反，残差计算模块130现在使用来自时间滤波器模块225的输出和来 自移动补偿模块220的基准完成掺混，而且可能进一步使用输入帧数据101完成同一件事。 所以，在一个实施方案中，掺混是由时间滤波器模块225完成的。然后，系统200让规则的 压缩流继续通过变换模块240 (例如，离散余弦变换(DCT))、量化模块250、逆量化模块280 和逆变换模块245 (例如，逆DCT (IDCT))。与熵编码模块270耦合完成对残差系数重新排 序的重新排序模块260与量子化模块250的输出连接。帧重建模块111接收逆变换的输出 和移动补偿帧，而且可能把重建帧在存储器114中存档。存储器114进一步与移动预估模 块210和移动补偿模块220耦合。当系统200作为集成电路被实现的时候，存储器114可 能是外部的或内部的存储器。依照实施方案的替代方面的系统300是用图3举例说明的。列举的替代选择允许 不同的帧或其某些部分在一个或多个移动预估和移动比较模块中充当参考帧。帧被系统300捕获并且被作为输入帧数据101提供给移动处理模块103。输入帧 数据101也被提供给时间滤波器模块305和残差计算器模块107。发生在先前的输入帧 和当前正在处理的输入帧数据101之间的移动是预估的，而补偿被应用于参考帧的每个象 素，从而产生补偿帧，该补偿帧连同输入帧数据101和经过时间滤波305的帧数据一起被提供给残差计算器模块107。然后，残差计算器模块107在帧数据的各种不同的版本之间进行 掺混或插值，产生能用编码模块109编码的残差数值。为了完成与将来帧比较，将编码帧用 帧重建模块111重建，产生重建帧113。重建帧113起源于经过时间滤波并且在重建之前完 成编码程序的整个平衡的输入数据。这些重建帧113是移动处理模块103用来与输入帧数 据101进行比较的先前帧。开关306是在硬件中或通过选择使用软件读的储存器位置提供 的，所以提供给时间滤波器的重建帧113可能与提供给移动处理模块103的那些相同，或者 可能是与目前提供给移动处理模块103的那些不同的重建帧或其储存在存储器114中的某 些部分，例如，没有移动补偿的重建帧。依照某实施方案的另一些方面的系统400展示在图4中。在这个实施方案中，时 间滤波器接收移动预估信息，而不是移动补偿信息。帧被系统400捕获并且被当做输入帧数据101提供给移动预估模块402，后者的输 出与移动补偿模块403耦合，该移动补偿模块也能非必选地直接接收输入帧数据101。移动 预估是相对于先前帧按编码次序完成的。移动补偿模块403完成插值，如果有必要，在残差 计算器模块107中借助残差计算完成减法。依照本发明，时间滤波器模块405与移动预估 模块402耦合，而且进一步接收输入帧数据101和把输出提供给残差计算器模块107。时间 滤波器模块405能够对每个象素检查在基准和当前帧之间是否加和加哪种强度的掺混。掺 混可能依照需要被应用于帧的某部份或整个帧。与现有技术的解决办法相反，残差计算器 模块107，现在使用来自时间滤波器模块405的输出和来自移动补偿模块403的基准完成 掺混，而且可能进一步使用输入帧数据101来完成同一件事。所以，在一个实施方案中，掺 混是时间滤波器模块405完成的。然后，系统400让规则的压缩流继续通过编码模块109。 帧重建模块111接收编码模块109的输出和移动补偿帧而且可能把重建帧在存储器114中 存档。存储器114进一步与移动预估模块402和移动补偿模块403耦合。当系统400作为 集成电路实现的时候，存储器114可能是外部的或内部的存储器。如同就图5的流程图500进一步描述的那样，本发明现在使带时间滤波的视频编 码的完成成为可能。在S510，接收要编码的帧。在S520，接收一个或多个先前编码的参考 帧。人们应该注意到，接收这样的帧可能是从存储器114得到的。在S530，使用移动预估 从参考帧产生移动补偿参考帧。在S540，确定掺混是否是必需的，如果是必需的，则以S250 继续运行；否则，以S570继续运行。在S550，确定必需的掺混强度。在所揭示的本发明的 一个实施方案中，而且没有限制其一般原则的意图，掺混完成到象素水平。在S560，完成帧 之间的掺混。在S570，检查是否有附加的帧需要处理，如果有，以S510继续运行；否则，运 行结束。依照关于所描述的各种不同的实施方案的变化，依据先前编码的参考帧产生移动 补偿参考帧能在移动预估器模块和移动补偿器模块中同时进行，而且在提供时间滤波器模 块的时间滤波器模块中接收不同于移动预估器模块和移动补偿器模块的参考帧。使用实施方案的诸方面的原则，能节约可观的带宽。传统的系统对时间滤波器的 带宽要求是输入MB (384字节)+参考MB (384字节)+输出MB (384字节)=1. 125KB/MB。 加之，依照对视频编码器的要求，带宽为输入MB (384字节)+参考MB (384字节)+输出码 /MB ( 10字节)=0. 76KB/MB。因此，传统系统所需要的总带宽是每MB大约1. 885KB。反 之，上述的实施方案的诸方面有对组合的时间滤波器和编码器的带宽要求输入MB (384字节)+参考MB (384字节)+输出码/MB ( 10字节)=0. 76KB/MB。使用上述的实施方案的 诸方面节约带宽大约60%，因为实施方案的诸方面是只使用传统系统的大约40%的带宽 获得类似的结果。上述的较低的带宽需求也能对要求编码设备有较低的耗电量作出贡献。较低的带 宽导致这样的设备的个别开关元素(例如，个别的晶体管)以更有效的操作区域操作更多 的时间，因为与为了支持高带宽它们以非常高的频率操作的时候相比它们以较低的频率操作。实施方案的其它方面的优点是能支持比特率较低的高质量视频。时间滤波器甚至 能被比特率控制用来降低比特率而没有任何可观的质量牺牲。实施方案的另一些其它方面的优点是由于比较少的噪声和在帧之间的较平滑的 过渡感觉得到视频质量较高。实施方案的另一些其它方面的另一个优点是减少编码流中所需位元数目并因此 减少所需带宽的潜力较大，因为时间滤波减少为了表现预测的当前帧和真实的当前帧之间 的差异需要编码的残差数据的数量，因此减少对压缩的需求。至此已经描述了这项发明的至少一个实施方案的一些方面，人们将领会到各种不 同的变化、修改和改进对于熟悉这项技术的人将很容易发生。这样的变化、修改和改进倾向 于作为这份揭示的一部份，而且倾向于在本发明的精神和范围之内。因此，前面的描述和附 图仅仅是作为范例。
权利要求
1.一种带集成的时间滤波器有传送编码帧序列的输出的视频编码器，其中包括 接收输入帧数据的输入端；接收输入的输入帧数据并产生滤波帧数据的时间滤波器；移动处理模块，其具有接收起来自编码帧序列和滤波帧数据的重建帧的输入端，并产 生残留误差信号输出；以及编码器模块，其接收残留误差信号并产生编码帧序列。
2.根据权利要求1的视频编码器，其中移动处理模块进一步包括 接收重建帧和输入帧数据并产生预估移动矢量的移动预估模块；以及 接收预估移动矢量并产生移动补偿帧数据的移动补偿模块；其中 时间滤波器进一步接收用来过滤的移动补偿帧数据。
3.根据权利要求2的视频编码器，进一步包括接收编码帧序列并且把重建帧提供给移动预估模块的帧重建模块。
4.根据权利要求3的视频编码器，进一步包括开关，通过该开关，时间滤波器接收提供给移动预估模块的重建帧或者替换的重建帧。
5.一种视频编码方法，该方法包括接收实质上同时被编码成移动预估模块和时间滤波器的当前帧； 对当前帧进行时间滤波； 接收先前编码的帧； 依据先前编码的帧产生重建帧；以及依据重建帧和当前帧确定在重建帧和当前帧之间是否该掺混和该完成多少掺混。
6.根据权利要求5的方法，进一步包括 使用重建帧通过掺混进行时间滤波。
7.根据权利要求6的方法，进一步包括依据提供给移动预估模块的重建帧或没用移动补偿的交替重建帧有选择地对当前帧 进行时间滤波。
8.一种视频编码器，其中包括为接收来自移动预估单元的预估移动矢量而构造和安排的移动补偿单元； 与所述的移动补偿单元耦合的残差计算单元；以及 与所述的移动补偿单元耦合并且能够接收当前视频帧的时间滤波器单元； 该时间滤波器单元能够确定对移动补偿参考帧和所述当前视频帧之间的掺混的需求 以及所述掺混的强度水平。
9.根据权利要求8的视频编码器，其中掺混完成到象素水平。
10.一种用于视频帧的视频编码的方法，该方法包括 接收待编码的当前视频帧；接收先前编码的参考帧；依据所述的先前编码的参考帧通过使用移动预估和补偿产生移动补偿参考帧；以及 基于所述的移动补偿参考帧和所述的当前视频帧确定掺混是否是必需的，如果是必需 的则确定所述掺混的强度。
11.根据权利要求10的方法，其中所述的掺混完成到象素水平。
全文摘要
一种有传送编码帧序列的输出的带集成的时间滤波器的视频编码器，其中包括接收输入帧数据的输入端；接收从该输入端输入的帧数据并产生滤波帧数据的时间滤波器；接收起源于编码帧序列的重建帧和来自时间滤波器的滤波帧数据并产生残留误差信号输出的移动处理模块；以及接收输入帧数据和残留误差信号并产生编码帧序列的编码器模块。视频的编码方法包括接收要实质上同时编码进入移动预估程序和时间滤波器的当前帧；接收先前编码的参考帧；依据先前编码的参考帧产生重建的移动补偿参考帧；以及依据移动补偿参考帧和当前帧确定在移动补偿参考帧和当前帧之间是否该掺混和该完成多少掺混。
文档编号H04N7/50GK102067605SQ200980123913
公开日2011年5月18日 申请日期2009年7月29日 优先权日2008年8月1日
发明者E·D·平哈索, V·平托, Y·多尔金 申请人:卓瑞公司