具有可变压缩比和用于存储及检索参考帧数据的缓冲器的视频解码器的制作方法

专利名称：具有可变压缩比和用于存储及检索参考帧数据的缓冲器的视频解码器的制作方法
技术领域：
本专利申请涉及视频解码器，尤其涉及具有简化的存储器访问简
档(profile)的视频解码器。
背景技术：
在数字视频领域，最普遍的图像编码类型是I图像(内部编码图 像)，在不参考其它任何图像的情况下其被编码，并且常常称为参考 帧或锚定帧；P图像(预测编码图像)，根据过去的I或P参考图像， 使用运动补偿预测对其进行编码；以及B图像(双向预测编码图像)， 根据前一个(后面的)和未来的(前面的)I或P图像使用运动补偿对其进 行编码。这些图像类型有时还被称为I、 P或B帧。
称为MPEG(运动图像专家组)压縮的压缩标准是一组使用如上所
述的帧压縮技术对全动视频图像进行压縮和解压縮的方法。其中， MPEG压缩使用运动补偿和离散余弦变换(DCT )处理，可以产生很高 的压縮比。为了更好地了解该压縮标准，可以参考Chapman&Hall在 1997年出版的，由Barry G. Haskell、 Atul Puri和Arun N. Netravli等 合著的"Digital Video: An Introduction to MPEG-2"。
当前，大多数视频解码器，例如MPEG-2解码器，都使用外部存 储器，以通过对之前存储的参考帧进行矢量控制(vector-controlled)预 测，根据P图像和B图像创建视频帧。该外部存储器最可能是基于 DRAM的，因为它们代表独立存储器设备的主流市场。基于DRAM 的存储器提供突发访问模式以获得高带宽性能。这意味着通过仅给出 单个读或写指令就可以向存储器或从存储器传输多个连续的数据字 (突发)。为了利用可用的数据带宽，读和写访问必须是面向突发的。 基于DRAM的存储器趋向于仅仅对于大尺寸突发具有高效的存储器
传输。
一个缺点是矢量控制预测要求对一个或多个存储器中的参考帧
进行随机定位的基于块的访问。这种对基于DRAM的存储器进行的
访问的效率是相当低的。第二个缺点是在用于重建矢量预测帧所需要 的存储器访问带宽方面的依赖于视频内容的不断变化。
虽然许多数字系统使用MPEG-2作为压縮标准，但是在称作主级 (main-levd)和高级(high-levd)的系统之间存在市场区别。不仅各个系 统的编码器的实现相当不同，而且解码器的实现也相当不同。在处理 速度和存储器需求上的差别在五到六倍。另一个很快即将出现的市场 区别在能进行单重高级(single high-level)解码和双重高级(double high-level)解码的系统(片上)之间。在双重高级MPEG-2解码的情况 下， 一个或多个目前工艺水平的MPEG-2解码器将需要相当多的系统 资源，特别是例如在对外部存储器的存储器带宽和用于参考帧存储的 存储器足迹(memory footprint)等方面。
由于在主流CMOS性能上的改进，高解码速度未导致用于高级 系统的六倍大小的解码块。然而，存储器需求在访问带宽和容量方面 线性地按比例变化，因此对解码器体系结构具有较大的影响。尤其是 在外部存储器的情况下，在访问带宽上的差别将意味着不同的方法。 如果必须与其它的部件(例如CPU 、定标器(scaler)、图形加速器、图 像合成处理器等等)共享外部存储器，这将更加复杂。当MPEG解码 器是片上系统的一部分时，与其它部件共享存储器资源是一种典型情 况，片上系统使用统一的外部存储器。
之前已知的专利公开US 6088391涉及用于像素数据的B帧的存 储器系统，其中每个B帧包含多个部分，并且其中所述多个部分中 的每个部分包含对应于一个帧的前场(top field)和后场(bottom field)的
像素数据。存储器系统包含组织为多个用于存储像素数据的段的存储 器，其中段的数量等于帧断面(fmme section)的数量在加上两个额外的
段。然而，每个段的大小是一个帧断面的一半。存储器系统还包含用 于根据每个帧的前场和后场来接收并且分离像素数据的分割设备。分 割设备跟踪分段以确定所述存储器的两个可用的段，并且为每个帧的
每个断面将来自前场的像素数据存储到一个可用的段中，并且将来自 后场的像素数据存储到存储器的另一个可用的段中。最好包含一个段 指针表用于跟踪用于交错显示的存储器的段。 一个解码器系统包括存 储器和分割设备，并且还包含重建单元，用于接收视频数据并将视频 数据解码为像素数据，以及用于从段检索像素数据的显示电路。 一种 存储以及检索像素数据的方法包含依据场来分离像素数据的步骤以 及将像素数据存储到相应的段中的步骤。在存储了一半帧之后，由显 示设备检索数据用于交错显示。
以上描述的、根据US 6088391的解码器系统和方法的一个缺点 是，其仅能够部分地减少存储器容量需求，而不减少存储器带宽需求， 没有简化存储器访问简档，也没有减少在所需的存储器访问带宽方面 的不断变化。
因此，需要一种视频解码器以及所实现的相关方法，通过其可以 简化存储器访问简档，减少在存储器访问带宽方面的不断变化，还可 进一步减少存储器容量需求和存储器访问带宽。

发明内容
基于上述问题，本发明的一个目的是提供一种改进的视频解码 器，其具有与数据压縮和解压縮相结合的集成的存储器缓冲器，通过
其可以独立于视频内容而实现简单的到外部存储器的访问简档，以及 到外部存储器的低的并且完全确定性的存储器访问带宽。 该目的是根据权利要求1的特征部分而实现的。 通过提供以下装置，能够减少将被存储的参考帧的大小和存储器
访问带宽需求，所述装置包括用于使用可变压縮方法来压縮参考帧 数据的装置；缓冲器装置，用于在中间为每个参考帧至少存储视频的 扫描线中的运动矢量的垂直孔径(vertical aperture)(范围)再加上一排 (片(slice)度i央；用于解压縮参考帧数据的装置，用于使得用于运动 补偿(MC)的所述装置能够使用所述已解压缩的参考帧数据来重建矢 量预测图像和宏块。
本发明的另一个目的是提供一种用于简化存储器访问简档以及
减小视频解码器中的存储器访问带宽的方法，其中，所述视频解码器 具有与数据压缩和解压縮相结合的集成的存储器缓冲器，通过该方法 可以独立于视频内容而实现简单的到外部存储器的访问简档，以及到 外部存储器的低的并且完全确定性的存储器访问带宽。
该目的是根据权利要求18的特征部分而实现的。 通过提供以下步骤，能够减少将被存储的参考帧的大小和存储器
访问带宽需求，所述步骤包括对压縮视频数据进行可变长解码；对
内部编码图像、内部编码宏块以及内部编码delta信息进行逆扫描、 逆量化以及逆离散余弦变换(IDCT)解码；用于解码矢量预测图像和宏 块的运动补偿；将已解码的内部编码宏块、已解码的内部编码delta 信息以及运动补偿过的矢量预测宏块组合为参考帧或输出帧数据；使 用可变压缩方法来压缩参考帧数据；在中间为每个参考帧至少将视频 的扫描线中的运动矢量的垂直孔径(范围)再加上一排(片)宏块存储在 缓冲器装置中；对参考帧数据进行解压縮以使得所述用于运动补偿 (MC)的装置能够使用所述已解压縮的参考帧数据来重建矢量预测图 像和宏块；输出已解码的图像数据。
在从属权利要求中列出了优选实施例。


在附图中，相同的参考标记表示相同的部件。
图1显示FIFO的初始化和更新策略；
图2进一步说明根据图1的FIFO的初始化和更新策略；
图3进一步说明根据图1和图2的FIFO的初始化和更新策略；
图4公开根据本发明的第一实施例的视频解码器的示意图5公开根据本发明的第二实施例的视频解码器的示意图6说明如何根据压縮比和存储器访问带宽来减少参考帧的大
小；
图7说明一个优选实施例，其中P图像的参考帧的压縮比是B 图像的一半； ' 图8说明第二实施例的一般概念；
图9说明第二实施例的优选的一般概念； 图IO说明用于第二实施例的第一替换实施选项； 图11说明用于第二实施例的第二替换实施选项。 通过结合附图所进行的详细说明，本发明的其它目的和特征将变 得更加明显。然而应该理解，附图仅仅用于说明的目的，而不是用于 限制本发明的定义，对于本发明的范围，应参考所附的权利要求。应 该进一步理解，附图不必按比例绘制，除非另外指明，否则它们仅仅 用于在概念上说明这里所描述的结构和过程。
具体实施例方式
为了简化外部存储器访问简档以及消除在视频解码器所需的外 部存储器访问带宽方面的不断变化，根据本发明，提出集成存储器。 该集成的存储器用作缓冲器8，当视频数据从外部存储器传输到缓冲
器中时，以先进先出(FIFO)方式访问缓冲器8，并且由例如在视频解 码器中通过运动矢量来构造预测帧的设备的预取单元按照基于块的 方式进行访问。缓冲器8的功能是隐藏复杂(矢量控制)的存储器访问 简档和来自外部存储器9的存储器访问带宽的不断变化。
实际上，缓冲器为每个参考帧实现FIFO。因此，在MPEG-2解 码器的情况中，缓冲器8将包含最多两个FIFO。在FIFO模式中，缓 冲器8中的FIFO元素的优选的粒度是一片， 一片是一排宏块。假定 一片横跨图像的整个水平范围。该假定不是限制性的。注意，在实践 中，传输一片(即， 一个FIFO元素)需要多个高效的来自外部存储器9 的突发访问。更进一步地优化是用通过整数个来自外部存储器9的突 发访问而获取的字节的数量来表示一个FIFO元素。
图1显示在典型的ATSC高级MPEG-2解码(大约+/-128的垂直 范围，即+/-8个片)中的用于这种？正0的初始化和更新策略。在附图 中，参考帧缓冲器(FIFO)是8，参考指针是ll，垂直范围运动矢量是 12，外部存储器是9。假定解码器开始解码矢量预测图像。从左上方 开始连续输入它的宏块，从左扫描至右并自上而下移动，最终在右下 角结束。初始状态是FIFO 8是大约半满的(参见图1左边)，它是参考
帧的上部，其跨越运动矢量12的垂直孔径的一半再加上一片。矢量
预测图像的第一个输入的片(片l)可以被完全地处理，这是因为所有
的可能的矢量参考图像数据都在FIFO 8中。当矢量预测图像的第二 个片(片2)的第一个宏块必须被解码时，参考帧的下一个片必须从外 部存储器9传输到FIFO 8中(参见图1的中部和右部)。因为FIFO 8 大约是半满的，所以不丢弃任何FIFO元素或数据。该处理持续进行 直到从输入片的顶部开始的垂直偏移超过垂直孔径的一半为止。从该 点开始，被解码的矢量预测图像将不再参考FIFO 8中的第一片，从 而使得丢弃第一片。当解码矢量预测图像的下一个片时，丢弃FIF0 8 中的第二个片，如此继续，如图2所示。该处理持续到参考帧的最后 的片在FIF0 8中。
对于FIF0 8中的当前参考帧的出局(run-out)状况的有利的方 法是使下一个所需的参考帧的视频数据在开始解码下一个矢量预测 图像时己在FIFO 8中。这可以通过当矢量预测图像的当前片己被解 码并且下一个片仍将被解码时，将下一个需要的参考帧的第一个片加 载到FIF0 8中来实现，如图3所示。当预测图像的最后的片已被解 码时，情况如图1所述，但是下一个需要的参考帧的第一个部分在 FIFO缓冲器8中。
在MPEG-1和MPEG-2的情况中，当假定缓冲器8中的视频是 未压縮的时，以比特表示的缓冲器的大小应该大于等于(运动矢量的 垂直范围+—排宏块)X每条扫描线的最大像素数量X参考帧的最大 数量X每个像素的字节数量X每个字节的比特数量，其中所述一排宏 块横跨图像的整个水平大小。
用于ATSC的单重高级MPEG-2解码器具有256的运动矢量的垂 直范围， 一个宏块排有16条扫描线，每条扫描线最多有1920个像素， 最多有2个参考帧，每个像素1.5字节，并且每个字节8比特。因此， 当未将数据压縮应用到单重高级MPEG-2解码器上时，必须集成大约 13M比特的缓冲存储器。该13M比特存储器可以与高速MPEG解码 管道(pipe)集成在一个模块中。这种模块可以应对50/60 Hz的主级解 码(main level decoding),而不需要外部存储器9。在高级解码的情况
中，缓冲器8被用于矢量控制预测，它是访问最密集的操作。应该从 外部添加缺少的存储器容量，但是仅需要非常简单的、带宽最小的接 口。在两种情况下，在其能够与图形和其他视频流混合的阶段，解码
器的输出必须经由外部显示存储器13提供给输出。在一些主级系统 中，甚至可以完全省略显示存储器13。
由于到外部存储器9的简单的访问简档，根据本发明，建议增加 基于块的存储器压縮算法，以用于到外部存储器9以及来自外部存储 器9的压縮和解压縮。可以增加任何基于块的存储器压縮算法。但是， 可变压缩算法是优选的，例如在WO 0117268 Al中所描述的，因此 通过引用将其结合在此。
根据第一实施例的视频解码器在图4中示意性的说明。解码器优 选地是MPEG解码器。但是应注意，本发明并不限于MPEG，可以 用于任何特定的视频标准或配置。根据本发明的视频解码器基于现有 技术的视频解码器。从压縮数据存储器1捡索到压缩数据，并通过可 变长解码器(VLD)2进行熵解码(entropy decoded),从而将数据转换为 离散余弦变换(DCT)数据。逆扫描装置(IS)3、逆量化装置(IQ)4以及 逆离散余弦变换装置(IDCT)5处理内部编码delta信息，并将数据转 换为像素数据的宏块。 一个宏块(MB)是MPEG标准的基本编码单元。 宏块由亮度分量(Y)的16像素X16线的部分或4个8像素X8线的 块以及多个空间上对应的色度分量Cr禾卩Cb的8X8的块构成。色度 值的块的数量依赖于使用哪种特定格式。或者通过由运动补偿装置 10从外部预测存储器9进行基于块的取回并且当存在delta信息时还 要加上delta信息，或者通过内部编码的宏块来重建矢量预测帧。
这种现有的MPEG-2解码器将需要来自外部预测存储器9的最大 理论速率，它是视频速率的200%。例如，具有以60Hz交错显示的 1920X1080格式的高清视频具有大约62.2M像素/秒的净速率(无空 白)，大约为93.3M字节/秒(假定YUV 4:2:0格式)。因此，在这种情 况下，现有的高级MPEG-2解码器理论上需要最大187M字节/秒的 存储器访问带宽。然而，由于复杂的存储器访问简档以及SDRAM仅 对于大的包是高效的，所以片上系统必须考虑更坏情况。
根据本发明，如图5所示，将视频数据压缩装置6、视频数据解
压縮装置7以及缓冲器8添加到现有技术水平的解码器。压縮装置6 用于使用可变压缩方法来压縮参考帧数据，其中，在压缩之后，参考 帧数据将被存储在提供压縮参考帧存储器的外部存储器装置9中。然 后从所述外部存储器9检索压縮的参考帧数据，并且在中间为每个参 考帧至少将视频的扫描线中的运动矢量的垂直孔径(范围)再加上一 排(片)宏块存储在缓冲器8中，缓冲器8设置在外部储存器9和用于 运动补偿的装置10之间。利用解压缩装置7对参考帧数据进行解压 縮，从而使得运动补偿(MC)装置10能够利用所述己解压縮的参考帧 数据来重建矢量预测图像和宏块。
在一个例子中，缓冲器8的大小可以等于用于解码的(2X 128+16) X1920X1.5X2X8=12.53376X106比特，并且最好再加上当集成定标 器14时用于线到线转换缓冲的16X1920X1.5X8&0.4X106比特， 即总计大约13M比特。对外部存储器9的访问简档非常简单。但是， 如图6所示，已经根据压縮比和存储器访问带宽减小了参考帧的大 小。在图6中，解码块为15， MB格式转换器为16。注意，在图6 中，仅仅一半缓冲器8被用于存储一个所需的参考帧。图7说明了一 个优选实施例，其中，P图像的参考帧的压縮比是B图像的参考帧的 压縮比的一半。图7的优选的可变压縮方法具有以下属性，即可以简 单地通过采用压縮比为N:l的压縮数据的适当的一半最高有效位数 据来获得压縮比为2N:1的压縮数据。本领域的熟练技术人员能够将 最高有效位压縮数据和最低有效位压縮数据映射到存储器中，从而使 得能够获得简单的访问简档和到外部存储器9的高效的存储器访问。 注意，压縮比的比值还可以扩展到除2以外的其他值，两个层级也可
以扩展到多个层级。
在第二实施例中，根据图5，当以稍微不同的方式来应用数据压 縮/解压縮时，与如上所述的方式相比，缓冲器8的大小可以被进一 步縮小。在向外部存储器9传输前，对已解码的参考帧应用数据压縮。 然而，对从缓冲器8取出的数据应用数据解压縮，因此其包含压縮的 参考帧数据。这一压缩的数据己被从外部存储器9加载到缓冲器8。 数据压缩方法最好具有以下条件，即合理的压缩因子、较低的实现成 本、非常高的质量、对于重复的编码/解码的健壮性以及容易的像素 访问。具有可接受的实现成本以及足够高的主观图像质量的合理的数
据压縮比是2:1和4:1。对于本领域的技术人员来讲，2:1的压缩比被 看作无损失的，4:1的压缩比被看作是非常高质量的。在MPEG-2标 准中，可以连续地编码大量P图像，从而使得由编解码器反复地压縮 和解压縮某些宏块。为了防止与应用在编码器中一样，解码器将逐渐 离开局部重建循环(local reconstruction loop),应该执行精确的量化。 对于压縮域(compresseddomain)中的像素的容易访问应该能够使得允 许进行运动补偿机制的实时操作。
由本发明提供的另一个优点是，在结合压缩和解压缩使用缓冲器 8时，P图像的参考帧和B图像的参考帧可以具有不同的压縮比。因 为P图像的连续预测以及由于压縮而产生的累积误差的风险，所以P 图像原则上要求更小的损失，并且因此比B图像的压縮程度更小。 例如，当2:1的压縮参考帧被用于重建P图像，并且4:1的压縮参考 帧被用于重建B图像时，高级MPEG-2解码器所需的缓冲器大小从 大约13M比特减小为大约3M比特。使用可变压缩比的优点是2:1 的压縮参考帧必须被仅仅存储在存储器中。可变压縮比方法使得能够 容易地直接从2:1的压縮参考帧获得所需的4:1的压縮参考帧，对于 本领域的技术人员来讲，该特征是已知的。例如，2:1的压縮参考帧 可以被分割为两个半平面(halfplane)。第一个包含最高有效位数据， 其表示4:1的压縮比，第二个包含最低有效位数据，其与第一个组合 起来表示2:i的压縮参考帧。对于本领域技术人员来讲，可以引入更 多的层级或者可以实现除2以外的压縮比的比值是显而易见的。
因此，根据本发明的解码器可以以相对较低的存储器访问带宽和 容易的对外部存储器的访问简档来解码双重高级MPEG-2、单重高级 MPEG-2以及至少双主级MPEG-2。用于递归使用的矢量预测图像(例 如P图像)的压縮参考帧的压縮比，比用于非递归使用的矢量预测图 像(例如B图像)的压縮参考帧的压縮比更小，也可以在没有缓冲器(8) 的情况下使用该实施例。优点是在存储器访问带宽方面的潜在的减
小，以及不需要集成的缓冲器(8)。然而，缺点是对外部存储器的存
储器访问简档未被简化。
图5概要地说明了根据本发明第二实施例的视频解码器。当与如 上所述的第一实施例比较，缓冲器大小必须减小时，该第二实施例是 优选的。帧的预测被缓冲。缓冲器8包含压縮视频数据，在构建预测 帧之前，由解压缩装置7对其进行解压縮。在一个例子中，用于解码 的缓冲存储器的大小等于(2X128+16)X1920X1.5X2X8/C比特，其 中C是压縮比。例如，当对参考帧应用4:1的压缩比时，缓冲器8的 大小可以被限制到3.3M比特，以代替大约12.6M比特。在图8中说 明了一般概念。
第二实施例的另一个优点是，可以用比B图像的参考帧的压縮 比更小的压缩比来压缩P图像的参考帧，这是因为仅需要一个参考 帧。使用相同大小的存储器，P图像的参考帧的压缩比可以是B图像 的参考帧的压縮比的一半。
在图9中说明了第二实施例的优选的一般概念。例如，对于B 图像的参考帧的压縮比为4:1，并且对于P图像的参考帧的压缩比最 小为2:1。注意，只有当应用可变压缩比时，才能够存储按照2:1压 缩的参考帧。其优点是，以较小的压缩比处理连续的预测P图像，因 此损失较小。B图像是非连续预测的，因此可以损失更多，从而可以 具有更大的压缩比。其缺点是，压縮参考帧的存储器足迹(footprhit) 为两倍大小。
当对于B图像和P图像压縮比分别为6:1和3:1时，通过类似的 计算可以得到缓冲存储器的大小为2.1M比特。图10和11说明了针 对相同的基本概念的不同的实现选择。
本发明还涉及一种用于简化存储器访问简档并减少到视频解码 器中的参考帧存储器的存储器访问带宽方面的不断变化的方法，该方 法包括以下步骤对压缩视频数据进行可变长解码(VLD);对内部编 码图像、内部编码宏块以及内部编码delta信息进行逆扫描、逆量化 以及逆离散余弦变换(IDCT)解码；为解码矢量预测图像和宏块进行运 动补偿；将已解码的内部编码宏块、已解码的内部编码delta信息以
及运动补偿处理过的矢量预测宏块组合为参考帧或输出帧数据；使用 可变压縮方法来压縮参考帧数据；在中间为每个参考帧至少将视频的 扫描线中的运动矢量的垂直孔径(范围)再加上一排(片)宏块存储在缓 冲器装置中；对参考帧数据进行解压縮以使得所述用于运动补偿(MC) 的装置能够使用所述已解压縮的参考帧数据来重建矢量预测图像和 宏块；输出已解码的图像数据。
在一个实施例中，上述方法还包括以下步骤将所述已压缩的参 考帧数据存储在外部存储器装置中；从所述外部存储器装置中检索所 述已压缩的参考帧数据；对所述检索到的参考帧数据进行解压縮；在 中间将所述已解压缩的参考帧数据存储在所述缓冲器装置中；使用所 述已解压縮的参考帧数据来重建矢量预测图像和宏块。
在一个可选择的实施例中，上述方法还包括以下步骤将所述已 压缩的参考帧数据存储在外部存储器装置中；从所述外部存储器装置 中检索所述己压縮的参考帧数据；在中间将所述已压縮的参考帧数据 存储在所述缓冲器装置中；对所述在中间被存储的参考帧数据进行解 压缩；使用所述已解压縮的参考帧数据来重建矢量预测图像和宏块。
在一个可选择的实施例中，上述方法还包括以下步骤以第一压 縮比和第二压縮比来压縮参考帧；利用以所述第一压縮比压縮的参考 帧来重建将被用作参考帧的矢量预测图像，并且利用以所述第二压縮 比压縮的参考帧来重建将不被用作参考帧的矢量预测图像。
在另一个可选择的实施例中，上述方法还包括以下步骤以第一 压縮比和第二压縮比来压缩参考帧；利用以所述第一压缩比压縮的参 考帧来重建P图像，并且利用以所述第二压缩比压缩的参考帧来重建 B图像。
在上述方法的另一个可选择的实施例中，所述第一压縮比小于或 等于所述第二压縮比。
在上述方法的另一个可选择的实施例中，所述第一压縮比是所述 第二压縮比的一半。
在上述方法的另一个可选择的实施例中，所述第一压縮比为2:1 并且所述第二压縮比为4:1。
在上述方法的另一个可选择的实施例中，所述第一压縮比为3:1 并且所述第二压縮比为6:1。
在上述方法的另一个可选择的实施例中，所述第一压縮比为4:1 并且所述第二压縮比为8:1。
在另一个可选择的实施例中，上述方法还包括以下步骤直接从 以所述第一压縮比压縮的相同参考帧的数据导出以所述第二压縮比 压缩的参考帧的数据；在中间在所述外部存储器装置中仅存储以所述 第一压縮比压缩的所述参考帧的数据。
在另一个可选择的实施例中，上述方法还包括以下步骤在中间 分级地将以所述第一压缩比压縮的所述参考帧的所述压縮的参考帧 数据存储在所述外部存储器装置中，从而使得所存储的第一子图像将 包含最高有效位数据，该最高有效位数据表示以大于所述第一压縮比 的所述第二压縮比压縮的相同的参考帧，并且第二子图像将包含最低 有效位数据，从而使得两个子图像一起表示以所述第一压缩比压縮的 参考帧的数据。
在上述方法的又一个可选择的实施例中，所述第二压縮比是所述 第一压縮比的两倍。
在另一个可选择的实施例中，上述方法还包括以下步骤在中间
分级地将以所述第一压縮比压縮的所述参考帧的所述压縮的参考帧 数据存储在所述外部存储器装置中，从而使得所存储的第一子图像将 包含最高有效位数据，该最高有效位数据表示以大于所述第一压縮比 的所述第二压縮比压縮的相同的参考帧，并且第二子图像将包含最低 有效位数据，从而使得两个子图像一起表示以所述第一压縮比压縮的 参考帧的数据。
在另一个可选择的实施例中，上述方法还包括作为集成的存储缓 冲器的所述缓冲器装置。
因此，尽管已经显示、描述并指出了与应用到优选实施例的特征 相同的本发明的基本的新特征，但是应该知道，在不脱离本发明的精 神要旨的情况下，可以由本领域的熟练技术人员对所说明的设备和操 作在形式和细节上进行各种省略、替换和改变。例如，很清楚，以实
质上相同的方式，执行实质上相同的功能的所有这些元件和/或方法 步骤的组合都应包含在本发明的范围内。此外，应该认识到，结合本 发明的任何公开形式或实施例显示和/或说明的结构和/或元件和/或 方法步骤可以作为设计选择的一般素材，结合在任何其它的公开或说 明，或建议的形式或实施例中。因此，应该仅由所附加的权利要求的 范围来限制本发明。
权利要求
1. 一种视频解码器，包括用于对压缩视频数据进行可变长解码的装置(2)；用于对内部编码图像、内部编码宏块以及内部编码delta信息进行逆扫描(3)、逆量化(4)以及逆离散余弦变换(5)解码的装置；用于为解码矢量预测图像和宏块进行运动补偿的装置(10)；用于将已解码的内部编码宏块、已解码的内部编码delta信息以及运动补偿过的矢量预测宏块组合为参考帧或输出帧数据的装置；其特征在于，所述视频解码器还包括用于使用可变压缩方法来压缩参考帧数据的装置(6)；缓冲器装置(8)，用于在中间为每个参考帧至少存储视频的扫描线中的运动矢量的垂直孔径再加上一排宏块；用于对参考帧数据进行解压缩的装置(7)，以使得所述运动补偿装置(10)能够使用所述已解压缩的参考帧数据来重建矢量预测图像和宏块；用于输出已解码的图像数据的装置。
2. 如权利要求1所述的视频解码器，其特征在于，所述视频解 码器还包括用于将所述已压缩的参考帧数据存储在外部存储器装置(9)中的 装置；用于从所述外部存储器装置(9)中检索所述已压縮的参考帧数据 的装置；所述用于对参考帧数据进行解压縮的装置(7)被设置为对所述检 索到的参考帧数据进行解压缩；用于在中间将所述已解压縮的参考帧数据存储在所述缓冲器装 置(8)中的装置；所述运动补偿装置(10)被设置为使用所述已解压縮的参考帧数 据来重建矢量预测图像和宏块。
3. 如权利要求1所述的视频解码器，其特征在于，所述视频解 码器还包括用于将所述己压縮的参考帧数据存储在外部存储器装置(9)中的 装置；用于从所述外部存储器装置(9)中检索所述已压縮的参考帧数据 的装置；用于在中间将所述己压缩的参考帧数据存储在所述缓冲器装置 (8)中的装置；所述用于对参考帧数据进行解压縮的装置(7)被设置为对所述在 中间被存储的参考帧数据进行解压縮；所述运动补偿装置(10)被设置为使用所述己解压縮的参考帧数据来重建矢量预测图像和宏块。
4. 如权利要求2或3中任一项所述的视频解码器，其特征在于， 所述用于从所述外部存储器装置(9)中检索所述参考帧数据的装置被 设置为通过反复的预定数量的连续数据字的突发访问来检索所述数 据；所述缓冲器装置(8)被设置为以先进先出FIFO模式进行访问，其 中，所述缓冲器中的FIFO元素的优选粒度是一排宏块，该排宏块横 跨图像的整个水平范围。
5. 如权利要求4所述的视频解码器，其特征在于，以字节表示 的一个FIFO元素的大小被设置为精确地等于通过整数个用于从所述 外部存储器装置(9)中检索数据的突发访问而获取的字节的数量。
6. 如权利要求2或3中任一项所述的视频解码器，其特征在于， 所述用于压縮参考帧数据的装置被设置为以第一压縮比和第二压縮 比来压縮参考帧；所述解码器被设置为利用以所述第一压縮比压縮的 参考帧来重建P图像，并且利用以所述第二压縮比压縮的参考帧来重 建B图像。
7. 如权利要求6所述的视频解码器，其特征在于，所述第一压縮比小于或等于所述第二压缩比。
8. 如权利要求7所述的视频解码器，其特征在于，所述第一压 縮比是所述第二压縮比的一半。
9. 如权利要求8所述的视频解码器，其特征在于，所述第一压 縮比为2:1并且所述第二压縮比为4:1。
10. 如权利要求8所述的视频解码器，其特征在于，所述第一压 縮比为3:1并且所述第二压縮比为6:1。
11. 如权利要求8所述的视频解码器，其特征在于，所述第一压 缩比为4:1并且所述第二压縮比为8:1。
12. 如权利要求6所述的视频解码器，其特征在于，所述解码器 被设置为直接从以所述第一压縮比压縮的相同参考帧的数据来导出 以所述第二压縮比压缩的参考帧的数据；所述用于在中间将所述已压 縮的参考帧数据存储在所述外部存储器装置(9)中的装置被设置为仅 存储以所述第一压縮比压縮的所述参考帧的数据。
13. 如权利要求12所述的视频解码器，其特征在于，所述用于 将所述已压缩的参考帧数据存储在所述外部存储器装置(9)中的装置 被设置为分级地存储以所述第一压縮比压縮的所述参考帧的数据，从 而使得所存储的第一子图像将包含最高有效位数据，该最高有效位数 据表示以大于所述第一压縮比的所述第二压縮比压缩的相同的参考 帧，并且第二子图像将包含最低有效位数据，从而使得两个子图像一 起表示以所述第一压縮比压縮的参考帧的数据。
14. 如权利要求13所述的视频解码器，其特征在于，所述第二 压縮比是所述第一压縮比的两倍。
15. 如权利要求1所述的视频解码器，其特征在于，所述缓冲器 装置(8)的比特容量至少为(运动矢量的垂直范围+—排宏块)X每条扫 描线的最大像素数量X参考帧的最大数量X每个像素的字节数量X每个字节的比特数量，其中所述一排宏块横跨图像的整个水平大小。
16. 如权利要求1所述的视频解码器，其特征在于，在MPEG-1 或MPEG-2视频的情况下，对于最少一个参考帧和最多两个参考帧中 的每个参考帧，所述缓冲器装置(8)的比特容量至少为(运动矢量的垂 直范围+—排宏块)X每条扫描线的最大像素数量X参考帧的最大数 量X每个像素的字节数量X每个字节的比特数量，其中所述一排宏块 横跨图像的整个水平大小。
17. 如权利要求1至16中任一项所述的视频解码器，其特征在 于，所述缓冲器装置(8)是集成的存储缓冲器。
18. —种用于简化存储器访问简档并减少到视频解码器中的参考 帧存储器的存储器访问带宽上的不断变化的方法，其特征在于，所述 方法包括下列步骤-对压縮视频数据进行可变长解码；对内部编码图像、内部编码宏块以及内部编码ddta信息进行逆 扫描、逆量化以及逆离散余弦变换解码；为解码矢量预测图像和宏块进行运动补偿；将已解码的内部编码宏块、已解码的内部编码delta信息以及运 动补偿过的矢量预测宏块组合为参考帧或输出帧数据；使用可变压缩方法来压縮参考帧数据；在中间为每个参考帧至少将视频的扫描线中的运动矢量的垂直 孔径再加上一排宏块存储在缓冲器装置中；对参考帧数据进行解压缩以使得所述用于运动补偿的装置能够 使用所述己解压縮的参考帧数据来重建矢量预测图像和宏块； 输出已解码的图像数据。
19. 如权利要求18所述的方法，其特征在于，所述方法还包括 下列步骤将所述已压缩的参考帧数据存储在外部存储器装置中；从所述外部存储器装置中检索所述已压缩的参考帧数据；对所述检索到的参考帧数据进行解压縮；在中间将所述已解压縮的参考帧数据存储在所述缓冲器装置中； 使用所述已解压缩的参考帧数据来重建矢量预测图像和宏块。
20. 如权利要求18所述的方法，其特征在于，所述方法还包括 下列步骤将所述己压縮的参考帧数据存储在外部存储器装置中； 从所述外部存储器装置中检索所述己压縮的参考帧数据； 在中间将所述己压縮的参考帧数据存储在所述缓冲器装置中； 对所述在中间被存储的参考帧数据进行解压縮； 使用所述已解压縮的参考帧数据来重建矢量预测图像和宏块。
21. 如权利要求19或20中的任一项所述的方法，其特征在于， 所述方法还包括下列步骤-通过反复的预定数量的连续数据字的突发访问，从所述外部存储 器中检索所述参考帧数据；以先进先出FIFO模式访问所述缓冲器装置，其中，所述缓冲器 中的FIFO元素的优选粒度是一排宏块，该排宏块横跨图像的整个水 平范围。
22. 如权利要求21所述的方法，其特征在于，所述方法还包括 下列步骤以字节表示的一个FIFO元素的大小被设置为精确地等于通过整 数个用于从所述外部存储器装置中检索数据的突发访问而获取的字 节的数量。
23. 如权利要求19或20中任一项所述的方法，其特征在于，所 述方法还包括下列步骤以第一压縮比和第二压縮比来压缩参考帧；利用以所述第一压縮比压縮的参考帧来重建将被用作参考帧的 矢量预测图像，并且利用以所述第二压縮比压缩的参考帧来重建将不 被用作参考帧的矢量预测图像。
24. 如权利要求19、 20或23中任一项所述的方法，其特征在于， 所述方法还包括下列步骤以第一压縮比和第二压縮比来压縮参考帧；利用以所述第一压縮比压縮的参考帧来重建P图像，并且利用以 所述第二压缩比压縮的参考帧来重建B图像。
25. 如权利要求23或24中任一项所述的方法，其特征在于，所 述第一压缩比小于或等于所述第二压缩比。
26. 如权利要求23或24中任一项所述的方法，其特征在于，所 述第一压縮比是所述第二压縮比的一半。
27. 如权利要求26所述的方法，其特征在于，所述第一压縮比 为2:1并且所述第二压缩比为4:1。
28. 如权利要求26所述的方法，其特征在于，所述第一压缩比 为3:1并且所述第二压縮比为6:1。
29. 如权利要求26所述的方法，其特征在于，所述第一压缩比为4:1并且所述第二压縮比为8:1。
30. 如权利要求23至25中任一项所述的方法，其特征在于，所 述方法还包括下列步骤直接从以所述第一压缩比压縮的相同参考帧的数据来导出以所 述第二压縮比压缩的参考帧的数据；在中间仅将以所述第一压縮比压缩的所述参考帧的数据存储在 所述外部存储器装置中。
31. 如权利要求30所述的方法，其特征在于，所述方法还包括 下列步骤-在中间分级地将以所述第一压縮比压縮的所述参考帧的所述已 压縮的参考帧数据存储在所述外部存储器装置中，从而使得所存储的 第一子图像将包含最高有效位数据，该最高有效位数据表示以大于所 述第一压縮比的所述第二压縮比压縮的相同的参考帧，并且第二子图 像将包含最低有效位数据，从而使得两个子图像一起表示以所述第一 压縮比压縮的参考帧的数据。
32. 如权利要求31所述的方法，其特征在于，所述第二压缩比 是所述第一压縮比的两倍。
33. 如权利要求30至32中任一项所述的方法，其特征在于，所 述方法还包括下列步骤-在中间分级地将以所述第一压缩比压縮的所述参考帧的所述已 压縮的参考帧数据存储在所述外部存储器装置中，从而使得所存储的 第一子图像将包含最高有效位数据，该最高有效位数据表示以大于所 述第一压縮比的所述第二压縮比压縮的相同的参考帧，并且第二子图 像将包含最低有效位数据，从而使得两个子图像一起表示以所述第一 压縮比压縮的参考帧的数据。
34. 如权利要求18至33中任一项所述的方法，其特征在于，所 述缓冲器装置是集成的存储缓冲器。
35. —种视频解码器，包括 用于对压縮视频数据进行可变长解码的装置(2); 用于对内部编码图像、内部编码宏块以及内部编码delta信息进行逆扫描(3)、逆量化(4)以及逆离散余弦变换(5)解码的装置； 用于为解码矢量预测图像和宏块进行运动补偿的装置(10); 用于将已解码的内部编码宏块、已解码的内部编码delta信息以及运动补偿过的矢量预测宏块组合为参考帧或输出帧数据的装置； 其特征在于，所述视频解码器还包括 用于使用可变压縮方法来压縮参考帧数据的装置(6);所述用于压縮参考帧数据的装置被设置为以第一压缩比和第二压缩比来压缩参考帧；用于对参考帧数据进行解压缩的装置(7)，以使得所述运动补偿 装置(10)能够使用所述已解压缩的参考帧数据来重建矢量预测图像 和宏块；用于输出已解码的图像数据的装置；所述解码器被设置为利用以所述第一压缩比压縮的参考帧来重 建P图像，并且利用以所述第二压縮比压縮的参考帧来重建B屈像。
36. 如权利要求35所述的视频解码器，其特征在于，所述第一 压縮比小于或等于所述第二压縮比。
37. 如权利要求36所述的视频解码器，其特征在于，所述第一 压縮比是所述第二压缩比的一半。
38. 如权利要求37所述的视频解码器，其特征在于，所述第一 压縮比为2:1并且所述第二压缩比为4:1。
39. 如权利要求37所述的视频解码器，其特征在于，所述第一 压缩比为3:1并且所述第二压缩比为6:1。
40. 如权利要求37所述的视频解码器，其特征在于，所述第一 压縮比为4:1并且所述第二压缩比为8:1。
41. 如权利要求35所述的视频解码器，其特征在于，所述解码 器被设置为直接从以所述第一压缩比压縮的相同参考帧的数据来导 出以所述第二压缩比压縮的参考帧的数据；所述用于在中间将所述已 压縮的参考帧数据存储在所述外部存储器装置(9)中的装置被设置为 仅仅存储以所述第一压縮比压縮的所述参考帧的数据。
42. 如权利要求41所述的视频解码器，其特征在于，所述用于 将所述已压縮的参考帧数据存储在所述外部存储器装置(9)中的装置 被设置为分级地存储以所述第一压縮比压缩的所述参考帧的数据，从 而使得所存储的第一子图像将包含最高有效位数据，该最高有效位数 据表示以大于所述第一压縮比的所述第二压缩比压縮的相同的参考 帧，并且第二子图像将包含最低有效位数据，从而使得两个子图像一 起表示以所述第一压縮比压縮的参考帧的数据。
43. 如权利要求42所述的视频解码器，其特征在于，所述第二 压縮比是所述第一压縮比的两倍。
44. 一种用于减少对视频解码器中的参考帧存储器的存储器访问 带宽的方法，其特征在于，所述方法包括下列步骤对压縮视频数据进行可变长解码；对内部编码图像、内部编码宏块以及内部编码delta信息进行逆 扫描、逆量化以及逆离散余弦变换解码；为解码矢量预测图像和宏块进行运动补偿； 将已解码的内部编码宏块、已解码的内部编码delta信息以及运 动补偿过的矢量预测宏块组合为参考帧或输出帧数据； 使用可变压缩方法来压缩参考帧数据；所述压縮参考帧数据为以第一压縮比和第二压縮比来压缩参考帧；对参考帧数据进行解压缩，以使得所述运动补偿装置能够使用所 述已解压縮的参考帧数据来重建矢量预测图像和宏块；利用以所述第一压縮比压縮的参考帧来重建将被用作参考帧的 矢量预测图像，并且利用以所述第二压缩比压縮的参考帧来重建将不 被用作参考帧的矢量预测图像；，输出已解码的图像数据。
45. 如权利要求44所述的方法，其特征在于，所述方法还包括 下列步骤以第一压縮比和第二压缩比来压縮参考帧；利用以所述第一压缩比压縮的参考帧来重建P图像，并且利用以 所述第二压縮比压縮的参考帧来重建B图像。
46. 如权利要求44或45中任一项所述的方法，其特征在于，所 述第一压縮比小于或等于所述第二压縮比。
47. 如权利要求46所述的方法，其特征在于，所述第一压缩比 是所述第二压縮比的一半。
48. 如权利要求47所述的方法，其特征在于，所述第一压縮比 为2:1并且所述第二压縮比为4:1。
49. 如权利要求47所述的方法，其特征在于，所述第一压縮比 为3:1并且所述第二压缩比为6:1。
50. 如权利要求47所述的方法，其特征在于，所述第一压缩比为4:1并且所述第二压縮比为8:1。
51. 如权利要求44至46中任一项所述的方法，其特征在于，所 述方法还包括下列步骤直接从以所述第一压縮比压縮的相同参考帧的数据来导出以所 述第二压縮比压縮的参考帧的数据；在中间仅将以所述第一压縮比压縮的所述参考帧的数据存储在 所述外部存储器装置中。
52. 如权利要求51所述的方法，其特征在于，所述方法还包括 下列步骤在中间分级地将以所述第一压縮比压縮的所述参考帧的所述已 压缩的参考帧数据存储在所述外部存储器装置中，从而使得所存储的 第一子图像将包含最高有效位数据，该最高有效位数据表示以大于所 述第一压縮比的所述第二压縮比压縮的相同的参考帧，并且第二子图 像将包含最低有效位数据，从而使得两个子图像一起表示以所述第一 压縮比压縮的参考帧的数据。
53. 如权利要求52所述的方法，其特征在于，所述第二压縮比 是所述第一压縮比的两倍。
54. 如权利要求51至53中任一项所述的方法，其特征在于，所 述方法还包括下列步骤在中间分级地将以所述第一压縮比压縮的所述参考帧的所述已 压縮的参考帧数据存储在所述外部存储器装置中，从而使得所存储的 第一子图像将包含最高有效位数据，该最高有效位数据表示以大于所 述第一压縮比的所述第二压縮比压縮的相同的参考帧，并且第二子图 像将包含最低有效位数据，从而使得两个子图像一起表示以所述第一 压縮比压縮的参考帧的数据。
全文摘要
本发明涉及具有用于使用可变压缩方法来压缩参考帧数据(6)的装置的视频解码器。该视频解码器还具有缓冲器装置(8)，用于在中间为每个参考帧至少存储视频的扫描线中的运动矢量的垂直孔径(范围)再加上一排(片)宏块。其还包括对参考帧数据进行解压缩的装置(7)，用于使得所述解码器的运动补偿装置(10)能够使用所述已解压缩的参考帧数据来重建矢量预测图像和宏块。本发明还涉及将由这种视频解码器实现的方法。
文档编号H04N7/64GK101208954SQ200580007339
公开日2008年6月25日 申请日期2005年2月23日 优先权日2004年3月8日
发明者彼得·H·弗伦肯, 约翰内斯·Y·齐克拉尔, 雷姆科·舒特 申请人:皇家飞利浦电子股份有限公司