专利名称：用于精细可伸缩性增强层的基于活动的频率加权方法及系统的制作方法
技术领域：
本发明涉及在压缩期间特别是在MPEG-4视频压缩期间对视频进行处理的方法和系统，其中在自适应过程中利用基于活动的频率加权方法为基本层增加若干增强层，从而允许以高优先级的位平面数量对视频帧中更加视觉敏感的组件进行编码，进而在解压缩时期提供高视觉质量。
MPEG4视频压缩标准允许各种时间和空间分辨率的任意形状视频对象平面(VOP)的基于内容的访问或传输。MPEG4支持对象和质量的可伸缩性。精细可伸缩性(“FGS”)是MPEG4标准所采用的一种可伸缩编码方案。FGS编码方案允许在以下两层中对MPEG4比特流编码基本层，它用固定的较低范围比特率对各帧进行编码；以及增强层，它对原始画面和重构基本层画面之间的差异进行编码。通过位平面编码方案对增强层进行编码，因此在增强层的任意(精细)数量位平面能够根据传输带宽被传输到解码器这个意义上，增强层比特流是可伸缩的。FGS编码方案已由MPEG4第四版定稿。
在标准化FGS方案中，频率加权是用于视觉质量改进的一种特征。通过为各个编码块的元素提供不同的权，根据增强层残差对视觉输出质量的重要性对这些元素进行加权和编码。
MPEG-4解码器可以只对基本层或基本层以及FGS增强层的任何子集进行解码。当解码装置具有有限或不同带宽并用于存储目的时，这样做是有用的。
在某些情况下，仅对基本层进行解码，这允许观看不太精细的视频图像。当编码和解码之间的带宽不同时，或当用于比特流存储的空间有限时，对基本层进行解码，并且能够在基本层之上增加与带宽或存储空间所允许的那样多的FGS增强层。
MPEG-4标准首先对压缩场景的基本层进行编码。此基本层是较低质量、低带宽的压缩图像。基本层由多个诸如离散余弦变换编码(“DCT”)块的编码块表示。FGS增强层由多个残差块表示。接下来，FGS增强层生成除基本层比特流之外的比特流。根据传输信道的带宽和解码器的复杂度，将需要对截断的FGS层比特流进行解码。
在MPEG-4编码标准中，为了FGS增强层编码，对两种质量改进方法进行标准化。这两种方法是频率加权和选择性增强。在本文中只说明频率加权方法。
FGS增强层用于对来自基本层的量化残差进行编码，因此编码序列的整体质量是基本层信息和传输的FGS增强层信息的组合。理论上，FGS方法无损耗地对基本层残差进行编码。但是，通常的情况是由于有限的传输带宽，只有部分FGS增强层能够通过传输信道并到达解码器。当出现带宽变化时，从编码器侧传输到解码器侧的FGS增强层的比特数是不同的，它取决于传输瞬间的带宽。同时，由于FGS增强层编码的特性，它能够以任何期望质量水平放置在存储器中。因此传输/存储信号的视觉质量很大程度上受到被解码的FGS层的数量的影响。
为了改进输出序列的视觉质量，频率加权允许在位平面编码之前对残差块的元素进行不一致的加权(这是用于FGS层编码的方法)。由于某些频率分量在视觉上更为重要，所以应该对它们进行更多地增强(即应该通过提供高频率权来对它们进行高精确度的编码)，从而改进主观图像质量。位平面移位将正在通过位平面编码而进行编码的对象从最高有效位(“MSB”)到最低有效位(“LSB”)进行排序。位平面移位描述了将与块中特定值对应的位平面向MSB移动一个或多个比特的操作。这样做在残差块的情况下有提高或增加对象编码的优先级的作用。量化残差当基本层系数被编码或“量化”时，量化函数具有相关损耗。因此，量化数据的精确度取决于量化步骤。量化残差作为基本层的非编码部分被省去并且不可在解码器侧的基本层恢复。精细度精细度指的是一种编码方法，其中以渐进方式(逐个位平面)从MSB到LSB对视频数据进行编码。随后，可以在任何位平面水平截断编码比特流，尽管一直确保更可能发送更有意义的数据。
频率加权(“FW”)利用FW矩阵来选择性地对各个编码块内各增强层系数的重要性进行重新加权，以便通过加权矩阵重新区分位平面编码的各个系数的有效位的优先秩序。FW矩阵的各个元素表示块内对应FGS系数的位平面移位的数量。一个位平面移位相当于FGS系数乘以幂2。尽管MPEG-4确实标准化了FGS工具，但是它并没有提供适当的FW矩阵。FW矩阵的定义作为各个生产商独立设置的编码器优化参数被留下。
对于8×8DCT块，利用基于DCT的编解码器作为例示，DC系数和较低的功率分量一般对视觉质量影响更大。因此，应该对较低频率分量和DC系数进行高优先级编码。但是，FGS编解码器的设计是这样的增强层只根据残差的大小逐个位平面的对残差进行编码，而不是根据频率分量的重要性。另一方面，基本层编码通过利用更小的量化参数来对DC和较低频率分量进行更高精确度编码，这将导致较小的增强层残差。因此，与基本层DCT系数特征相比，重要的DC和较低频率分量在增强层中可能具有更小的值，并且将不会由FGS将其编码在更有效位平面中。当目标数量的传输位平面为低时，由于比特流截断而可能损失重要的频率分量。为了防止这种情况，应该用更高优先级将更重要的系数编码在更高位平面中。这可以通过在FW矩阵中的那个频率位置给出更大的权来实现。FW矩阵被设计为将更重要的频率分量提到更高的位平面。
当前FW实现的一个问题是，以这样一种方式实施FW方法整个序列利用同一加权矩阵。如从测试序列观察到的，各个序列可具有多个场景，这些场景可包括不同的运动活动和亮度信息。在慢运动或稳定场景中，高频损失更加令人苦恼。此外，阻塞和闪烁噪声在更亮的画面上更加令人苦恼。带有更多运动活动的画面趋向于在增强层中具有更大的残差，特别是在更高频率部分。这是由运动预测误差导致的。对于包括更多详细信息的画面，高频残差太重要，不能被忽略。
如下所述，为了解决先有技术中各序列使用单个固定FW矩阵的问题，FW矩阵被设计为在编码期间根据场景特征变化而变化。
本发明解决先有技术的要求，它在一个实施例中提供一种处理包括一个或多个视频帧的视频流的方法，其中通过为包括多个编码块的各个帧创建基本层以及增加增强层来对视频流进行编码，其中基本层的量化残差形成将要进一步编码的残差块以提高精细度。
在这种方法中，定义了多个频率加权矩阵，每个矩阵指定应用于残差块的系数的位平面移位数量，其中一个或多个矩阵指定高的权和高的宽度。权与位平面移位数量相关，而宽度是从频率加权矩阵的左上角沿之字形到频率加权矩阵最后一个非零权的范围。附加的一个或多个所述矩阵指定更高的权和中等宽度，一个或多个所述矩阵指定低的权和低的宽度，一个或多个所述矩阵指定中等权和高的宽度，而一个或多个矩阵指定中等权和中等的宽度。
接下来，对视频帧的基本层和增强层进行编码。增强层由多个编码残差块表示。用所选频率加权矩阵对编码残差块进行频率加权。
如果视频帧包括大量活动，则高的权和高的宽度的频率加权矩阵(HH)被选为用于位平面移位的频率矩阵，图3a中描述了HH的例示。
否则，如果视频帧包括大量运动，则高的权和中等宽度的频率加权矩阵(HM)被选为用于位平面移位的频率矩阵，图3b中描述了HM的例示。
否则，如果视频帧包括少量运动和少量活动，那么低的权和低的宽度的频率加权矩阵(LL)被选为用于位平面移位的频率矩阵，图3e中描述了LL的例示。
否则，如果视频帧包括少量亮度，那么中等权、高的宽度的频率加权矩阵(MH)被选为用于位平面移位的频率矩阵，图3c中描述了MH的例示。
否则，中等权和中等宽度的矩阵(MM)被用于确定应用于视频帧的块的位平面移位，图3d中描述了MM的例示。
本发明还涉及一种用于处理视频流的系统，其中视频流包括多个视频帧。这种系统包括视频流的视频信号源；处理器，它在工作时连接到视频信号源；以及用于编码视频的输出端。
处理器被配置为定义多个频率加权矩阵，每个矩阵指定应用于残差块的系数的位平面移位的数量，其中一个或多个矩阵指定高的权和高的宽度，一个或多个所述矩阵指定更高的权和中等宽度，一个或多个所述矩阵指定低的权和低的宽度，一个或多个所述矩阵指定中等权和高的宽度，以及一个或多个所述矩阵指定中等权和中等宽度。接下来，对视频帧的基本层和增强层进行编码。用频率加权矩阵对增强层的残差编码块进行频率加权。如果视频帧包括大量活动，则利用高的权和高的宽度的频率加权矩阵来确定应用于视频帧的块的位平面移位。否则，如果视频帧包括大量运动，则利用高的权和中等宽度的频率加权矩阵来确定应用于视频帧的块的位平面移位。否则，如果视频帧包括少量运动和少量活动，则利用低的权和低的宽度的频率加权矩阵来确定应用于视频帧的块的位平面移位。否则，如果视频帧包括少量亮度，则利用中等权和高的宽度的矩阵来确定应用于视频帧的块的位平面移位。否则，中等高度和中等宽度的矩阵被用于确定应用于视频帧的块的位平面移位。
本发明在先有技术之上提供的其它改进将被看作阐述本发明的优选实施例的以下描述的结果。描述并不以任何方式限制本发明的范围，而是仅仅提供所出现的优选实施例的工作例示。本发明的范围将在所附权利要求中指出。
图2是进一步说明在本发明的一个实施例中对MPEG-4视频进行编码的过程中的组成步骤图。
图3是说明各种FW加权矩阵的曲线图，其中的坐标为加权和DCT系数偏移。
本发明解决先有技术中各个序列利用单个固定FW矩阵的问题。
图1中描述了根据MPEG-4标准对运动视频进行编码的各种步骤。运动视频输入序列1进入到压缩的第一阶段，基本层的编码，其中在帧存储器4和图像累加器5的帮助下执行运动估计2和运动补偿3。
图像累加器6将运动补偿3的结果应用于运动视频输入序列1。图像累加器6的输出还被处理为生成离散余弦变换块7，然后对该离散余弦变换块7进行量化8。接下来，量化8的输出被发送到反量化9并且之后到反离散余弦变换10，进而到图像累加器5。量化8的输出还被发送到熵编码器11。
当生成DCT块7之后，图像累加器12对来自基本层编码器的输出进行抽头，并且从反量化步骤9开始FGS增强层编码过程。图像累加器12向DCT残差图像处理14发送视频信号。发送这个过程的输出以用于位平面的频率加权15、FGS位平面DCT扫描以及熵编码16，以及最终出现编码比特流17。
图2中描述了根据MPEG-4标准利用当前发明对运动视频进行编码的各种步骤的图，其中不太侧重于基本层编码。运动视频输入序列1进入压缩的第一阶段，基本层的编码19。输出序列1也被传递到运动估计器20，在那里计算运动矢量。基本层编码19的输出被传送21到图像累加器28，还被传送22到增强层编码。生成DCT残差图像24，并且将其与基本层编码器19和运动估计器20的输出一起发送到FW矩阵选择25和场景变化检测26。FW矩阵选择25和场景变化检测26的结果被发送到频率加权27，然后到位平面编码15，最终将其传递到图像累加器28，该图像累加器将这些结果合成为输出编码比特流29。
FW矩阵选择25和场景变化检测26的步骤是本发明的目的。
现在参考图3，示意了五个(5)样本FW矩阵的图示，它们描述了作为DCT系数偏移的函数的相关加权(即8×8DCT块的0到63)。矩阵(a)是高的权，高的宽度的FW矩阵30。矩阵(b)是高的权、中等宽度的FW矩阵31，其中带有更重加权的较低偏移DCT系数。矩阵(c)是中等权、高的宽度的FW矩阵32，其中用非零权对相对更多的系数进行加权。矩阵(d)是中等权、中等宽度的FW矩阵33，矩阵(e)是低的权、低的宽度的FW矩阵34，其中只对少量系数轻微地加权。
在一个实施例中，采用了诸如图3(a)30所示的具有大量活动，高的权和高的宽度的FW加权矩阵的视频序列。
在另一个实施例中，利用了诸如图3(b)31所示的具有大量运动，高的权和中等宽度的FW矩阵的视频序列。
在再一个实施例中，利用了诸如图3(c)32所示的包括少量亮度、中等权、高的宽度的频率加权矩阵的视频序列。
在又一个实施例中，利用了诸如图3(e)34所示的包括少量运动和少量活动，低的权和低的宽度的频率加权矩阵的视频序列。否则，中等权和中等宽度矩阵、图3(d)33所述的一个例示被用于确定应用于视频帧的块的位平面移位。
因此，虽然我们描述了什么是本发明的优选实施例，但是本领域的技术人员能够作出进一步的变化和修改，并不背离本发明的真实精神，并且它旨在包括下述权利要求书的范围内的所有这样的变化和修改。例如，这种方法能够被应用在诸如3D子波编码的其它位平面编码方案中。
权利要求
1.一种处理包括多个视频帧的视频流(1)的方法，其中通过为各个所述帧创建基本层以及增加增强层来对所述视频流(1)进行编码，其中所述基本层包括多个编码块，所述基本层的量化残差形成将被进一步编码的残差块以提高精细度，所述方法包括定义多个频率加权矩阵，各个所述矩阵指定应用于所述残差块的系数的位平面移位的数量，其中一个或多个所述矩阵指定高的权和高的宽度(30)，以及一个或多个所述矩阵指定高的权和中等宽度(31)，一个或多个所述矩阵指定低的权和低的宽度(34)，一个或多个所述矩阵指定中等权和高的宽度(32)，以及一个或多个所述矩阵指定中等权和中等宽度(33)；以及对所述基本层和所述增强层进行编码，其中所述增强层由多个编码残差块表示，其中利用所述频率加权矩阵对所述编码残差块进行频率加权；以及当所述视频帧包括大量运动时，利用所述高的权和中等宽度频率加权矩阵(31)来确定应用于所述视频帧的所述块的所述位平面移位；或者当所述视频帧包括大量活动时，利用所述高的权和高的宽度的频率加权矩阵(30)来确定应用于所述视频帧的所述块的所述位平面移位；或者当所述视频帧包括少量运动和少量活动时，利用所述低的权和低的宽度的频率加权矩阵(34)来确定应用于所述视频帧的所述块的所述位平面移位；或者当所述视频帧包括少量亮度时，利用所述中等权和高的宽度的频率加权矩阵(32)来确定应用于所述视频帧的所述块的所述位平面移位；或者否则，利用所述中等权和中等宽度的频率加权矩阵(33)来确定应用于所述视频帧的所述块的所述位平面移位。
2.如权利要求1所述的方法，其特征在于利用MPEG-4视频压缩标准对所述视频流进行压缩。
3.如权利要求1所述的方法，其特征在于所述编码视频流的所述增强层是MPEG-4的精细可伸缩性增强层编码。
4.一种用于处理视频流(1)的系统，其中所述视频流包括多个视频帧，其中通过为各个所述视频帧创建基本层并且增加增强层来对所述视频流进行编码，其中所述基本层的量化残差形成将要进一步编码的残差块，从而提高精细度，并且所述处理包括多个离散余弦变换(“DCT”)编码块，所述系统包括所述视频流(1)的视频信号源；以及处理器，在工作时连接到所述视频信号源，以及用于编码视频(29)的输出端，所述处理器被配置为定义多个频率加权矩阵，各个所述矩阵指定应用于所述残差块的系数的位平面移位的数量，其中一个或多个所述矩阵指定高的权和高的宽度(30)，以及一个或多个所述矩阵指定高的权和中等宽度(31)，一个或多个所述矩阵指定低的权和低的宽度(34)，一个或多个所述矩阵指定中等权和高的宽度(32)，一个或多个所述矩阵指定中等权和中等宽度(33)；以及对所述基本层和所述增强层进行编码，其中所述增强层由多个残差编码块表示，其中用所述频率加权矩阵对所述残差编码块进行频率加权；以及当所述视频帧包括大量运动时，利用所述高的权和中等宽度的频率加权矩阵(31)来确定应用于所述视频帧的所述块的所述位平面移位；或者当所述视频帧包括大量活动时，利用所述高的权和高的宽度的频率加权矩阵(30)来确定应用于所述视频帧的所述块的所述位平面移位；或者当所述视频帧包括少量运动和少量活动时，利用所述低的权和低的宽度的频率加权矩阵(34)来确定应用于所述视频帧的所述块的所述位平面移位；或者当所述视频帧包括较少量亮度时，利用所述中等权和高的宽度的频率加权矩阵(32)来确定应用于所述视频帧的所述块的所述位平面移位；或者否则，利用所述中等权和中等宽度的频率加权矩阵(33)来确定应用于所述视频帧的所述块的所述位平面移位；以及将编码增强层视频流放置在所述编码基本层之上以形成视频输出(29)。
5.如权利要求4所述的系统，其特征在于利用MPEG-4视频压缩标准对所述视频流(1)进行压缩。
6.如权利要求4所述的系统，其特征在于所述编码视频流的所述增强层是MPEG-4的精细可伸缩性增强层编码。
全文摘要
本发明提供确定将在MPEG4 FGS增强层编码期间提供最佳图像质量的频率加权矩阵，并且根据场景特征变化来改变这种确定，从而优化所得到的输出画面质量的方法和系统，特别用于缺乏带宽的应用中。
文档编号H04N7/26GK1462555SQ02801622
公开日2003年12月17日 申请日期2002年5月15日 优先权日2001年5月16日
发明者S·彭, M·范德沙尔 申请人:皇家菲利浦电子有限公司