专利名称：用于mpeg－4视频数据逆量化的方法和设备的制作方法
本申请请求备档于1998年5月4日的美国临时申请No.60/084,025的权益。
本发明的背景本发明涉及按照MPEG-4标准提供的视频数据的逆量化的一种方法和设备，特别地涉及一种视频结构(texture)解码处理中的逆量化。
本发明特别适用于各种多媒体应用，并且与文件ISO/IEC14496-2,ISO/IEC JTCl/SC29/WG11 N1902(1997年10月30日发布，标题为“Coding of Audio-Visual Objects:Visual(声频_视频目标的编码视频)”中所描述的MPEG-4证实模型(Verification Mode,VM)相兼容，该文件在此引用作为参考。MPEG-2标准是MPEG-4标准的前身，在1994年3月25日发布的标题为“Information Technology-GenericCoding of Moving Pictures and Associated Audio,RecommeudationH.262(信息技术-活动图象及相关声音的通用编码，推荐H.262)”的文件ISO/IEC 13818-2中有所描述，该文件在此引用作为参考。关于MPEG-4标准的进一步详情可在下述文献中找到T.Sikora,“TheMPEG-4 Video standard Verification Model(MPEG-4视频标准证实模型)”，IEEE Transactions on Circuits and Systems for Video Technology,Vol.7,No.1,1997年2月，pp.19-31。
MPEG-4是一种给数字声频视频数据的通信、访问、和处理提供了一个灵活的框架和一组开放的编码工具的新编码标准。这些工具能支持广泛范围的特性。MPEG-4的灵活框架能对诸如数据库浏览、信息提取、互动通信等为计算机、通信和娱乐(即电视和电影)等工业所需要的应用，支持各种编码工具及它们的相应功能的各种组合。
MPEG-4提供了一些标准化的核心技术，这些技术使得能在多媒体环境中实现有效的视频数据存储、发送和处理。而且，符合MPEG-4标准的系统能实现有效的压缩，目标缩放性、空间和时间缩放性和出错容受性。
MPEG-4视频VM编码器/解码器(codec)是一种带有运动补偿的基于图块和目标的混合编码器。图象内容是利用基于宏块的运动补偿以8×8离散余弦变换(DCT)进行编码的。目标形状用阿尔法地图代表，利用基于内容的运算编码(CAE)算法或修正DCT编码器(两者都采用了时间预测)进行编码。编码器能够处理计算机图形学中众知的sprites。对于某些特定应用，也可以使用例如小波编码和sprite编码等其他编码方法。
运动补偿图象结构编码是一种众知的视频编码方法，它可以被建模成一个三级处理。第一级是一种信号处理，其中包括运动估测与补偿(ME/MC)和一个二维(2-D)空间变换。ME/MC和空间变换的目的是利用一个视频序列的时间和空间相关性在复杂的约束条件下优化量化的速率一失真性能和熵编码。至今最普通的ME/MC技术是(图)块匹配，最普通的空间变换是DCT。
逆量化是视频结构解码处理的一个重要步骤。MPEG-4视频中规定了两种量化方法。第一种方法是MPEG-2量化方法，第二种方法是ITU-T的非电话信号有线发送小组所建立的H.263量化方法，见1995年2月发布的“Draft recommendation H.263-Video coding forlow bitrate communication(推荐草案H.263-低比特率通信的视频编码)”。采用MPEG-2量化方法时，内部编码图块的DC(直流)系数的逆量化与其他所有系数的逆量化都不相同。这将在试图设计一个MPEG-4逆量化器时导致复杂化。
所以，在处理MPEG-4视频数据时会希望有一个有效而简单的逆量化技术。本发明即提供一种具有上述和其他优点的设备和方法。
本发明的概述根据本发明，首先给出一个要被逆量化的量化系数的二维阵列QF[v][u]。预先计算出并存储一个由上述系数所代表的内部编码宏块的第一权重矩阵W
[v][u]=2*W
[v][u]。预先计算出并存储一个由上述系数所代表的非内部编码的宏块的第二权重矩阵W[1][v][u]=2*W[1][v][u]。根据一个当前的宏块量化水平计算准备用于选择权重因子的量化差。权重因子是根据量化差和一个宏块类型识别符由所存储的第一和第二权重矩阵中的一个矩阵提供的。然后根据一个当前权重Wi[w][v][u]和权重因子计算后继的各个权重Wi+1[w][v][u]。
在一个说明性实施例中，系数矩阵QF[v][u]被乘下权重Wi+1[w][v][u]，以重构出未量化的系数。此外，在该说明性实施例中，这些系数代表了一个视频目标平面(VOP)的宏块。
量化差可以这样计算，从一个后续的第二量化器标度(量化器标度i+1)减去第一量化器标度(量化器_标度i)。
根据本发明提供了一种用于逆量化一个二维量化系数阵列QF[v][u]的设备。一个用于由这些系数代表的内部编码宏块的预先计算的第一权重矩阵W
[v][u]=2*W
[v][u]被存储在一个存储器中。还存储了一个用于同样由这些系数代表的非内部编码宏块的预先计算的第二权重矩阵W[1][v][u]=2*W[1][v][u]。一个第一加法器计算准备用于根据一个当前量化宏块的量化水平来选择一个量化因子的量化差。权重因子是根据该量化差和一个规定了内部编码块或非内部编码块的宏块类型识别符而从第一或第二加权矩阵输出的。一个第二加法器根据一个当前权重Wi[w][v][u]和加权因子来迭代地计算出各个后继权重Wi+1[w][v][u]。
可以设置一个乘法器来将系数矩阵QF[v][u]与权重Wi+1[w][v][u]相乘，以重建出未量化的系数。在一个说明性实施例中，这些系数代表了一个视频目标平面(vop)的宏块。
预先计算出的第一和第二权重矩阵例如可以存储在一个可被量化差和宏块类型识别符访问的第一随机访问存储器(RAM)中。关于每一个VOP的初始权重Wo[w][v][u]可以存储在一个第二RAM中，并通过延时线作为Wi[w][v][u]提供给第二加法器。第二RAM由每个VOP的一个初始量化水平(Vop-quant)和宏块类型识别符访问。可以设置一个开关来在每个新的VOP开始时把每个VOP的初始权重Wo[w][v][u]从第二RAM耦合给延时线。
附图的简单说明
图1是说明MPEG-4视频解码处理的方框图；图2是说明图1视频结构解码处理的较详细的方框图；图3是说明图1和2的逆量化处理的较详细的方框图；以及图4是图3逆量化运算功能件的一个实施例的原理图。
本发明的详细说明一个MPEG-4视频解码器主要由三部分组成。它们是形状解码器、运动解码器、和结构解码器。如图1的方框图所示，重建的视频目标平面(VOP)是通过组合已解码的形状、结构、和运动信息而得到的。又见ISO/IEC 14496-2,ISO/IEC JTC1/SC29/WG11 N1902于1997年10月30日发布的委员会草案“Coding of audio-visualobiects:visual(声频视频目标的编码视频)”。
图1示出一个视频解码器，其中一个解复用器10根据一个输入MPEG-4视频(数据)流(未示出)给出代表形状、运动和结构的编码比特流。形状信息被输入给一个开关12，后者根据一个视频_目标层次控制信号，有选择地让该信息通向一个形状解码功能件14。当不准备对形状信息解码时，开关12将不让含有形状信息的编码比特流通向形状解码功能件。
含有运动信息的编码比特流被一个运动解码功能件18解码。一个运动补偿功能件20利用分别来自功能件14和18的解码的形状信息和解码的运动信息，向一个VOP重建功能件22提供一个运动补偿差信号。VOP功能件22还从一个总的由代号24表示的结构解码功能件接收解码的结构信息。
结构解码功能件24对一个VOP的结构信息解码。该结构信息由来自解复用器10的编码比特流(结构)提供，它具有由变长度解码功能件30所解码出的可变长度。变长度的解码数据被一个逆扫描功能件32进行逆扫描，然后被传送给一个逆DC&AC(直流和交流)预测功能件34。所得到的数据在一个逆量化器36中被逆量化。然后由IDCT(逆离散余弦变换)功能件38进行IDCT，这样得到的结构解码数据被提供给VOP重建功能件22。
各个重建的VOP作为前面重建的VOP被存储在方框16中，供运动补偿功能件20和形状解码功能件14其后以普通的方式使用。为了对当前以压缩形式接收到的VOP(其中不包含构成VOP的全部信息)解码，这些前面的VOP是必须的。由图1的处理所得到的重建VOP还被输出，供本技术领域众知的后续视频处理使用。
图2示出对视频结构信息的解码处理。在图2中，二维阵列被表示成“名称[q][p]”，其中“q”是垂直方向的序号，“p”是水平方向的序号。
编码比特流(结构)通过线路41被提供给变长度解码功能件40，后者将输出变长度的解码数据QFS[n]。然后该解码数据被一个逆扫描功能件42逆扫描。诸如DCT系数的“之”字形扫描和互补逆扫描等扫描在本技术领域是周知的。执行系数块的这种扫描和逆扫描的算法和电路也是周知的。
然后已经逆扫描的数据被提供给一个逆DC和AC预测功能件43。得到的数据QF[v][u]被逆量化功能件44逆量化，产生F[v][u]。一个逆DCT功能件46根据F[v][u]给出f(y,x)。然后该数据被传送给一个运动补偿功能件48，该功能件还通过线路53接收必要的运动矢量。得到的解码pel d[y][x]被存储在一个VOP存储器50中，该存储器还通过线路51接收重建的VOP。应该指出，总的来说图2中的功能件40、42、43、44和46分别对应于图1中的功能件30、32、34、36和38。
逆量化功能件44所提供的逆量化是视频结构解码处理中的一个重要步骤。具体地说，系数的二维阵列QF[v][u]被逆量化后能产生重建的DCT系数f[y][x]。这一处理本质上是用量化器的步长去相乘。量化器步长被两个机制修改用一个权重矩阵去修改一个块内的步长，用一个标度因子使得修改步长的代份仅是几个比特(与编码一个完整的新权重矩阵相比)。
图3示出逆量化处理的总貌。系数的二维阵列QF[v][u]通过线路90被输入给一个逆量化运算功能件60。在进行了适当的逆量化运算之后，由一个饱和功能件62使得到的系数F”[v][u]饱和(也即相对于一个上界和一个下界进行截削)，从而产生F’[v][u]。例如，可以用上界257和下界-258来实现饱和。当F”[v][u]小于-258时，它将被截削为-258，当F”[v][u]大于257时，它将被截削为257。这种饱和功能件可以用本技术领域众知的比较器或类似器件来实现。
在饱和之后，执行失配控制操作64。失配控制在前面引用的ISO/IEC 14496-2有所说明，对熟知本技术领域的人们是众知的。一般地说，失配控制由相加所有重建的饱和系数F’[v][u]来进行。然后判断相加得到的和值是奇数是偶数。如果为偶，则只对一个系数F[7][7]进行校正。对F[7][7]的校正只需简单地改变该系数的补2表示的最低比特位。另外，由于只对和值的奇偶性感兴趣，所以可以用“异或”操作(仅对最低比特位进行)来计算和值。最后重建的DCT系数F[v][u]将从失配控制器64输出。
MPEG-4视频中规定了两种量化方法。第一种方法是MPEG-2量化方法。第二种方法是H.263量化方法。
对于MPEG-2量化方法，内部编码块的DC系数的逆量化方式与所有其他系数不同。在内部编码块中，F”
是由将QF
乘以一个常数乘子得到的。重建的DC值按下式计算F”
=dc_标度因子*QF
。
对于内部编码宏块，优化的非线性逆DC量化被用来确定dc标度因子。在一个内部编码宏块中，亮度块叫作类型1块，色度块叫作类型2块。
·类型1块的DC系数由类型1的非线性标度因子量化，·类型2的DC系数由类型2的非线性标度因子量化。
表1规定了用分区线性特性表示的非线性dc标度因子。表1
对于MPEG-2量化方法，除了内部DC系数以外的所有系数都利用根据本发明的两个权重矩阵来逆量化。一个权重矩阵用于内部编码宏块，另一个权重矩阵用于非内部编码宏块。每个矩阵都有一组约定的缺损值，这组值也可以通过下载一个用户定义的矩阵来改写。令权重矩阵用W[w][v][u]表示，其中的w取0或1值，表明被使用的是哪一个矩阵。W
[v][u]用于内部编码宏块，W[1][v][u]用于非内部编码宏块。
下面的等式规定了由QF[v][u]重建F”[v][u]的运算(适用于除了内部DC系数之外的所有系数)F”[v][u]=((2×QF[v][u]+k)×W[w][v][u]×量化器_标度)/32其中 并且“/”代表整除，并且相除后的商向零方向取整。
总之，这个逆量化处理是任何在数值上等价于下列处理的处理。
<pre listing-type="program-listing"><![CDATA[for(v=0；v＜8；v++){ for(u=0；u＜8；u++){ if(QF[v][u]=0) F”[v][u]=0；elseif((u=0)&&(v=0)&&(macroblock-intra)){ F”[v][u]=dc-scaler*QF[v][u]；}else{ if(macroblock-intra){ F”[v][u]=(QF[v][u]*W
[v][u]*quantizer_scale*2)/32；}else{ F”=[v][u]=(((QF[v][u]*2)+Sign(QF[v][u]))*W[1][v][u]*quantizer-sacle)/32； } } }}]]></pre>当量化器标度从第i个宏块改变到第(i+1)个宏块(i≥0)时，它被规定为
表19.EndexTM155和丙烯酸系物质对ESI#25(73％％重量苯乙烯，1.8克/厘米3Gottfert,Tg=23.6℃)在20℃和33℃下的模量的影响
表19中的数据表明，ESI共聚体及其与10％重量丙烯酸系物质和20％重量EndexTM155的共混物在Tg之上和之下都具有相当的模量变化。
实施例30-44由ESI38和以下的第二聚合物组分，制备出一系列的双组分纤维PP1-35 MFR聚丙烯，购自Montell，商品名为PF 635PET1-聚酯，购自Wellman，商品名为Blend 9869，批号61418。
PE1-线型低密度乙烯/辛烯共聚物，熔体指数I2为17.0克/10分钟且密度为0.950克/厘米3。
SAN2-苯乙烯-丙烯腈共聚物，购自Dow Chemical，商品名为TYRILTM100。
基本上无规乙烯/苯乙烯共聚物ESI 38是使用与ESI9相同的催化剂和助催化剂并与ESI26-31相同的聚合反应方法，利用表20中的工艺条件制成的。ESI38的熔体指数I2为0.94克/10分钟，共聚体的苯乙烯含量为77.42％重量(48.0％摩尔)且无规立构聚苯乙烯含量为7.48％重量，且包含0.24％重量的滑石和0.20％重量的硅氧烷粘合剂。
表19.EndexTM155和丙烯酸系物质对ESI#25(73％％重量苯乙烯，1.8克/厘米3Gottfert,Tg=23.6℃)在20℃和33℃下的模量的影响
表19中的数据表明，ESI共聚体及其与10％重量丙烯酸系物质和20％重量EndexTM155的共混物在Tg之上和之下都具有相当的模量变化。
实施例30-44由ESI38和以下的第二聚合物组分，制备出一系列的双组分纤维PP1-35 MFR聚丙烯，购自Montell，商品名为PF 635PET1-聚酯，购自Wellman，商品名为Blend 9869，批号61418。
PE1-线型低密度乙烯/辛烯共聚物，熔体指数I2为17.0克/10分钟且密度为0.950克/厘米3。
SAN2-苯乙烯-丙烯腈共聚物，购自Dow Chemical，商品名为TYRILTM100。
基本上无规乙烯/苯乙烯共聚物ESI 38是使用与ESI9相同的催化剂和助催化剂并与ESI26-31相同的聚合反应方法，利用表20中的工艺条件制成的。ESI38的熔体指数I2为0.94克/10分钟，共聚体的苯乙烯含量为77.42％重量(48.0％摩尔)且无规立构聚苯乙烯含量为7.48％重量，且包含0.24％重量的滑石和0.20％重量的硅氧烷粘合剂。
在图4的实施例中，标度为2QFi+1[v][u]+k的二维系数阵列通过线路90(对应于图3中的线路90)被输入给逆理化运算器(总的用代号60表示)。具体地说，系数阵列被提供给一个乘法器92，后者还接收来自加法器86的输出Wi+1[w][v][u]。加法器86的输入包括一个SRAM88(下面另有说明)的输出和Wi[w][v][u]，后者是由每个VOP的初始权重Wo[w][v][u]经过延时线84后得到的。项Wo[w][v][u]是这样得到的在每个VOP的开始时(即每个VOP的第一个宏块时间)，一个统计随机访问存储器(SRAM)80在响应于输入给开关82的一个VOP开始控制信号时，将给出Wo[w][v][u]。
SRAM80被以下两者访问每个VOP的初始量化水平(Vop quant)；以及一个规定了当前宏块是一个内部编码宏块还是一个非内部编码宏块的宏块类型识别符(INTRA-CODED)。Vop-quant和INTRA CODED输入信号分别通过线路68和66提供给SRAM80。Vop-quant被携带在VOP的前端部中。INTRA CODED信号可以简单地仅含有一个控制比特，例如，当该比特为“1”时代表内部编码块，为“0”时代表非内部编码块。当这个比特设定为1时，SRAM内部将指向一个特定的页，使得SRAM将输出处理内部编码块所需的数据(即当前的权重矩阵)。
Vop-quant也提供给在每个VOP的开始时被控制信号“VOP开始”所激励的开关78。Vop-quant数据被一个加法器74与dquant或dbquant相加，后者是通过线路67传送给加法器74的。相加的结果构成了quant-scale-code(量子标度码)(即当前的宏块量化水平)，如前所述，它将被功能件72截削。经截削的数据被延时线76延时并反馈给加法器74的“+”输入端。这样，加法器74在每个VOP的开始时通过开关78接收Vop-quant，其后对于每个后续的循环(其时开关78是断开的)将接收相继的反馈数据，而不再接收初始的Vop-quant。在加法器70中，经延时和截削的来自延时线76的数据与来自截削功能件72的当前截削数据相加，这样便产生了下一个量化差(quanti+1)，这个量化差被作为一个寻址输入提供给SRAM88，使其向加法器86提供从权重矩阵±W[1][v][u]或±W
[v][u]或0选出的一个相应矩阵，作为下一个权重阵列。SRAM88还通过线路66被INTRA CODED信号访问，以便如前面关于SRAM 80的说明那样，让SRAM88能识别出内部编码块。图4逆量化运算器的最终输出是由乘法器92输出的F”[v][u]，供图3的饱和功能件62进行处理。
从图4可见只需要一个乘法器92。这表示对于以往技术的逆量化器有了重大的改进，后者至少需要两个乘法器，比本发明逆量化器的成本要高得多。
虽然本发明是借助于各种具体的实施例来说明的，但熟悉本技术领域的人们将可在不偏离权利要求书中给出的本发明范畴的情况下，作出许多调整和修改。
权利要求
1.一种系数逆量化方法，它包括以下步骤提供一个准备要逆量化的二维量化系数阵列QF[v][u]；对于由上述系数代表的内部编码宏块，预先计算出并存储一个第一权重矩阵W
[v][u]=2*W
[v][u]；对于由上述系数代表的非内部编码宏块，预先计算出并存储一个第二权重矩阵W[1][v][u]=2*W[1][v][u]；计算一个准备用于根据当前宏块量化水平来选择一个权重因子的量化差；根据上述量化差和一个宏块类型识别符，由上述存储的第一和第二权重矩阵中的一个权重矩阵提供上述权重因子；以及根据一个当前权重Wi[w][v][u]和上述权重因子，迭代地计算各个后继的权重Wi+1[w][v][u]。
2.根据权利要求1的方法，它还包括下述步骤将上述系数阵列QF[v][u]乘以上述权重Wi+1[w][v][u]，以重建出未量化的系数。
3.根据权利要求2的方法，其中上述系数代表一个视频目标平面(VOP)的各个宏块。
4.根据权利要求1的方法，其中上述量化差是这样计算的从一个后继的第二量化器标度(quantizer_scalei+1)减去第一量化器标度(quantizer_scalei)。
5.用于对一个二维量化系数阵列QF[v][u]进行逆量化的设备，它包括一个为由上述系数所代表的内部编码宏块而存储的第一权重矩阵W
[v][u]=2*W
[v][u]；一个为由上述系数所代表的非内部编码宏块而存储的第二权重矩阵W[1][v][u]=2*W[1][v][u]；一个能计算一个准备用于根据一个当前宏块的量化水平来选择一个权重因子的量化差的第一加法器；上述存储的第一和第二权重矩阵中的至少一个权重矩阵能根据上述量化差和一个宏块类型识别符来提供上述权重因子；以及一个能根据一个当前权重Wi[w][v][u]和上述权重因子来迭代地计算各个后继权重Wi+1[w][v][u]的第二加法器。
6.根据权利要求5的设备，它还包括一个乘法器，用于将上述系数阵列QF[v][u]与上述权重Wi+1[w][v][u]相乘，以重建未量化的系数。
7.根据权利要求6的设备，其中上述系数代表了一个视频目标平面(VOP)的各个宏块。
8.根据权利要求7的设备，其中上述预先计算出的第一和第二权重矩阵被存储在一个可由上述量化差和上述宏块类型识别符访问的第一随机访问存储器(RAM)中。
9.根据权利要求8的设备，其中每个VOP的初始权重Wo[w][v][u]被存储在一个第二RAM中，并被作为Wi[w][v][u]通过一个延时线提供给上述第二加法器。
10.根据权利要求9的设备，其中上述第二RAM被每个VOP的初始量化水平(Vop-quant)和上述宏块类型识别符访问。
11.根据权利要求9的设备，它还包括一个开关，用来仅在每个新VOP开始时才把上述初始权重Wo[w][v][u]从上述第二RAM提供给上述延时线。
12.根据权利要求5的设备，其中上述预先计算出的第一和第二权重矩阵被存储在一个可由上述量化差和上述宏块类型识别符访问的随机访问存储器(RAM)中。
13.根据权利要求12的设备，它还包括一个乘法器，用于将上述系数阵列QF[v][u]与上述权重Wi+1[w][v][u]相乘，以重建未量化的系数。
全文摘要
提供了二维视频系数阵列QF[v][u]的逆量化(36、44、60)。预先计算出并存储(88)一个用于内部编码宏块的第一权重矩阵W
[v][u]=
文档编号H04N7/26GK1299563SQ99805819
公开日2001年6月13日 申请日期1999年4月27日 优先权日1998年5月4日
发明者陈学敏 申请人:通用仪器公司