专利名称：：使用多个层进行可缩放编码及解码的制作方法
技术领域：
：本发明涉及可包含音频数据、视频数据或两者的多媒体数据的可縮放编码及解码。更特定来说，本发明涉及用于对使用多个层的多媒体数据进行可縮放编码及解码的系统及方法。
背景技术：
：国际电信联盟(ITU)已公布数字视频编码的H.261、H.262、H.263及H.264标准。这些标准规定经编码数字视频数据的语法及如何解码这一数据以供呈现或重放。然而，这些标准允许以灵活方式使用各种不同的技术(例如，算法或压縮工具)将数字视频数据从未压縮格式变换为经压縮或经编码格式。因此，目前有许多不同的数字视频数据编码器可用。这些数字视频编码器能够以各种成本及质量水平实现各种程度的压縮。可縮放视频编码产生用于编码视频数据的多个层，例如，基础层及增强层。所述两层通常在具有不同传输特性的不同信道上传输，从而导致不同的包错误率。所述基础层通常具有与所述增强层相比时较低的包错误率。所述基础层通常含有最有价值的信息且所述增强层通常提供对所述基础层的完善。多数可縮放视频压縮技术利用了如下事实与图像的更单调、低频率区域相比人类视觉系统更易于忽略高频率去中的噪声(由于压缩所致)。因此，所述基础层主要地含有低频率信息且所述增强层主要地含有高频率信息。当网络带宽不足时，有较高的可能仅接收经编码视频的基础层(无增强层)。在这种情况中，经重构视频是模糊不清的且解块滤波器甚至可能加重这种效果。解码器通常解码所述基础层或所述基础层及所述增强层。当解码所述基础层及所述增强层时，与单层解码器相比多层解码器通常需要增加的计算复杂性及存储器。由于所述增加的计算复杂性及存储器需要所致许多移动装置不利用多层解码器。
发明内容处理与多个层相关联的多媒体数据的方法可包括确定基础层残留。如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第一选定条件，则可实施层间预测以产生增强层残留。所述第一选定条件可以是所述基础层残留的非零或零系数的数量大于、小于或等于阈值。如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第二选定条件，则可实施时间预测以产生所述增强层残留。所述第二选定条件可以是所述基础层残留的非零或零系数的数量大于、小于或等于阈值。本发明揭示一种使用基础层预测增强层的方法。多媒体数据块可用于产生包括多个基础量化系数的基础残留。所述多媒体数据块还可用于产生包括多个增强量化系数的增强残留。基于所述多个基础量化系数可确定第一值，且基于所述多个增强量化系数可确定第二值。可通过使用所述多个基础量化系数或所述多个增强量化系数中的至少一者确定所述增强层。解码多媒体位流的方法可包括接收具有基础层及增强层的多媒体位流。所述基层可经解码以确定是使用层内预测或还是应用层间预测解码所述增强层。结合附图阅读下文的详细阐释将更易于了解本发明的特征、目的及优点。图1是用于编码及解码多媒体数据的系统的框图2是H.264视频数据位流的框图3是具有层间预测的多层可縮放编码器的框图4模式决策模块(MDM)的流程图，所述模式决策模块可以是图3的预测模块的一部分；图5是变换+熵编码模块(TECM)的流程图，所述变换+熵编码模块可以是图3的预测模块的一部分；图6是图解在宏块基础或块基础上的层间预测的流程图7显示变换域中的六个4x4块以图解在dct逐系数基础上的层间预测。图8图解在dct逐系数基础上的层间预测的方法。图9是使用层内预测或层间预测解码多媒体位流的方法的流程图；及图IO具有层内预测及层间预测的解码器的框图。具体实施例方式现将参考所述图示阐述实施本发明的各个特征的实施例的系统及方法。提供所述图示及相关联说明是为了图解本发明的某些实施例而非限制本发明的范围。在所有图示中，重复使用各个参考编号以指示所参考元件之间的一致性。此外，每一参考编号的第一位数字指示所述元件第一次出现的图示。图l是编码及解码多媒体(例如，视频、音频或两者)数据的系统100的框图。系统100可经配置以编码(例如，压缩)及解码(例如，解压縮)视频数据(例如，图片及视频帧)。系统100可包括服务器105、装置110及将服务器105连接到装置110的通信信道115。系统100可用于图解下文所述的用于编码及解码视频数据的方法。系统100可由硬件、软件、固件、中间件、微码或其任一组合实施。一个或多个元件可被重排及/或组合，且其他系统可用于替代系统100，同时仍维持本发明的精神及范围。额外元件可添加到系统100或可从系统100移除，同时仍维持本发明的精神及范围。服务器105可包括处理器120、存储媒介125、编码器130及I/O装置135(例如，收发器)。处理器120及/或编码器130可经配置以接收呈一系列视频帧形式的视频数据。处理器120及/或编码器130可以是高级RISC机器(ARM)、控制器、数字信号处理器(DSP)、微处理器或能够处理数据的任一其他装置。处理器及/或编码器130可将所述系列的视频帧传输到存储媒介125进行存储及/或可编码所述系列的视频帧。存储媒介125还可存储由处理器120及/或编码器130使用以控制服务器105的操作及功能的计算机指令。存储媒介125可表示用于存储所述视频数据的一个或多个装置及/或用于存储信息的其他机器可读媒介。术语"机器可读媒介"包括(但不限于)随机存取存储器(RAM)、闪速存储器、(只读存储器)ROM、EPROM、EEPROM、寄存器、硬盘、可拆卸磁盘、CD-ROM、DVD、无线信道及能够存储、包含或负载指令及/或数据的各种其他媒介。使用从存储媒介125所接收的计算机指令，编码器130可经配置以实施所述系列视频帧的平行及串行处理(例如，压縮)两者。可如下文方法中所述实施所述计算机指令。一旦编码了所述系列的帧，则可将所述经编码数据发送到I/0装置135以经由通信信道115传输到装置110。装置110可包括处理器140、存储媒介145、解码器150及I/O装置155(例如，收发器)及显示装置或屏幕160。装置110可以是计算机、数字录像机、手持装置(例如，蜂窝式电话、黑莓手机(Blackberry)等)、机顶盒、电视机及能够接收、处理(例如，解压缩)及/或显示一系列视频帧的其他装置。I/O装置155接收所述经编码数据且将所述经编码数据发送到存储媒介145及/或解码器150以供解码。解码器150经配置以使用所述经编码数据再产生所述系列的视频帧。一旦经解码，则所述系列的视频帧可存储于存储媒介145中。使用从存储媒介145所检索的计算机指令，解码器150可经配置以实施所述经编码数据的平行及串行处理(例如，解压縮)两者以再产生所述系列的视频帧。可如下文方法中所述实施所述计算机指令。处理器140可经配置以从存储媒介145及/或解码器150接收所述系列的视频帧且将所述系列的视频帧显示于显示装置160上。存储媒介145还可存储由处理器140及/或解码器150使用以控制装置110的操作及功能的计算机指令。通信信道115可用于在服务器105与装置110之间传输所述经编码数据。通信信道115可以是有线连接或有线网络及/或无线连接或无线网络。举例来说，通信信道115可包括因特网、同轴电缆、光纤线路、卫星链路、陆地链路、无线链路、能够传播信道的其他媒介及其任一组合。图2是H.264视频数据位流200的框图。位流200可组织或分割为多个存取单元205(例如，存取单元l、存取单元2、存取单元3等)。每一存取单元205可包括对应于经编码视频帧的信息。每一存取单元205可组织或分割为多个NAL单元210。每一NAL单元210可包括NAL前缀215、NAL标头220及数据块225。NAL前缀215可以是指示数据块225的开始处的一系列位(例如，00000001)，且NAL标头220可包括NAL单元类型230(例如，I、P或B帧)。数据块225可包括标头235及数据240。数据块225可组织或分割为16x16的数据宏块、整帧数据或所述视频数据的一部分(例如，2x2块或4x4块)。术语"宏块"及"块"可相互替代地使用。标头135可包括模式245、参考图列表250及QP值255。模式245可向编码器130指示如何组织或分割所述宏块、如何确定及传输运动信息及如何确定及传输残留信息。数据240可包括运动信息(例如，运动向量285)及残留信息(例如，DC260及AC265残留)。对于I帧来说，数据240可包括DC残留260及AC残留265。AC残留265可包括编码块模式(CBP)值270、拖尾1的数量275及残留量化系数280。对I帧来说，可不需要运动信息，这是因为其是第一帧。对于P及B帧来说，数据240可包括运动向量285、DC残留290及AC残留295。图3是多层可縮放编码器130的基础层编码模块300及增强层编码模块305的框图。多层编码引入多个时间预测环路。举例来说，双层编码可引入两个时间预测环路。可在所述两个层之间共享视频数据以允许针对所述两个层的某一位指派及降低开销。层间预测可用于所述增强层处以降低总编码开销。基础层编码模块300可用于所述基础层视频且增强层编码模块305可用于所述增强层视频。在一些实施例中，所述基础层视频可与所述增强层视频是相同的或近似相同的。在基础层编码模块300及增强层编码模块305接收之前可编码视频数据。可在输入310及315处提供经编码视频数据。基础层编码模块300可包括变换(Tb)模块320、量化(Qb)模块325、逆变换(TV1)模块330及逆量化(Qb")模块335。增强层编码模块305可包括变换(Te)模块340、量化(Qe)模块345、逆变换(T/1)模块350及逆量化(Qe-1)模块355。量化模块325、335、345及355可包括一个或多个可用于确定所得图像的质量的的量化参数。一般来说，用于基础层编码模块300的量化参数大于用于增强层编码模块305的量化参数。较大量化参数指示较低质量的图像。基础层编码模块300可产生用于所述基础层的残留信息360，且增强层编码模块305可产生用于所述增强层的残留信息365。基础层编码模块300及增强层编码模块305还可分别包括预测模块370及375。预测模块370及375可组合为单个预测模块。预测模块370及375可用于实施所述多媒体数据的层内及层间编码。对于I帧来说，所述经解码基础层可用作所述增强层的参考。对于P及B帧来说，通过运动补偿一个或多个先前帧计算出的经组配的基础帧和参考可用于所述增强层。层间预测可实施于宏块基础上、块基础上(例如，4x4块基础上)或dct系数基础上。对于P或B帧中的每一宏块来说，可依据诸如层间预测或层内预测(例如，时间预测)。如果使用层间预测，则可通过使用经组配的基础层宏块来预测增强层宏块。在一些实施例中，预测误差可经编码且然后传输到解码器150。如果使用时间预测，则可通过将来自一个或多个先前帧及/或随后帧的一个或多个宏块用作参考及使用(例如，复制)来自所述基础层及宏块模式信息及运动向量来预测增强层宏块。图4是模式决策模块(MDM)400的流程图，其可以是图3的预测模块370及375的一部分。MDM400可包括运动估计模块405及决策模块410。MDM400可由处理器120及/或编码器130实施。运动估计模块405产生用于各种模式的所述增强层的运动信息(例如，运动向量)。可通过使用来自所述基础层及所述增强层的信息(例如，运动向量及残留)确定所述模式。数种模式存在于H.264运动估计中。举例来说，模式"a"可以是16xl6宏块(输出MVx及MVy),模式"b"可以是两个8x16块或两个16x8块(每一分区输出MVx及MVy)，且模式"c"可以是四个8x8块(每一分区输出8x8子分区模式及每一子分区输出MVx及MVy)。每一宏块及每一块可具有其特有的运动信息。对于双层编码来说，数种模式允许位指派的大量灵活性。在某些模式中，与所述基础层相比因为更高质量的增强层视频所以所述增强层产生更精确的运动向量。在双层编码中，所述基础层及所述增强层两者可均使用对应于所述基础层的相同运动信息。可通过使用所预测宏块且从当前宏块减去其而产生残留信息。编码器130可选择跳跃模式，其为层内预测模式。在所述跳跃模式中，编码器130不将任何关于所述当前宏块或块的运动及残留信息传输到解码器150。所述当前块的运动信息可从一个或多个相邻块得到。在一个模式中，编码器130可传输运动信息且可不传输残留信息。此可通过将编码一块_模式设置为0而完成。在H.264标准中，当将编码_±央—模式设置为0时，所有变换系数为0。当编码—块_模式=0时，解码器150被通知编码器130没有正在发送任何残留信息。为编码所述编码—块_模式值，可将如表I中所示的代码编号指派给所述编码一块j莫式。可使用Exp-Golomb代码编码所述代码编号。解码器150可从编码器130接收如表I中所示的代码编号。<table>tableseeoriginaldocumentpage12</column></row><table>表I决策模块410可选择模式，所述模式影响各种因素，例如，编码运动信息的位成本、编码效率、运动精确性、开销、性能、速率-失真优化等。一种模式可能产生所述基础层的更好的结果，同时另一种模式可能产生所述增强层的更好的结果。因此，可能需要进行某些折衷以实现所述基础层及所述增强层两者的"最佳模式"或"最优模式"。如果同一模式产生所述基础层及所述增强层两者的最佳结果，则不需要任何折衷。可基于(例如)速率失真优化选择所述最佳模式，这是因为所述速率失真优化表示运动精确性与编码运动信息的位成本之间的最佳折衷。为优化目的，决策模块410可利用TECM500(参阅图5)。所述模式可向处理器120及/或编码器130提供一组方针、函数、指令、参数、例程或其任一组合以实施所述视频数据的编码。下述说明提供三种不同模式(a、b及c)的实例。假定所述基础层在模式a下具有最佳性能，且所述增强层在模式b下具有最佳性能。如果决策模块410选择模式a，则在所述增强层处引入AR^h开销，且在所述基础层处不引入开销。如果决策模块410选择模式b，则在所述基础层处引入ARbj^e开销，且在所述增强层处不引入开销。如果决策模块410选择模式C，则在所述基础层处引入AR。ase开销，且在所述增强层处引入ARe^h开销。根据这些变化，可确定对每一模式来说每一层的开销的成本。可如下确定两层的总成本。标准1:如果所述总成本定义为C=ARx_base，其中X可以是a、b及c，则所述基础层具有最高编码效率且所述增强层的结果是不重要的。标准2:如果所述总成本定义为C=ARX—enh，其中x可以是a、b及c，则所述增强层具有最高编码效率且所述基础层的结果是不重要的。标准3:如果所述总成本定义为C=ARx—base/2+ARx—enh/2,其中x可以是a、b及c，则平等地或类似地对待所述基础层及所述增强层两者。标准4:如果用于整个基础层帧的总开销应不大于5%，则可确定在宏块基础上的所定义需要。举例来说，当编码所述基础层的宏块j时，所允许的开销的上界可计算为上界=(Bj.rEj.什bj)fS^-Ej—p其中Bw是编码先前j-l宏块所使用的位的总数量，Ey是在Bj.,中的开销位，且bj是在所述基础层的最佳模式下编码宏块j时所使用的位。在编码宏块j之后，Bj及Ej可更新用于随后的宏块。图5是变换+熵编码模块(TECM)500的流程图，其可以是图3的预测模块370及375的一部分。TECM500可包括基础层编码模块505、解码模块510、检验模块515、层间预测模块520及时间预测模块525。TECM500可由处理器120及/或编码器130实施。TECM500使用所述经编码基础层预测所述增强层。基础层编码模块505可用于确定所述基础层的运动信息(例如，运动向量)。解码模块510可用于层间预测之前解码所述经编码基础层。检验模块515可用于确定经变换基础层残留中零及/或非零系数的数量。依据所述系数，可选择层间预测(520)或时间预测(525)以预测所述增强层。图6是图解在宏块基础上或块基础上的层间预测的流程图。层间预测可实施于宏块基础上或块基础上(也就是，所述宏块(例如，4x4块基础上)的任何部分)。对于4x4块基础或2x2块基础上的层间预测来说，来自所述基础层中的宏块的运动信息及/或残留信息可用于确定是使用层间预测还是时间预测。基础层编码模块505可确定所述基础层的运动信息及残留信息(605)。基础层编码模块505还可获得用于所述增强层的参考(例如，宏块或帧)。基础层编码模块505可确定所述基础层的残留信息的非零或零系数的数量(610)。如果来自所述基础层的残留信息含有多于来自所述增强层的参考的信息，则所述基础层内的残留信息可用于所述增强层。检验模块515可确定非零及零系数的数量是否满足选定条件(615)。举例来说，检验模块515可检查所述基础层的所述残留信息以确定非零系数的数量是否大于、小于或等于阈值(T)或零系数的数量是否大于、小于或等于阈值(T)。如果所述残留信息包括所有非零系数或一些非零系数，则所述基础层中的所述残留信息可用于所述增强层，且编码器130可使用层间预测来预测所述增强层中的宏块(625)。如果所述残留信息包括所有零或一些零，则所述基础层中的所述残留信息可能不能用于所述增强层，且编码器130可使用时间预测来预测所述增强层中的宏块(620)。编码器130可将所述经编码宏块或经编码块传输到解码器150(630)。图7显示变换域中的六个4x4块以图解在dct逐系数基础上的层间预测，且图8图解在dct逐系数基础上的层间预测的方法。顶行包括所述基础层经运动补偿预测(MCP)或参考块700、残留块705及经重构块710。底行包括所述增强层的MCP或参考块715、残留块720及重构块725。图中显示MCP及残留块700、705、715及720已从空间(例如，像素)域转换到变换(例如，频率)域(805)。MCP块700可是通过使用所述基础层中的运动信息所产生。重构块710可以是通过使用来自MCP及残留块700及705的系数所形成。重构块725可以是使用(例如，复制)来自重构块710的系数所形成。所述层间预测可实施于所述基础层的残留块705的非零系数上。在图7中，^b，t表示MCP块700中的系数，且Ew表示残留块705中的经编码非零系数。重构块710的重构系数可由fb.t"-》b.t+Ew表示且可用于层间预测。所述增强层的相同位置处的重构系数可可以是所述基础层的重构系数的副本。如果Et+1=0或近似0，则所述系数可能不能用于所述增强层且时间预测模块525可实施时间预测以通过使用MCP块715及残留块720产生重构块725。如果Et+^0或近似0，则所述系数可用于所述增强层且层间预测模块520可使用所述系数实施层间预测。因此，可从所述基础层复制用于所述增强层的重构系数。还可将每一系数与阈值相比较以确定是使用层间预测还是时间预测。可将用于所述增强层的系数从编码器130发送到解码器150。术语"编码块模式(CBP)"是指宏块中的所有非零系数的总和。使用残留宏块705中的残留系数，层间预测模块520可确定用于所述基础层的CBP(CBPb)(810)。使用残留宏块720中的残留系数，层间预测模块520可确定用于所述增强层的CBP(CBPe)(815)。如果CBPb=0或CBPb<T(阈值)，则层间预测模块520可将残留宏块705中的所有系数指派为零(820)且可将残留宏块720传输到解码器150(825)。在某些实施例中，T可以是4(或近似为4)，其中可通过基于宏块705中残留系数的位置的残留系数的线性总和或经加权总和确定所有非零系数的总和。如果CBPb+CBP#0，则层间预测模块520可使用所述基础层及所述增强层的残留系数确定最小量化系数(830)。举例来说，可使用方程MQC(i，j)=-min[Cb(i，j)，Ce(i,j)]确定最小量化系数，其中Ce可以是所述增强层的残留系数，且Cb可以是所述基础层的残留系数。层间预测模块520可将所述MQC(i，j)传输到解码器150(835)。如果Ce(i，j)的符号^Cb(i，j)的符号，则层间预测模块520可将所述基础层的所有残留系数(Cb(i,j))指派为零(840)且可将所述增强层的所有残留系数(Ce(i，j))传输到解码器150(845)。图9是使用层内预测或层间预测解码多媒体位流的方法900的流程图。处理器140可接收具有基础层及增强层的多媒体位流(905)。解码器150可解码所述基础层以确定应该使用层内预测还是层间预测来解码所述增强层(910)。所述基础层可包括多个基础层系数。在某些实施例中，为确定应该使用层内预测还是层间预测来解码所述增强层，解码器150可确定所述多个基础层系数是否包括至少一个非零系数。如果所有所述多个基础层系数均具有零值，则解码器150可使用层内预测解码所述基础层，且如果所述多个基础层系数中的至少一者具有非零值，解码器150可使用层间预测解码所述基础层。图io是具有层内预测及层间预测的解码器1000的框图。解码器1000可以是处理器140及/或解码器1500的一部分且可用于实施图9的方法。解码器IOOO可由硬件、软件、固件、中间件、微码或其任一组合实施。解码器1000可包括决策模块1005、层内预测模块1010及层间预测模块1015。决策模块1005可接收具有基础层及增强层的多媒体位流，且可解码所述基础层以确定应该使用层内预测还是层间预测解码所述增强层。层内预测模块1010可用于使用层内预测解码所述增强层。层间预测模块1015可用于使用层间预测解码所述增强层。在本发明的某些实施例中，揭示一种处理与多个层相关联的多媒体数据的设备。所述设备可包括用于确定基础层残留的装置。所述用于确定基础层残留的装置可以是处理器120、编码器130、基础层编码模块300、增强层编码模块305、预测模块370及375、运动估计模块405、决策模块410及/或基础层编码模块505。所述设备可包括用于如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第一选定条件则实施层间预测以产生增强层残留的装置。所述用于实施层间预测的装置可以是处理器120、编码器130、基础层编码模块300、增强层编码模块305、预测模块370及375、基础层编码模块505及/或层间预测模块520。所述设备可包括用于如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第二选定条件则实施时间预测以产生所述增强层残留的装置。所述用于实施时间预测的装置可以是处理器120、编码器130、基础层编码模块300、增强层编码模块305、预测模块370及375、基础层编码模块505及/或时间预测模块525。在本发明的某些实施例中，揭示一种用于解码多媒体位流的设备。所述设备可包括用于接收具有基础层及增强层的多媒体位流的装置。所述用于接收多媒体位流的装置可以是处理器140、解码器150及/或决策模块1005。所述设备可包括用于解码所述基础层以确定应该使用层内预测还是层间预测来解码所述增强层的装置。所述用于解码的装置可以是处理器140、解码器150、决策模块1005、层内预测模块1010及/或层间预测模块1015。所属
技术领域：
的技术人员应了解，结合本文所揭示实例所阐述的各种说明性逻辑块、模块、及算法步骤可实施为电子硬件、计算机软件或两者的组合。为清晰地说明硬件与软件的互换性，上文是基于功能性来概述各种说明性组件、块、模块、电路、及步骤。此种功能性是作为硬件还是软件取决于特定应用及施加于整个系统的设计制约条件。所属
技术领域：
的技术人员可针对每一特定应用以不同的方式实施所述功能性，但此种实施方案决策不应视为导致背离所揭示方法的范围。结合本文所揭示实例阐述的各种说明性逻辑块、模块及电路可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其他可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件、或设计用于执行本文所述功能的其任一组合来构建或实施。通用处理器可以是微处理器，但另一选择为，处理器还可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP核心的联合，或任意其它此类配置。结合本文所揭示实例来阐述的方法或算法的步骤可直接实施于硬件中、由处理器执行的软件模块中或两者的组合中。软件模块可驻留于RAM存储器、闪速存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸磁盘、CD-ROM或现有技术中已知的任一其它形式的存储媒体中。实例性存储媒体耦合到处理器以使处理器可从存储媒体读取信息及将信息写入到存储媒体。或者，所述储存媒体可以是处理机的组成部分。处理器及储存媒体可驻留于专用集成电路(ASIC)中。ASIC可驻留于无线调制解调器中。另一选择为，处理器及储存媒体可作为离散组件驻留于无线调制解调器中。上文对所揭示实例的说明旨在使任何所属
技术领域：
的技术人员均可制作或利用所揭示方法及设备。所属
技术领域：
的技术人员将易知对所述实例的各种修改，且本文所界定的一般原理还可应用于其他实例，此并不背离所揭示方法及装置的精神或范围。所述实施例在所有方法均应视为说明性而非限制性，且因此本发明的范围由随附权利要求书指出而非由前述说明指出。所有仍归属于权利要求书的等价意义及范围内的修改均将涵盖在权利要求书的范畴内。权利要求1、一种处理与多个层相关联的多媒体数据的方法，其包含确定基础层残留；及如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量满足第一选定条件，则实施层间预测以产生增强层残留。2、如权利要求1所述的方法，其中如果所述基础层残留的非零系数的所述数量大于或等于阈值，则满足所述第一选定条件。3、如权利要求1所述的方法，其中如果所述基础层残留的零系数的所述数量小于或等于阈值，则满足所述第一选定条件。4、如权利要求l所述的方法，其中实施层间预测包括基于基础层参考块的系数及所述基础层残留的系数确定基础层重构块的系数；及通过使用所述基础层重构块的所述系数来确定增强层重构块的系数。5、如权利要求1所述的方法，其进一步包含如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第二选定条件，则实施时间预测以产生所述增强层残留。6、如权利要求5所述的方法，其中如果所述基础层残留的非零系数的所述数量小于或等于阈值，则满足所述第二选定条件。7、如权利要求5所述的方法，其中如果所述基础层残留的零系数的所述数量大于或等于阈值，则满足所述第二选定条件。8、如权利要求5所述的方法，其中实施时间预测包括将所述基础层残留的多个非零系数指派至零；及基于增强层参考块的系数及增强层残留的系数确定增强层重构块的系数。9、如权利要求1所述的方法，其进一步包含设置用以指示不应传输所述增强层残留的代码。10、一种用于处理与多个层相关联的多媒体数据的处理器，所述处理器经配置以确定基础层残留；及如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量满足第一选定条件，则实施层间预测以产生增强层残留。11、如权利要求10所述的处理器，其中如果所述基础层残留的非零系数的所述数量大于或等于阈值，则满足所述第一选定条件。12、如权利要求10所述的处理器，其中如果所述基础层残留的零系数的所述数量小于或等于阈值，则满足所述第一选定条件。13、如权利要求10所述的处理器，其中实施层间预测包括基于基础层参考块的系数及所述基础层残留的系数确定基础层重构块的系数；及通过使用所述基础层重构块的所述系数来确定增强层重构块的系数。14、如权利要求10所述的处理器，其进一步经配置以在所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第二选定条件的情况下实施时间预测以产生所述增强层残留。15、如权利要求14所述的处理器，其中如果所述基础层残留的非零系数的所述数量小于或等于阈值，则满足所述第二选定条件。16、如权利要求14所述的处理器，其中如果所述基础层残留的零系数的所述数量大于或等于阈值，则满足所述第二选定条件。17、如权利要求14所述的处理器，其中实施时间预测包括将所述基础层残留的多个非零系数指派至零；及基于增强层参考块的系数及增强层残留的系数确定增强层重构块的系数。18、如权利要求10所述的处理器，其进一步经配置以设置用以指示不应传输所述增强层残留的代码。19、一种用于处理与多个层相关联的多媒体数据的设备，其包含运动估计模块，其用于确定基础层残留；及层间预测模块，其用于在所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量满足第一选定条件的情况下实施层间预测以产生增强层残留。20、如权利要求19所述的设备，其中如果所述基础层残留的非零系数的所述数量大于或等于阈值，则满足所述第一选定条件。21、如权利要求19所述的设备，其中如果所述基础层残留的零系数的所述数量小于或等于阈值，则满足所述第一选定条件。22、如权利要求19所述的设备，其中所述层间预测模块基于基础层参考块的系数及所述基础层残留的系数确定基础层重构块的系数；及通过使用所述基础层重构块的所述系数来确定增强层重构块的系数。23、如权利要求19所述的设备，其进一步包含时间预测模块，所述时间预测模块用于在所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第二选定条件的情况下实施时间预测以产生所述增强层残留。24、如权利要求23所述的设备，其中如果所述基础层残留的非零系数的所述数量小于或等于阈值，则满足所述第二选定条件。25、如权利要求23所述的设备，其中如果所述基础层残留的零系数的所述数量大于或等于阈值，则满足所述第二选定条件。26、如权利要求23所述的设备，其中所述时间预测模块将所述基础层残留的多个非零系数指派至零；及基于增强层参考块的系数及增强层残留的系数确定增强层重构块的系数。27、如权利要求19所述的设备，其进一歩包含决策模块以设置用以指示不应传输所述增强层残留的代码。28、一种用于处理与多个层相关联的多媒体数据的设备，其包含用于确定基础层残留的装置；及用于在所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量满足第一选定条件的情况下实施层间预测以产生增强层残留的装置。29、如权利要求28所述的设备，其中如果所述基础层残留的非零系数的所述数量大于或等于阈值，则满足所述第一选定条件。30、如权利要求28所述的设备，其中如果所述基础层残留的零系数的所述数量小于或等于阈值，则满足所述第一选定条件。31、如权利要求28所述的设备，其中所述用于实施层间预测的装置包括基于基础层参考块的系数及所述基础层残留的系数确定基础层重构块的系数；及通过使用所述基础层重构块的所述系数来确定增强层重构块的系数。32、如权利要求28所述的设备，其进一步包含用于在所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第二选定条件的情况下实施时间预测以产生所述增强层残留的装置。33、如权利要求32所述的设备，其中如果所述基础层残留的非零系数的所述数量小于或等于阈值，则满足所述第二选定条件。34、如权利要求32所述的设备，其中如果所述基础层残留的零系数的所述数量大于或等于阈值，则满足所述第二选定条件。35、如权利要求32所述的设备，其中所述用于实施时间预测的装置包括将所述基础层残留的多个非零系数指派至零；及基于增强层参考块的系数及增强层残留的系数确定增强层重构块的系数。36、如权利要求28所述的设备，其进一步包含用于设置用以指示不应传输所述增强层残留的代码的装置。37、一种机器可读媒介，其包含处理与多个层相关联的多媒体数据的方法，所述方法包含-.确定基础层残留；及如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量满足第一选定条件，则实施层间预测以产生增强层残留。38、如权利要求37所述的机器可读媒介，其中如果所述基础层残留的非零系数的所述数量大于或等于阈值，则满足所述第一选定条件。39、如权利要求37所述的机器可读媒介，其中如果所述基础层残留的零系数的所述数量小于或等于阈值，则满足所述第一选定条件。40、如权利要求37所述的机器可读媒介，其中所述方法进一步包含基于基础层参考块的系数及所述基础层残留的系数确定基础层重构块的系数；及通过使用所述基础层重构块的所述系数来确定增强层重构块的系数。41、如权利要求37所述的机器可读媒介，其中所述方法进一步包含如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第二选定条件，则实施时间预测以产生所述增强层残留。42、如权利要求41所述的机器可读媒介，其中如果所述基础层残留的非零系数的所述数量小于或等于阈值，则满足所述第二选定条件。43、如权利要求41所述的机器可读媒介，其中如果所述基础层残留的零系数的所述数量大于或等于阈值，则满足所述第二选定条件。44、如权利要求41所述的机器可读媒介，其中所述方法进一步包含将所述基础层残留的多个非零系数指派至零；及基于增强层参考块的系数及增强层残留的系数确定增强层重构块的系数。45、如权利要求37所述的方法，其中所述方法进一步包含设置用以指示不应传输所述增强层残留的代码。46、一种使用基础层预测增强层的方法，其包含-使用多媒体数据块产生包括多个基础量化系数的基础残留；使用所述多媒体数据块产生包括多个增强量化系数的增强残留；基于所述多个基础量化系数确定第一值；基于所述多个增强量化系数确定第二值；及使用所述多个基础量化系数或所述多个增强量化系数中的至少一者确定所述增强层。47、如权利要求46所述的方法，其进一步包含如果所述第一值等于所述第二值，则传输所述多个基础量化系数中的最小值。48、如权利要求46所述的方法，其进一步包含从所述多个基础量化系数及所述多个增强量化系数中确定最小值。49、如权利要求46所述的方法，其进一步包含如果第一总和小于阈值，则将所述第一值设置至零。50、如权利要求46所述的方法，其进一步包含如果所述多个基础量化系数的符号不等于所述多个增强量化系数的符号，则传输所述多个增强量化系数。51、如权利要求46所述的方法，其进一步包含使用时间预测产生基础运动向量及所述基础残留。52、如权利要求46所述的方法，其进一步包含使用时间预测产生增强运动向量及所述增强残留。53、如权利要求46所述的方法，其进一步包含使用层间预测产生基础运动向量及所述基础残留。54、如权利要求46所述的方法，其进一步包含使用层间预测产生增强运动向量及所述增强残留。55、一种用于使用基础层预测增强层的设备，其包含运动估计模块，其用于使用多媒体数据块产生包括多个基础量化系数的基础残留且用于使用所述多媒体数据块产生包括多个增强量化系数的增强残留；及预测模块，其用于基于所述多个基础量化系数确定第一值，用于基于所述多个增强量化系数确定第二值及用于使用所述多个基础量化系数或所述多个增强量化系数中的至少一者确定所述增强层。56、如权利要求55所述的设备，其中所述预测模块进一步包含在所述第一值等于所述第二值的情况下传输所述多个基础量化系数中的最小值。57、如权利要求55所述的设备，其中所述预测模块进一步包含从所述多个基础量化系数及所述多个增强量化系数中确定最小值。58、如权利要求55所述的设备，其中所述预测模块进一步包含在第一总和小于阈值的情况下将所述第一值设置至零。59、一种对多媒体位流进行解码的方法，其包含接收具有基础层及增强层的多媒体位流；及对所述基础层进行解码以确定应该使用层内预测还是层间预测对所述增强层进行解码。60、如权利要求59所述的方法，其中在NxM块基础上或在系数基础上实施所述层内预测。61、如权利要求59所述的方法，其中在NxM块基础上或在系数基础上实施所述层间预测。62、如权利要求59所述的方法，其中在宏块基础上或在系数基础上实施所述层内或层间预测。63、如权利要求59所述的方法，其进一步包含-确定多个基础层系数是否包括至少一个非零系数；如果所有所述多个基础层系数均具有零值，则使用层内预测对所述基础层进行解码；及如果所述多个基础层系数中至少一者具有非零值，则使用层间预测对所述基础层进行解码。64、一种用于对多媒体位流进行解码的设备，其包含决策模块，其用于接收具有基础层及增强层的多媒体位流；及层间预测模块，其用于对所述基础层进行解码以确定应该使用层内预测还是层间预测对所述增强层进行解码。65、如权利要求64所述的设备，其进一步包含层内预测模块且其中所述决策模块确定多个基础层系数是否包括至少一个非零系数；如果所有所述多个基础层系数均具有零值，则所述层内预测模块使用层内预测对所述基础层进行解码；及如果所述多个基础层系数中的至少一者具有非零值，则所述层间预测模块使用层间预测对所述基础层进行解码。全文摘要本发明揭示一种处理与多个层相关联的多媒体数据的方法。所述方法可包括确定基础层残留；及如果所述基础层残留的若干非零系数中的至少一者满足第一选定条件(610)，则实施层间预测(605)以产生增强层残留。一种对多媒体位流进行解码的方法可包括接收具有基础层及增强层的多媒体位流，及对所述基础层进行解码以确定应该使用层内预测还是层间预测来对所述增强层进行解码。文档编号H04B1/66GK101542926SQ200680022774公开日2009年9月23日申请日期2006年5月3日优先权日2005年5月3日发明者维贾雅拉克希米·R·拉韦恩德拉恩,陈培松申请人:高通股份有限公司