专利名称：：宏块自适应层间内纹理预测的方法和设备的制作方法
技术领域：
：本发明总体上涉及视频编码器和解码器，并且更加具体地，涉及宏块自适应层间内紋理预测的方法和设备。
背景技术：
：已经广泛研究和标准化了很多不同的可缩放性(scalability)的方法，包括例如国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-2(MPEG-2)标准和ISO/IECMPEG-4Part10/国际电信联盟-电信组(ITU-T)H.264标准(以下称为"H.264标准")的可缩放性简档中的信噪比(SNR)可缩放性、空间可缩放性、时间可缩放性和精细粒度可缩放性。大多数的可缩放视频编码方案都以编码效率为代价来实现可缩放性。因此，较为理想的是在最多只增加很少的复杂性的同时改进编码效率。大多数广泛使用的空间可缩放性和SNR可缩放性技术都是层间预测技术，包括层间内紋理预测、层间运动预测和层间残差预测。对于空间和SNR可缩放性，引入了较大程度的层间预测。可以使用先前层的相应信号来预测内宏块和间宏块。而且，可以使用各个层的运动描述来预测随后的增强层的运动描述。这些技术分为三个范畴层间内紋理预测、层间运动预测和层间残差预测。在JSVM2.0中，INTRA—BL宏块模式中提供了使用来自前一层信息的内紋理预测，其中对增强层残差(当前宏块(MB)与(经过升采样(upsample)的)基本层之间的差)进行变换和量化。当增强层残差并不包括太多的边缘信息时，INTRA一BL模式非常有效。以下三种可能的配置能够应用于INTRABL宏块模式无限制层间内紋理预测；受约束层间内紋理预测和用于单循环解码的受约束层间内紋理预测。就受约束层间内紋理预测的配置而言，能够将层间内紋理预测应用于任意块，对进行预测所依据的层没有限制。在此配置中，解码器必须对比特流中提供的所有较低空间分辨率进行解码，以重构目标分辨率。就受约束层间内紋理预测对配置而言，能够将层间内紋理预测应用于基本层的对应块位于内编码宏块内的宏块。使用此模式，实际解码的空间层仅仅需要逆MCTF。对于关键画面，需要多个解码循环。就用于单循环解码的受约束层间内紋理预测对配置而T，能够将层间内紋理预测应用于这样的宏块对于MCTF并且对于关键画面，基本层的相应块位于内编码的宏块内。在此配置中，只需要目标空间分辨率上的单解码循环。
发明内容通过本发明，现有技术中的这些及其它的一些缺点和劣势得到了解决，根据本发明的一个方面，提供一种可缩放视频编码器。所述的可缩放视频编码器包括一种有选择地使用空间内预测来在宏块自适应的基础上对增强层宏块与相应的经过升采样的基本层宏块之间产生的增强层残差进行编码的编码器。根据本发明的另一个方面，提供一种可缩放视频编码的方法。所述的方法包括有选择地使用空间内预测来在宏块自适应的基础上对增强层宏块与相应的经过升采样的基本层宏块之间产生的增强层残差进行编码。根据本发明的又另一个方面，提供一种可缩放-见频编码器。所述的可缩放视频编码器包括使用增强层中的空间相邻内预测模式和经过升采样的相应基本层预测模式二者对增强层进行编码的编码器。根据本发明的还另一个方面，提供一种可缩放视频编码的方法。所述的方法包括使用增强层中的空间相邻内预测模式和经过升采样的相应基本层预测模式二者对增强层进行编码。根据本发明的一个进一步方面，提供一种可缩放视频解码器。所述的可缩放-現频解码器包括有选择地使用空间内预测来在宏块自适应的基础上对增强层宏块与相应的经过升采样的基本层宏块之间产生的增强层残差进行解码的解码器。根据本发明的一个附加方面，提供一种可缩放;视频解码的方法。所述的方法包括有选择地使用空间内预测来在宏块自适应的基础上对增强层宏块与相应的经过升采样的基本层宏块之间产生的增强层残差进行解码。根据本发明的一个进一步附加方面，提供一种可缩放视频解码器。所述的可缩放视频解码器包括使用增强层中的空间相邻内预测模式和经过升采样的相应基本层预测模式二者对增强层进行解码的解码器。根据本发明的一个再进一步方面，提供一种可缩放视频解码的方法。所述的方法包括使用增强层中的空间相邻内预测模式和经过升采样的相应基本层预测模式二者对增强层进行解码。从以下的、要与附图一同研读的实施方式的详细描述中，本发明的这些及其它的一些方面、特征和优势将变得显而易见。依照以下的示例性附图，本发明可以更好地得到理解，其中图1表示可以应用本原理的示例性联合可缩放视频模型(JSVM)2.0编码器的框图；图2表示可以应用本原理的示例性解码器的框图；图3表示可以应用本原理的用于INTRA—BL的编码处理的流程图；图4表示可以应用本原理的用于INTRA一BL的解码处理的流程图；图5表示可以应用本原理的用于INTRA一BLS的编码处理的流程图；图6表示可以应用本原理的用于INTRA—BLS的解码处理的流程图；图7表示依照本原理用于INTRA—BL和INTRA一BLS模式的宏块自适应选择的示例性编码处理的流程图；和图8表示依照本原理用于INTRA—BL和INTRA—BLS才莫式的宏块自适应选^^的示例性解码处理的流程图。具体实施方式本发明是针对宏块自适应层间内紋理预测的方法和装置。在大多数可缩放-见频编码的方案中，对于空间和SNR可缩放性，引入了较大程度的层间预测。层间预测包括层间内紋理预测、层间运动预测和层间残差预测。依照本原理，提供一种新颖的层间内紋理预测。此外，依照本发明的示例性实施方式，本原理可以以宏块自适应方式与现有手段相结合，实现更高的编码效率。本说明书图解说明了本发明的原理。因此，将会意识到，所属
技术领域：
的专业人员将能够设计出具体实现本发明原理的各种方案(尽管没有在此明确阐述或示出)，这些方案包括在其精神和范围之内。所有在此所陈述的例子和有条件的语言都旨在教学上的目的帮助读者理解本发明的原理和发明人为促进技术发展所贡献的概念，并且，将它们理解为并不局限于这些具体阐述的例子和条件。此外，所有在此对本发明的原理、方面和实施方式进行陈述的语句以及其特定的例子，都旨在既包括其结构上的又包括其功能上的等价物。另外，其旨在不管结构如何，这些等价物既包括当前已知的等价物又包括未来开发的等价物，即任何为完成相同功能而开发的元素。因此，例如所属
技术领域：
的专业人员将会意识到，本文给出的框图代表了对本发明原理进行具体实现的说明性电路图的概念性视图。同样地，将会意识到，任何流程图、流程表、状态转移图、伪代码等等都代表了在计算机可读介质上基本上代表的并且因此由计算机或处理器执行的各种过程，而不管这种计算机或处理器有没有得到明确地给出。可以通过使用专用的硬件以及与适当软件结合的能够执行软件的硬件，提供图中所示的各种要素的功能。当由处理器提供时，可以由单独一个的专用处理器、单独一个共享处理器或多个独立的处理器(其中的一些可以是共享的)提供所述的功能。此外，术语"处理器"或"控制器"的明确使用并不应该解释为独有地涉及能够执行软件的硬件，而可以隐含地包括，但并不限于，数字信号处理器("DSP")硬件、存储软件的只读存储器("ROM")、随机存取处理器("RAM")和非易失性存储器。也可以包括其它的常规和/或定制的硬件。同样，图中所示的任何开关都只是概念上的。它们的功能可以是通过程序逻辑的操作、通过专用逻辑、通过程序控制与专用逻辑的交互或者甚至人工地实施的，具体技术可以由实施者按照对本文的具体理解来选择。在本发明的权利要求中，作为执行特定功能的部件所表达的任何元素都旨在包括执行其功能的任何方式，例如包括a)执行功能的电路元素的組合，或者b)任意形式的软件——因此包括固件、微码等等——其与执行软件完成其功能的适当电路相结合。由这些权利要求定义的发明在于这样的事实由各种不同的所列举的构件提供的功能是以这些权利要求的方式组合和集结在一起的。因此认为，能够提供这些功能的任何构件都等同于本文给出的构件。依照本原理，提供了层间内紋理预测的方法和装置。依照示例性实施方式，还通过使用用于增强层残差的空间内预测的H.264标准的子条款8.3中规定的方法(子条款8.3中规定的相关方法在此也简称为INTRA一BLS)允许增强层残差的空间内预测，使层间内紋理预测得到改善。使用INTRA一BLS的一个原因是对于空间可缩放性，增强层残差通常包括大量的高频分量，比如边缘。空间内预测应该有助于保持更多的细节，特别是在较高比特率下。不过，本原理的手段可以包括对比INTRA—BL多的句法比特进行编码，比如内预测模式(PredMode)下的mb—type或者选择INTRA16x16的情况下的cbp图样。为了把INTRA—BL和INTRA—BLS两方面的优势结合起来，依照本原理提出了选择INTRA—BL或INTRA_BLS的宏块自适应手段。为了降低空间内预测的开销，本文还提出了一种手段通过对(经过升采样的)基本层内预测模式与来自增强层中空间相邻的最有可能的模式联合考虑，使句法得到简化。对于INTRA一BL模式，在解码器端，将逆量化和逆变换之后层间残差直接加到(经过升采样的)重构的基本层上，以形成重构的增强层宏块。对于INTRA—BLS模式，在解码器端，通过加上128并且剪切(clip)至(0，255)，对来自(升采样)重构的基本层的相邻宏块残差进行调整，并且然后将其用于H.264标准的子条款8.3中规定的针对当前宏块的空间内预测。然后将接收到的逆量化和逆变换之后的残差加到空间内预测上。然后执行128的减法并且剪切至(-256,255)。然后将层间内预测残差与(经过升采样的)重构的基本层进行组合，以形成重构的增强层宏块。为了实现INTRA—BL模式和INTRA—BLS模式的宏块自适应选择，利用一个标志(在此称为intra—bis—flag)来指示每个宏块使用了哪种模式。在H.264标准中，对于可缩放视频编码，如果强加了只有在将相应的基本层宏块以内方式进行编码时才允许INTRA—BLS模式的约束，则可以利用现有的句法。在这种情况下，base—mode—flag用于M^定是否能够由相应的基本宏块推断出当前宏块的mb—type。intra—base—flag用于规定是否使用了INTRA—BL模式。当相应的基本层宏块以内方式编码时，则base—mode—flag等于1能够用来推断出intra—base—flag等于1,这意味着只有base—mode—flag等于1可以进行编码。为了表示INTRA—BLS模式，base—mode—flag可以设置为0，而intra—base—flag可以设置为1。转到图1，可以应用本发明的示例性联合可缩放视频模型版本2.0(以下简称为"JSVM2.0")编码器由附图标记100总的指示。JSVM2.0编码器100使用了三个空间层和运动补偿时间滤波。JSVM编码器100包括二维(2D)删截器(decimator)104、2D删截器106和运动补偿时间滤波(MCTF)模块108,它们各自都具有用于接收视频信号数据102的输入端。2D删截器106的输出端与MCTF模块110的输入端以信号通信连接。MCTF模块110的第一输出端与运动编码器112的输入端以信号通信连接，MCTF模块110的第二输出端与预测模块116的输入端以信号通信连接。运动编码器112的第一输出端与复用器114的第一输入端以信号通信连接。运动编码器112的第二输出端与运动编码器124的第一输入端以信号通信连接。预测模块116的第一输出端与空间变换器118的输入端以信号通信连接。空间变换器118的输出端与复用器114的第二输入端以信号通信连接。预测模块116的第二输出端与内插器120的输入端以信号通信连接。内插器116的输出端与预测模块122的第一输入端以信号通信连接。预测模块122的第一输出端与空间变换器126的输入端以信号通信连接。空间变换器126的输出端与复用器114的第二输入端以信号通信连接。预测模块122的第二输出端与内插器130的输入端以通信连接。内插器130的输出端与预测模块134的第一输入端以信号通信连接。预测模块134的输出端与空间变换器136以信号通信连接。该空间变换器的输出端与复用器114的第二输入端以信号通信连接。2D删截器104的输出端与MCTF模块128的输入端以信号通信连接。MCTF模块128的第一输出端与运动编码器124的第二输入端以信号通信连接。运动编码器124的第一输出端与复用器114的第一输入端以信号通信连接。运动编码器124的第二输出端与运动编码器132的第一输入端以信号通信连接。MCTF模块128的第二输出端与预测模块122的第二输入端以信号通信连接。MCTF才莫块108的第一输出端与运动编码器132的第二输入端以信号通信连接。运动编码器132的输出端与复用器114的第一输入端以信号通信连接。MCTF模块108的第二输出端与预测模块134的第二输入端以信号通信连接。复用器114的输出端提供输出比特流138。对于各个空间层，执行运动补偿时间分解。此分解提供了时间可缩放性。来自较低空间层的运动信息能够用于较高层上运动的预测。对于紋理编码，连续的空间层之间的空间预测能够应用于去除冗余。对由内预测或运动补偿间预测产生的残差信号进行变换编码。质量基本层残差提供了各个空间层上的最小重构质量。如果没有应用层间预测，则可以将这个质量基本层编码成符合H.264标准的流。对于质量可缩放性，还要另外对质量增强层进行编码。可以选择这些增强层来提供粗糙或精细粒度的质量(SNR)可缩放性。转到图2，可以应用本发明的示例性可缩放视频解码器总的由附图标记200指示。解复用器202的输入端可用作可缩放视频解码器200的输入端，用来接收可缩放比特流。解复用器202的第一输出端与空间逆变换SNR可缩放熵解码器204的输入端以信号通信连接。空间逆变换SNR可缩放熵解码器204的第一输出端与预测模块206的第一输入端以信号通信连接。预测模块206的输出端与逆MCTF模块208的第一输入端以信号通信连接。空间逆变换SNR可缩放熵解码器204的第二输出端与运动矢量(MV)解码器210的第一输入端以信号通信连接。MV解码器210的输出端与逆MCTF模块208的第二输入端以信号通信连接。解复用器202的第二输出端与空间逆变换SNR可缩放熵解码器212的输入端以信号通信连接。空间逆变换SNR可缩放熵解码器212的第一输出端与预测模块214的第一输入端以信号通信连接。预测模块214的第一输出端与内插模块216的输入端以信号通信连接。内插模块216的输出端与预测模块206的第二输入端以信号通信连接。预测模块214的第二输出端与逆MCTF模块218的第一输入端以信号通信连接。空间逆变换SNR可缩放熵解码器212的第二输出端与MV解码器220的第一输入端以信号通信连接。MV解码器200的第一输出端与MV解码器210的第二输入端以信号通信连接。MV解码器220的第二输出端与逆MCTF模块218的第二输入端以信号通信连接。解复用器202的第三个输出端与空间逆变换SNR可缩放熵解码器222的输入端以信号通信连接。空间逆变换SNR可缩放熵解码器222的第一输出端与预测才莫块224的输入端以信号通信连接。预测模块224的第一输出端与内插模块226的输入端以信号通信连接。内插模块226的输出端与预测模块214的第二输入端以信号通信连接。预测模块224的第二输出端与逆MCTF模块228的第一输入端以信号通信连接。空间逆变换SNR可缩放熵解码器222的第二输出端与MV解码器"0的输入端以信号通信连接。MV解码器230的第一输出端与MV解码器220的第二输入端以信号通信连接。MV解码器230的第二输出端与逆MCTF模块228的第二输入端以信号通信连接。逆MCTF模块228的输出端可用作解码器200的输出端，用来输出层0信号。逆MCTF模块218的输出端可用作解码器200的输出端，用于输出层l信号。逆MCTF模块208的输出端可用作解码器200的输出端，用于输出层2信号。表1说明了当相应的基本层模式为内模式时，如何对INTRA—BL模式和INTRA_BLS模式的句法进行解释。若相应的基本层模式不是内模式，则由base—mode—flag=0和intra—base—flag=1指示INTRA—BL，并且不允许INTRA一BLS。表1<table>tableseeoriginaldocumentpage13</column></row><table>转到图3，一种可以应用本原理的用于INTRA—BL的编码处理由附图标记300指示。要意识到，已经对用于INTRA—BL的编码处理300进行了修改，在宏块头部中加入句法字段，如针对功能块317介绍的那样。开始块305把控制交给功能块310。功能块310对相应的基本层宏块进行升采样，并且把控制交给功能块315。功能块315计算增强层中当前宏块与相应的经过升采样的基本层宏块之间的残差，并且把控制交给功能块317。功能块317对在宏块级上的句法"intra—bis—flag，，进行写入，并且把控制交给功能块320。功能块320对所述的残差进行变换和量化，并且把控制交给功能块325。功能块325对变换和量化的残差进行熵编码，构成编码的比特流，并且把控制交给结束块330。转到图4,可以应用本原理的用于INTRA_BL的解码处理由附图标记400指示。要意识到，已经对用于INTRA—BL的解码处理400进行了修改，在宏块头部中读取句法字段，如针对功能块412所介绍的那样。开始块405把控制交给功能块410和功能块415。功能块410对编码的比特流进行熵解码，提供解压缩的比特流，并且把控制交给功能块412。功能块412对在宏块级上的句法"intra—bis—flag，，进行读取，并且把控制交给功能块420。功能块420对解压缩的比特流进行逆变换和逆量化，提供解码的残差，并且把控制交给功能块425。功能块415对相应的基本层宏块进行升采样，并且把控制交给结束块425。功能块425对解码的残差和升采样相应的基本层宏块进行组合，并且把控制交给功能块430。功能块430对增强层中相应的宏块进行重构，并且把控制交给结束块435。转到图5，可以应用本原理的用于INTRA一BLS的编码处理由附图标记500指示。开始块505把控制交给功能块510。功能块510对相应的基本层宏块和相应的基本层宏块的邻块进行升采样，并且把控制交给功能块515。功能块515对增强层中的当前宏块和当前宏块的空间相邻与相应的升采样基本层宏块之间的残差进行计算，之后加128，剪切至{0,255},并且把控制交给功能块520。功能块520施加从当前宏块的空间相邻宏块得到的空间内预测结果，并且把控制交给功能块525。功能块525计算空间内预测之后的残差，并且把控制交给功能块530。功能块530对所述的残差进行变换和量化，并且把控制交给功能块535。功能块535对变换和量化的残差进行熵编码，以构成编码的比特流，并且把控制交给结束块540。转到图6，可以应用本原理的用于INTRA—BLS的解码处理由附图标记600指示。开始块605把控制交给功能块610和功能块635。功能块610对相应的基本层宏块和相应基本层宏块的邻块进行升采样，并且把控制交给功能块615。功能块615对增强层中的当前宏块的空间相邻与相应的经过升采样的基本层宏块之间的残差进行计算，之后加128,剪切至{-256，255},并且把控制交给功能块620。功能块620施加从当前宏块的空间相邻宏块得到的空间内预测结果，并且把控制交给功能块625。功能块635对编码的比特流进行熵解码，以提供解压缩的比特流，并且把控制交给功能块640。功能块640对解压缩的比特流进行逆变换和逆量化，以提供解码的预测残差，并且把控制交给功能块625。功能块625把解码的预测残差与从当前宏块的空间相邻宏块得到的空间内预测进行组合，以提供一个总和，并且把控制交给功能块630。功能块630从所述的总和中减去128，以得到一个差，把所述的差剪切至{-256，256},并且把经过剪切的差加入到相应的经过升采样的基本层宏块中，并且把控制交给结束块635。转到图7，用于INTRA一BL模式和INTRA一BLS模式的宏块自适应选择的示例性编码处理由附图标记700指示。开始块705把控制交给功能块710、功能块715和功能块720。功能块710、720和730分别检验INTRA_BL、INTRA—BLS和其它的预测模式，并且把控制交给功能块725。功能块725从INTRA—BL、INTRA—BLS和其它预测模式中选择最佳的预测模式，并且把控制交给结束块730。转到图8,用于INTRA—BL模式和INTRA—BLS模式的宏块自适应选择的示例性解码处理由附图标记800指示。开始块805把控制交给判决块810。判决块810确定当前宏块是否使用了INTRA—BL模式进行编码。若为否，则把控制交给判决块815。否则，则把控制交给功能块830。判决块815确定当前宏块是否使用了INTRA—BLS模式进行编码。若为否，则把控制交给功能块820。否则，则把控制交给功能块835。功能块830使用INTRA—BL模式对当前宏块进行解码，并且把控制交给功能块825。功能块835使用INTRA—BLS模式对当前宏块进行解码，并且把控制交给功能块825。功能块820使用另一种预测模式(除了INTRA—BL或INTRA—BLS之外的)对当前宏块进行解码，并且把控制交给功能块825。功能块825输出经过解码的当前宏块，并且把控制交给结束块840。表2指出用于指定4x4亮度块的intra—4x4预测的句法，其中索引Iuma4x4blkldx=0..15。表2MbPartPredMode(mbj冲e,0)==lntra_4x4)for(luma4v4BlkIdx=0;luma4x4B，kldx<l6;luma4x4Blkdx++){prev—intra4x4—prcdjmode一flaglluma4x4Blk3dx〗u(!)lae(力if(!prev_inlra4x4_pred—mode_flag|luma4x4BlddxJ)rnn_intra4j;4_pred_inodelunia4x4Blldd)cj2u(3)1ae(v)Intra4x4PredMode[luma4x4Blkldx]是通过应用下列过程得出的，其中A和B为4x4亮度块的左和上邻块predlntra4x4PredMode=Min(intraMxMPredModeA,intraMxMPredModeB)if(prev—intra4x4_pred—mode—flag[luma4x4Blkldx])Intra4x4PredMode[luma4x4Blkldx]=predlntra4x4PredModeelseif(rem—intra4x4_pred—mode[luma4x4Blkldx]<predln加4x4PredMode)Intra4x4PredMode[luma4x4Blkldx]=rem—intra4x4_pred_mode[luma4x4Blkldx]elseIntra4x4PredMode[luma4x4Blkldx]=rem_intra4x4_pred_mode[luma4x4Blkldx]+1H.264标准中，空间邻块的PredMode用于降低对intra4x4预测进行编码的开销。在涉及针对增强层的可缩放;f见频编码方案的实施方式中，若相应的基本层宏块以内方式进行编码，则建议基于经过升采样的基本层intra4x4PredMode及其在增强层中的空间邻块PredMode二者对intra4x4PredMode进行编码，如等式1所示，其中F为任意函数。Intra4x4PredMode=F(intraMxMPredModeA,intraMxMPredModeB,intraMxMPredModeBase)(1)表3指出了满足等式(l)并且用于在对相应的基本层宏块以内模式进行编码时指定基于经过升采样的基本层intra4x4PredMode及其在增强层中的空间邻块PredMode二者的intra4x4PredMode的句法。表3if(MbPartPi.edMode(mb一type，0)=豕Intra一4x4)化r(luma4x4BlWdx-0;luma4x4BlkIdx<6;Iunw4x4BlkIdx++){prev_inlra4x4_pred_mode_nag|luma4x4Bllddx2u(2)1ae(v)iRprevJn加4x4jjred一mode—flagluma"4Blkldx1=0)rem一in，ra4x4』red一modelluma4x4Blkdx12u(3)1ae(v)5通过实施以下过程，得出Intra4x4PredMode[luma4x4Blkldx]:predlntra4x4PredMode=Min(intraMxMPredModeA,intraMxMPredModeB)if(prev—intra4x4_pred—mode—flag[luma4x4Blkldx]==1)Intra4x4PredMode[luma4x4Blkldx]=predlntra4x4PredModeelseif(prev_intra4x4_pred_mode—flag[luma4x4Blkldx]==2)Intra4x4PredMode[luma4x4Blkldx]=intraMxMPredModeBaseelseif(rem—intra4x4_pred—mode[luma4x4Blkldx]<predlntm4x4PredMode)Intra4x4PredMode[luma4x4Blkldx]=rem_intra4x4_pred—mode[luma4x4Blkldx]elseIntra4x4PredMode[luma4x4Blkldx]=rem—intra4x4_pred_mode[luma4x4Blkldx]+1表4指出了满足等式(l)并且用于指定intra4x4PredMode的句法。表4中，若predIntra4x4PredMode==intraMxMPredModeBase,贝'J强4亍i"吏intm4x4PredMode等于predlntra4x4PredMode。表4<table>tableseeoriginaldocumentpage17</column></row><table>通过实施以下过程，得出Intra4x4PredMode卩uma4x4Blkldx]:predlntra4x4PredMode=Min(intraMxMPredModeA,intraMxMPredModeB)If(predlntra4x4PredMode==intraMxMPredModeBase)Intra4x4PredMode[luma4x4Blkldx]=predlntra4x4PredModeelseif(prev—intra4x4_pred—mode—flag[luma4x4Blkldx]==1)Intra4x4PredMode[luma4x4Blkldx]=predlntra4x4PredModeelseif(rem—intra4x4_pred—mode[luma4x4Blkldx]<predlntra4x4PredMode)Intra4x4PredMode[luma4x4Blkldx]=rem—intm4x4_pred_mode[luma4x4Blkldx]elseIntra4x4PredMode[luma4x4Blkldx]=rem_intra4x4_pred_mode[luma4x4Blkldx]+1要意识到，虽然前面的介绍和例子涉及到使用intra4x4PredMode,但是本原理并不局限于此，因此，在给出本文提供的本原理的教导的情况下，本领域和相关领域的技术人员将会想到可以应用本原理的这种和其它方式，同时保持本发明的范围不变。例如，本原理还可以应用于——但不限于-intra8x8PredMode。现在将给出本发明的众多伴随的优点/特征中的一部分的介绍。例如，一个优点/特征是一种可缩放视频编码器，其包括用于有选择地使用空间内预测来在宏块自适应的基础上对增强层宏块与相应的经过升采样的基本层宏块之间生成的增强层残差进行编码的编码器。另一个优点/特征是如上所述的可缩放视频编码器，其中用于对增强层残差进行编码的空间内预测符合现有的空间内预测技术。再另一个优点/特征是如上所述的可缩放视频编码器，其中编码器在宏块头部中加入句法字段，以指示对增强层残差使用哪种预测模式。此外，另一个优点/特征是如上所述的可缩放视频编码器，其中编码器对现有的句法进行了修改，以提供针对在基本层预测模式为内模式时对增强层残差使用了哪种预测模式的暗示。更进一步地，另一个优点/特征是如上所述的、对现有的句法进行了修改的可缩放视频编码器，其中当基本层预测模式局限于层间模式时，编码器使用除空间内预测之外的预测模式对增强层残差进行编码。还有，另一个优点/特征是如上所述的可缩放视频编码器，其中编码器从不同的可用预测模式中确定对增强层使用哪种预测模式，所述的可用预测模式包括不采用空间内预测模式的增强层残差、采用空间内预测模式的增强层残差和采用空间内预测模式的增强层像素。另外，另一个优点/特征是如上所述的、确定对增强层使用哪种预测模式的可缩放视频编码器，其中编码器基于后验判定准则或者基于不同可用预测模式的过往统计结果以及增强层残差和增强层像素的属性来从不同的可用预测模式中确定对增强层使用哪种预测模式。此外，另一个优点/特征是一种可缩放视频编码器，其包括使用增强层中的空间相邻内预测模式和经过升采样的相应基本层预测模式二者，对增强层进行编码的编码器。更进一步地，另一个优点/特征是一种可缩放视频编码器，其中当在增强层中使用的空间相邻内预测模式与升采样相应基本层预测模式相同时，解码器在宏块头部中加入标志，而不用信号通知预测模式。还有，另一个优点/特征是一种如上所述的可缩放视频编码器，其中当空间相邻内预测模式与经过升采样的相应基本层预测模式相同时，解码器强行使当前内预测模式与经过升采样的相应基本层预测模式相同，而不发送相应的句法。另外，另一个优点/特征是一种可缩放视频解码器，其包括用于有选择地使用空间内预测来在宏块自适应的基础上对增强层宏块与相应的经过升采样的基本层宏块之间生成的增强层残差进行解码的解码器。此外，另一个优点/特征是以上所述的可缩放视频解码器，其中用于对增强层残差进行解码的空间内预测符合现有的空间内预测技术。更进一步地，另一个优点/特征是如上所述的可缩放视频解码器，其中解码器使用宏块头部中的句法字段来确定对增强层残差使用哪种预测模式。还有，另一个优点/特征是如上所述的可缩放视频解码器，其中当基本层预测模式为内模式时，解码器评估经过修改的现有句法中提供的、针对使用过哪种预测模式来对增强层残差进行编码的暗示进行评估。另外，另一个优点/特征是如上所述的、对现有的句法进行了修改的可缩放视频解码器，其中当基本层预测模式局限于层间模式时，解码器使用除空间内预测之外的预测模式对增强层残差进行解码。此外，另一个优点/特征是如上所述的可缩放视频解码器，其中解码器基于解析的句法、从不利用空间内预测模式的增强层残差、利用空间内预测模式的增强层残差和利用空间内预测模式的增强层像素的任何一种之中确定的预测模式来确定对增强层残差使用的预测模式。还有，另一个优点/特征是一种可缩放视频解码器，其包括使用增强层中的空间相邻内预测模式和经过升采样的相应基本层预测模式二者，对增强层进行解码的解码器。另外，另一个优点/特征是如上所述的可缩放视频解码器，其中当空间相邻内预测模式与经过升采样的相应基本层预测模式相同时，解码器强行使当前内预测模式与经过升釆样的相应基本层预测模式相同，而不接收相应的句法。此外，另一个优点/特征是如上所述的可缩放视频解码器，其中解码器基于宏块头部中的标志，确定对增强层使用哪种内预测模式。更进一步地，另一个优点/特征是如上所述的可缩放视频解码器，其中当空间相邻内预测模式与经过升采样的相应基本层预测模式相同时，解码器确定对增强层的内预测模式与经过升采样的相应基本层预测模式相同。基于文本的教导，相关
技术领域：
的普通技术人员可以很容易地明了本发明的这些和其它的特征和优点。要理解，本发明的教导可以以硬件、软件、固件、专用处理器或者它们组合的各种形式加以实现。最优选地，本发明的教导是以硬件和软件的组合方式来实现的。此外，所述的软件可以以具体实现在存储单元上的应用程序的方式加以实现。所述的应用程序可以上传到包括任何适当结构的机器中，并由该机器执行。优选地，所述的机器是在具有诸如一个或更多中央处理单元("CPU")、随机存取存储器("RAM")和输入/输出("I/0")接口之类的硬件的计算机平台上加以实现的。所述的计算机平台还可以包括操作系统和微指令代码。在此所述的各种过程和功能可以是微指令代码的部分或者是应用程序的部分，或者是其对任意组合，其可以由CPU执行。此外，各种其它的周边单元(比如附加的数据存储单元和打印单元)可以与所述的计算机平台连接。要进一步理解，因为附图中图示的一些构成系统的部件和方法最好以软件方式加以实现，所以依据本发明编程的方式，系统部件或过程功能块之间的实际连接可以不同。在本文给出的教导的前提下，本相关
技术领域：
的普通人员将能够预期到本发明的这些和类似的实现或配置。尽管在此参照附图对说明性的实施方式进行了阐述，但要理解，本发明并不限于那些精确的实施方式，并且各种变化和修改都可以由本相关
技术领域：
的普通人员达到，且并不违背本发明的范围和精神。所有这种变化和修改都旨在要被包括在如附加权利要求中陈述的、本发明的范围之内。权利要求1.一种装置，包括编码器(100)，编码器(100)用于有选择地使用空间内预测来在宏块自适应的基础上对在增强层宏块与相应的经过升采样的基本层宏块之间产生的增强层残差进行编码。2.如权利要求l的装置，其中用于对增强层残差进行编码的空间内预测符合国际电信联盟-电信标准部(ITU-T)的H.264标准的空间内预测技术。3.如权利要求1的装置，其中所述编码器(100)在宏块头部中加入句法字段，以指示对增强层残差使用哪种预测模式。4.如权利要求l的装置，其中当基本层预测模式为内模式时，所述编码器(100)对国际电信联盟-电信标准部(ITU-T)的H.264标准的句法进行修改，以便提供关于对增强层残差使用了哪种预测模式的暗示。5.如权利要求4的装置，其中当基本层预测模式限于间模式时，所述编码器(100)使用除空间内预测之外的预测模式对增强层残差进行编码。6.如权利要求1的装置，其中所述编码器(100)从不同的可用预测模式中确定对增强层使用哪种预测模式，这些不同的可用预测模式包括不利用空间内预测的增强层残差模式、利用空间内预测的增强层残差模式和利用空间内预测的增强层像素模式。7.如权利要求6的装置，其中所述编码器(100)基于后验判定准则或者基于不同可用预测模式的过往统计以及增强层残差和增强层像素的属性，来从不同的可用预测模式中确定对增强层使用哪种预测模式。8.—种可缩放视频编码方法，包括有选择地使用(710，715,720)空间内预测，来在宏块自适应的基础上对在增强层宏块与相应的经过升采样的基本层宏块之间产生的增强层残差进行编码。9.如权利要求8的方法，其中用于对增强层残差进行编码的空间内预测符合国际电信联盟-电信标准部(ITU-T)的H.264标准(900)的空间内预测技术。10.如权利要求8的方法，还包括在宏块头部中加入(317)句法字段，以指示对增强层残差使用哪种预测模式。11.如权利要求8的方法，还包括当基本层预测模式为内模式时，对国际电信联盟-电信标准部(ITU-T)的H.264标准的句法进行修改(200),以提供关于对增强层残差使用哪种预测模式的暗示。12.如权利要求ll的方法，还包括当基本层预测模式局限于间模式时，使用(720)除空间内预测之外的预测模式对增强层残差进行编码。13.如权利要求8的方法，还包括从不同的可用预测模式中确定(710,715,720)对增强层使用哪种预测模式，这些不同的可用预测模式包括不利用空间内预测的增强层残差模式、利用空间内预测的增强层残差模式和利用空间内预测的增强层像素模式。14.如权利要求13的方法，还包括基于后验判定准则或者基于不同可用预测模式的过往统计结果以及增强层残差和增强层像素的属性，来从不同的可用预测模式中确定(715)对增强层使用哪种预测模式。15.—种装置，包括用于使用增强层中的空间相邻内预测模式和经过升采样的相应基本层预测模式二者对增强层进行编码的编码器(100)。16.如权利要求15的装置，其中所述编码器(100)在增强层中使用的空间相邻内预测模式与经过升采样的相应基本层预测模式相同时，在宏块头部中加入标志，而不通知预测模式。17.如权利要求15的装置，其中所述编码器(100)在空间相邻内预测模式与经过升釆样的相应基本层预测模式相同时，迫使当前内预测模式与经过升采样的相应基本层预测模式相同，而不发送相应的句法。18.—种可缩放视频编码方法，包括使用增强层中的空间相邻内预测模式和经过升采样的相应基本层预测模式二者对增强层进行编码(310,315)。19.如权利要求18的方法，还包括在增强层中使用的空间相邻内预测模式与经过升采样的相应基本层预测模式相同时，在宏块头部中加入(317)标志，而不通知预测;漠式。20.如权利要求18的方法，还包括当空间相邻内预测模式与经过升采样的相应基本层预测模式相同时，迫使(520)当前内预测模式与经过升采样的相应基本层预测;漠式相同，而不发送相应的句法。21.—种装置，包括解码器(200),解码器(200)有选择地使用空间内预测，来在宏块自适应的基础上对在增强层宏块与相应的经过升采样的基本层宏块之间生成的增强层残差进行解码。22.如权利要求21的装置，其中用于对增强层残差进行解码的空间内预测符合国际电信联盟-电信标准部(ITU-T)的H.264标准的空间内预测技术。23.如权利要求21的装置，其中所述解码器(200)使用宏块头部中的句法字段来确定对增强层残差使用了哪种预测模式。24.如权利要求21的装置，其中所述解码器(200)在基本层预测模式为内模式时，对在国际电信联盟-电信标准部(ITU-T)的H.264标准的经过修改的句法中提供的关于使用了哪种预测模式来对增强层残差进行编码的暗示进行评估。25.如权利要求24的装置，其中所述解码器(200)在基本层预测模式局限于间模式时，使用除空间内预测之外的预测模式对增强层残差进行解码。26.如权利要求21的装置，其中所述解码器(200)基于经过解析的句法确定对增强层残差使用的预测模式，所述预测模式是从不利用空间内预测的增强层残差模式、利用空间内预测的增强层残差模式和利用空间内预测的增强层像素模式中的任何一种确定出的。27.—种可缩放视频解码的方法，包括有选择地使用(830,835)空间内预测，来在宏块自适应的基础上对在增强层宏块与相应的经过升采样的基本层宏块之间生成的增强层残差进行解码。28.如权利要求27的方法，其中用于对增强层残差进行解码的空间内预测符合国际电信联盟-电信标准部(ITU-T)的H.264标准(卯O)的空间内预测技术。29.如权利要求27的方法，还包括使用宏块头部中的句法字段，确定(412)对增强层残差使用哪种预测模式。30.如权利要求27的方法，还包括当基本层预测模式为内模式时，对在国际电信联盟-电信标准部(ITU-T)的H.264标准的经过修改的句法中提供的关于使用了哪种预测模式对增强层残差进行编码的暗示进行评估(IOOO,1100)。31.如权利要求30的方法，此外还包括当基本层预测模式限于间模式时，使用(720)除空间内预测之外的预测模式对增强层残差进行解码。32.如权利要求27的方法，还包括基于经过解析的句法，从不利用空间内预测的增强层残差模式、利用空间内预测的增强层残差模式和利用空间内预测的增强层像素模式中确定(900,1000,IIOO)对增强层残差使用哪种预测模式。33.—种装置，包括使用增强层中的空间相邻内预测模式和经过升采样的相应基本层预测模式二者对增强层进行解码的解码器(200)。34.如权利要求33的装置，其中所述解码器(200)在空间相邻内预测模式与经过升采样的相应基本层预测模式相同时，迫使当前内预测模式与经过升采样的相应基本层预测模式相同，而不接收相应的句法。35.如权利要求33的装置，其中所述解码器(200)基于宏块头部中的标志，确定对增强层使用哪种内预测模式。36.如权利要求33的装置，其中所述解码器(200)在空间相邻内预测模式与经过升采样的相应基本层预测模式相同时，确定用于增强层的内预测模式与经过升采样的相应基本层预测模式相同。37.—种可缩放-见频解码的方法，包括使用增强层中的空间相邻内预测模式和经过升采样的相应基本层预测模式二者来对增强层进行解码(415,425)。38.如权利要求37的方法，还包括当空间相邻内预测模式与经过升采样的相应基本层预测才莫式相同时，迫使(415,425)当前内预测才莫式与经过升采样的相应基本层预测模式相同，而不接收相应的句法。39.如权利要求37的方法，还包括基于宏块头部中的标志，确定(412)对增强层使用哪种内预测模式。40.如权利要求37的方法，还包括当空间相邻内预测模式与经过升采样的相应基本层预测模式相同时，确定(415,425)用于增强层的内预测模式与升采样相应基本层预测模式相同。41.一种用于可缩滋^见频编码的^L频信号结构，包括增强层残差，该增强层残差是在增强层宏块与相应的经过升采样的基本层宏块之间、使用空间内预测在宏块自适应的基础上有选择地加以编码而产生的。42.—种其上具有编码的可缩放视频信号数据的存储介质，包括增强层残差，该增强层残差是在增强层宏块与相应的经过升釆样的基本层宏块之间、使用空间内预测在宏块自适应的基础上有选^r地加以编码而产生的。43.—种用于可缩放^L频编码的视频信号结构，包括使用增强层中的空间相邻内预测模式和经过升采样的相应基本层预测模式二者进行编码的增强层。44.一种其上具有编码的可缩放视频信号数据的存储介质，包括使用增强层中的空间相邻内预测模式和经过升采样的相应基本层预测模式二者进行编码的增强层。全文摘要提供了可缩放视频编码器和解码器以及相应的可缩放视频编码和解码方法。可缩放视频编码器包括用于有选择地使用空间内预测来在宏块自适应的基础上对增强层宏块与相应的经过升采样的基本层宏块之间产生的增强层残差进行编码的编码器(100)。文档编号H04N7/34GK101248674SQ200680025279公开日2008年8月20日申请日期2006年5月18日优先权日2005年7月11日发明者吉尔·M·博伊斯,澎尹,珀文·B·潘迪特申请人:汤姆森特许公司