用于空间可缩放性的扩展的层间译码的制作方法

文档序号:7936214阅读:98来源:国知局

专利名称::用于空间可缩放性的扩展的层间译码的制作方法
技术领域
:本发明涉及数字视频译码,且更特定来说,涉及提供空间可縮放性的可縮放视频译码(svc)技术。
背景技术
:数字视频能力可并入包括数字电视、数字直播系统、无线通信装置、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话等的广泛装置中。数字视频装置实施例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分高级视频译码(AdvancedVideoCoding(AVC))的视频压縮技术以更有效地发射和接收数字视频。视频压縮技术执行空间和时间预测以减少或移除视频序列中固有的冗余。在视频译码中,视频压縮常包括空间预测、运动估计和运动补偿。帧内译码依赖于空间预测以减少给定视频帧内的视频块之间的空间冗余。帧间译码依赖于时间预测以减少视频序列的连续视频帧的视频块之间的时间冗余。对于帧间译码来说,视频编码器执行运动估计以追踪两个或两个以上邻近帧之间的匹配的视频块的移动。运动估计产生运动向量,所述运动向量指示视频块相对于一个或一个以上参考帧中的对应预测视频块的移位。运动补偿使用所述运动向量来识别来自参考帧的预测视频块。在运动补偿后,通过从将要译码的原始视频块减去预测视频块而形成残余视频块。视频编码器通常应用变换、量化和变换系数译码过程来进一步减少与残余块的通信相关联的位速率。某些视频译码利用可縮放技术。举例来说,可縮放视频译码(SVC)指使用基础层和一个或一个以上可縮放增强层的视频译码。对于SVC来说,基础层通常载运具有基础质量水平的视频数据。一个或一个以上增强层载运额外视频数据以支持较高的空间、时间和/或SNR水平。可以比增强层的传输可靠的方式来传输基础层。SVC技术可用于许多视频译码环境中,且可在无线广播设定(例如,对无线手持机的类电视的广播)中尤其有用。空间可縮放性为一类型的SVC方案,其中增强层向基础层的帧添加空间分辨率。在此情况下,基础层可界定经译码的数据的基础层视频块的数目,且增强层可界定增强层视频块的数目。增强层视频块的数目可大于基础层视频块的数目,借此向视频序列的帧添加空间分辨率。在支持空间可縮放性的SVC设定中,可使用层间预测来减少用于输送增强层所需的数据的量。在层间预测中,可经由类似于运动估计和运动补偿的预测技术来对增强层的与基础层的视频块完全重叠的视频块译码。特定来说,在层间预测中,可基于基础层的预测视频块对增强层信息译码。以此方式,采用层间冗余来产生数据压縮。
发明内容大体来说,本发明描述用于以支持空间可縮放性的可縮放视频译码(svc)方案对信息译码的技术。在svc中,针对基础层和一个或一个以上增强层而对视频块译码。增强层的译码包括层间预测,其中基于基础层中所识别的预测视频块来对增强层的视频块中的至少某些视频块译码。增强层视频块的数目可大于基础层视频块的数目,使得增强层相对于基础层对视频序列的帧添加空间分辨率。增强层的视频块中的许多视频块可能与基础层的视频块完全在空间上重叠,在此情况下,可使用层间预测。增强层的视频块中的某些视频块可能根本不与基础层的视频块在空间上重叠,在此情况下,可避免层间预测而支持时间或空间预测。本发明提供支持用于增强层的仅与基础层的视频块部分在空间上重叠的视频块的层间预测的技术。所述技术可改进数据压縮、视频质量或两者。在一个实例中,本发明提供一种以可縮放视频译码(svc)方案对信息译码的方法,所述方法包含对所述svc方案的基础层中所界定的第一视频块译码,以及对所述svc方案的增强层中所界定的第二视频块译码,其中所述第二视频块提供相对于所述第一视频块的空间可縮放性增强。所述第二视频块的译码包括对所述第二视频块的与所述第一视频块完全重叠的第一子集执行相对于基础层的对增强层的层间预测,以及对所述第二视频块的与所述第一视频块部分重叠的第二子集执行相对于基础层的对增强层的层间预测。在另一实例中,本发明提供一种根据可縮放视频译码(svc)方案来对信息译码的设备。所述设备包含译码单元,所述译码单元对所述svc方案的基础层中所界定的第8一视频块译码且对所述SVC方案的增强层中所界定的第二视频块译码,其中所述第二视频块提供相对于所述第一视频块的空间可縮放性增强。此外,相对于所述第二视频块,所述译码单元对所述第二视频块的与所述第一视频块完全重叠的第一子集执行相对于基础层的对增强层的层间预测,且对所述第二视频块的与所述第一视频块部分重叠的第二子集执行相对于基础层的对增强层的层间预测。在另一实例中,本发明提供一种以可缩放视频译码(SVC)方案对信息译码的装置,所述装置包含用于对所述SVC方案的基础层中所界定的第一视频块译码的装置,以及用于对所述SVC方案的增强层中所界定的第二视频块译码的装置,其中所述第二视频块提供相对于所述第一视频块的空间可縮放性增强。用于译码所述第二视频块的装置包括用于对所述第二视频块的与所述第一视频块完全重叠的第一子集执行相对于基础层的对增强层的层间预测的装置,和用于对所述第二视频块的与所述第一视频块部分重叠的第二子集执行相对于基础层的对增强层的层间预测的装置。本发明中所描述的技术可以硬件、软件、固件或其任一组合来实施。如果以软件来实施,则可在例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)等一个或一个以上处理器中执行软件。可最初将执行所述技术的软件存储于计算机可读媒体中且在处理器中加载并执行。因此,本发明也预期一种计算机可读媒体,其包含当在视频译码装置中执行时使所述装置以可縮放视频译码(SVC)方案对信息译码的指令,其中所述指令使所述装置对所述SVC方案的基础层中所界定的第一视频块译码,且对所述SVC方案的增强层中所界定的第二视频块译码,其中所述第二视频块提供相对于所述第一视频块的空间可缩放性增强。在此情况下,相对于所述第二视频块,所述指令使所述装置对所述第二视频块的与所述第一视频块完全重叠的第一子集执行相对于基础层的对增强层的层间预测,且对所述第二视频块的与所述第一视频块部分重叠的第二子集执行相对于基础层的对增强层的层间预测。在某些情况下,所述计算机可读媒体可形成可出售给制造商和/或用于视频译码装置中的计算机程序产品的部分。所述计算机程序产品可包括计算机可读媒体,且在某些情况下,还可包括封装材料。在额外实例中,本发明提供一种用于SVC的方法,所述方法包含识别与基础层视频块部分在空间上重叠的增强层视频块,和相对于所述基础层视频块而对所识别的增强层视频块中的某些或全部中的至少一部分视频块帧间译码。此方法也可以硬件、软件、固件或大体上以下文中所论述的任一实施方案来实施。在其它实例中,本发明可针对一种经配置以执行本文中所描述的所述技术中的一者或一者以上的电路,例如,集成电路、芯片组、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、逻辑、或其各种组合。在随附图式和下文的描述中陈述本发明的一个或一个以上方面的细节。从描述和图式并从权利要求书将明白本发明中所描述的技术的其它特征、目的和优点。图1为说明可在视频编码、视频解码或两者期间实施本发明的技术的视频编码和解码系统的示范性框图。图2为说明支持空间可縮放性的可縮放视频译码(SVC)方案的基础层与增强层之间的示范性关系的概念图。图3为说明基础层的视频块和增强层的与所述基础层的视频块完全重叠、部分重叠或不重叠的不同视频块的概念图。图4A为说明基础层和增强层的视频块的概念图,其中用阴影来识别所述增强层的完全重叠的视频块。图4B为说明基础层和增强层的视频块的概念图,其中用阴影来识别所述增强层的部分重叠的视频块。图4C为说明基础层和增强层的视频块的概念图,其中用阴影来识别增强层的不与基础层的视频块重叠的视频块。图5为说明与本发明一致的技术的流程图。具体实施例方式本发明描述用于以支持空间可縮放性的可縮放视频译码(svc)方案对信息译码的技术。所述svc方案可包括基础层和一个或一个以上增强层。层间预测可用于基于基础层的类似视频块来对增强层的各种视频块译码。用于增强层的视频块的层间预测可涉及识别基础层的预测视频块,和对表示正译码的增强层的视频块与基础层的所述预测性视频块之间的差异的残余信息译码。或者,层间预测可需要识别基础层的预测性视频块以及通过将来自所述预测性视频块的纹理和运动数据指派或继承给正译码的视频块而对基础层的对应视频块译码。增强层的视频块中的许多视频块可能与基础层的视频块完全在空间上重叠,在此情况下,可非常有效地使用层间预测。然而,增强层的视频块中的某些视频块可能不与基础层的视频块空间重叠,在此情况下,可避免用于这些视频块的层间预测而支持用于这些视频块的时间或空间预测。增强层的某些视频块可能与基础层的视频块部分在空间上重叠。本发明提供支持用于增强层的仅与基础层的视频块部分在空间上重叠的视频块的层间预测的技术。在此情况下,译码单元可执行层间预测以对增强层的部分在空间上重叠的视频块的重叠部分译码,且可执行例如填充、内插或镜射等补充译码技术以对增强层的部分在空间上重叠的视频块的非重叠部分译码。图1为说明视频编码和解码系统10的框图。如图1中所展示,系统IO包括源装置2,源装置2经由通信信道15将经编码的视频传输到接收装置6。源装置2可包括视频源ll、译码单元12和调制器/发射器14。接收装置6可包括接收器/解调器16、译码单元18和显示装置20。系统IO可经配置以应用使用相对于基础层的层间预测来对增强层的至少某些部分重叠的视频块译码的SVC技术。可缩放视频译码(SVC)指使用基础层和一个或一个以上可縮放增强层的视频译码。对于SVC来说,基础层通常载运具有基础质量水平的视频数据。一个或一个以上增强层载运额外视频数据以支持较高的空间、时间和/或信号与噪声SNR水平。可相对于先前经编码的层来界定增强层。对于空间可缩放性来说,增强层可将空间数据添加到基础层。增强层的视频块中的某些视频块可能与基础层的视频块在空间上重叠,某些视频块可能与基础层的视频块部分在空间上重叠,且某些可能不与基础层的视频块在空间上重叠。在本发明中,"视频块"指表示视频序列的图像帧的块的数据集合。视频块可界定表示图像帧的块的像素值或其它类型的系数。此外,视频块可采取广泛多种形状和大小。作为实例,视频块可包含如H.264/MPEG-4第10部分,高级视频译码(AdvancedVideoCoding(AVC))中所界定的所谓的"宏块",或可包含宏块的分区或子分区。在图1的实例中,通信信道15可包含任一无线或有线通信媒体,例如,射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任一组合。通信信道15可形成例如局域网、广域网或例如因特网的全球网络的基于包的网络的部分。通信信道15通常表示用于将视频数据从源装置2传输到接收装置6的任一合适的通信媒体或不同通信媒体的集合。在某些方面中,对于视频广播来说,本发明中所描述的技术可适用于用于使用将要作为技术标准TIA-1099("FLO规范")而公开的仅前向链路(FLO)空中接口规范"用于陆地移动多媒体多播的仅前向链路空中接口(ForwardLinkOnlyAirInterfaceSpecificationforTerrestrialMobileMultimediaMulticast)"而在陆地移动多媒体多播(TM3)系统中传递实时视频服务的增强型H.264视频译码。也就是说,通信信道15可包含用于根据FLO规范等来广播无线视频信息的无线信息信道。FLO规范包括定义位流语法和语义和解码适合于FLO空中接口的过程的实例。或者,可根据例如手持式数字视频广播(DVB-H)、陆地综合服务数字广播(ISDB-T)或数字媒体广播(DMB)等其它标准来广播视频。因此,源装置2可为移动无线终端、无线视频串流服务器或无线视频广播服务器。然而,本发明中所描述的技术不限于任一特定类型的广播、多播或点对点系统。在广播的情况下,源装置2可同时将视频数据的若干信道广播到多个接收装置,所述多个接收装置中的每一者可类似于图2中所展示的接收装置6。装置6可包含无线通信装置,例如,经配置以用于无线通信的移动手持机(例如,蜂窝式无线电电话)。源装置2产生用于传输到接收装置6的经译码的视频数据。然而,在某些情况下,装置2、6可以大体上对称的方式操作。举例来说,装置2、6中的每一者可包括视频编码和解码组件。因此,系统IO可支持视频装置2、6之间的单向或双向视频传输(例如)以用于视频串流、视频广播或视频电话。源装置2的视频源11可包括视频俘获装置,例如视频相机、含有先前俘获的视频的视频档案或来自视频内容提供者的视频馈送。对于无线广播网络来说,视频源11可包括用于接收和解码卫星或电缆电视信道的装备,和用于预先处理此类数据的装备。虽然图l中未展示,但对于广播来说,多任务单元可用于源装置2中以将来自多个信道的经译码的视频组合成多播。在此情况下,多个译码单元可对用于不同内容信道的信息译码,且可在由调制器/发射器14调制和传输之前由多路复用器单元(未图示)组合经译码的信息。作为另一替代方案,视频源11可产生基于计算机图形的数据作为源视频或现场视频与计算机产生的视频的组合。在某些情况下,如果视频源11为视频相机,则源装置2和接收装置6可形成所谓的相机电话或视频电话。在每一情况下,经俘获、经预先俘获或计算机产生的视频可由译码单元12编码以用于经由调制器/发射器14、通信信道15和接收器/解调器16从视频源装置2传输到视频接收装置6的译码单元18。译码单元12和18的视频编码和解码过程可实施本发明的技术以改进增强层中的数据的压缩和/或质量。显示装置20向用户显示经解码的视频数据,且可包含例如阴极射线管、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置的多种显示装置中的任一者。译码单元12和译码单元+8可经配置以支持用于空间可縮放性的SVC。译码单元1212和译码单元18可通过支持基础层和一个或一个以上可縮放的增强层的编码、传输和解码而支持各种程度的可縮放性。而且,对于可縮放视频译码来说,基础层载运具有基线质量水平的视频数据。一个或一个以上增强层载运额外数据以支持较高空间、时间和/或SNR水平。可以比增强层的传输可靠的方式传输基础层。举例来说,经调制的信号的较可靠的部分可用于传输基础层,而经调制的信号的较不可靠的部分可用于传输增强层。为了支持用于空间可縮放性的SVC,译码单元12可包括分别用以执行基础层和一个或一个以上增强层的编码的基础层编码器22和一个或一个以上增强层编码器24。本发明的技术(其包括用于部分重叠的视频块的层间预测)适用于SVC中的增强层的视频块的译码。根据本发明,可依据增强层的视频块与基础层的视频块完全重叠、部分重叠还是不重叠而不同地对增强层的视频块译码。在接收装置6中,译码单元18可包括解码与基础层与增强层相关联的视频块的组合的基础/增强解码器25。译码单元18的基础/增强解码器25可解码与基础层与增强层相关联的视频块,且组合经解码的视频以重建视频序列的帧。显示装置20接收经解码的视频序列,且将视频序列呈现给用户。译码单元12和译码单元18可根据例如MPEG-2、MPEG-4、ITU-TH.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AdvancedVideoCoding(AVC))等视频压縮标准而操作。虽然图2中未展示,但在某些方面中,译码单元12和译码单元18每一者可分别与音频编码器和解码器整合,且可包括用于处置共同数据流或单独数据流中的音频与视频的编码的适当MUX-DEMUX单元或其它硬件和软件。如果适用,MUX-DEMUX单元可符合ITUH.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。由ITU-T视频译码专家组(VCEG)与IS0/IEC运动图片专家组(MPEG)—起将H.264/MPEG-4(AVC)标准制定为被称为联合视频小组(JVT)的集体合作伙伴的产物。在一些方面中,本发明中所描述的技术可应用于通常符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T推荐H.264"用于通用音视频服务的高级视频译码(AdvancedVideoCodingforgenericaudiovisualservices)"中描述了H.264标准,其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。JVT继续致力于对H.264/MPEG-4AVC的SVC扩展。演进SVC扩展的规范呈联合草案(JD)的形式。由JVT创建的联合可縮放视频模型(JSVM)实施用于可縮放视频中的工具,其可在系统10内使用以用于本发明中所描述的各种译码任务。译码单元12和译码单元18每一者可被实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散门、软件、硬件、固件、或其任何组合。译码单元12和译码单元18中的每一者可包括于一个或一个以上编码器或解码器中,编码器或解码器中的任一者可整合为相应移动装置、订户装置、广播装置、服务器等中的组合的编码器/解码器(CODEC)的部分。另外,源装置2和接收装置6每一者可包括用于经编码的视频的传输和接收的适当调制、解调、频率转换、滤波和放大器组件,在适用时,包括足以支持无线通信的射频(RF)无线组件和天线。然而,为了便于说明,将此些组件概述为图2中的源装置2的调制器/发射器14和接收装置6的接收器/解调器16。视频序列包括一系列视频帧。译码单元12对个别视频帧内的像素的块(或系数的块)操作以便编码视频数据。所述视频块可具有固定的或变化的大小,且可根据指定的译码标准而大小不同。在某些情况下,每一视频帧为经译码的单元,而在其它情况下,每一视频帧可被划分为形成经译码的单元的一系列切片(slice)。每一切片可包括一系列宏块,所述宏块可被布置成子块(分区和子分区)。作为实例,ITU-TH.264标准支持以例如用于亮度分量的16乘16、8乘8或4乘4和用于色度分量的8乘8等各种块大小的帧内预测,以及以例如用于亮度分量的16乘16、16乘8、8乘16、8乘8、8乘4、4乘8和4乘4和用于色度分量的对应缩放大小等各种块大小的帧间预测。较小视频块可提供较佳分辨率,且可用于包括较高细节水平的视频帧的定位。一般来说,可将宏块(MB)和各种子块视为视频块。此外,可将切片视为一系列视频块,例如,MB和/或子块。如所述,每一切片可为视频帧的可独立解码的单元。基础层编码器22可执行标准的基于帧内或帧间的预测性译码以对基础层的视频块译码。基于帧内的预测性译码指使用空间预测的译码。在此情况下,将正译码的帧的视频块与那个帧的其它视频块进行比较。通过从基于帧内的预测性译码过程中所识别的预测性视频块中减去将要译码的当前视频块而产生残余信息。基于帧间的预测性译码指使用时间预测的译码。具体来说,基于帧间的预测性译码可使用被称作运动估计和运动补偿的过程。在此情况下,基础层编码器22执行运动估计以产生运动向量,所述运动向量指示正被译码的视频块相对于一个或一个以上参考帧中的对应预测视频块的移位。基础层编码器22接着执行运动补偿,所述运动补偿使用所述运动向量来识别来自参考帧的预测视频块。在运动补偿后,基础层编码器22通过从将要译码的视频块中减去预测视频块而形成残余视频块。对于基于帧内和帧间的译码两者来说,基础层编码器22可应用变换、量化和熵译码过程以进一步减少与残余块的传送相关联的位速率。增强层编码器24可执行对增强层的视频块的译码以便提供空间可缩放性。增强层编码器24可支持对各种视频块的基于帧内或帧间的译码。另外,增强层编码器24可支持针对增强层的视频块中的某些视频块的层间预测译码。在某些情况下,层间预测译码基本上类似于基于帧间的时间译码和基于帧内的空间译码。然而,在层间预测译码中,用于对增强层视频块进行译码的预测性块位于用于给定帧的对应基础层中。因此,增强层编码器24可比较增强层的视频块与对应基础层的视频块以识别基础层中的预测性视频块。层间向量可用于识别预测性视频块。通过从层间预测性译码过程期间在基础层中所识别的预测性视频块中减去将要译码的视频块而产生残余信息。或者,层间预测可需要识别基础层的预测性视频块和通过将来自所述预测性视频块的纹理和运动数据指派给正译码的视频块而对基础层的对应视频块进行译码。在此替代情形下,增强层视频块采用或继承基础层的重叠的预测性视频块的值而不产生任何残余差异。在解码侧,译码单元18的基础/增强解码器25对基础层视频块和增强层视频块执行互逆解码功能。因此,译码单元18可支持基于帧内的空间预测性解码、基于帧间的时间预测性译码和基于层间的预测性译码。如下文中较详细地论述,译码单元12的增强层编码器24和译码单元18的基础/增强解码器25也可支持例如填充、镜射或内插等补充译码技术以解决增强层的部分重叠的视频块的非重叠部分。在此情况下,可使用层间预测性译码对部分重叠的视频块的重叠部分译码且可使用补充译码技术对非重叠部分译码。以下描述大体上集中于在编码过程期间(例如)由编码器执行的译码。然而,应理解,类似的互逆解码过程将由解码器执行。在本发明中,术语译码通常指编码、解码或执行编码与解码两者的过程。图2为说明支持空间可缩放性的可縮放视频译码(SVC)方案的基础层17与增强层19之间的示范性关系的概念图。空间可縮放性(有时被称为扩展的空间可缩放性或"ESS")实现连续空间层之间的普遍关系。较低空间层的图片可表示较高分辨率图片的剪切区,且连续空间层之间的关系不需要是二元的。界定剪切窗和下取样比率的几何参数可以序列水平界定,或以图片水平演进。ESS可包括两个工具。第一工具可包含剪切工具。第二工具可包含可应用任何水平和垂直层间大小比率的通用上取样工具。可考虑表1中所展示的以下组合,且不同组合可对应于语法元素extended—spatial_scalability的不同值。表1<table>tableseeoriginaldocumentpage16</column></row><table>再次参看图2,考虑两个连续空间层通过各种几何关系链接的低层(基础层19)和高层(增强层17)。增强层图片的宽度和高度可分别被界定为wm和/z^。基础层图片尺寸可被界定为鸡,和/^w。基础层图片可包含尺寸为W驗。"和/^的"的图片的经子取样的版本。基础层图片可部分或全部位于增强层图片内,且可定位在增强层图片坐标系统中的坐标(x。^,:v。々)处。在图2中,增强和基础层图片被划分成宏块。值M^,,,An^和/^,,.。"//^。《对应于基础层图片与增强层中的提取图片之间的上取样因子。参数(X。g、>V,g、W詹。c、/7w,)可完全界定高层图片与低层图片之间的几何关系。在标准二元可縮放配置(例如,其中extended—spatial一scalability-O)中,参数(;c。〃'g、>v;g、Ww.""、AeJC,ra")可分另U等于(0、0、2*W6,、2*/ztoe)。此构架可用于确定增强层的相应视频块是与基础层的视频块完全重叠、部分重叠还是不重叠。如下文中较详细地描述,这些不同情形可导致与本发明一致的不同类型的译码技术。图3为说明基础层31的视频块和增强层32的与所述基础层的所述视频块完全重叠、部分重叠或不重叠的不同视频块的概念图。具体来说,增强层32的视频块35与基础层31的视频块完全重叠。增强层32的视频块36与基础层31的视频块部分重叠,且界定重叠部分38和非重叠部分39。增强层32的视频块37与基础层31的视频块不重叠。根据本发明,增强层32的某些视频块可使用层内预测来译码,而增强层32的其它视频块可使用空间或时间预测来译码。具体来说,使用空间或时间预测对非重叠的视频块(例如,视频块37)译码且使用层间预测对重叠的视频块(例如,视频块35)译码。部分重叠的视频块(例如,视频块36)中的某些或全部视频块可使用层间预测来译码。然而,对于使用层间预测进行译码的任何部分重叠的视频块,可使用层间预测对重叠部分(例如,部分38)译码。部分重叠的块的非重叠部分(例如,部分39)可使用例如填充、镜射或内插等补充译码技术来译码。部分重叠的块36实际上为用于层内预测的相对不良的候选者。此由于以下事实非重叠部分39比重叠部分38大得多。在本发明的某些方面中,可分析部分重叠的视频块以确定用于部分重叠的视频块中的每一者的重叠程度。可接着基于用于部分重叠的视频块中的每一者的经确定的重叠程度而将部分重叠的视频块的子集界定为用于层间预测的优良候选者。举例来说,可界定一阈值以从部分重叠的视频块的集合中区别用于层间预测的优良候选者与用于层间预测的不良候选者。作为实例,可将具有大于50%的重叠(即,大多数重叠)的视频块界定为用于层间预测的优良候选者。接着可对优良候选者应用帧间译码,而使用例如空间或时间预测译码技术等其它技术对不良候选者译码。图4A为说明基础层31和增强层32的视频块的概念图,其中用阴影来识别所述增强层的完全重叠的视频块。图4B为说明基础层31和增强层32的视频块的概念图,其中用阴影来识别所述增强层的部分重叠的视频块。图4C为说明基础层31和增强层32的视频块的概念图,其中用阴影来识别所述增强层的不与基础层的视频块重叠的视频块。现参看图1和图4A到图4C,译码单元12的基础层编码器22对SVC方案的基础层31中所界定的第一视频块译码。译码单元12的增强层编码器24对所述SVC方案的增强层32中所界定的第二视频块译码,其中所述第二视频块提供相对于所述第一视频块的空间可缩放性增强。具体来说,译码单元12的增强层编码器24可对所述第二视频块的与第一视频块完全重叠的第一子集(例如,图4A中画阴影的视频块)执行相对于基础层31的对增强层32的层间预测。另外,译码单元12的增强层编码器24可对所述第二视频块的与第一视频块部分重叠的第二子集(例如,图4B中画阴影的视频块中的某些或全部)执行相对于基础层31的对增强层32的层间预测。在某些情况下,译码单元12的增强层编码器24可对所述第二视频块的不与第一视频块重叠的第三子集(例如,图4C中画阴影的视频块)执行空间或时间预测,其中空间或时间预测不包括层间预测。对于第二视频块的与第一视频块部分重叠的第二子集(例如,图4B中画阴影的视频块中的某些或全部)来说,增强层编码器24可执行层间预测以对第二视频块的第二子集的重叠部分译码,且可执行补充译码技术以对第二视频块的第二子集的非重叠部分译码。这些补充技术可包括(但未必限于)填充、镜射或内插。如果对部分重叠的视频块的非重叠部分应用填充技术,则增强层编码器24可插入用于非重叠部分的像素的从基础层的重叠部分导出的填充像素。如果对部分重叠的视频块的非重叠部分应用镜射技术,则增强层编码器24可产生镜射那个视频块的邻近的经层间译码的部分的用于非重叠部分的像素值(或可能基于重叠部分中的基础层像素而产生像素值)。如果对部分重叠的视频块的非重叠部分应用内插技术,则增强层编码器24可从那个视频块的邻近的经层间译码的部分内插用于非重叠部分的值(或可能基于重叠部分中的基础层像素进行内插)。以这些方式,可通过经由补充译码技术处置非重叠部分而保留用于对重叠部分使用层间译码的能力。虽然补充译码技术可提供较少质量,但与重叠部分的层间译码相关联的质量增强和位节省可导致总质量和/或压縮的改进。此外,在某些情况下,如果部分重叠的视频块具有足够重叠使得值得采用所述技术,则仅执行针对部分重叠的视频块的层间译码。在此情况下,第二视频块的与第一视频块部分重叠的第二子集包含增强层的部分重叠的视频块的子集(例如,图4B中所展示的画阴影的视频块的子集)。增强层编码器24可确定用于部分重叠的视频块(图4B中画阴影的视频块)中的每一者的重叠程度,且基于部分重叠的视频块中的每一者的经确定的重叠程度来界定第二视频块的第二子集。在视频块41的重叠部分比视频块42的重叠部分大得多的情况下,图4B的部分重叠的视频块41可能比部分重叠的视频块42更适合于层间译码。对于由于不足够的重叠程度而未经由层间预测进行译码的部分重叠的视频块中的任一者,增强层编码器24可执行空间或时间预测,其中空间或时间预测不包括层间预测。因此,可使用空间或时间预测对视频块42进行译码,且可对重叠部分使用层间预测且对非重叠部分使用补充译码来对视频块41进行译码。图5为说明与本发明一致的技术的流程图。如图5中所展示,译码单元12的基础层编码器22对基础层视频块进行译码(101),且增强层编码器24对增强层视频块进行译码以实现增强层中相对于基础层的空间可縮放性(102)。可使用典型的空间或时间预测技术对基础层视频块进行译码。在图5中,可将步骤103到110(下文中所论述的)视为步骤102的子步骤。为了对增强层视频块进行译码,增强层编码器24可确定每一视频块是具有与基础层视频块的完全重叠、部分重叠还是不重叠(103)。如果增强层视频块具有与基础层视频块的完全重叠(104),则增强层编码器24使用层间预测对视频块进行译码(107)。如果增强层视频块不具有与基础层视频块的重叠(106),则增强层编码器24在不使用层间预测(107)的情况下对视频块进行译码。在此情况下,可使用空间或时间预测译码。如果增强层视频块具有与基础层视频块的部分重叠(105),则增强层编码器24确定重叠程度是否大于某一预先界定的阈值(108)。如果重叠程度不大于所述阈值(108的否分支),则增强层编码器24在不使用层间预测(107)的情况下对视频块译码。在此情况下,可将增强层视频块视为用于层间译码的不良候选者。如果重叠程度大于所述阈值(108的是分支),则增强层编码器24使用层间预测对部分重叠的增强层视频块的重叠部分译码(110)。在此情况下,可将增强层视频块视为用于层间译码的优良候选者。增强层编码器24使用填充、镜射或内插对非重叠部分译码(111)。作为另一实例,根据本发明的用于SVC的方法可包含识别与基础层视频块部分在空间上重叠的增强层视频块,以及相对于所述基础层视频块对所识别的增强层视频块中的某些视频块中的至少一部分帧间译码。在此情况下,增强层编码器24可识别与基础层31的视频块部分重叠的增强层32的视频块(例如,块36)。增强层编码器24可接着对增强层32的所识别的视频块中的某些或全部中的至少一部分(例如,块36的重叠部分38)编码。本文中所描述的技术可以硬件、软件、固件或其任一组合来实施。被描述为模块或组件的任何特征可共同实施于整合的逻辑装置中或单独实施为离散但可互操作的逻辑装置。如果以软件来实施,则可至少部分由包含当执行时执行上述方法中的一者或一者以上的指令的计算机可读媒体来实现所述技术。所述计算机可读媒体可形成可包括封装材料的计算机程序产品的部分。计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或或者,所述技术可至少部分由载运或传送呈指令或数据结构的形式的代码且可由计算机存取、读取和/或执行的计算机可读通信媒体来实现。所述代码可由一个或一个以上处理器执行,例如,一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效整合或离散的逻辑电路。因此,如本文中所使用的术语"处理器"可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外,在某些方面中,可将本文中所描述的功能性提供于经配置以用于编码和解码的专用软件模块或硬件模块内或并入组合的视频编码器-解码器(CODEC)中。如果以硬件来实施,则本发明可针对一种经配置以执行本文中所描述的技术中的一者或一者以上的电路,例如,集成电路、芯片组、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、逻辑或其各种组合。已描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。权利要求1.一种以可缩放视频译码(SVC)方案对信息进行译码的方法,其包含对所述SVC方案的基础层中所界定的第一视频块进行译码;以及对所述SVC方案的增强层中所界定的第二视频块进行译码,其中所述第二视频块提供相对于所述第一视频块的空间可缩放性增强,且其中对所述第二视频块进行译码包括针对所述第二视频块的与所述第一视频块完全重叠的第一子集对所述增强层执行相对于所述基础层的层间预测;以及针对所述第二视频块的与所述第一视频块部分重叠的第二子集对所述增强层执行相对于所述基础层的层间预测。2.根据权利要求1所述的方法,其中对所述第二视频块进行译码包括针对所述第二视频块的不与所述第一视频块重叠的第三子集执行空间或时间预测,其中所述空间或时间预测不包括层间预测。3.根据权利要求1所述的方法,其进一步包含针对所述第二视频块的与所述第一视频块部分重叠的所述第二子集-执行层间预测以对所述第二视频块的第二子集的重叠部分进行译码;以及执行填充技术以对所述第二视频块的所述第二子集的非重叠部分进行译码。4.根据权利要求1所述的方法,其进一步包含针对所述第二视频块的与所述第一视频块部分重叠的所述第二子集执行层间预测以对所述第二视频块的所述第二子集的重叠部分进行译码;以及执行镜射技术以对所述第二视频块的所述第二子集的非重叠部分进行译码。5.根据权利要求1所述的方法,其进一步包含针对所述第二视频块的与所述第一视频块部分重叠的所述第二子集执行层间预测以对所述第二视频块的所述第二子集的重叠部分进行译码;以及执行内插技术以对所述第二视频块的所述第二子集的非重叠部分进行译码。6.根据权利要求1所述的方法,其中所述第二视频块的与所述第一视频块部分重叠的所述第二子集包含所述增强层的部分重叠的视频块的子集,所述方法进一步包含确定所述部分重叠的视频块中的每一者的重叠程度;以及基于所述部分重叠的视频块中的每一者的所述确定的重叠程度来界定所述第二视频块的所述第二子集。7.根据权利要求6所述的方法,其进一步包含针对未被界定为处于所述第二子集中且由于不足够的重叠程度而未经由层间预测进行译码的所述部分重叠的视频块中的任一者执行空间或时间预测,其中所述空间或时间预测不包括层间预测。8.根据权利要求1所述的方法,其中译码包含编码或解码。9.一种根据可缩放视频译码(SVC)方案对信息进行译码的设备,所述设备包含译码单元,其对所述SVC方案的基础层中所界定的第一视频块进行译码,且对所述SVC方案的增强层中所界定的第二视频块进行译码,其中所述第二视频块提供相对于所述第一视频块的空间可縮放性增强,且其中相对于所述第二视频块,所述译码单元针对所述第二视频块的与所述第一视频块完全重叠的第一子集对所述增强层执行相对于所述基础层的层间预测;以及针对所述第二视频块的与所述第一视频块部分重叠的第二子集对所述增强层执行相对于所述基础层的层间预测。10.根据权利要求9所述的设备,其中相对于所述第二视频块,所述译码单元针对所述第二视频块的不与所述第一视频块重叠的第三子集执行空间或时间预测,其中所述空间或时间预测不包括层间预测。11.根据权利要求9所述的设备,其中所述译码单元针对所述第二视频块的与所述第一视频块部分重叠的所述第二子集执行层间预测以对所述第二视频块的第二子集的重叠部分进行译码;以及执行填充技术以对所述第二视频块的所述第二子集的非重叠部分进行译码。12.根据权利要求9所述的设备,其中所述译码单元针对所述第二视频块的与所述第一视频块部分重叠的所述第二子集执行层间预测以对所述第二视频块的所述第二子集的重叠部分进行译码;以及执行镜射技术以对所述第二视频块的所述第二子集的非重叠部分进行译码。13.根据权利要求9所述的设备,其中所述译码单元针对所述第二视频块的与所述第一视频块部分重叠的所述第二子集执行层间预测以对所述第二视频块的所述第二子集的重叠部分进行译码;以及执行内插技术以对所述第二视频块的所述第二子集的非重叠部分进行译码。14.根据权利要求9所述的设备,其中所述第二视频块的与所述第一视频块部分重叠的所述第二子集包含所述增强层的部分重叠的视频块的子集,其中所述译码单元-确定所述部分重叠的视频块中的每一者的重叠程度;以及基于所述部分重叠的视频块中的每一者的所述确定的重叠程度来界定所述第二视频块的所述第二子集。15.根据权利要求14所述的设备,其中针对未被界定为处于所述第二子集中且由于不足够的重叠程度而未经由层间预测进行译码的所述部分重叠的视频块中的任一者,所述译码单元执行空间或时间预测,其中所述空间或时间预测不包括层间预测。16.根据权利要求9所述的设备,其中所述译码单元包含编码单元或解码单元。17.根据权利要求9所述的设备,其中所述设备包含以下至少一者电路;以及无线通信装置。18.—种包含指令的计算机可读媒体,所述指令当在视频译码装置中执行时致使所述装置以可縮放视频译码(SVC)方案对信息进行译码,其中所述指令致使所述装置对所述SVC方案的基础层中所界定的第一视频块进行译码;以及对所述SVC方案的增强层中所界定的第二视频块进行译码,其中所述第二视频块提供相对于所述第一视频块的空间可縮放性增强,且其中相对于所述第二视频块,所述指令致使所述装置针对所述第二视频块的与所述第视频块完全重叠的第一子集对所述增强层执行相对于所述基础层的层间预测;以及针对所述第二视频块的与所述第一视频块部分重叠的第二子集对所述增强层执行相对于所述基础层的层间预测。19.根据权利要求18所述的计算机可读媒体,其中相对于所述第二视频块,所述指令致使所述装置针对所述第二视频块的不与所述第一视频块重叠的第三子集执行空间或时间预测,其中所述空间或时间预测不包括层间预测。20.根据权利要求18所述的计算机可读媒体,其中针对所述第二视频块的与所述第一视频块部分重叠的所述第二子集,所述指令致使所述装置执行层间预测以对所述第二视频块的第二子集的重叠部分进行译码;以及执行填充技术以对所述第二视频块的所述第二子集的非重叠部分进行译码。21.根据权利要求18所述的计算机可读媒体,其中针对所述第二视频块的与所述第一视频块部分重叠的所述第二子集,所述指令致使所述装置执行层间预测以对所述第二视频块的所述第二子集的重叠部分进行译码;以及执行镜射技术以对所述第二视频块的所述第二子集的非重叠部分进行译码。22.根据权利要求18所述的计算机可读媒体,其中针对所述第二视频块的与所述第一视频块部分重叠的所述第二子集,所述指令致使所述装置执行层间预测以对所述第二视频块的所述第二子集的重叠部分进行译码;以及执行内插技术以对所述第二视频块的所述第二子集的非重叠部分进行译码。23.根据权利要求18所述的计算机可读媒体,其中所述第二视频块的与所述第一视频块部分重叠的所述第二子集包含所述增强层的部分重叠的视频块的子集,其中所述指令致使所述装置确定所述部分重叠的视频块中的每一者的重叠程度;以及基于所述部分重叠的视频块中的每一者的所述确定的重叠程度来界定所述第二视频块的所述第二子集,其中针对未被界定为处于所述第二子集中且由于不足够的重叠程度而未经由层间预测进行译码的所述部分重叠的视频块中的任一者,所述指令致使所述装置执行空间或时间预测,其中所述空间或时间预测不包括层间预测。24.—种以可縮放视频译码(SVC)方案对信息进行译码的装置,所述装置包含用于对所述SVC方案的基础层中所界定的第一视频块进行译码的装置;以及用于对所述SVC方案的增强层中所界定的第二视频块进行译码的装置,其中所述第二视频块提供相对于所述第一视频块的空间可縮放性增强,且其中用于对所述第二视频块进行译码的装置包括用于针对所述第二视频块的与所述第一视频块完全重叠的第一子集对所述增强层执行相对于所述基础层的层间预测的装置;以及用于针对所述第二视频块的与所述第一视频块部分重叠的第二子集对所述增强层执行相对于所述基础层的层间预测的装置。25.—种用于可縮放视频译码(SVC)的方法,其包含识别与基础层视频块部分在空间上重叠的增强层视频块;以及相对于所述基础层视频块对所述识别的增强层视频块中的某些或全部中的至少一部分进行帧间译码。.全文摘要本发明描述用于以支持空间可缩放性的可缩放视频译码(SVC)方案对信息进行译码的技术。在一个实例中,一种以SVC方案对信息进行译码的方法包含对所述SVC方案的基础层中所界定的第一视频块进行译码,以及对所述SVC方案的增强层中所界定的第二视频块进行译码,其中所述第二视频块提供相对于所述第一视频块的空间可缩放性增强。对所述第二视频块的所述译码包括针对所述第二视频块的与所述第一视频块完全重叠的第一子集对所述增强层执行相对于所述基础层的层间预测,以及针对所述第二视频块的与所述第一视频块部分重叠的第二子集对所述增强层执行相对于所述基础层的层间预测。文档编号H04N7/46GK101584217SQ200880001629公开日2009年11月18日申请日期2008年1月7日优先权日2007年1月8日发明者普玛·萨格唐,玛尔塔·卡切维奇,郑赫俊申请人:高通股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1