用于可缩放视频译码的预测模式信息上取样的制作方法
【技术领域】
[0001]本发明大体上涉及视频译码及压缩。
【背景技术】
[0002]数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及类似装置。数字视频装置实施视频压缩技术，例如描述于以下各者中的那些技术:由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4 第 10 部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)及此些标准的扩展。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码及/或存储数字视频信息。
[0003]例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可由配置成水平及垂直线的像素构成。单个图像中的像素的数目通常有数万个。每一像素通常含有明度及色度信息。在无压缩的情况下，将从图像编码器传输到图像解码器的信息的量太过巨大以致其可能难以提供实时图像传输。为了减少将发射的信息的量，已开发了数种不同压缩方法。
[0004]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(例如，视频帧、视频帧的一部分等)可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
[0005]空间或时间预测导致译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据而编码。
[0006]基于块的视频译码及压缩可进一步利用可缩放技术。可缩放视频译码(SVC)指使用基础层和一或多个可缩放增强层的视频译码。对于SVC来说，基础层通常载运具有基础质量水平的视频数据。一或多个增强层载运额外视频数据以支持较高的空间、时间和/或SNR水平。
【发明内容】
[0007]为了总结本发明的目的，本文中已描述某些方面、优势和新颖特征。应理解，根据本文中揭示的任何特定实施例，未必可达成全部这些优势。因此，可以按照如本文所教示来达成或优化一个优势或一群优势而未必达成如本文可能教示或建议的其它优势的方式来体现或进行本文中揭示的特征。
[0008]根据一些实施例，一种经配置以对视频数据进行译码的设备包含存储器单元及处理器。所述存储器单元经配置以存储与具有第一空间分辨率的第一层及具有不同于所述第一空间分辨率的第二空间分辨率的第二层相关联的视频数据。与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，且所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联。所述处理器与所述存储器单元通信，且所述处理器经配置以至少基于选择规则导出与所述多个子块中的一者相关联的所述预测模式数据，对所述所导出的预测模式数据及所述第一层块进行上取样，且将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联。
[0009]先前段落的设备可包含以下特征中的一或多者:根据所述选择规则，所述处理器经配置以至少基于所述第一子块相对于所述第一层块的一或多个其它子块的位置来选择与所述多个子块中的第一子块相关联的所述预测模式数据。所述第一子块为在每一侧上与所述第一层块的所述多个子块中的一者相邻的中心子块。所述处理器经配置以根据信号旗标确定所述选择规则。所述处理器经配置以至少基于所述经上取样的第一层块及与所述经上取样的第一层块的每一经上取样的子块相关联的所述经上取样的预测模式数据来确定所述第二层中的第二层块的预测值。所述第一层块位于所述第一层中的对应于所述第二层中的所述第二层块的位置的位置处，或所述第一层块位于所述第一层中的对应于邻近于所述第二层中的所述第二层块而定位的相邻第二层块的位置的所述位置处。与所述第一层块的每一子块相关联的所述相应预测模式数据包含运动向量。所述经上取样的预测模式数据与所述所导出的预测模式数据之间的空间分辨率比率匹配所述第二空间分辨率与所述第一空间分辨率之间的空间分辨率比率。所述处理器经配置以:在第一译码器-解码器(译解码器)用以压缩所述第一层块时将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联；及在不同于所述第一译解码器的第二译解码器用以压缩第一层中的视频单元时至少基于指派规则将经指派的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联。根据指派规则，处理器经配置以将预测模式数据指派为以下各者中的至少一者:零运动向量、等于零的参考索引、等于负一的参考索引及标记为不可用的运动字段。处理器经配置以将经上取样的第一层块插入于参考列表中。处理器包括解码器。处理器包括编码器。设备为装置的部分，所述装置是从由以下组成的群组中选出的:计算机及无线通信装置手持机。
[0010]根据一些实施例，一种对视频数据进行译码的方法包含:存储与具有第一空间分辨率的第一层及具有不同于所述第一空间分辨率的第二空间分辨率的第二层相关联的视频数据，与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联；至少基于选择规则导出与所述多个子块中的一者相关联的所述预测模式数据；对所述所导出的预测模式数据及所述第一层块进行上取样；及将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联。
[0011]先前段落的方法可包含以下特征中的一或多者:根据所述选择规则，所述导出包含至少基于所述第一子块相对于所述第一层块的一或多个其它子块的位置来选择与所述多个子块中的第一子块相关联的所述预测模式数据。所述第一子块为在每一侧上与所述第一层块的所述多个子块中的一者相邻的中心子块。所述方法进一步包含根据信号旗标确定选择规则。所述方法进一步包含至少基于所述经上取样的第一层块及与所述经上取样的第一层块的每一经上取样的子块相关联的所述经上取样的预测模式数据来确定所述第二层中的第二层块的预测值，其中所述第一层块位于所述第一层中的对应于所述第二层中的所述第二层块的位置的位置处，或所述第一层块位于所述第一层中的对应于邻近于所述第二层中的所述第二层块而定位的相邻第二层块的位置的所述位置处。与所述第一层块的每一子块相关联的所述相应预测模式数据包含运动向量。所述经上取样的预测模式数据与所述所导出的预测模式数据之间的空间分辨率比率匹配所述第二空间分辨率与所述第一空间分辨率之间的空间分辨率比率。所述方法进一步包含:在第一译码器-解码器(译解码器)用以压缩所述第一层块时将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联；及在不同于所述第一译解码器的第二译解码器用以压缩第一层中的视频单元时至少基于指派规则将经指派的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联。所述方法进一步包含根据指派规则，将预测模式数据指派为以下各者中的至少一者:零运动向量、等于零的参考索引、等于负一的参考索引及标记为不可用的运动字段。所述方法进一步包含将经上取样的第一层块插入于参考列表中。所述方法进一步包含接收从经编码视频位流提取的语法元素，所述语法元素指示与第一层视频块相关联的预测模式信息。所述方法进一步包含产生用于经编码视频位流的语法元素，所述语法元素指示与第一层视频块相关联的预测模式信息。
[0012]根据一些实施例，一种经配置以对视频数据进行译码的设备包含:用于存储与具有第一空间分辨率的第一层及具有不同于所述第一空间分辨率的第二空间分辨率的第二层相关联的视频数据的装置，与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联；用于至少基于选择规则导出与所述多个子块中的一者相关联的所述预测模式数据的装置；用于对所述所导出的预测模式数据及所述第一层块进行上取样的装置；及用于将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联的装置。
[0013]根据一些实施例，一种存储可执行程序指令的非暂时性计算机存储装置，所述可执行程序指令指引用于对视频数据进行译码的设备执行过程，所述过程包含:存储与具有第一空间分辨率的第一层及具有不同于所述第一空间分辨率的第二空间分辨率的第二层相关联的视频数据，与所述第一层相关联的所述视频数据包含至少第一层块及与所述第一层块相关联的第一层预测模式信息，所述第一层块包含多个子块，其中每一子块与所述第一层预测模式信息的相应预测模式数据相关联；至少基于选择规则导出与所述多个子块中的一者相关联的所述预测模式数据；对所述所导出的预测模式数据及所述第一层块进行上取样；及将所述经上取样的预测模式数据与所述经上取样的第一层块的每一经上取样的子块相关联。
【附图说明】
[0014]下文参看图式描述本文所揭示的各种实施例的特征。贯穿图式重复使用参考数字以指示所参考的元件之间的对应。提供图式以说明本文中所描述的实施例且不限制其范围。
[0015]图1是说明可以利用本发明中描述的技术的实例视频编码系统的框图。
[0016]图2是说明可实施本发明的实施例的实例视频编码器的框图。
[0017]图3是说明可实施本发明的实施例的实例视频解码器的框图。
[0018]图4是说明可用于预测增强层的实例视频数据的概念图。
[0019]图5及6是说明实例基础层视频数据及经上取样的基础层视频数据的概念图。
[0020]图7说明用于对视频数据进行译码的实例方法。
【具体实施方式】
[0021]臟
[0022]本发明中所描述的技术通常涉及可缩放视频译码(SVC)、可缩放视频高效率视频译码(SHVC)、多视图译码及3D视频译码。举例来说，所述技术可与高效率视频译码(HEVC)SVC扩展相关，及与高效率视频译码(HEVC) SVC扩展一起或在高效率视频译码(HEVC) SVC扩展内使用。在SVC扩展中，可存在多个视频信息层。在最底层级处的层可充当基础层(BL)，且在最顶部的层可充当增强型层(EL)。在MVC中，可使用术语“视图”来取代术语“层”。因此，可分别用“视图”或“多个视图”来替代本发明中对“层”或“多个层”的参考。“增强型层”有时被称作“增强层”，且这些术语可互换地使用。在中间的层可充当增强层或基础层中的任一者或两者。举例而言，在中间的层可为在其下方的层(例如，基础层或任何插入增强层)的增强层，且同时充当在其上方的增强层的基础层。
[0023]SVC可用以提供质量(也被称作信噪比(SNR))可缩放性、空间可缩放性及/或时间可缩放性。增强层可具有与基础层相同或不同的空间分辨率。举例来说，增强层与基础层之间的空间纵横比可为1.0、1.5、2.0或其它不同比率。换句话说，增强层的空间纵横比可等于基础层的空间纵横比的1.0、1.5或2.0倍。在一些实例中，增强层的缩放因数可大于基础层。举例来说，增强层中的图片的大小可大于基础层中的图片的大小。以此方式，尽管并非限制，但有可能增强层的空间分辨率大于基础层的空间分辨率。
[0024]有时被称作再取样滤波的上取样滤波可应用于基础层以便增加基础层的空间分辨率。在一