在shvc中有条件地调用再取样过程的制作方法
【技术领域】
[0001]本发明涉及视频译码和压缩的领域。具体来说，其涉及可缩放视频译码(SVC)，包含用于高级视频译码(AVC)的SVC以及用于高效率视频译码(HEVC)的SVC，其还被称作可缩放HEVC(SHVC)。其也与3D视频译码相关，例如HEVC的多视图扩展(被称作MV-HEVC)。各种实施例涉及用于改进的层间预测信令及相关过程(例如，层间参考图片集的导出、参考图片列表的导出等)的系统和方法。
【背景技术】
[0002]数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码及/或存储数字视频信息。
[0003]视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，所述视频块还可被称作树块、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
[0004]空间或时间预测导致用于待译码块的预测性块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据而编码。经帧内译码块是根据帧内译码模式和残余数据而编码。为了实现进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以对残余变换系数进行量化。可扫描最初布置为二维阵列的经量化的变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
【发明内容】
[0005]一般来说，本发明描述与可缩放视频译码(SVC)有关的技术。下文描述的各种技术提供描述用于确定是否对层间参考图片进行再取样的方法和装置。
[0006]根据某些方面的用于对视频信息进行译码的设备包含存储器和操作性地耦合到所述存储器的处理器。所述存储器单元经配置以存储与用于待译码当前图片的层间参考图片相关联的视频信息。所述处理器经配置以:接收与经配置以界定所述层间参考图片的经再取样版本的区的多个层间参考偏移相关的信息，其中所述区用以产生所述当前图片的预测，且其中所述多个层间参考偏移包含各自相对于所述当前图片指定的左偏移、顶部偏移、右偏移和底部偏移；至少部分地基于所述多个层间参考偏移而确定是否对所述层间参考图片进行再取样；以及响应于确定对所述层间参考图片进行再取样，对所述层间参考图片进行再取样。
[0007]在附图及以下描述中陈述一或多个实例的细节，其并不希望限制本文中所描述的发明性概念的完整范围。其它特征、目标和优点将从描述内容和图式以及从权利要求书中显而易见。
【附图说明】
[0008]贯穿所述图式，参考数字可再使用以指示参考元件之间的对应关系。提供图式以说明本文中描述的实例实施例，并且无意限制本发明的范围。
[0009]图1是说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统的框图。
[0010]图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0011]图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0012]图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
[0013]图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
[0014]图4是说明参考层与增强层之间的图片纵横比可缩放性的实例的图。
[0015]图5是说明参考层与增强层之间的图片纵横比可缩放性的另一实例的图。
[0016]图6是说明根据本发明的方面的用于调用再取样过程的实例条件的框图。
[0017]图7是说明根据本发明的方面的用于确定是否对层间参考图片进行再取样的方法的流程图。
【具体实施方式】
[0018]本发明中描述的技术一般涉及可缩放视频译码(SHVC，SVC)及多视图/3D视频译码(例如，多视图译码加深度，MVC+D)。举例来说，所述技术可与高效率视频译码(HEVC)可缩放视频译码(SVC，有时称为SHVC)扩展相关，且与其一起或在其内使用。在SHVC、SVC扩展中，可存在多个视频信息层。视频信息的最低层级处的层可充当基础层(BL)或参考层(RL)，且视频信息的最顶部(或最高层)处的层可充当增强层(EL)。“经增强层”有时被称作“增强层”，且这些术语可互换地使用。“基础层”有时被称作“参考层”，且这些术语也可互换地使用。基础层与顶部层之间的所有层可充当额外EL和/或参考层。举例来说，给定层可为用于所述给定层下方(例如，在前面)的层(例如基础层或任何介入增强层)的EL。此外，给定层还可充当用于给定层上方(例如，在之后)的一或多个增强层的RL。基础层(例如，具有例如设定为或等于“I”的层识别(ID)的最低层)与顶部层(或最高层)之间的任何层可用作用于比给定层高的层的层间预测的参考，且可使用比给定层低的层作为用于层间预测的参考。举例来说，可使用比给定层低的层作为用于层间预测的参考来确定给定层。
[0019]为简单起见，根据仅两个层来呈现实例:BL及EL ;然而，应很好地理解，下文描述的构想及实施例还适用于具有多个层的情况。此外，为了易于解释，常常使用术语“帧”或“块”。然而，这些术语不打算是限制性的。例如，下文描述的技术可与多种视频单元中的任一者使用，视频单元包含但不限于像素、块(例如，CU、PU、TU、宏块等)、切片、帧、图片等。
[0020]视频译码
[0021]视频译码标准包含ITU-T H.261、IS0/IEC MPEG-1 Visual、ITU-T H.262 或 ISO/IEC MPEG-2 Visual、ITU-T H.263、IS0/IEC MPEG-4 Visual 及 ITU-T H.264(也被称作IS0/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)及多视图译码加上深度(MVC+D)扩展。最新的HEVC草案规范(且下文中被称作HEVC WDI O)可从 http://phenix.1nt-evry.fr/jct/doc_end_user/documents/12_Geneva/wgll/JCTVC-L1003-v34.zip获得。HEVC的多视图扩展(即MV-HEVC)也正由JCT-3V开发。下文的 MV-HEVC WD3 (中)的最近工作草案(WD)可从 http://phenix.1t-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wgll/JCT3V-C1004-v4.zip 获得。被称为 SHVC 的对HEVC的可缩放扩展也正由JCT-VC开发。SHVC的最近工作草案(WD)(且在下文被称作SHVCWDl)可从 http://phenix.1nt-evry.fr/jet/doc_end_user/documents/12_Geneva/wgll/JCTVC-L1008-vl.zip 获得。
[0022]在SVC和SHVC中，视频信息可作为多个层提供。在最底部层级处的层可仅充当基础层(BL)，且在最顶部层级处的层可充当增强层(EL)。顶部层与底部层之间的所有层可充当增强层及参考层两者。举例来说，在中间的层可为用于其下方的层的EL，且同时作为用于其上方的层的RL。出于描述的简单性起见，在说明下文描述的技术时，可假设存在两个层:BL及EL。然而，本文中描述的所有技术还适用于具有多个(两个以上)层的情况。
[0023]可缩放视频译码(SVC)可用于提供质量(还被称作信噪比(SNR))可缩放性、空间可缩放性及/或时间可缩放性。举例来说，在一个实施例中，参考层(例如，基础层)包含足以在第一质量水平下显示视频的视频信息，且增强层包含相对于所述参考层的额外视频信息，以使得所述参考层及所述增强层一起包含足以在高于所述第一水平的第二质量水平(例如，更少的噪声、更大的分辨率、更好的帧速率等)下显示视频的视频信息。经增强层可具有与基础层不同的空间分辨率。举例来说，EL与BL之间的空间纵横比可为1.0,1.5,2.0或其它不同比率。换句话说，EL的空间方面可等于BL的空间方面的1.0、1.5或2.0倍。在一些实例中，EL的按比例缩放因数可大于BL。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，可有可能(但不限于)EL的空间分辨率大于BL的空间分辨率。
[0024]在涉及用于H.264的SVC扩展或用于H.265的SHVC扩展(如上文所论述)的SVC中，当前块的预测可使用为SVC提供的不同层来执行。此预测可被称作层间预测。在SVC中可利用层间预测方法以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测及层间残余预测。层间帧内预测使用基础层中的位于同一地点的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息(包含运动向量)来预测增强层中的运动。层间残余预测使用基础层的残余来预测增强层的残余。
[0025]概沭
[0026]在仅高级语法SHVC中，仅在切片或更高层级处允许对语法的改变。举例来说，已提议SHVC高级语法设计，其方式为使得当对当前增强层图片进行译码时来自参考层(例如，具有与当前图片的图片次序计数(POC)值相同的POC值的参考层图片)的位于同一地点的经重构图片(必要时经再取样)可用作层间参考图片。这可允许进行层间预测而无需任何低层级译码过程改变。因此，来自不同层的整个参考图片可需要经上取样或经再取样，因为块层级再取样不可用。来自另一层的参考图片可被称为“层间参考图片”。在层间预测中，当前图片的预测可基于层间参考图片而产生。然而，层间参考图片的仅一部分或区可以用于产生当前图片的预测。所述区可在层间参考图片的经上取样或经再取样版本的方面界定。举例来说，SHVC可使用经按比例缩放参考层偏移，其可为相对于当前图片指示在预测中使用的经上取样或经再取样层间参考图片的区的偏移。下文更详细阐释经按比例缩放参考层偏移。
[0027]SHVC工作草案的早期版本仅使用图片大小来确定层间参考图片是否应经再取样。然而，由于层间参考图片(或经上取样或经再取样层间参考图片)的仅一部分(例如，区)可以用于预测当前图片，因此仅考虑图片大小可能不足够。并且，SHVC还可支持位深度可缩放性，例如，参考层和增强层可能具有不同位深度。当参考层和增强层具有相同图片大小但位深度不同时也可能需要调用再取样过程。
[0028]为了解决这些和其它问题，本发明中描述的技术界定用于调用层间参考图片的再取样过程的条件，其考虑了经按比例缩放参考层偏移。在一些实施例中，所述条件可基于空间分辨率和经按比例缩放参考层偏移。在其它实施例中，所述条件可基于空间分辨率、色度格式、位深度以及经按比例缩放参考层偏移。通过在确定是否再取样层间参考图片中并入经按比例缩放参考层偏移，所述技术可当层间参考图片的仅一部分用于层间预测时适当地再取样层间参考图片。如果在确定是否再取样层间参考图片中不考虑经按比例缩放参考层偏移，那么在其中层间参考图片应经再取样的情况下可不调用再取样过程(例如，层间参考图片具有相同图片大小，但经按比例缩放参考层偏移指示层间参考图片的仅一部分被使用，且应调用再取样过程以具有正确的层间预测)。考虑经按比例缩放参考层偏移可导致在识别何时应再取样层间参考图片中的改进的准确性，并且因此可得到较好预测结果，因为在预测中可使用适当地经再取样层间参考图片。
[0029]下文参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。而是，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可使用本文中所陈述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。
[0030]尽管本文描述了特定方面，但这些方面的许多变化及排列属于本发明的范围。尽管提及了优选方面的一些益处和优点，但本发明的范围并不希望限于特定益处、用途或目标。实际上本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。详细描述和图式仅说明本发明，而不具有限制性，本发明的范围由所附权利要求书及其等效物界定。
[0031]视频译码系统
[0032]图1是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器”一般指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指视频编码和视频解码。
[0033]如图1中所示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。目的地装置14可对由源装置12产生的经编码视频数据进行解码。源装置12可经由通信信道16将视频数据提供到目的地装置14，通信信道16可包含计算机可读存储媒体或其它通信信道。源装置12及目的地装置14可包含广泛范围的装置，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话、所谓的“智能”板)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机、视频流式传输装置，等等。源装置12和目的地装置14可经装备以用于无线通
?目O
[0034]目的地装置14可经由通信信道16接收待解码的经编码视频数据。通信信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。举例来说，通信信道16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可以根据通信标准(例如，无线通信协议)来调制，并且被发射到目的地装置14。通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于包的网络(例如局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的其它设备。
[0035]在一些实施例中，经编码数据可从输出接口 22输出到存储装置。在此些实例中，信道16可对应于存储由源装置12产生的经编码视频数据的存储装置或计算机可读存储媒体。例如，目的地装置14可经由磁盘存取或卡存取来存取所述计算机可读存储媒体。类似地，可通过输入接口 28从计算机可读存储媒体存取经编码数据。计算机可读存储媒体可包含多种分布式或在本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于储存视频数据的其它数字存储媒体。计算机可读存储媒体可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从计算机可读存储媒体存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从计算机可读存储媒体的发射可为流式传输发射、下载发射或两者的组合。
[0036]本发明的技术可应用除无线应用或设定之外的应用或设定。所述技术可应用于视频译码以支持多种多媒体应用，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流式视频传输(例如动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实施例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
[0037]在图1中，源装置12包含视频源18、视频编码器20及输出接口 22。目的地装置14包含输入接口 28、视频解码器30和显示装置32。源装置12的视频编码器20可经配置以应用用于译码包含视频数据(符合多个标准或标准扩展)的位流的技术。在其它实施例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18 (例如，外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。
[0038]源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。视频源18可产生基于计算机图形的数据(作为源视频)，或实况视频、所存档视频和计算机产生的视频的组合。在一些实施例中，如果视频源18是摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。可由视频编码器20来编码所俘获视频、经预先俘获的视频或计算机产生的视频。经编码视频信息可通过