用于多视图和三维视频译码的参考图片列表建构的制作方法
用于多视图和三维视频译码的参考图片列表建构的制作方法
【专利摘要】一种视频编码器基于当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合。所述视频编码器至少部分地基于所述参考图片列表中的一个或一个以上参考图片来编码所述当前视图分量。另外，所述视频编码器产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。一种视频解码器从所述位流剖析指示所述当前视图分量的所述参考图片集合的语法元素。所述视频解码器基于所述参考图片集合产生用于所述当前视图分量的所述参考图片列表，另外，所述视频解码器基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
【专利说明】用于多视图和三维视频译码的参考图片列表建构
[0001]本申请案主张2011年12月20日申请的第61/578，178号美国临时专利申请案的权益，所述临时申请案的整个内容以引用的方式并入本文中。
【技术领域】
[0002]本发明涉及视频译码(即，视频数据的编码和/或解码)。
【背景技术】
[0003]数字视频能力可并入到较宽范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、e书籍阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等。数字视频装置实施视频压缩技术，例如由 MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4，第 10 部分，高级视频译码(AVC)界定的标准，或目前正在开发的高效视频译码(HEVC)标准或此些标准的扩展中所描述的那些技术。视频装置可通过实施此些视频压缩技术来更高效地发射、接收、编码、解码且/或存储数字视频信息。
[0004]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频片(即，视频帧或视频帧的一部分)分区成若干视频块。相对于图片中的相邻块中的参考样本，使用空间预测来编码同一图片的经帧内译码(I)片中的视频块。图片的经帧间译码(P或B)片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测，或相对于其它参考图片中的参考样本使用时间预测。图片可称为帧，且参考图片可称为参考帧。
[0005]空间或时间预测得出待译码的块的预测块。残余数据表示待译码的原始块与预测块之间的像素差。根据指向形成所述预测块的参考样本块的运动向量以及指示经译码块与预测块之间的差的残余数据来编码经帧间译码的块。根据帧内译码模式和残余数据来编码经帧内译码的块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而得出接着可量化的残余变换系数。可扫描经量化的系数(最初布置成二维阵列)，以便产生系数的一维向量，且可应用熵译码来实现更多的压缩。
【发明内容】
[0006]一种视频编码器基于当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合。所述视图间参考图片集合包含属于与当前视图分量相同的存取单元但与和当前视图分量不同的视图相关联的参考图片。视频编码器基于参考图片列表中的一个或一个以上参考图片，使用视图间预测或帧间预测来编码当前视图分量。另外，所述视频编码器产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。一种视频解码器从所述位流剖析指示所述当前视图分量的所述参考图片集合的语法元素。视频解码器基于参考图片集合产生当前视图分量的参考图片列表。另外，视频解码器基于所述参考图片列表中的一个或一个以上参考图片来解码当前视图。
[0007]在一个方面中，本发明描述一种用于多视图视频解码的方法。所述方法包括从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述方法还包括基于参考图片集合产生当前视图分量的参考图片列表。另外，所述方法包括基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
[0008]在另一方面中，本发明描述一种用于视频编码的方法。所述方法包括基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述方法还包括至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量。另外，所述方法包括产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
[0009]在另一方面中，本发明描述一种视频解码装置，其包括一个或一个以上处理器，所述处理器经配置以从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述一个或一个以上处理器还经配置以基于参考图片集合产生当前视图分量的参考图片列表。另外，所述一个或一个以上处理器经配置以基于参考图片列表中的一个或一个以上参考图片解码当前视图分量的至少一部分。
[0010]在另一方面中，本发明描述一种视频编码装置，其包括一个或一个以上处理器，所述处理器经配置以基于存取单元的当前视图分量的参考图片集合产生当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述一个或一个以上处理器还经配置以基于参考图片列表中的一个或一个以上参考图片来编码当前视图分量。另外，所述一个或一个以上处理器经配置以产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
[0011]在另一方面中，本发明描述一种视频解码装置，其包括用于从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素的装置。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述视频解码装置还包括用于基于参考图片集合产生当前视图分量的参考图片列表的装置。另外，所述视频解码装置包括用于基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分的装置。
[0012]在另一方面中，本发明描述一种视频编码装置，其包括用于基于存取单元的当前视图分量的参考图片集合产生当前视图分量的参考图片列表的装置。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述视频编码装置还包括用于至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量的装置的装置。另外，所述视频编码装置包括用于产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流的装置。
[0013]在另一方面中，本发明描述一种存储计算机可执行指令的计算机可读存储媒体，所述指令在由视频解码装置的一个或一个以上处理器执行时，配置所述视频解码装置以从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述指令还配置所述视频解码装置以基于参考图片集合产生当前视图分量的参考图片列表。此外，所述指令配置所述视频解码装置以基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
[0014]在另一方面中，本发明描述一种存储计算机可执行指令的计算机可读存储媒体，所述指令在由视频解码装置的一个或一个以上处理器执行时，配置所述视频解码装置以基于存取单元的当前视图分量的参考图片集合产生当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述指令还配置所述视频编码装置以基于参考图片列表中的一个或一个以上参考图片来编码当前视图分量。另外，所述指令配置所述视频编码装置以产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
[0015]在附图及下文描述中陈述本发明的一个或一个以上实例的细节。从描述内容、图式和所附权利要求书中将了解其它特征、目标和优点。
【专利附图】
【附图说明】
[0016]图1是说明可利用本发明中所述的技术的实例视频译码系统的框图。
[0017]图2是说明实例多视图视频译码(MVC)解码次序的概念图。
[0018]图3是说明实例MVC时间和视图间预测结构的概念图。
[0019]图4是说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0020]图5是说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0021]图6是说明根据本发明的一个或一个以上技术的作为用以编码视频数据的过程的一部分的由视频编码器执行的实例操作的流程图。
[0022]图7是说明根据本发明的一个或一个以上技术的作为用以解码经编码视频数据的过程的一部分的由视频解码器执行的实例操作的流程图。
【具体实施方式】
[0023]作为帧间预测过程的一部分，视频编码器在位流中用信号通知特定视图分量的参考图片集合。特定视图分量的参考图片集合可包含可用于特定视图分量内的块的帧间预测的参考图片。在多视图译码(MVC)和3维视频(3DV)译码中，视频编码器可使用与所述特定视图分量相同的存取单元的视图分量作为用于编码所述特定视图分量的参考图片。然而，视频编码器不用信号通知视图分量的参考图片集合中的视图间参考图片。这可降低解码所述位流的视频解码器的效率。
[0024]根据本发明的技术，视频编码器可基于存取单元的当前视图分量的参考图片集合，产生用于所述当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元的多个视图分量。视图间参考图片集合中的每一视图分量可与一不同视图相关联。此外，所述视频编码器可至少部分地基于所述参考图片列表中的一个或一个以上参考图片来编码所述当前视图分量的至少若干部分。另外，所述视频编码器可产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
[0025]同样地，根据本发明的技术，视频解码器可从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素。参考图片集合包含视图间参考图片集合，其包含多个视图分量。视图间参考图片集合的视图分量属于存取单元。视图间参考图片集合的每一视图分量与一不同视图相关联。视频解码器可基于参考图片集合产生当前视图分量的参考图片列表。此外，所述视频解码器可基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少若干部分。
[0026]【专利附图】
【附图说明】实例。由附图中的参考编号指示的元件对应于由以下描述中的参考编号指示的元件。在本发明中，具有以序数词(例如，“第一”、“第二”、“第三”等等)开始的名称的元件不一定暗示所述元件具有特定次序。相反，此些序数词仅用以指代相同或类似类型的不同元件。
[0027]图1是说明可利用本发明的技术的实例视频译码系统10的框图。如本文所使用和描述，术语“视频译码器” 一般地指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”可一般地指代视频编码和视频解码。
[0028]如图1中所示,视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码视频数据。因此源装置12可称为视频编码装置或视频编码设备。目的地装置14解码源装置12所产生的经编码视频数据。因此，目的地装置14可称为视频解码装置或视频解码设备。源装置12和目的地装置14是视频译码装置或视频译码设备的实例。
[0029]源装置12和目的地装置14可包括各种各样的装置，包含桌上型计算机、移动计算装置、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车内计算机等。
[0030]目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移到目的地装置14的一个或一个以上媒体或装置。在一个实例中，信道16可包括使源装置12能够实时地将经编码视频数据直接发射到目的地装置14的一个或一个以上通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)来调制经编码视频数据，且可将经调制的视频数据发射到目的地装置14。所述一个或一个以上通信媒体可包含无线和/或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理传输线。所述一个或一个以上通信媒体可形成例如局域网、广域网或全局网络(例如，因特网)的基于包的网络的部分。所述一个或一个以上通信媒体可包含路由器、开关、基站或促进从源装置12到目的地装置14的通信的其它设备。
[0031]在另一实例中，信道16可包含存储媒体，其存储由源装置12产生的经编码视频数据。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、⑶-ROM、快闪存储器，或用于存储经编码视频数据的其它合适数字存储媒体。
[0032]在另一实例中，信道16可包含文件服务器或另一中间存储装置，其存储由源装置12产生的经编码视频数据。在此实例中，目的地装置14可经由流式传输或下载来存取存储在文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置，或本地磁盘驱动器。
[0033]目的地装置14可通过标准数据连接(包含因特网连接)来存取经编码视频数据。实例类型的数据连接可包含无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或两者的组合，其适合存取存储在文件服务器上的经编码视频数据。经编码视频数据从文件服务器的发射可为流式发射、下载发射或两者的组合。
[0034]本发明的技术不限于无线应用或设定。所述技术可应用于支持多种多媒体应用(例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如经由因特网))的视频译码，编码数字视频以供存储在数据存储媒体上、解码存储在数据存储媒体上的视频数据，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
[0035]在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一些实例中，输出接口 22可包含调制器/解调器(调制解调器)和/或发射器。视频源18可包含视频捕获装置，例如视频相机、含有先前捕获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈送接口，和/或用于产生视频数据的计算机图形系统，或此些视频数据源的组合。
[0036]视频编码器20可编码来自视频源18的视频数据。早一些实例中，源装置12经由输出接口 22将经编码视频数据直接发射到目的地装置14。在其它实例中，还可将经编码视频数据存储到存储媒体或文件服务器上，以供目的地装置14以后存取以用于解码和/或重放。
[0037]在图1的实例中，目的地装置14包含输入接口 28、视频解码器30和显示装置32。在一些实例中，输入接口 28包含接收器和/或调制解调器。输入接口 28可经由信道16接收经编码视频数据。显示装置32可与目的地装置14集成或可在目的地装置14外部。一般来说，显示装置32显示经解码视频数据。显示器32可包括多种显示装置，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
[0038]在一些实例中，视频编码器20和视频解码器30根据视频压缩标准(例如，IS0/IECMPEG-4视觉和ITU-T H.264 (也称为IS0/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展)来操作。H.264的MVC扩展的草案在2012年12月19日可用于在 http://wftp3.1tu.1nt/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip 下载，其整个内容以引用的方式并入本文中。
[0039]在其它实例中，视频编码器20和视频解码器30可根据其它视频压缩标准(包含目前在开发的高效视频译码(HEVC)标准)来操作。布罗斯等人在2011年7月在意大利都灵市举行的ITU-T SG16 WP3和IS0/IEC JTC1/SC29/WG11的视频译码联合协作团队(JCT-VC)第6次会议的“WD4:高效视频译码的工作草案4”中描述即将到来的HEVC标准的草案，称为 “HEVC 工作草案 4”,其从 2012 年 12 月 19 日起可从 http://phenix.1nt-evry.fr/jct/doc_end_user/documents/6_Torino/wglI/JCTVC-F803-v8.zip 下载，其整个内容以引用的方式并入本文中。布罗斯等人在2012年10月在中国上海市举行的ITU-T SG16 WP3和IS0/IEC JTC1/SC29/WG11的视频译码联合协作团队(JCT-VC)第11次会议的“高效视频译码(HEVC)文本说明书草案9”中描述即将到来的HEVC标准的草案，称为“HEVC工作草案 9”,其从 2012 年 12 月 19 日起可从 http://phenix.1nt-evry.fr/jet/doc_end_user/documents/1l_Shanghai/wglI/JCTVC-K1003-v8.zip 下载,其整个内容以引用的方式并入本文中。此外，视频编码器20和视频解码器30可根据HEVC的多视图扩展而操作。特科等人在2012年10月在中国上海市举行的ITU-TSG16 WP3和ISO/IEC JTC 1/SC 29/WG11的3D视频译码扩展开发联合协作团队第2次会议的“MV-HEVC工作草案2”中描述HEVC的多视图扩展的草案，其从 2012 年 12 月 19 日起可从 http://phenix.1nt-evry.fr/jct2/doc_end_user/documents/2_Shanghai/wgll/JCT3V-B1004-vl.zip 下载,其整个内容以引用的方式并入本文中。此外，视频编码器20和视频解码器30可根据HEVC的3DV扩展而操作。汉努克塞拉(Hannuksela)等人在2012年10月在瑞典斯德哥尔摩市举行的ITU-T SG16 WP3和ISO/IEC JTC 1/SC 29/WG11的3D视频译码扩展开发联合协作团队第I次会议的“3D-HEVC测试模型I”中描述HEVC的3DV扩展的草案，其从2012年12月19日起可从http://phenix.1t-sudparis.eu/jct3v/doc_end_user/documents/l_Stockholm/wglI/JCT3 V-A1005-vl.zip下载，其整个内容以引用的方式并入本文中。然而，本发明的技术不限于任何特定译码标准或技术。
[0040]图1仅为实例，且本发明的技术可适用于不一定包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据从本地存储器检索、经由网络流式传输等。编码装置可编码数据并将其存储到存储器，且/或解码装置可从存储器检索数据并对其进行解码。在许多实例中，编码和解码由不与彼此通信而是仅将数据编码到存储器且/或从存储器检索数据并对其进行解码的装置执行。
[0041]视频编码器20和视频解码器30各自可实施为多种合适电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果所述技术部分以软件来实施，装置可将用于所述软件的指令存储在合适的非暂时计算机可读存储媒体中，且可使用一个或一个以上处理器来在硬件中执行所述指令以实施本发明的技术。前述各项中的任一者(包含硬件、软件、硬件与软件的组合等)可被视为一个或一个以上处理器。视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中，其中的任一者可集成为相应装置中的组合式视频编码器/解码器(CODEC)的部分。
[0042]本发明可大体上涉及视频编码器20将某些信息“用信号通知”另一装置，例如视频解码器30。术语“用信号通知”可大体上指代用以解码经压缩视频数据的语法元素和/或其它数据的通信。此通信可实时或近实时地发生。或者，此通信可在一时间跨度上发生，例如可在编码时在经编码位流中将语法元素存储到计算机可读存储媒体时发生，解码装置接着可在存储到此媒体之后的某一时间检索所述语法元素。
[0043]如上文简要提到，视频编码器20编码视频数据。视频数据可包括一个或一个以上图片。所述图片中的每一者可为静止图像。在一些例子中，图片可称为视频“帧”。视频编码器20可产生包含形成视频数据的经译码表示的位序列的位流。视频数据的经译码表示可包含经译码图片和相关联数据。经译码图片为图片的经译码表示。所述相关联数据可包含序列参数组(SPS)、图片参数组(PPS)和其它语法结构。SPS可含有适用于零个或零个以上图片序列的参数。PPS可含有适用于零个或零个以上图片的参数。语法结构可为在位流中以指定次序一起呈现的一组零个或零个以上语法元素
[0044]视频编码器20通常对个别视频帧内的视频块进行操作以便对视频数据进行编码。在H.264/AVC中，一视频块可对应于H.264/AVC中的一宏块或一宏块的一分区。在HEVC中，视频块可对应于译码单元(CU)。视频块可具有固定的或变化的大小，且可根据指定的译码标准而大小不同。此外，每一视频帧可包括多个片。每一片可包含多个视频块。
[0045]当视频编码器20编码视频块时，视频编码器20可产生对应于所述视频块的预测性像素块。视频编码器20可执行帧内预测或帧间预测，以产生预测性像素块。当视频编码器20对视频块执行帧内预测时，视频编码器20可基于与视频块相同的视频帧内的样本(例如，像素分量的值)而产生对应于所述视频块的预测性像素块。当视频编码器20执行帧间预测以产生对应于视频块的预测性像素块时，视频编码器20可基于一个或一个以上参考图片内的样本产生预测性像素块。参考图片可为不同于含有视频块的图片的图片。
[0046]在视频编码器20产生对应于视频块的预测性像素块之后，视频编码器20可产生对应于所述视频块的残余视频块。残余视频块中的每一样本可基于视频块和预测性像素块中的对应样本之间的差异。视频编码器20可将变换应用于残余视频块，以产生一个或一个以上系数块。视频编码器20可将各种变换应用于残余视频块。举例来说，视频编码器20可将例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残余视频块。视频编码器20可量化系数块以进一步减少用于表示视频块的位的数目。在量化系数块之后，视频编码器20可执行并熵编码(例如，上下文自适应二进制算术译码(CABAC)、上下文自适应可变长度译码(CAVLC)、指数哥伦布(exponential-Golomb)译码等)表示系数块中的系数的语法元素和与所述视频块相关联的其它语法元素。视频编码器20可输出包含与视频块相关联的经熵编码语法元素的位流。
[0047]视频解码器30可接收包含视频数据的经编码表示的位流。视频解码器30可剖析位流以从位流提取语法元素。作为从位流提取语法元素的一部分，视频解码器30可将熵解码应用于位流的若干部分。对于视频数据的每一帧的每一相应视频块，视频解码器30可至少部分地基于与相应视频块相关联的语法元素执行帧间或帧内预测，以产生相应视频块的预测性像素块。另外，视频解码器30可逆量化与相应视频块相关联的系数块的系数，且可将一个或一个以上逆变换应用于系数块，以产生相应视频块的残余视频块。视频解码器30可接着至少部分地基于残余视频块和预测性像素块重构相应视频块。以此方式，通过重构帧的视频块中的每一者，视频解码器30可重构所述帧。
[0048]如上文所提到，视频编码器20可执行帧间预测以产生对应于特定视频块的预测性像素块。更具体地说，视频编码器20可执行单向帧间预测或双向帧间预测，以产生预测性像素块。
[0049]当视频编码器20对特定视频块执行单向帧间预测时，视频编码器20可在单个参考图片列表中的参考图片内搜索参考块。参考块可为类似于特定视频块的样本块。此外，当视频编码器20执行单向帧间预测时，视频编码器20可产生特定视频块的运动信息。特定视频块的运动信息可包含运动向量和参考图片索引。运动向量可指示特定视频块在当前帧(即，包含特定视频块的帧)内的位置与参考块在参考帧内的位置之间的空间移位。参考图片索引指示在含有参考图片列表的参考帧的参考图片列表内的位置。特定视频块的预测性像素块可等于参考块。
[0050]当视频编码器20对特定视频块执行双向帧间预测时，视频编码器20可在第一参考图片列表(“列表O”)中的参考图片内搜索第一参考块，且可在第二参考图片列表(“列表I”)中的参考图片内搜索第二参考块。视频编码器20可至少部分地基于第一和第二参考块产生特定视频块的预测性像素块。另外，视频编码器20可产生第一运动向量，其指示特定视频块与第一参考块之间的空间移位。视频编码器20还可产生第一参考图片索引，其识别在含有第一参考块的参考图片的第一参考图片列表内的位置。此外，视频编码器20可产生第二运动向量，其指示特定视频块与第二参考块之间的空间移位。视频编码器20还可产生第二参考图片索引，其识别在包含第二参考块的参考图片的第二参考图片列表内的位置。
[0051]当视频编码器20对特定视频块执行单向帧间预测时，视频解码器30可使用特定视频块的运动信息来识别特定视频块的参考样本。视频解码器30可接着基于特定视频块的参考样本产生特定视频块的预测性像素块。当视频编码器20对特定视频块执行双向帧间预测时，视频解码器30可使用特定视频块的运动信息来识别特定视频块的两个参考样本。视频解码器30可基于特定视频块的两个参考样本产生特定视频块的预测性像素块。
[0052]可将H.264/AVC扩展以用于多视图视频译码(MVC)。在H.264的MVC扩展中，可存在从不同视点看的同一场景的多个视图。术语“存取单元”用来指代对应于同一时刻的图片集合。因此，视频数据可概念化为随着时间过去而出现的一系列存取单元。
[0053]图2是说明实例MVC解码次序的概念图。在图2的实例中，每一正方形对应于一图片。正方形的列对应于存取单元。每一存取单元可界定为含有一时刻的所有视图的经译码图片。正方形的行对应于视图。在图2的实例中，将存取单元标记为TO到T7，且将视图标记为SO到S7。因为在下一存取单元的任何视图分量之前解码存取单元的每一图片，因此，图7的解码次序可称为时间第一译码。如图2的实例中所示，图片的解码次序可不与图片的输出或显示次序相同。
[0054]H.264/AVC的MVC扩展、HEVC的MVC扩展和其它标准用于视图间预测。视图间预测类似于H.264/AVC中所使用的帧间预测，且可使用相同语法元素。然而，当视频编码器20对视频块执行视图间预测时，视频编码器20可使用与所述视频块在同一存取单元中但在不同视图中的图片作为参考图片。相反，常规帧间预测仅使用不同存取单元中的图片作为参考图片。在MVC中，如果视频解码器(例如，视频解码器30)可不参考任何其它视图中的图片而解码视图中的图片，那么将视图称为“基础视图”。对同一存取单元的不同视图中的图片执行运动补偿可称为差异运动补偿。本发明可将用作视图间预测的参考图片的视图分量称为视图间参考视图分量。在一些实例中，视图间参考图片可为具有等于I的nal_ref_flag的视图分量，或可为具有等于O的nal_ref_flag的视图分量。
[0055]图3是说明实例MVC时间和视图间预测结构的概念图。在图3的实例中，每一正方形对应于一图片。标记为“I”的正方形为经帧内预测图片。标记为“P”的正方形为经单向帧间预测图片。标记为“B”和“b”的正方形为经双向帧间预测图片。标记为“b”的正方形为不用作其它图片的参考图片的经双向预测图片。标记为“B”的正方形为可用作其它图片的参考图片的经双向预测图片。从第一正方形指向第二正方形的箭头指示第一正方形可在帧间预测中用作第二正方形的参考图片。如由图3中的垂直箭头所指示，同一存取单元的不同视图中的图片可用作参考图片。将存取单元的一个图片用作同一存取单元的另一图片的参考图片可称为视图间预测。
[0056]在H.264/AVC的MVC扩展中，可将视图间预测实施为犹如另一视图中的图片为帧间预测参考图片。如果所述图片在不同视图中但具有与当前图片相同的时刻(即，存取单元)，那么当译码非基础视图中的当前图片时，可将图片添加到参考图片列表中。可将视图间预测参考图片放入参考图片列表的任何位置中，类似于任何其它类型的帧间预测参考图片。在H.264/AVC的MVC扩展中，视频编码器20可在视频序列的SPS的扩展中用信号通知可潜在地用于视频序列中的图片的视图间参考图片。下文的表1是用于SPS的扩展的实例语法。
[0057]表1
[0058]
【权利要求】
1.一种用于多视图数据解码的方法，所述方法包括: 从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素，所述参考图片集合包含包括属于所述存取单元且与不同视图相关联的多个视图分量的视图间参考图片集合； 基于所述参考图片集合产生所述当前视图分量的参考图片列表；以及 基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
2.根据权利要求1所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表使得所述参考图片列表包含第一子集、第二子集、第三子集、第四子集、第五子集、第六子集以及视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第四子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第五子集包括在解码次序中在所述当前视图分量之前的长 期参考视图分量，第六子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，其可用于在解码次序中在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测。
3.根据权利要求2所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一子集或所述第二子集在所述参考图片列表中第一出现，接着是所述视图间参考图片集合。
4.根据权利要求2所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一子集和所述第二子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
5.根据权利要求2所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一、第二和第五子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
6.根据权利要求1所述的方法，其进一步包括执行参考图片列表修改过程，其改变视图间参考视图分量在所述参考图片列表中的位置。
7.根据权利要求1所述的方法，其中在序列级中用信号通知所述视图间参考图片集合，且所述视图间参考图片集合由同一视图中的所有视图分量共享。
8.根据权利要求1所述的方法，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符的参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 产生所述第一参考图片列表包括产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集且不包含所述第二子集；以及 所述方法进一步包括产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集且不包含所述第一子集。
9.根据权利要求1所述的方法，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符的参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 产生所述第一参考图片列表包括产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集的在所述第二子集的任何视图间参考视图分量之前的每一视图间参考视图分量；以及 所述方法进一步包括产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集的在所述第一子集的任何视图间参考视图分量之前的每一视图间参考视图分量。
10.根据权利要求1所述的方法，其中剖析指示所述参考图片集合的所述语法元素包括从片标头剖析指示所述参考图片集合的所述语法元素。
11.一种用于视频编码的方法，所述方法包括: 基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表，所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量； 至少部分地基于所述参考图片列表中的一个或一个以上参考图片来编码所述当前视图分量；以及 产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
12.根据权利要求11所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表使得所述参考图片列表包含第一子集、第二子集、第三子集、第四子集、第五子集、第六子集以及视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第四子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第五子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，第六子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，其可用于在解码次序中在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测。
13.根据权利要求12所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一子集或所述第二子集在所述参考图片列表中第一出现，接着是所述视图间参考图片集合。
14.根据权利要求12所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一子集和所述第二子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
15.根据权利要求12所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一、第二和第五子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
16.根据权利要求11所述的方法，其进一步包括执行参考图片列表修改过程，其改变视图间参考视图分量在所述参考图片列表中的位置。
17.根据权利要求11所述的方法，其中在序列级中用信号通知所述视图间参考图片集合，且所述视图间参考图片集合由同一视图中的所有视图分量共享。
18.根据权利要求11所述的方法，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 产生所述第一参考图片列表包括产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集且不包含所述第二子集；以及 所述方法进一步包括产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集且不包含所述第一 子集。
19.根据权利要求11所述的方法，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 产生所述第一参考图片列表包括产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集的在所述第二子集的任何视图间参考视图分量之前的每一视图间参考视图分量；以及 所述方法进一步包括产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集的在所述第一子集的任何视图间参考视图分量之前的每一视图间参考视图分量。
20.根据权利要求11所述的方法，其中所述位流包含片标头，其包含指示所述参考图片集合的所述语法元素。
21.一种包括一个或一个以上处理器的视频解码装置，所述一个或一个以上处理器经配置以: 从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素，所述参考图片集合包含包括属于所述存取单元且与不同视图相关联的多个视图分量的视图间参考图片集合； 基于所述参考图片集合产生所述当前视图分量的参考图片列表；以及 基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
22.根据权利要求21所述的视频解码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，所述参考图片列表包含第一子集、第二子集、第三子集、第四子集、第五子集、第六子集以及视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第四子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第五子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，第六子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，其可用于在解码次序中在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测。
23.根据权利要求22所述的视频解码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一子集或所述第二子集在所述参考图片列表中第一出现，接着是所述视图间参考图片集合。
24.根据权利要求22所述的视频解码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一子集和所述第二子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
25.根据权利要求22所述的视频解码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一、第二和第五子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
26.根据权利要求21所述的视频解码装置，其中所述一个或一个以上处理器经配置以执行参考图片列表修改过程，其改变视图间参考视图分量的所述参考图片列表中的位置。
27.根据权利要求21所述的视频解码装置，其中在序列级中用信号通知所述视图间参考图片集合，且所述视图间参考图片集合由同一视图中的所有视图分量共享。
28.根据权利要求21所述的视频解码装置，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 所述一个或一个以上处理器经配置以: 产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集而不包含所述第二子集；且 产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集且不包含所述第一子集。
29.根据权利要求21所述的视频解码装置，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符的参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 所述一个或一个以上处理器经配置以: 产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集的在所述第二子集的任何视图间参考视图分量之前的每一视图间参考视图分量；且 产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集的在所述第一子集的任何视图间参考视图分量之前的每一视图间参考视图分量。
30.根据权利要求21所述的视频解码装置，其中所述一个或一个以上处理器经配置以从片标头剖析指示所述参考图片集合的所述语法元素。
31.一种包括一个或一个以上处理器的视频编码装置，所述一个或一个以上处理器经配置以: 基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表，所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量； 至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量；以及 产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
32.根据权利要求31所述的视频编码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，所述参考图片列表包含第一子集、第二子集、第三子集、第四子集、第五子集、第六子集以及视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第四子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第五子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，第六子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，其可用于在解码次序中在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测。
33.根据权利要求32所述的视频编码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一子集或所述第二子集在所述参考图片列表中第一出现，接着是所述视图间参考图片集合。
34.根据权利要求32所述的视频编码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一子集和所述第二子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
35.根据权利要求32所述的视频编码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一、第二和第五子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
36.根据权利要求31所述的视频编码装置，其中所述一个或一个以上处理器经配置以执行参考图片列表修改过程，其改变视图间参考视图分量的所述参考图片列表中的位置。
37.根据权利要求31所述的视频编码装置，其中在序列级中用信号通知所述视图间参考图片集合，且所述视图间参考图片集合由同一视图中的所有视图分量共享。
38.根据权利要求31所述的视频编码装置，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量；且 所述一个或一个以上处理器经配置以: 产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集而不包含所述第二子集；且 产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集且不包含所述第一子集。
39.根据权利要求31所述的视频编码装置，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符的参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 所述一个或一个以上处理器经配置以: 产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集的在所述第二子集的任何视图间参考视图分量之前的每一视图间参考视图分量；且 产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集的在所述第一子集的任何视图间参考视图分量之前的每一视图间参考视图分量。
40.根据权利要求31所述的视频编码装置，其中所述位流包含片标头，其包含指示所述参考图片集合的所述语法元素。
41.一种视频解码装置，其包括: 用于从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素的装置，所述参考图片集合包含包括属于所述存取单元且与不同视图相关联的多个视图分量的多视图参考图片集合； 用于基于所述参考图片集合产生所述当前视图分量的参考图片列表的装置；以及 用于基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分的装置。
42.一种视频编码装置，其包括: 用于基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表的装置，所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量； 用于至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量的装置；以及 用于产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流的装置。
43.一种存储计算机可执行指令的计算机可读存储媒体，所述指令在由视频解码装置的一个或一个以上处理器执行时配置所述视频解码装置以: 从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素，所述参考图片集合包含包括属于所述存取单元且与不同视图相关联的多个视图分量的多视图参考图片集合； 基于所述参考图片集合产生所述当前视图分量的参考图片列表；以及 基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
44.一种存储计算机可执行指令的计算机可读存储媒体，所述指令在由视频编码装置的一个或一个以上处理器执行时配置所述视频编码装置以: 基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表，所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量； 至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量；以及 产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
【文档编号】H04N19/597GK103999467SQ201280062632
【公开日】2014年8月20日 申请日期:2012年12月20日 优先权日:2011年12月20日
【发明者】陈颖, 王益魁, 张莉 申请人:高通股份有限公司
【专利摘要】一种视频编码器基于当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合。所述视频编码器至少部分地基于所述参考图片列表中的一个或一个以上参考图片来编码所述当前视图分量。另外，所述视频编码器产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。一种视频解码器从所述位流剖析指示所述当前视图分量的所述参考图片集合的语法元素。所述视频解码器基于所述参考图片集合产生用于所述当前视图分量的所述参考图片列表，另外，所述视频解码器基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
【专利说明】用于多视图和三维视频译码的参考图片列表建构
[0001]本申请案主张2011年12月20日申请的第61/578，178号美国临时专利申请案的权益，所述临时申请案的整个内容以引用的方式并入本文中。
【技术领域】
[0002]本发明涉及视频译码(即，视频数据的编码和/或解码)。
【背景技术】
[0003]数字视频能力可并入到较宽范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、e书籍阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等。数字视频装置实施视频压缩技术，例如由 MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4，第 10 部分，高级视频译码(AVC)界定的标准，或目前正在开发的高效视频译码(HEVC)标准或此些标准的扩展中所描述的那些技术。视频装置可通过实施此些视频压缩技术来更高效地发射、接收、编码、解码且/或存储数字视频信息。
[0004]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频片(即，视频帧或视频帧的一部分)分区成若干视频块。相对于图片中的相邻块中的参考样本，使用空间预测来编码同一图片的经帧内译码(I)片中的视频块。图片的经帧间译码(P或B)片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测，或相对于其它参考图片中的参考样本使用时间预测。图片可称为帧，且参考图片可称为参考帧。
[0005]空间或时间预测得出待译码的块的预测块。残余数据表示待译码的原始块与预测块之间的像素差。根据指向形成所述预测块的参考样本块的运动向量以及指示经译码块与预测块之间的差的残余数据来编码经帧间译码的块。根据帧内译码模式和残余数据来编码经帧内译码的块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而得出接着可量化的残余变换系数。可扫描经量化的系数(最初布置成二维阵列)，以便产生系数的一维向量，且可应用熵译码来实现更多的压缩。
【发明内容】
[0006]一种视频编码器基于当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合。所述视图间参考图片集合包含属于与当前视图分量相同的存取单元但与和当前视图分量不同的视图相关联的参考图片。视频编码器基于参考图片列表中的一个或一个以上参考图片，使用视图间预测或帧间预测来编码当前视图分量。另外，所述视频编码器产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。一种视频解码器从所述位流剖析指示所述当前视图分量的所述参考图片集合的语法元素。视频解码器基于参考图片集合产生当前视图分量的参考图片列表。另外，视频解码器基于所述参考图片列表中的一个或一个以上参考图片来解码当前视图。
[0007]在一个方面中，本发明描述一种用于多视图视频解码的方法。所述方法包括从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述方法还包括基于参考图片集合产生当前视图分量的参考图片列表。另外，所述方法包括基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
[0008]在另一方面中，本发明描述一种用于视频编码的方法。所述方法包括基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述方法还包括至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量。另外，所述方法包括产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
[0009]在另一方面中，本发明描述一种视频解码装置，其包括一个或一个以上处理器，所述处理器经配置以从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述一个或一个以上处理器还经配置以基于参考图片集合产生当前视图分量的参考图片列表。另外，所述一个或一个以上处理器经配置以基于参考图片列表中的一个或一个以上参考图片解码当前视图分量的至少一部分。
[0010]在另一方面中，本发明描述一种视频编码装置，其包括一个或一个以上处理器，所述处理器经配置以基于存取单元的当前视图分量的参考图片集合产生当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述一个或一个以上处理器还经配置以基于参考图片列表中的一个或一个以上参考图片来编码当前视图分量。另外，所述一个或一个以上处理器经配置以产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
[0011]在另一方面中，本发明描述一种视频解码装置，其包括用于从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素的装置。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述视频解码装置还包括用于基于参考图片集合产生当前视图分量的参考图片列表的装置。另外，所述视频解码装置包括用于基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分的装置。
[0012]在另一方面中，本发明描述一种视频编码装置，其包括用于基于存取单元的当前视图分量的参考图片集合产生当前视图分量的参考图片列表的装置。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述视频编码装置还包括用于至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量的装置的装置。另外，所述视频编码装置包括用于产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流的装置。
[0013]在另一方面中，本发明描述一种存储计算机可执行指令的计算机可读存储媒体，所述指令在由视频解码装置的一个或一个以上处理器执行时，配置所述视频解码装置以从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述指令还配置所述视频解码装置以基于参考图片集合产生当前视图分量的参考图片列表。此外，所述指令配置所述视频解码装置以基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
[0014]在另一方面中，本发明描述一种存储计算机可执行指令的计算机可读存储媒体，所述指令在由视频解码装置的一个或一个以上处理器执行时，配置所述视频解码装置以基于存取单元的当前视图分量的参考图片集合产生当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量。所述指令还配置所述视频编码装置以基于参考图片列表中的一个或一个以上参考图片来编码当前视图分量。另外，所述指令配置所述视频编码装置以产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
[0015]在附图及下文描述中陈述本发明的一个或一个以上实例的细节。从描述内容、图式和所附权利要求书中将了解其它特征、目标和优点。
【专利附图】
【附图说明】
[0016]图1是说明可利用本发明中所述的技术的实例视频译码系统的框图。
[0017]图2是说明实例多视图视频译码(MVC)解码次序的概念图。
[0018]图3是说明实例MVC时间和视图间预测结构的概念图。
[0019]图4是说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0020]图5是说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0021]图6是说明根据本发明的一个或一个以上技术的作为用以编码视频数据的过程的一部分的由视频编码器执行的实例操作的流程图。
[0022]图7是说明根据本发明的一个或一个以上技术的作为用以解码经编码视频数据的过程的一部分的由视频解码器执行的实例操作的流程图。
【具体实施方式】
[0023]作为帧间预测过程的一部分，视频编码器在位流中用信号通知特定视图分量的参考图片集合。特定视图分量的参考图片集合可包含可用于特定视图分量内的块的帧间预测的参考图片。在多视图译码(MVC)和3维视频(3DV)译码中，视频编码器可使用与所述特定视图分量相同的存取单元的视图分量作为用于编码所述特定视图分量的参考图片。然而，视频编码器不用信号通知视图分量的参考图片集合中的视图间参考图片。这可降低解码所述位流的视频解码器的效率。
[0024]根据本发明的技术，视频编码器可基于存取单元的当前视图分量的参考图片集合，产生用于所述当前视图分量的参考图片列表。所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元的多个视图分量。视图间参考图片集合中的每一视图分量可与一不同视图相关联。此外，所述视频编码器可至少部分地基于所述参考图片列表中的一个或一个以上参考图片来编码所述当前视图分量的至少若干部分。另外，所述视频编码器可产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
[0025]同样地，根据本发明的技术，视频解码器可从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素。参考图片集合包含视图间参考图片集合，其包含多个视图分量。视图间参考图片集合的视图分量属于存取单元。视图间参考图片集合的每一视图分量与一不同视图相关联。视频解码器可基于参考图片集合产生当前视图分量的参考图片列表。此外，所述视频解码器可基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少若干部分。
[0026]【专利附图】
【附图说明】实例。由附图中的参考编号指示的元件对应于由以下描述中的参考编号指示的元件。在本发明中，具有以序数词(例如，“第一”、“第二”、“第三”等等)开始的名称的元件不一定暗示所述元件具有特定次序。相反，此些序数词仅用以指代相同或类似类型的不同元件。
[0027]图1是说明可利用本发明的技术的实例视频译码系统10的框图。如本文所使用和描述，术语“视频译码器” 一般地指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”可一般地指代视频编码和视频解码。
[0028]如图1中所示,视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码视频数据。因此源装置12可称为视频编码装置或视频编码设备。目的地装置14解码源装置12所产生的经编码视频数据。因此，目的地装置14可称为视频解码装置或视频解码设备。源装置12和目的地装置14是视频译码装置或视频译码设备的实例。
[0029]源装置12和目的地装置14可包括各种各样的装置，包含桌上型计算机、移动计算装置、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车内计算机等。
[0030]目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移到目的地装置14的一个或一个以上媒体或装置。在一个实例中，信道16可包括使源装置12能够实时地将经编码视频数据直接发射到目的地装置14的一个或一个以上通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)来调制经编码视频数据，且可将经调制的视频数据发射到目的地装置14。所述一个或一个以上通信媒体可包含无线和/或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理传输线。所述一个或一个以上通信媒体可形成例如局域网、广域网或全局网络(例如，因特网)的基于包的网络的部分。所述一个或一个以上通信媒体可包含路由器、开关、基站或促进从源装置12到目的地装置14的通信的其它设备。
[0031]在另一实例中，信道16可包含存储媒体，其存储由源装置12产生的经编码视频数据。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、⑶-ROM、快闪存储器，或用于存储经编码视频数据的其它合适数字存储媒体。
[0032]在另一实例中，信道16可包含文件服务器或另一中间存储装置，其存储由源装置12产生的经编码视频数据。在此实例中，目的地装置14可经由流式传输或下载来存取存储在文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置，或本地磁盘驱动器。
[0033]目的地装置14可通过标准数据连接(包含因特网连接)来存取经编码视频数据。实例类型的数据连接可包含无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或两者的组合，其适合存取存储在文件服务器上的经编码视频数据。经编码视频数据从文件服务器的发射可为流式发射、下载发射或两者的组合。
[0034]本发明的技术不限于无线应用或设定。所述技术可应用于支持多种多媒体应用(例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如经由因特网))的视频译码，编码数字视频以供存储在数据存储媒体上、解码存储在数据存储媒体上的视频数据，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
[0035]在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一些实例中，输出接口 22可包含调制器/解调器(调制解调器)和/或发射器。视频源18可包含视频捕获装置，例如视频相机、含有先前捕获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈送接口，和/或用于产生视频数据的计算机图形系统，或此些视频数据源的组合。
[0036]视频编码器20可编码来自视频源18的视频数据。早一些实例中，源装置12经由输出接口 22将经编码视频数据直接发射到目的地装置14。在其它实例中，还可将经编码视频数据存储到存储媒体或文件服务器上，以供目的地装置14以后存取以用于解码和/或重放。
[0037]在图1的实例中，目的地装置14包含输入接口 28、视频解码器30和显示装置32。在一些实例中，输入接口 28包含接收器和/或调制解调器。输入接口 28可经由信道16接收经编码视频数据。显示装置32可与目的地装置14集成或可在目的地装置14外部。一般来说，显示装置32显示经解码视频数据。显示器32可包括多种显示装置，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
[0038]在一些实例中，视频编码器20和视频解码器30根据视频压缩标准(例如，IS0/IECMPEG-4视觉和ITU-T H.264 (也称为IS0/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展)来操作。H.264的MVC扩展的草案在2012年12月19日可用于在 http://wftp3.1tu.1nt/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip 下载，其整个内容以引用的方式并入本文中。
[0039]在其它实例中，视频编码器20和视频解码器30可根据其它视频压缩标准(包含目前在开发的高效视频译码(HEVC)标准)来操作。布罗斯等人在2011年7月在意大利都灵市举行的ITU-T SG16 WP3和IS0/IEC JTC1/SC29/WG11的视频译码联合协作团队(JCT-VC)第6次会议的“WD4:高效视频译码的工作草案4”中描述即将到来的HEVC标准的草案，称为 “HEVC 工作草案 4”,其从 2012 年 12 月 19 日起可从 http://phenix.1nt-evry.fr/jct/doc_end_user/documents/6_Torino/wglI/JCTVC-F803-v8.zip 下载，其整个内容以引用的方式并入本文中。布罗斯等人在2012年10月在中国上海市举行的ITU-T SG16 WP3和IS0/IEC JTC1/SC29/WG11的视频译码联合协作团队(JCT-VC)第11次会议的“高效视频译码(HEVC)文本说明书草案9”中描述即将到来的HEVC标准的草案，称为“HEVC工作草案 9”,其从 2012 年 12 月 19 日起可从 http://phenix.1nt-evry.fr/jet/doc_end_user/documents/1l_Shanghai/wglI/JCTVC-K1003-v8.zip 下载,其整个内容以引用的方式并入本文中。此外，视频编码器20和视频解码器30可根据HEVC的多视图扩展而操作。特科等人在2012年10月在中国上海市举行的ITU-TSG16 WP3和ISO/IEC JTC 1/SC 29/WG11的3D视频译码扩展开发联合协作团队第2次会议的“MV-HEVC工作草案2”中描述HEVC的多视图扩展的草案，其从 2012 年 12 月 19 日起可从 http://phenix.1nt-evry.fr/jct2/doc_end_user/documents/2_Shanghai/wgll/JCT3V-B1004-vl.zip 下载,其整个内容以引用的方式并入本文中。此外，视频编码器20和视频解码器30可根据HEVC的3DV扩展而操作。汉努克塞拉(Hannuksela)等人在2012年10月在瑞典斯德哥尔摩市举行的ITU-T SG16 WP3和ISO/IEC JTC 1/SC 29/WG11的3D视频译码扩展开发联合协作团队第I次会议的“3D-HEVC测试模型I”中描述HEVC的3DV扩展的草案，其从2012年12月19日起可从http://phenix.1t-sudparis.eu/jct3v/doc_end_user/documents/l_Stockholm/wglI/JCT3 V-A1005-vl.zip下载，其整个内容以引用的方式并入本文中。然而，本发明的技术不限于任何特定译码标准或技术。
[0040]图1仅为实例，且本发明的技术可适用于不一定包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据从本地存储器检索、经由网络流式传输等。编码装置可编码数据并将其存储到存储器，且/或解码装置可从存储器检索数据并对其进行解码。在许多实例中，编码和解码由不与彼此通信而是仅将数据编码到存储器且/或从存储器检索数据并对其进行解码的装置执行。
[0041]视频编码器20和视频解码器30各自可实施为多种合适电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果所述技术部分以软件来实施，装置可将用于所述软件的指令存储在合适的非暂时计算机可读存储媒体中，且可使用一个或一个以上处理器来在硬件中执行所述指令以实施本发明的技术。前述各项中的任一者(包含硬件、软件、硬件与软件的组合等)可被视为一个或一个以上处理器。视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中，其中的任一者可集成为相应装置中的组合式视频编码器/解码器(CODEC)的部分。
[0042]本发明可大体上涉及视频编码器20将某些信息“用信号通知”另一装置，例如视频解码器30。术语“用信号通知”可大体上指代用以解码经压缩视频数据的语法元素和/或其它数据的通信。此通信可实时或近实时地发生。或者，此通信可在一时间跨度上发生，例如可在编码时在经编码位流中将语法元素存储到计算机可读存储媒体时发生，解码装置接着可在存储到此媒体之后的某一时间检索所述语法元素。
[0043]如上文简要提到，视频编码器20编码视频数据。视频数据可包括一个或一个以上图片。所述图片中的每一者可为静止图像。在一些例子中，图片可称为视频“帧”。视频编码器20可产生包含形成视频数据的经译码表示的位序列的位流。视频数据的经译码表示可包含经译码图片和相关联数据。经译码图片为图片的经译码表示。所述相关联数据可包含序列参数组(SPS)、图片参数组(PPS)和其它语法结构。SPS可含有适用于零个或零个以上图片序列的参数。PPS可含有适用于零个或零个以上图片的参数。语法结构可为在位流中以指定次序一起呈现的一组零个或零个以上语法元素
[0044]视频编码器20通常对个别视频帧内的视频块进行操作以便对视频数据进行编码。在H.264/AVC中，一视频块可对应于H.264/AVC中的一宏块或一宏块的一分区。在HEVC中，视频块可对应于译码单元(CU)。视频块可具有固定的或变化的大小，且可根据指定的译码标准而大小不同。此外，每一视频帧可包括多个片。每一片可包含多个视频块。
[0045]当视频编码器20编码视频块时，视频编码器20可产生对应于所述视频块的预测性像素块。视频编码器20可执行帧内预测或帧间预测，以产生预测性像素块。当视频编码器20对视频块执行帧内预测时，视频编码器20可基于与视频块相同的视频帧内的样本(例如，像素分量的值)而产生对应于所述视频块的预测性像素块。当视频编码器20执行帧间预测以产生对应于视频块的预测性像素块时，视频编码器20可基于一个或一个以上参考图片内的样本产生预测性像素块。参考图片可为不同于含有视频块的图片的图片。
[0046]在视频编码器20产生对应于视频块的预测性像素块之后，视频编码器20可产生对应于所述视频块的残余视频块。残余视频块中的每一样本可基于视频块和预测性像素块中的对应样本之间的差异。视频编码器20可将变换应用于残余视频块，以产生一个或一个以上系数块。视频编码器20可将各种变换应用于残余视频块。举例来说，视频编码器20可将例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残余视频块。视频编码器20可量化系数块以进一步减少用于表示视频块的位的数目。在量化系数块之后，视频编码器20可执行并熵编码(例如，上下文自适应二进制算术译码(CABAC)、上下文自适应可变长度译码(CAVLC)、指数哥伦布(exponential-Golomb)译码等)表示系数块中的系数的语法元素和与所述视频块相关联的其它语法元素。视频编码器20可输出包含与视频块相关联的经熵编码语法元素的位流。
[0047]视频解码器30可接收包含视频数据的经编码表示的位流。视频解码器30可剖析位流以从位流提取语法元素。作为从位流提取语法元素的一部分，视频解码器30可将熵解码应用于位流的若干部分。对于视频数据的每一帧的每一相应视频块，视频解码器30可至少部分地基于与相应视频块相关联的语法元素执行帧间或帧内预测，以产生相应视频块的预测性像素块。另外，视频解码器30可逆量化与相应视频块相关联的系数块的系数，且可将一个或一个以上逆变换应用于系数块，以产生相应视频块的残余视频块。视频解码器30可接着至少部分地基于残余视频块和预测性像素块重构相应视频块。以此方式，通过重构帧的视频块中的每一者，视频解码器30可重构所述帧。
[0048]如上文所提到，视频编码器20可执行帧间预测以产生对应于特定视频块的预测性像素块。更具体地说，视频编码器20可执行单向帧间预测或双向帧间预测，以产生预测性像素块。
[0049]当视频编码器20对特定视频块执行单向帧间预测时，视频编码器20可在单个参考图片列表中的参考图片内搜索参考块。参考块可为类似于特定视频块的样本块。此外，当视频编码器20执行单向帧间预测时，视频编码器20可产生特定视频块的运动信息。特定视频块的运动信息可包含运动向量和参考图片索引。运动向量可指示特定视频块在当前帧(即，包含特定视频块的帧)内的位置与参考块在参考帧内的位置之间的空间移位。参考图片索引指示在含有参考图片列表的参考帧的参考图片列表内的位置。特定视频块的预测性像素块可等于参考块。
[0050]当视频编码器20对特定视频块执行双向帧间预测时，视频编码器20可在第一参考图片列表(“列表O”)中的参考图片内搜索第一参考块，且可在第二参考图片列表(“列表I”)中的参考图片内搜索第二参考块。视频编码器20可至少部分地基于第一和第二参考块产生特定视频块的预测性像素块。另外，视频编码器20可产生第一运动向量，其指示特定视频块与第一参考块之间的空间移位。视频编码器20还可产生第一参考图片索引，其识别在含有第一参考块的参考图片的第一参考图片列表内的位置。此外，视频编码器20可产生第二运动向量，其指示特定视频块与第二参考块之间的空间移位。视频编码器20还可产生第二参考图片索引，其识别在包含第二参考块的参考图片的第二参考图片列表内的位置。
[0051]当视频编码器20对特定视频块执行单向帧间预测时，视频解码器30可使用特定视频块的运动信息来识别特定视频块的参考样本。视频解码器30可接着基于特定视频块的参考样本产生特定视频块的预测性像素块。当视频编码器20对特定视频块执行双向帧间预测时，视频解码器30可使用特定视频块的运动信息来识别特定视频块的两个参考样本。视频解码器30可基于特定视频块的两个参考样本产生特定视频块的预测性像素块。
[0052]可将H.264/AVC扩展以用于多视图视频译码(MVC)。在H.264的MVC扩展中，可存在从不同视点看的同一场景的多个视图。术语“存取单元”用来指代对应于同一时刻的图片集合。因此，视频数据可概念化为随着时间过去而出现的一系列存取单元。
[0053]图2是说明实例MVC解码次序的概念图。在图2的实例中，每一正方形对应于一图片。正方形的列对应于存取单元。每一存取单元可界定为含有一时刻的所有视图的经译码图片。正方形的行对应于视图。在图2的实例中，将存取单元标记为TO到T7，且将视图标记为SO到S7。因为在下一存取单元的任何视图分量之前解码存取单元的每一图片，因此，图7的解码次序可称为时间第一译码。如图2的实例中所示，图片的解码次序可不与图片的输出或显示次序相同。
[0054]H.264/AVC的MVC扩展、HEVC的MVC扩展和其它标准用于视图间预测。视图间预测类似于H.264/AVC中所使用的帧间预测，且可使用相同语法元素。然而，当视频编码器20对视频块执行视图间预测时，视频编码器20可使用与所述视频块在同一存取单元中但在不同视图中的图片作为参考图片。相反，常规帧间预测仅使用不同存取单元中的图片作为参考图片。在MVC中，如果视频解码器(例如，视频解码器30)可不参考任何其它视图中的图片而解码视图中的图片，那么将视图称为“基础视图”。对同一存取单元的不同视图中的图片执行运动补偿可称为差异运动补偿。本发明可将用作视图间预测的参考图片的视图分量称为视图间参考视图分量。在一些实例中，视图间参考图片可为具有等于I的nal_ref_flag的视图分量，或可为具有等于O的nal_ref_flag的视图分量。
[0055]图3是说明实例MVC时间和视图间预测结构的概念图。在图3的实例中，每一正方形对应于一图片。标记为“I”的正方形为经帧内预测图片。标记为“P”的正方形为经单向帧间预测图片。标记为“B”和“b”的正方形为经双向帧间预测图片。标记为“b”的正方形为不用作其它图片的参考图片的经双向预测图片。标记为“B”的正方形为可用作其它图片的参考图片的经双向预测图片。从第一正方形指向第二正方形的箭头指示第一正方形可在帧间预测中用作第二正方形的参考图片。如由图3中的垂直箭头所指示，同一存取单元的不同视图中的图片可用作参考图片。将存取单元的一个图片用作同一存取单元的另一图片的参考图片可称为视图间预测。
[0056]在H.264/AVC的MVC扩展中，可将视图间预测实施为犹如另一视图中的图片为帧间预测参考图片。如果所述图片在不同视图中但具有与当前图片相同的时刻(即，存取单元)，那么当译码非基础视图中的当前图片时，可将图片添加到参考图片列表中。可将视图间预测参考图片放入参考图片列表的任何位置中，类似于任何其它类型的帧间预测参考图片。在H.264/AVC的MVC扩展中，视频编码器20可在视频序列的SPS的扩展中用信号通知可潜在地用于视频序列中的图片的视图间参考图片。下文的表1是用于SPS的扩展的实例语法。
[0057]表1
[0058]
【权利要求】
1.一种用于多视图数据解码的方法，所述方法包括: 从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素，所述参考图片集合包含包括属于所述存取单元且与不同视图相关联的多个视图分量的视图间参考图片集合； 基于所述参考图片集合产生所述当前视图分量的参考图片列表；以及 基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
2.根据权利要求1所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表使得所述参考图片列表包含第一子集、第二子集、第三子集、第四子集、第五子集、第六子集以及视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第四子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第五子集包括在解码次序中在所述当前视图分量之前的长 期参考视图分量，第六子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，其可用于在解码次序中在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测。
3.根据权利要求2所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一子集或所述第二子集在所述参考图片列表中第一出现，接着是所述视图间参考图片集合。
4.根据权利要求2所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一子集和所述第二子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
5.根据权利要求2所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一、第二和第五子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
6.根据权利要求1所述的方法，其进一步包括执行参考图片列表修改过程，其改变视图间参考视图分量在所述参考图片列表中的位置。
7.根据权利要求1所述的方法，其中在序列级中用信号通知所述视图间参考图片集合，且所述视图间参考图片集合由同一视图中的所有视图分量共享。
8.根据权利要求1所述的方法，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符的参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 产生所述第一参考图片列表包括产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集且不包含所述第二子集；以及 所述方法进一步包括产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集且不包含所述第一子集。
9.根据权利要求1所述的方法，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符的参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 产生所述第一参考图片列表包括产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集的在所述第二子集的任何视图间参考视图分量之前的每一视图间参考视图分量；以及 所述方法进一步包括产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集的在所述第一子集的任何视图间参考视图分量之前的每一视图间参考视图分量。
10.根据权利要求1所述的方法，其中剖析指示所述参考图片集合的所述语法元素包括从片标头剖析指示所述参考图片集合的所述语法元素。
11.一种用于视频编码的方法，所述方法包括: 基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表，所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量； 至少部分地基于所述参考图片列表中的一个或一个以上参考图片来编码所述当前视图分量；以及 产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
12.根据权利要求11所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表使得所述参考图片列表包含第一子集、第二子集、第三子集、第四子集、第五子集、第六子集以及视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第四子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第五子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，第六子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，其可用于在解码次序中在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测。
13.根据权利要求12所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一子集或所述第二子集在所述参考图片列表中第一出现，接着是所述视图间参考图片集合。
14.根据权利要求12所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一子集和所述第二子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
15.根据权利要求12所述的方法，其中产生所述参考图片列表包括产生所述参考图片列表，使得所述第一、第二和第五子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
16.根据权利要求11所述的方法，其进一步包括执行参考图片列表修改过程，其改变视图间参考视图分量在所述参考图片列表中的位置。
17.根据权利要求11所述的方法，其中在序列级中用信号通知所述视图间参考图片集合，且所述视图间参考图片集合由同一视图中的所有视图分量共享。
18.根据权利要求11所述的方法，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 产生所述第一参考图片列表包括产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集且不包含所述第二子集；以及 所述方法进一步包括产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集且不包含所述第一 子集。
19.根据权利要求11所述的方法，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 产生所述第一参考图片列表包括产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集的在所述第二子集的任何视图间参考视图分量之前的每一视图间参考视图分量；以及 所述方法进一步包括产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集的在所述第一子集的任何视图间参考视图分量之前的每一视图间参考视图分量。
20.根据权利要求11所述的方法，其中所述位流包含片标头，其包含指示所述参考图片集合的所述语法元素。
21.一种包括一个或一个以上处理器的视频解码装置，所述一个或一个以上处理器经配置以: 从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素，所述参考图片集合包含包括属于所述存取单元且与不同视图相关联的多个视图分量的视图间参考图片集合； 基于所述参考图片集合产生所述当前视图分量的参考图片列表；以及 基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
22.根据权利要求21所述的视频解码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，所述参考图片列表包含第一子集、第二子集、第三子集、第四子集、第五子集、第六子集以及视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第四子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第五子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，第六子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，其可用于在解码次序中在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测。
23.根据权利要求22所述的视频解码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一子集或所述第二子集在所述参考图片列表中第一出现，接着是所述视图间参考图片集合。
24.根据权利要求22所述的视频解码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一子集和所述第二子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
25.根据权利要求22所述的视频解码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一、第二和第五子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
26.根据权利要求21所述的视频解码装置，其中所述一个或一个以上处理器经配置以执行参考图片列表修改过程，其改变视图间参考视图分量的所述参考图片列表中的位置。
27.根据权利要求21所述的视频解码装置，其中在序列级中用信号通知所述视图间参考图片集合，且所述视图间参考图片集合由同一视图中的所有视图分量共享。
28.根据权利要求21所述的视频解码装置，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 所述一个或一个以上处理器经配置以: 产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集而不包含所述第二子集；且 产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集且不包含所述第一子集。
29.根据权利要求21所述的视频解码装置，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符的参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 所述一个或一个以上处理器经配置以: 产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集的在所述第二子集的任何视图间参考视图分量之前的每一视图间参考视图分量；且 产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集的在所述第一子集的任何视图间参考视图分量之前的每一视图间参考视图分量。
30.根据权利要求21所述的视频解码装置，其中所述一个或一个以上处理器经配置以从片标头剖析指示所述参考图片集合的所述语法元素。
31.一种包括一个或一个以上处理器的视频编码装置，所述一个或一个以上处理器经配置以: 基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表，所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量； 至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量；以及 产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
32.根据权利要求31所述的视频编码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，所述参考图片列表包含第一子集、第二子集、第三子集、第四子集、第五子集、第六子集以及视图间参考图片集合，所述第一子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，所述第二子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，所述第三子集包括在解码次序和输出次序两者中在所述当前视图分量之前的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第四子集包括在解码次序中在所述当前视图分量之前且在输出次序中在所述当前视图分量之后的短期参考视图分量，其可用于在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测，所述第五子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，第六子集包括在解码次序中在所述当前视图分量之前的长期参考视图分量，其可用于在解码次序中在所述当前视图分量之后的一个或一个以上视图分量的帧间预测且不用于所述当前视图分量的帧间预测。
33.根据权利要求32所述的视频编码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一子集或所述第二子集在所述参考图片列表中第一出现，接着是所述视图间参考图片集合。
34.根据权利要求32所述的视频编码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一子集和所述第二子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
35.根据权利要求32所述的视频编码装置，其中所述一个或一个以上处理器经配置以产生所述参考图片列表，使得所述第一、第二和第五子集在所述参考图片列表中出现，接着是所述视图间参考图片集合。
36.根据权利要求31所述的视频编码装置，其中所述一个或一个以上处理器经配置以执行参考图片列表修改过程，其改变视图间参考视图分量的所述参考图片列表中的位置。
37.根据权利要求31所述的视频编码装置，其中在序列级中用信号通知所述视图间参考图片集合，且所述视图间参考图片集合由同一视图中的所有视图分量共享。
38.根据权利要求31所述的视频编码装置，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量；且 所述一个或一个以上处理器经配置以: 产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集而不包含所述第二子集；且 产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集且不包含所述第一子集。
39.根据权利要求31所述的视频编码装置，其中: 所述参考图片列表为第一参考图片列表，且所述视图间参考图片集合包括第一子集和第二子集，所述第一子集包含所述视图间参考图片集合的具有小于所述当前视图分量的视图识别符的视图识别符的参考视图分量，所述第二子集包含所述视图间参考图片集合的具有大于所述当前视图分量的所述视图识别符的视图识别符的参考视图分量； 所述一个或一个以上处理器经配置以: 产生所述第一参考图片列表，使得所述第一参考图片列表包含所述第一子集的在所述第二子集的任何视图间参考视图分量之前的每一视图间参考视图分量；且 产生第二参考图片列表，使得所述第二参考图片列表包含所述第二子集的在所述第一子集的任何视图间参考视图分量之前的每一视图间参考视图分量。
40.根据权利要求31所述的视频编码装置，其中所述位流包含片标头，其包含指示所述参考图片集合的所述语法元素。
41.一种视频解码装置，其包括: 用于从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素的装置，所述参考图片集合包含包括属于所述存取单元且与不同视图相关联的多个视图分量的多视图参考图片集合； 用于基于所述参考图片集合产生所述当前视图分量的参考图片列表的装置；以及 用于基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分的装置。
42.一种视频编码装置，其包括: 用于基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表的装置，所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量； 用于至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量的装置；以及 用于产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流的装置。
43.一种存储计算机可执行指令的计算机可读存储媒体，所述指令在由视频解码装置的一个或一个以上处理器执行时配置所述视频解码装置以: 从位流剖析指示存取单元的当前视图分量的参考图片集合的语法元素，所述参考图片集合包含包括属于所述存取单元且与不同视图相关联的多个视图分量的多视图参考图片集合； 基于所述参考图片集合产生所述当前视图分量的参考图片列表；以及 基于所述参考图片列表中的一个或一个以上参考图片来解码所述当前视图分量的至少一部分。
44.一种存储计算机可执行指令的计算机可读存储媒体，所述指令在由视频编码装置的一个或一个以上处理器执行时配置所述视频编码装置以: 基于存取单元的当前视图分量的参考图片集合产生用于所述当前视图分量的参考图片列表，所述参考图片集合包含视图间参考图片集合，其包含属于所述存取单元且与不同视图相关联的多个视图分量； 至少部分地基于所述参考图片集合中的一个或一个以上参考图片来编码所述当前视图分量；以及 产生包含指示所述当前视图分量的所述参考图片集合的语法元素的位流。
【文档编号】H04N19/597GK103999467SQ201280062632
【公开日】2014年8月20日 申请日期:2012年12月20日 优先权日:2011年12月20日
【发明者】陈颖, 王益魁, 张莉 申请人:高通股份有限公司
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1