在使用深度的3d视频译码中的多重假设差异向量构建的制作方法
【专利摘要】本发明描述一种用于解码和编码多重视图视频数据的方法和设备。一种实例方法可包含：使用运动向量预测过程来译码视频数据块；确定运动向量候选者列表；确定用于所述运动预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量SDV、平滑时间视图STV差异向量、视图差异向量VDV和时间差异向量TDV；以及使用所述差异向量候选者列表和所述运动向量候选者列表中的一者来执行所述运动向量预测过程。
【专利说明】在使用深度的3D视频译码中的多重假设差异向量构建
[0001]本申请案主张2012年I月6日申请的美国临时申请案第61/584，089号的权利，所述临时申请案的全部内容被以引用方式并入本文中。
【技术领域】
[0002]本发明涉及用于视频译码的技术，且更具体来说，涉及用于3D视频译码的技术。【背景技术】
[0003]数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主控台、蜂窝式或卫星无线电电话、视频电传会议装置和类似者。数字视频装置实施例如以下各者所描述的技术的视频压缩技术以更有效率地发射、接收和存储数字视频信息:由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(先进视频译码(AVC))定义的标准；目前在开发中的高效率视频译码(HEVC)标准；和这些标准的扩展。
[0004]包含H.264/AVC之前述标准中的一些标准的扩展提供用于多重视图视频译码(multiview video coding)的技术，以便产生立体或三维(“3D”)视频。明确地说，在使用可按比例调整式视频译码(SVC)标准(其为H.264/AVC的可按比例调整式扩展)和多重视图视频译码(MVC)标准(其已成为H.264/AVC的多重视图扩展)的情况下，已提议用于多重视图译码的技术以供AVC中使用。
[0005]通常，使用两个视图(例如，左视图和右视图)来达成立体视频。可实质上同时地显示左视图的图片与右视图的图片以达成三维视频效果。例如，用户可佩戴将左视图从右视图滤除的偏光被动式眼镜。替代地，可快速接连地展示两个视图的图片，且用户可佩戴以相同频率但以90度的相移快速地对左眼和右眼进行遮光的主动式眼镜。
【发明内容】
[0006]大体上，本发明描述用于3D视频译码的技术。明确地说，本发明涉及在多重视图加深度视频译码中的多重假设差异向量构建。
[0007]在本发明的一个实例中，一种解码多重视图视频数据的方法包括:确定用于运动向量预测过程的运动向量候选者列表；确定用于所述运动向量预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量(SDV)、视图差异向量(VDV)和时间差异向量(TDV);以及使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来解码视频数据块。
[0008]在本发明的另一实例中，一种编码多重视图视频数据的方法包括:确定用于运动向量预测过程的运动向量候选者列表；确定用于所述运动预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量(SDV)、视图差异向量(VDV)和时间差异向量(TDV);以及使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来编码视频数据块。
[0009]在本发明的另一实例中，一种经配置以解码多重视图视频数据的设备包括视频解码器，所述视频解码器经配置以:确定用于运动向量预测过程的运动向量候选者列表；确定用于所述运动向量预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量(SDV)、视图差异向量(VDV)和时间差异向量(TDV);以及使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来解码视频数据块。
[0010]在本发明的另一实例中，一种经配置以编码多重视图视频数据的设备包括视频编码器，所述视频编码器经配置以:确定用于运动向量预测过程的运动向量候选者列表；确定用于所述运动预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量(SDV)、视图差异向量(VDV)和时间差异向量(TDV);以及使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来编码视频数据块。
[0011]在本发明的另一实例中，一种经配置以解码多重视图视频数据的设备包括:用于确定用于运动向量预测过程的运动向量候选者列表的装置；用于确定用于所述运动向量预测过程的差异向量候选者列表的装置，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量(SDV)、视图差异向量(VDV)和时间差异向量(TDV);以及用于使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来解码视频数据块的装置。
[0012]在本发明的另一实例中，一种经配置以编码多重视图视频数据的设备包括:用于确定用于运动向量预测过程的运动向量候选者列表的装置；用于确定用于所述运动预测过程的差异向量候选者列表的装置，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量(SDV)、视图差异向量(VDV)和时间差异向量(TDV);以及用于使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来编码视频数据块的装置。
[0013]在本发明的另一实例中，一种存储指令的计算机可读存储媒体，所述指令在被执行时使经配置以解码多重视图视频数据的装置的一或多个处理器:确定用于运动向量预测过程的运动向量候选者列表；确定用于所述运动向量预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量(SDV)、视图差异向量(VDV)和时间差异向量(TDV)；且使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来解码视频数据块。
[0014]在本发明的另一实例中，一种存储指令的计算机可读存储媒体，所述指令在被执行时使经配置的装置的一或多个处理器:确定用于运动向量预测过程的运动向量候选者列表；确定用于所述运动预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量(SDV)、视图差异向量(VDV)和时间差异向量(TDV);且使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来编码视频数据块。
[0015]一或多个实例的细节被阐述于以下随附图式和描述中。其它特征、目标和优点将从所述描述和所述图式以及从权利要求书变得显而易见。
【专利附图】
【附图说明】
[0016]图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统的框图。
[0017]图2为说明实例多重视图解码次序的概念图。
[0018]图3为说明用于多重视图译码的实例预测结构的概念图。
[0019]图4为说明用于运动向量预测过程的候选块的概念图。
[0020]图5为说明在译码随机存取单元的第一相依视图之后产生初始深度图估计的概念图。
[0021]图6为说明使用同一存取单元的已经译码视图的运动参数来导出当前图片的深度图估计的概念图。
[0022]图7为说明用于基于经译码运动和差异向量而更新相依视图的深度图估计的过程的概念图。
[0023]图8为说明可实施本发明所描述的技术的实例视频编码器的框图。
[0024]图9为说明可实施本发明所描述的技术的实例视频解码器的框图。
[0025]图10为说明根据本发明的技术的实例解码方法的流程图。
[0026]图11为说明根据本发明的技术的实例编码方法的流程图。
【具体实施方式】
[0027]大体上，本发明描述用于基于先进编码解码器的多重视图(例如，3D)视频译码的技术，包含使用高效率视频译码(HEVC)编码解码器来译码两个或两个以上视图。在一些实例中，提议关于在以HEVC为基础的多重视图加深度视频译码(有时被称为3DV或3D-HEVC)中的差异向量构建的技术。然而，本发明的技术一般地可适用于任何多重视图加深度视频译码技术，包含使用多重视图加深度的H.264/先进视频译码(AVC)技术。
[0028]本发明与基于先进编码解码器的3D视频译码有关，包含使用深度图来译码图片的两个或两个以上视图。一开始将论述H.264/AVC技术的3D视频译码技术。然而，本发明的技术可适用于支持3D译码和视图合成预测的任何视频译码标准。
[0029]其它视频译码标准包含ITU-T H.261,IS0/IEC MPEG-1Visual,ITU-T H.262或 ISO/IEC MPEG-2Visual、ITU-T H.263、IS0/IEC MPEG_4Visual 和 ITU-T H.264(也被称为 ISO/IECMPEG-4AVC)，包含其可按比例调整式视频译码(SVC)和多重视图视频译码(MVC)扩展。MVC的最新联合草案被描述于“针对一般视听服务的先进视频译码(Advanced video codingfor generic aud1visual services) ” (ITU-T 推荐 H.264, 2010 年 3 月)中。另外，新视频译码标准(即，高效率视频译码(HEVC))当前正由ITU-T视频译码专家群组(VCEG)和ISO/IEC动画专家群组(MPEG)的视频译码联合协作小组(JCT-VC)开发。HEVC的一工作草案(WD)被描述于JCTVC-Gl 103的“WD5:高效率视频译码的工作草案5 (WD5 =Working Draft5ofHigh-Efficiency Video Coding)”(第 7 次会议:瑞士日内瓦，2011 年 11 月 21 到 30 日)中。HEVC的更新近WD被描述于JCTVC-K1003的“高效率视频译码(HEVC)文本规范草案9 (HighEfficiency Video Coding (HEVC) text specificat1n draft9) ” (第 11 次会议:中国上海，2012 年 10 月 10 到 19 日)中，且从 2012 年 12 月 17 日时起可于 http://phenix.1nt-evrv.fr/ict/doc end user/documents/11 Shanghai/wgll/.TCTVC-K1003-vl2.zip 处下载而得到，其全部内容被以引用方式并入本文中。
[0030]如下文将更详细地所论述，针对HEVC的多重视图扩展(包含多重视图加深度扩展)的当前提议允许在用于运动向量预测的候选者列表中使用差异向量和运动向量两者。然而，这些提议呈现在用信号发送效率低下方面的缺点，以及在从差异向量计算深度值的情形中的潜在误差传播问题。鉴于这些缺点，本发明描述用于在用于运动向量预测的候选者列表中使用多个类型的差异向量(即，多重假设差异向量构建)的技术。
[0031]图1为说明实例视频编码和解码系统10的框图，系统10可利用本发明中所描述的用于多重假设差异向量构建的技术。如图1中所示，系统10包含源装置12，源装置12产生经编码视频数据以在稍后时间由目的地装置14解码。源装置12和目的地装置14可包括广泛范围的装置中任一者，所述装置包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机上盒、例如所谓的“智能型”手机的电话手机、所谓的“智能型”板、电视、相机、显示装置、数字媒体播放器、视频游戏主控台、视频流式传输装置或类似者。在一些状况下，源装置12和目的地装置14可经装备用于无线通信。
[0032]目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括通信媒体以使源装置12能够实时地将经编码视频数据直接传输到目的地装置14。经编码视频数据可根据例如无线通信协议的通信标准来调制，且被传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成以封包为基础的网络(例如，局域网、广域网，或例如因特网的全域网络)的部分。通信媒体可包含路由器、交换器、基地台，或可有用于促进从源装置12到目的地装置14的通信的任何其它装备。
[0033]替代地，可将经编码数据从输出接口 22输出到存储装置32。类似地，可由输入接口从存储装置32存取经编码数据。存储装置32可包含例如以下各者的多种分散式或本地存取式数据存储媒体中任一者:硬盘机、蓝光光盘、DVD、CD-R0M、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在再一实例中，存储装置32可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载而从存储装置32存取经存储视频数据。文件服务器可为能够存储经编码视频数据且将彼经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附接式存储(NAS)装置，或本地磁盘机。目的地装置14可经由包含因特网连接的任何标准数据连接而存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)或两者的组合。来自存储装置32的经编码视频数据的传输可为流式传输传输、下载传输或两者的组合。
[0034]本发明的用于多重假设差异向量构建的技术未必限于无线应用或设定。所述技术可应用于支持例如以下各者的多种多媒体应用中任一者的视频译码:空中电视广播、有线电视传输、卫星电视传输、流式传输视频传输(例如，经由因特网)、编码数字视频以供存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输来支持例如视频流式传输、视频重放、视频广播和/或视频电话的应用。
[0035]在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一些状况下，输出接口 22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如以下各者的源:视频俘获装置(例如，摄像机)、含有经先前俘获视频的视频封存件、用以从视频内容提供者接收视频的视频馈入接口，和/或用于产生计算机图形数据作为源视频的计算机图形系统，或这些源的组合。作为一个实例，如果视频源18为摄像机，那么源装置12和目的地装置14可形成所谓摄影机电话或视频电话。然而，本发明所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。
[0036]经俘获、经预俘获或经计算机产生视频可由视频编码器20编码。经编码视频数据可经由源装置12的输出接口 22而直接传输到目的地装置14。经编码视频数据也可(或替代地)存储到存储装置32上以供目的地装置14或其它装置稍后存取，以用于解码和/或重放。
[0037]目的地装置14包含输入接口 28、视频解码器30和显示装置32。在一些状况下，输入接口 28可包含接收器和/或调制解调器。目的地装置14的输入接口 28经由链路16而接收经编码视频数据。经由链路16而传达或提供于存储装置32上的经编码视频数据可包含由视频编码器20产生以供例如视频解码器30的视频解码器用于解码所述视频数据的多种语法元素。这些语法元素可与在通信媒体上传输的经编码视频数据一起被包含、可存储于存储媒体上，或可存储于文件服务器上。
[0038]显示装置32可与目的地装置14集成，或在目的地装置14外部。在一些实例中，目的地装置14可包含集成式显示装置，且也经配置以与外部显示装置构建接口连接。在其它实例中，目的地装置14可为显示装置。大体上，显示装置32向用户显示经解码视频数据，且可包括多种显示装置中任一者，例如，液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0039]视频编码器20和视频解码器30可根据视频压缩标准(例如，目前在开发中的高效率视频译码(HEVC)标准)而操作，且可遵照HEVC测试模型(HM)。明确地说，在一些实例中，视频编码器20和视频解码器可根据支持多重视图加深度视频译码(有时被称为3DV或3D-HEVC)的HEVC扩展而操作。替代地，视频编码器20和视频解码器30可根据其它专有或工业标准(例如，ITU-T H.264标准，替代地被称作MPEG-4第10部分(先进视频译码(AVC)))或这些标准的扩展而操作。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。明确地说，根据本发明的技术，视频编码器20和视频解码器30可根据能够进行3DV和/或多重视图编码的视频译码标准(例如，3D-HEVC、H.264/MVC,等等)而操作。
[0040]尽管图1中未图示，但在一些方面，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当MUX-DEMUX单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频和视频两者的编码。在适用时，在一些实例中，MUX-DEMUX单元可遵照ITU H.223多路复用器协议，或例如用户数据报协议(UDP)的其它协议。
[0041]视频编码器20和视频解码器30各自可被实施为例如以下各者的多种合适编码器电路中任一者:一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件来实施时，装置可将用于所述软件的指令存储于合适非暂时性计算机可读媒体中，且使用一或多个处理器以硬件来执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中每一者可包含于一或多个编码器或解码器中，编码器和解码器中任一者可被集成为相应装置中的组合式编码器/解码器(编码解码器)的部分。
[0042]根据下文更详细地所描述的本发明的实例，图1的视频解码器30可经配置以:确定用于运动向量预测过程的运动向量候选者列表；确定用于所述运动向量预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量(SDV)、视图差异向量(VDV)和时间差异向量(TDV);且使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来解码视频数据块。
[0043]同样地，在本发明的另一实例中，图1的视频编码器20可经配置以:确定用于运动向量预测过程的运动向量候选者列表；确定用于所述运动预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量(SDV)、视图差异向量(VDV)和时间差异向量(TDV);且使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来编码视频数据块。
[0044]一开始，将论述H.264/先进视频译码(AVC)标准的扩展的多重视图视频译码技术。然而，本发明的技术可适用于支持3D译码和视图合成预测的任何视频译码标准，包含针对新兴HEVC标准(例如，3D-HEVC)的多重视图提议。
[0045]多重视图视频译码(MVC)为H.264/AVC的扩展。图2中展示典型MVC解码次序(即，位流次序)。解码次序布置被称作时间优先译码(time-first coding)。应注意,存取单元的解码次序可不等同于输出或显示次序。在图2中，SO到S7各自指多重视图视频的不同视图。TO到T8各自表不一个输出时间执行个体。存取单兀可包含针对一个输出时间执行个体的所有视图的经译码图片。例如，第一存取单元可包含针对时间执行个体TO的所有视图SO到S7，第二存取单元可包含针对时间执行个体Tl的所有视图SO到S7，等等。
[0046]为了简洁的目的，本发明可使用以下定义:
[0047]视图分量:单一存取单元中的视图的经译码表示。当视图包含经译码纹理和深度表示两者时，视图分量由纹理视图分量和深度视图分量组成。
[0048]纹理视图分量:单一存取单元中的视图的纹理的经译码表示。
[0049]深度视图分量:单一存取单元中的视图的深度的经译码表示。
[0050]在图2中，视图中每一者包含图片集合。例如，视图SO包含图片0、8、16、24、32、40、48、56和64的集合，视图SI包含图片1、9、17、25、33、41、49、57和65的集合，等等。每
一集合包含两个图片:一个图片被称作纹理视图分量，且另一图片被称作深度视图分量。视图的图片集合内的纹理视图分量和深度视图分量可被视为彼此对应。例如，视图的图片集合内的纹理视图分量被视为对应于视图的图片集合内的深度视图分量，且反之亦然(即，深度视图分量对应于其在集合中的纹理视图分量，且反之亦然)。如本发明所使用，对应于深度视图分量的纹理视图分量可被视为纹理视图分量和深度视图分量为单一存取单元的同一视图的部分。
[0051]纹理视图分量包含所显示的实际图像内容。例如，纹理视图分量可包含明度(Y)分量和色度(Cb和Cr)分量。深度视图分量可指示其对应纹理视图分量中的像素的相对深度。作为一个实例，深度视图分量为仅包含明度值的灰阶图像。换句话说，深度视图分量可不传送任何图像内容，而是提供纹理视图分量中的像素的相对深度的度量。
[0052]例如，深度视图分量中的纯白色像素指示出其在对应纹理视图分量中的对应像素根据检视者的观点来说较近，且深度视图分量中的纯黑色像素指示出其在对应纹理视图分量中的对应像素根据检视者的观点来说较远。介于黑色与白色之间的各种灰色阴影指示不同深度层级。例如，深度视图分量中的深灰色像素指示出其在纹理视图分量中的对应像素相比于深度视图分量中的浅灰色像素较远。因为仅需要灰阶来识别像素的深度，所以深度视图分量无需包含色度分量，这是因为深度视图分量的色彩值可不用作任何目的。
[0053]仅使用明度值(例如，强度值)以识别深度的深度视图分量是出于说明目的而被提供且不应被视为具限制性。在其它实例中，可利用任何技术以指示纹理视图分量中的像素的相对深度。
[0054]图3中展示用于多重视图视频译码的典型MVC预测结构(包含每一视图内的图片间预测以及视图间预测两者)。预测方向由箭头指示，被指向物件(pointed-to object)使用供指向物件(pointed-from object)作为预测参考。在MVC中,视图间预测受到差异运动补偿支持，差异运动补偿使用H.264/AVC运动补偿的语法，但允许使用不同视图中的图片作为参考图片。
[0055]在图3的实例中，说明六个视图(具有视图1D “S0”到“S5”)，且针对每一视图而说明十二个时间位置(“T0”到“T11”)。S卩，图3中的每一行对应于视图，而每一列指示时
间位置。
[0056]尽管MVC具有所谓基础视图(其可由H.264/AVC解码器解码)且立体视图对也可受到MVC支持，但MVC的优点为:其可支持使用两个以上视图作为3D视频输入且解码由多个视图表示的此3D视频的实例。具有MVC解码器的用户端的转译器可期望具有多个视图的3D视频内容。
[0057]图3中的图片被指示于每一行与每一列的交叉点处。H.264/AVC标准可使用术语“帧”以表示视频的部分。本发明可互换式地使用术语“图片”和“帧”。
[0058]图3中的图片是使用包含字母的块来说明，字母指明对应图片被帧内译码(即，为I图片)或在一个方向上被帧间译码(即，作为P图片)或在多个方向上被帧间译码(即，作为B图片)。大体上，预测由箭头指示，其中被指向图片使用供指向图片用于预测参考。例如，时间位置TO处视图S2的P图片是从时间位置TO处视图SO的I图片来预测。
[0059]如同单一视图视频编码，可相对于不同时间位置处的图片来预测性地编码多重视图视频译码视频序列的图片。例如，时间位直Tl处视图SO的b图片具有从时间位直TO处视图SO的I图片指向所述b图片的箭头，从而指示出所述b图片是从所述I图片来预测。然而，另外，在多重视图视频编码的上下文中，可对图片进行视图间预测。即，视图分量可使用其它视图中的视图分量用于参考。在MVC中，例如，如同另一视图中的视图分量为帧间预测参考一般而实现视图间预测。潜在视图间参考在序列参数集(SPS)MVC扩展中被用信号发送，且可通过参考图片列表构建过程修改，所述参考图片列表构建过程实现帧间预测参考或视图间预测参考的灵活排序。视图间预测也为HEVC的所提议多重视图扩展(包含3D-HEVC(多重视图加深度))的特征。
[0060]图3提供视图间预测的各种实例。在图3的实例中，视图SI的图片被说明为从视图SI在不同时间位置处的图片来预测，以及从相同时间位置处视图SO和S2的图片来视图间预测。例如，时间位置Tl处视图SI的b图片是从时间位置TO和T2处视图SI的B图片以及时间位置Tl处视图SO和S2的b图片中每一者来预测。
[0061]在一些实例中，图3可被视为说明纹理视图分量。例如，图2所说明的I图片、P图片、B图片和b图片可被视为针对所述视图中每一者的纹理视图分量。根据本发明所描述的技术，对于图3所说明的纹理视图分量中每一者，存在对应的深度视图分量。在一些实例中，可以类似于图3中针对对应纹理视图分量所说明的方式的方式来预测深度视图分量。
[0062]两个视图的译码也可受到MVC支持。MVC的优点中的一者为:MVC编码器可将两个以上视图视为3D视频输入，且MVC解码器可解码此多重视图表示。因而，具有MVC解码器的任何转译器可解码具有两个以上视图的3D视频内容。
[0063]如上文所论述，在MVC中，在同一存取单元中(意谓:在一些例子中，具有同一时间执行个体)的图片当中允许视图间预测。当译码非基础视图中的一者中的图片时，如果图片处于不同视图中但处于同一时间执行个体内，那么可将所述图片添加到参考图片列表中。可将视图间预测参考图片放于参考图片列表的任何位置中，正如任何帧间预测参考图片一般。如图3所示，视图分量可使用其它视图中的视图分量用于参考。在MVC中，如同另一视图中的视图分量为帧间预测参考一般而实现视图间预测。
[0064]根据本发明的用于多重假设差异向量构建的技术可适用于利用差异向量的任何多重视图或3D视频译码标准。在本发明的一些实例中，多重假设差异向量构建技术可与新兴HEVC标准的多重视图扩展(例如，3D-HEVC) —起使用。本发明的以下章节将提供HEVC标准的背景。
[0065]JCT-VC致力于HEVC标准的开发。HEVC标准化努力是基于视频译码装置的演进模型，其被称作HEVC测试模型(麗)。HM假定视频译码装置相对于根据(例如)ITU-TH.264/AVC的现有装置的若干额外能力。例如，虽然H.264提供九个帧内预测编码模式，但HM可提供多达三十三个帧内预测编码模式。
[0066]大体上，HM的工作模型描述出视频帧或图片可划分成包含明度样本和色度样本两者的树块或最大译码单元(LCU)序列。树块具有与H.264标准的宏块的目的相似的目的。切片包含按译码次序的若干连续树块。视频帧或图片可分割成一或多个切片。每一树块可根据四元树而分裂成若干译码单元(CU)。例如，作为四元树的根节点，树块可分裂成四个子代节点，且每一子代节点又可为父代节点且分裂成另外四个子代节点。作为四元树的叶节点，最终未分裂子代节点包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可定义树块可被分裂的最大次数，且也可定义译码节点的最小大小。
[0067]CU包含译码节点和与译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小通常对应于译码节点的大小，且CU的形状通常必须为正方形。CU的大小的范围可为从8X8像素直到具有64X64像素或更大的最大值的树块的大小。每一⑶可含有一或多个PU和一或多个TU。例如，与CU相关联的语法数据可描述CU成为一或多个PU的分割。分割模式可在CU被跳过或直接模式编码、被帧内预测模式编码或被帧间预测模式编码之间不同。PU的形状可被分割为非正方形。例如，与CU相关联的语法数据也可描述CU根据四元树而成为一或多个TU的分割。TU的形状可为正方形或非正方形。
[0068]HEVC标准允许根据TU的变换，所述变换对于不同⑶可不同。TU通常是基于针对经分割LCU所定义的给定CU内的PU的大小被设定大小，但可并非始终为此状况。TU通常具有与PU的大小相同的大小，或小于PU。在一些实例中，可使用被称为“残余四元树”(RQT)的四元树结构将对应于CU的残余样本再分成较小单元。RQT的叶节点可被称作变换单元(TU)。可变换与TU相关联的像素差值以产生可被量化的变换系数。
[0069]大体上，I3U包含关于预测过程的数据。例如，当I3U被帧内模式编码时，PU可包含描述用于PU的帧内预测模式的数据。作为另一实例，当PU被帧间模式编码时，PU可包含定义用于PU的运动向量的数据。例如，定义用于PU的运动向量的数据可描述运动向量的水平分量、运动向量的垂直分量、用于运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，和/或用于运动向量的参考图片列表(例如，列表O、列表I或列表C)，其可由预测方向指示。
[0070]大体上，TU用于变换过程和量化过程。具有一或多个I3U的给定⑶也可包含一或多个变换单元(TU)。在预测之后，视频编码器20可从由译码节点根据PU而识别的视频块计算残余值。接着更新译码节点以参考残余值，而非原始视频块。残余值包括可变换成使用变换和在TU中所指定的其它变换信息来量化和扫描以产生串行化变换系数以用于熵译码的变换系数的像素差值。可再次更新译码节点以参考这些串行化变换系数。本发明通常使用术语“视频块”来指CU的译码节点。在一些特定状况下，本发明也可使用术语“视频块”来指包含译码节点以及I3U和TU的树块，即，IXU或⑶。
[0071]视频序列通常包含一系列视频帧或图片。图片群组(GOP)通常包括一系列视频图片中的一或多者。GOP可在GOP的标头中、在图片中的一或多者的标头中或在别处包含描述包含于GOP中的图片的数目的语法数据。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作，以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化大小，且其大小可根据指定译码标准而不同。
[0072]作为实例，HM支持按各种I3U大小的预测。假定特定⑶的大小为2NX2N，那么HM支持以2N X 2N或N X N的PU大小的帧内预测，和以2N X 2N、2N X N、N X 2N或N X N的对称I3U大小的帧间预测。HM也支持针对以2NXnU、2NXnD、nLX2N和nRX2N的PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向未被分割,而另一方向被分割成25%和75 %。⑶的对应于25 %分割区的部分由“η ”继之以“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2NXnU”指水平地以顶部上2NX0.5N PU和底部上2NX1.5N PU而分割的2NX2N CU。[0073]在本发明中，“NXN”和“N乘N”可互换式地用以指视频块在垂直维度和水平维度方面的像素尺寸，例如，16X16像素或16乘16像素。大体上，16X16块将具有在垂直方向上的16个像素(y = 16)和在水平方向上的16个像素(x = 16)。同样地，NXN块通常具有在垂直方向上的N个像素和在水平方向上的N个像素，其中N表示非负整数值。块中的像素可按行和列予以布置。此外，块未必需要在水平方向上与在垂直方向上具有相同数目个像素。例如，块可包括NX M像素，其中M未必等于N。
[0074]在使用CU的PU的帧内预测性译码或帧间预测性译码之后，视频编码器20可计算由CU的TU指定的变换所应用于的残余数据。残余数据可对应于未经编码图片的像素与对应于CU的预测值之间的像素差。视频编码器20可形成用于CU的残余数据，且接着变换残余数据以产生变换系数。
[0075]在用以产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化通常指如下过程:量化变换系数以可能地减少用以表示系数的数据的量，从而提供进一步压缩。量化过程可减小与系数中的一些或所有系数相关联的位深度。例如，可在量化期间将η位值降值舍位到m位值，其中η大于m。
[0076]在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可熵编码一维向量，例如，根据上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、以语法为基础的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法学。视频编码器20也可熵编码与经编码视频数据相关联的语法元素以供视频解码器30用于解码视频数据。
[0077]为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待传输符号。例如，上下文可关于符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可针对待传输符号而选择可变长度代码。VLC中的码字可经构建成使得相对较短代码对应于较可能的符号，而较长代码对应于较不可能的符号。以此方式，使用VLC相比于(例如)针对每一待传输符号而使用等长度代码字可达成位节省。概率确定可基于指派给符号的上下文。
[0078]在HEVCWD9中，存在用于预测用于帧间预测中的运动参数的两种模式。一个模式为合并模式且另一模式为先进运动向量预测(AMVP)模式。合并模式和AMVP模式两者建置用于参考图片列表O和I (其通常分别被表示为“RefPicListO”和“RefPicListl”)的候选者列表。
[0079]待用于译码运动参数的AMVP模式和合并模式的候选者来自相对于当前块(例如，预测单元(PU))的空间和时间相邻块。图4为展示用于合并模式和AMVP模式的实例候选相邻块(即，候选者列表)的概念图。如图4所示，当前PU250可使用来自空间相邻块252A到252E中的一者的运动信息。另外，用于合并模式和AMVP模式的候选者列表也可包含不同图片中的时间同置型块252F。图4所示的候选块的数目和位置仅仅为一个实例。可使用候选块的不同数目和位置。在一些实例中，合并模式和AMVP模式具有固定长度的候选者列表。在一些实例中，用于合并和AMVP的候选者列表的长度可不同。例如,合并模式可使用5个候选块，而AMVP可使用6个候选块。
[0080]在AMVP模式中，检查相邻候选块的运动向量以确定哪一运动向量提供可接受的速率-失真性能(例如，好于某阈值的速率-失真性能)。接着，将相邻候选块的运动向量从当前块的运动向量中减去以创建运动向量差(MVD)。接着在经编码位流中用信号发送MVD连同以下各者:候选块索引(mvp_idx)、MVD,和用于当如块的运动向量的参考图片索弓丨。另夕卜，可用信号发送预测方向(例如，单向或双向)，藉此用信号发送参考图片处于列表O中或处于列表I中。
[0081]在合并模式中，不用信号发送参考索引值，这是因为当前预测单元(PU)共享选定候选者的参考索引值。即，在合并模式中，一旦已选择满足速率-失真准则的候选块，那么仅用信号发送候选块的索引。在解码器处，使用候选块的运动信息(即，运动向量、参考索引和预测方向)作为用于当前块的运动信息。在合并模式中，仅创建一个候选者列表。
[0082]下文描述用于合并模式和AMVP模式的语法。在合并模式中，使用merge_idx以从合并模式候选者列表选择候选者。在AMVP模式中，使用mvp_idx_10、mvp_idx_ll和mvp_idx_lc以从AMVP候选者列表选择候选者。用于合并模式和AMVP模式两者的项目的数目固定。表I中展示译码单元(⑶)语法且表2中展示PU语法:
[0083]表I AU层级语法
[0084]
【权利要求】
1.一种解码多重视图视频数据的方法，其包括: 确定用于运动向量预测过程的运动向量候选者列表； 确定用于所述运动向量预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量SDV、视图差异向量VDV和时间差异向量TDV;以及 使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来解码视频数据块。
2.根据权利要求1所述的方法，其中所述SDV从空间相邻块的差异运动向量导出，且所述TDV从时间相邻块的差异运动向量导出。
3.根据权利要求1所述的方法，其中所述差异向量候选者列表进一步包含平滑时间视图STV差异向量。
4.根据权利要求1所述的方法，其中使用所述运动向量预测过程来解码所述视频数据块包括使用先进运动向量预测AMVP模式来解码所述视频数据块。
5.根据权利要求1所述的方法，其中使用所述运动向量预测过程来解码所述视频数据块包括使用合并模式来解码所述视频数据块。
6.根据权利要求1所述的方法，其中确定所述差异向量候选者列表包括使用优先权过程来确定所述差异向量候选者列表，其中在被指派相对较低优先权的差异向量类型之前将被指派较高优先权的所有 可用差异向量类型添加到所述差异向量候选者列表，直到所述差异向量候选者列表的最大长度。
7.根据权利要求6所述的方法，其中所述优先权过程向所述SDV指派最高优先权。
8.根据权利要求7所述的方法，其中所述优先权过程向所述STV差异向量指派第二最高优先权、向所述VDV指派第三最高优先权，且向所述TDV指派最低优先权。
9.根据权利要求1所述的方法，其进一步包括: 使用估计深度模式和准确深度模式中的一者来确定所述差异向量类型中的至少一者，且 其中使用所述运动向量预测过程来解码所述视频数据块包括使用合并模式来解码所述视频数据块。
10.根据权利要求1所述的方法，其中所述运动向量预测过程为合并模式，且其中所述方法进一步包括: 接收指示所述运动向量预测过程是使用所述差异向量候选者列表还是使用所述运动向量候选者列表来执行的旗标。
11.根据权利要求1所述的方法，其中所述运动向量预测过程为先进运动向量预测AMVP模式，且其中所述方法进一步包括: 接收参考图片索引；以及 基于所述经接收参考索引而确定将使用所述差异向量候选者列表还是使用所述运动向量候选者列表来执行所述运动向量预测过程。
12.—种编码多重视图视频数据的方法，其包括: 确定用于运动向量预测过程的运动向量候选者列表； 确定用于所述运动预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量SDV、视图差异向量VDV和时间差异向量TDV ;以及 使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来编码视频数据块。
13.根据权利要求12所述的方法，其中所述SDV从空间相邻块的差异运动向量导出，且所述TDV从时间相邻块的差异运动向量导出。
14.根据权利要求12所述的方法，其中所述差异向量候选者列表进一步包含平滑时间视图STV差异向量。
15.根据权利要求12所述的方法，其中使用所述运动向量预测过程来编码所述视频数据块包括使用先进运动向量预测AMVP模式来编码所述视频数据块。
16.根据权利要求12所述的方法，其中使用所述运动向量预测过程来编码所述视频数据块包括使用合并模式来编码所述视频数据块。
17.根据权利要求12所述的方法，其中确定所述差异向量候选者列表包括使用优先权过程来确定所述差异向量候选者列表，其中在被指派相对较低优先权的差异向量类型之前将被指派较高优先权的所有可用差异向量类型添加到所述差异向量候选者列表，直到所述差异向量候选者列表的 最大长度。
18.根据权利要求17所述的方法，其中所述优先权过程向所述SDV指派最高优先权。
19.根据权利要求18所述的方法，其中所述优先权过程向所述STV差异向量指派第二最高优先权、向所述VDV指派第三最高优先权，且向所述TDV指派最低优先权。
20.根据权利要求12所述的方法，其进一步包括: 使用估计深度模式和准确深度模式中的一者来确定所述差异向量类型中的至少一者，且 其中使用所述运动向量预测过程来编码所述视频数据块包括使用合并模式来编码所述视频数据块。
21.根据权利要求12所述的方法，其中所述运动向量预测过程为合并模式，且其中所述方法进一步包括: 用信号发送指示所述运动向量预测过程是使用所述差异向量候选者列表还是使用所述运动向量候选者列表来执行的旗标。
22.根据权利要求12所述的方法，其中所述运动向量预测过程为先进运动向量预测AMVP模式，且其中所述方法进一步包括: 用信号发送参考图片索引以指示将基于所述差异向量候选者列表还是基于所述运动向量候选者列表而执行所述运动向量预测过程。
23.—种经配置以解码多重视图视频数据的设备，其包括: 视频解码器，其经配置以: 确定用于运动向量预测过程的运动向量候选者列表； 确定用于所述运动向量预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量SDV、视图差异向量VDV和时间差异向量TDV ;以及 使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来解码视频数据块。
24.根据权利要求23所述的设备，其中所述SDV从空间相邻块的差异运动向量导出，且所述TDV从时间相邻块的差异运动向量导出。
25.根据权利要求23所述的设备，其中所述差异向量候选者列表进一步包含平滑时间视图STV差异向量。
26.根据权利要求23所述的设备，其中所述视频解码器经配置以通过使用先进运动向量预测AMVP模式来解码所述视频数据块而使用所述运动向量预测过程来解码所述视频数据块。
27.根据权利要求23所述的设备，其中所述视频解码器经配置以通过使用合并模式来解码所述视频数据块而使用所述运动向量预测过程来解码所述视频数据块。
28.根据权利要求23所述的设备，其中所述视频解码器经配置以通过使用优先权过程来确定所述差异向量候选者列表，其中在被指派相对较低优先权的差异向量类型之前将被指派较高优先权的所有可用差异向量类型添加到所述差异向量候选者列表，直到所述差异向量候选者列表的最大长度。
29.根据权利要求28所述的设备，其中所述优先权过程向所述SDV指派最高优先权。
30.根据权利要求29所述的设备，其中所述优先权过程向所述STV差异向量指派第二最高优先权、向所述VDV指派第三最高优先权，且向所述TDV指派最低优先权。
31.根据权利要求23所述的设备，其中所述视频解码器经进一步配置以: 使用估计深度模式和准确深度模式中的一者来确定所述差异向量类型中的至少一者；以及 使用合并模式来解码所述视频数据块。
32.根据权利要求23所述的设备，其中所述运动向量预测过程为合并模式，且其中所述视频解码器经进一步配置以: 接收指示所述运动向量预测过程是使用所述差异向量候选者列表还是使用所述运动向量候选者列表来执行的旗标。
33.根据权利要求23所述的设备，其中所述运动向量预测过程为先进运动向量预测AMVP模式，且其中所述视频解码器经进一步配置以: 接收参考图片索引；以及 基于所述经接收参考索引而确定将使用所述差异向量候选者列表还是使用所述运动向量候选者列表来执行所述运动向量预测过程。
34.一种经配置以编码多重视图视频数据的设备，其包括: 视频编码器，其经配置以: 确定用于运动向量预测过程的运动向量候选者列表； 确定用于所述运动预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量SDV、视图差异向量VDV和时间差异向量TDV;以及 使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来编码视频数据块。
35.根据权利要求34所述的设备，其中所述SDV从空间相邻块的差异运动向量导出，且所述TDV从时间相邻块的差异运动向量导出。
36.根据权利要求34所述的设备，其中所述差异向量候选者列表进一步包含平滑时间视图STV差异向量。
37.根据权利要求34所述的设备，其中所述视频编码器经进一步配置以通过使用先进运动向量预测AMVP模式来编码所述视频数据块而使用所述运动向量预测过程来编码所述视频数据块。
38.根据权利要求34所述的设备，其中所述视频编码器经进一步配置以通过使用合并模式来编码所述视频数据块而使用所述运动向量预测过程来编码所述视频数据块。
39.根据权利要求34所述的设备，其中所述视频编码器经进一步配置以通过使用优先权过程来确定所述差异向量候选者列表而确定所述差异向量候选者列表，其中在被指派相对较低优先权的差异向量类型之前将被指派较高优先权的所有可用差异向量类型添加到所述差异向量候选者列表，直到所述差异向量候选者列表的最大长度。
40.根据权利要求39所述的设备，其中所述优先权过程向所述SDV指派最高优先权。
41.根据权利要求40所述的设备，其中所述优先权过程向所述STV差异向量指派第二最高优先权、向所述VDV指派第三最高优先权，且向所述TDV指派最低优先权。
42.根据权利要求34所述的设备，其中所述视频编码器经进一步配置以: 使用估计深度模式和准确深度模式中的一者来确定所述差异向量类型中的至少一者； 以及 使用合并模式来编码所述视频数据块。
43.根据权利要求34所述的设备，其中所述运动向量预测过程为合并模式，且其中所述视频编码器经进一步配置以: 用信号发送指示所述运动向量预测过程是使用所述差异向量候选者列表还是使用所述运动向量候选者列表来执行的旗标。
44.根据权利要求34所述的设备，其中所述运动向量预测过程为先进运动向量预测AMVP模式，且其中所述视频编码器经进一步配置以: 用信号发送参考图片索引以指示将基于所述差异向量候选者列表还是基于所述运动向量候选者列表而执行所述运动向量预测过程。
45.一种经配置以解码多重视图视频数据的设备，其包括: 用于确定用于运动向量预测过程的运动向量候选者列表的装置； 用于确定用于所述运动向量预测过程的差异向量候选者列表的装置，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量SDV、视图差异向量VDV和时间差异向量TDV;以及 用于使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来解码视频数据块的装置。
46.一种经配置以编码多重视图视频数据的设备，其包括: 用于确定用于运动向量预测过程的运动向量候选者列表的装置； 用于确定用于所述运动预测过程的差异向量候选者列表的装置，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量SDV、视图差异向量VDV和时间差异向量TDV ;以及用于使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来编码视频数据块的装置。
47.一种存储指令的计算机可读存储媒体，所述指令在被执行时使经配置以解码视频数据的装置的一或多个处理器: 确定用于运动向量预测过程的运动向量候选者列表； 确定用于所述运动向量预测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量SDV、视图差异向量VDV和时间差异向量TDV;以及 使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来解码视频数据块。
48.一种存储指令的计算机可读存储媒体，所述指令在被执行时使经配置以编码视频数据的装置的一或多个处理器: 确定用于运动向量预测过程的运动向量候选者列表； 确定用于所述运动预 测过程的差异向量候选者列表，其中所述差异向量候选者列表包含来自多个差异向量类型的至少两个类型的差异向量，所述多个差异向量类型包含空间差异向量SDV、视图差异向量VDV和时间差异向量TDV ;以及 使用所述差异向量候选者列表中的所述候选者中的一或多者来执行所述运动向量预测过程以使用所述运动向量预测过程来编码视频数据块。
【文档编号】H04N19/597GK104041047SQ201380004818
【公开日】2014年9月10日 申请日期:2013年1月4日 优先权日:2012年1月6日
【发明者】陈颖, 马尔塔·卡切维奇 申请人:高通股份有限公司