对于每一视图说明十二个时间位置(“T0”到“T11”)。即，图3中的每一行对应于一视图，而每一列指示一时间位置。
[0102]尽管MVC具有可由H.264/AVC解码器解码的所谓的基础视图，且MVC还可支持立体视图对，但MVC的优点在于其可支持使用两个以上视图作为3D视频输入且解码通过多个视图表示的此3D视频的实例。具有MVC解码器的客户端的再现器可预期具有多个视图的3D视频内容。
[0103]在每一行及每一列的交叉点处指示图3中的图片。H.264/AVC标准可使用术语帧来表示视频的一部分。本发明可互换地使用术语图片与帧。
[0104]使用包含字母的块来说明图3中的图片，字母指明对应图片是经帧内译码(S卩，I图片)，还是在一个方向上经帧间译码(即，作为P图片)，还是在多个方向上经帧间译码(即，作为B图片)。大体来说，预测由箭头指示，其中箭头指向的图片使用箭头出发的图片用于预测参考。举例来说，时间位置TO处的视图S2的P图片是从时间位置TO处的视图SO的I图片预测的。
[0105]如同单个视图视频编码，可相对于不同时间位置处的图片预测性地编码多视图视频译码视频序列的图片。举例来说，时间位置Tl处的视图SO的b图片具有从时间位置TO处的视图SO的I图片指向其的箭头，从而指示所述b图片是从所述I图片预测的。然而，另外，在多视图视频编码的情况下，图片可经视图间预测。也就是说，视图分量可使用其它视图中的视图分量用于参考。举例来说，在MVC中，如同另一视图中的视图分量为帧间预测参考而实现视图间预测。潜在视图间参考在序列参数集(SPS)MVC扩展中用信号通知且可通过参考图片列表构造过程加以修改，所述参考图片列表构造过程实现帧间预测或视图间预测参考的灵活排序。视图间预测也是包含3D-HEVC(多视图加深度)的HEVC的所提出的多视图扩展的特征。
[0106]图3提供视图间预测的各种实例。在图3的实例中，视图SI的图片说明为是从视图SI的不同时间位置处的图片预测，以及是从相同时间位置处的视图SO和S2的图片经视图间预测。举例来说，时间位置TI处的视图SI的b图片是从时间位置TO及T2处的视图SI的B图片中的每一者以及时间位置Tl处的视图SO及S2的b图片预测。
[0107]在一些实例中，图3可被看作说明纹理视图分量。举例来说，图2中所说明的1、P、B和b图片可被视为视图中的每一者的纹理视图分量。根据本发明中描述的技术，对于图3中所说明的纹理视图分量中的每一者，存在对应深度视图分量。在一些实例中，可以类似于图3中针对对应纹理视图分量所说明的方式的方式预测深度视图分量。
[0108]MVC中也可支持两个视图的译码C3MVC的优点中的一个优点是:MVC编码器可将两个以上视图视为3D视频输入且MVC解码器可解码此类多视图表示。因此，具有MVC解码器的任何再现器可预期具有两个以上视图的3D视频内容。
[0109]在MVC中，允许在相同存取单元(S卩，具有相同时间例子)中的图片当中进行视图间预测。在译码非基础视图中的一者中的图片时，如果图片在不同视图中，但在相同时间实例内，那么可将图片添加到参考图片列表中。可将视图间参考图片放置在参考图片列表的任何位置中，正如任何帧间预测参考图片一般。如图3中所示，视图分量可出于参考目的使用其它视图中的视图分量。在MVC中，如同另一视图中的视图分量为帧间预测参考般实现视图间预测。
[0110]在多视图视频译码的上下文中，一般来说存在两个种类的运动向量。一个称为正常运动向量。所述正常运动向量指向时间参考图片且对应时间帧间预测是运动补偿预测(MCP)。另一运动向量是视差运动向量(DMV)。所述DMV指向不同视图中的图片(即，视图间参考图片)且对应帧间预测是视差补偿预测(DCP)。
[0111]另一类型的多视图视频译码格式引入深度值的使用(例如，3D-HEVC中)。对于流行用于3D电视和自由视点视频的多视图视频加深度(MVD)数据格式，可独立地以多视图纹理图片译码纹理图像和深度图。图4说明具有纹理图像的MVD数据格式及其相关联每样本深度图。深度范围可限于在与对应3D点的相机相距最小z近和最大zsi?离的范围内。
[0112]相机参数和深度范围值可有助于在3D显示器上再现之前处理经解码视图分量。因此，针对H.264/MVC的当前版本界定特殊补充增强信息(SEI)消息，即多视图获取信息SEI，其包含指定获取环境的各种参数的信息。然而，H.264/MVC中未指定用于指示深度范围相关信息的语法。
[0113]现将论述HEVC中的不对称运动分割(AMP)和运动补偿块大小。在HEVC中，经帧间译码译码块可分裂成一个、两个或四个分区。此些分区的各种形状是可能的。图5中描绘经帧间预测译码块的实例分割可能性。
[0114]图5中的分区的上部行说明所谓的对称分区。NxN分区简单地是尚未分裂的译码块。N/2xN分区是分裂成两个垂直矩形分区的译码块。同样，NxN/2分区是分裂成两个水平矩形分区的译码块。N/2xN/2分区是分裂成四个相等正方形分区的译码块。
[0115]图5中的下部四个分区类型称为不对称分区，且可以用于帧间预测的不对称运动分割(AMP) JMP模式的一个分区分别具有高度或宽度N/4和宽度或高度N，且另一分区通过具有3N/4的高度或宽度和宽度或高度N而由CB的其余部分组成。每一经帧间译码分区被指派一个或两个运动向量和参考图片索引(即，一个运动向量和参考索引用于单向预测且两个运动向量和参考索引用于双向预测)。在一些实例中，为了最小化最坏情况存储器带宽，不允许大小4x4的分区用于帧间预测，且大小4x8和8x4的分区限于基于预测性数据的一个列表的单向预测译码。
[0116]如下文将更详细地论述，本发明描述当结合3D-HEVC译码技术使用时用于AMP的技术，包含后向视图合成预测(BVSP)。
[0117]以下描述HEVC中的合并候选者列表。举例来说，可以以下步骤构造所述合并候选者列表。对于空间合并候选者，视频编码器20和/或视频解码器30可从五个空间相邻块导出多达四个空间运动向量候选者，如图6中说明。
[0118]视频编码器20及视频解码器30可评估空间相邻块的次序如下:左边(Al)、上方(BI)、右上方(BO)、左下方(AO)和左上方(B2)，如图6中所示。在一些实例中，可应用修剪过程以移除具有相同运动信息(例如，运动向量和参考索引)的运动向量候选者。举例来说，可将BI的运动向量和参考索引与Al的运动向量和参考索引进行比较，可将BO的运动向量和参考索引与BI的运动向量和参考索引进行比较，可将AO的运动向量和参考索引与Al的运动向量和参考索引进行比较，且可将B2的运动向量和参考索引与BI和Al两者的运动向量和参考索引进行比较。随后可从运动向量候选者列表移除具有相同运动信息的两个候选者中的一者。如果在修剪过程之后已经存在四个候选者，那么不将候选者B2插入到所述合并候选者列表。
[0119]如果经启用且可用，那么将来自参考图片的位于同一地点的时间运动向量预测符(TMVP)候选者添加到运动向量候选者列表中位于空间运动向量候选者之后。
[0120]如果运动向量候选者列表不完整(例如，具有少于预定数目的条目，那么可产生一或多个人工运动向量候选者且插入于所述合并候选者列表的末尾。实例类型的人工运动向量候选者包含仅针对B切片导出的组合双向预测合并候选者以及在不存在足够双向预测合并候选者的情况下包含零运动向量合并候选者(或其它类型的人工运动向量候选者)以提供预定数目的运动向量候选者。
[0121]当当前切片是B切片时，调用组合双向预测合并候选者的导出过程。对于已经在候选者列表中且具有必要运动信息的每对候选者，使用参考列表0(如果可用)中的图片的第一候选者(具有等于1CandIdx的合并候选者索引)的运动向量与参考列表1(如果可用且参考图片或运动向量不同于第一候选者)中的图片的第二候选者(具有等于IlCandIdx的合并候选者索引)的运动向量的组合来导出组合双向预测运动向量候选者(具有由combldx表示的索引)。
[0122]图7是指示3D-HEVC中的1CandIdx及IlCandIdx的实例规范的表。举例来说，图7说明对应于comb Idx的1CandIdx和11 CandIdx的定义。
[0123]对于为0...11的combldx，当以下条件为真时组合双向预测运动向量候选者的产生过程终止:(l)co mb Idx 等于(numOr igMergeCand* (n umOrigMerge Cand-1))，其中numOr i gMergeCand表示在调用此过程之前合并列表中的候选者的数目；(2)合并列表中的总候选者的数目(包含新产生的组合双向预测合并候选者)等于MaxNumMergeCand。
[0124]此部分描述零运动向量合并候选者的导出。对于每一候选者，将零运动向量和参考图片索引设定为从O到可用参考图片索引的数目减I。如果仍存在比合并运动向量候选者的最大数目(例如，由MaxNumMergeCand语法元素指示)少的候选者，那么插入零参考索引和运动向量直到候选者的总数等于MaxNumMergeCand。
[0125]以下描述HEVC中的运动补偿大小的约束。为了最小化最坏情况存储器带宽，对于帧间预测不允许大小4x4的分区，且大小4x8和8x4的分区限于单向预测译码。
[0126]为了满足上文所提及的此约束，当当前大小等于8x4或4x8时，产生的空间/时间/组合双向预测合并候选者，如果其与双向预测模式相关联，则应当通过将预测方向修改为列表O且将对应于RefPicListl的参考图片索引和运动向量分别修改为-1和(0，0)而将当前PU复位为使用单向预测。
[0127]如上所提到，3D-HEVC在开发中。3D-HEVC可使用视图间运动预测及视图间残余预测而改善译码效率。换句话说，为了进一步改善译码效率，参考软件中已经采用两个新技术，即“视图间运动预测”和“视图间残余预测”。在视图间运动预测中，视频译码器(例如，视频编码器20或视频解码器30)可基于与当前PU不同的视图中的PU的运动信息而确定(S卩，预测)当前PU的运动信息。在视图间残余预测中，视频译码器可基于与当前CU不同的视图中的残余数据确定当前CU的残余块。
[0128]现将论述3D-HEVC中的基于相邻块的视差向量(NBDV)导出。NBDV导出用作3D-HEVC中的视差向量导出技术，原因在于3D-HEVC使用纹理优先译码次序用于全部视图的事实。由于对应深度图不可用于当前经译码纹理图片，因此在NBDV中从相邻块导出视差向量。在3D-HEVC设计的一些提议中，可通过检索对应于参考纹理视图的深度数据而进一步精炼从NBDV导出过程导出的视差向量。
[0129]3D-HEVC初始地采用JCT3V-A0097(3D-CE5.h:视差向量产生结果，L ?张，Y.陈，M.卡兹威姿(高通))中所提议的NBDV导出技术。JCTVC-AO126 (3D-CE5.h:基于HEVC的3D视频译码的视差向量导出的简化(J.孙，M.古，S.叶(LG))中与简化NBDV—起包含隐式视差向量。另外，在JCT3V-B0047(3D-CE5.h相关:视差向量导出的改进，J.康，Y.陈，L.张，M.卡茨威姿(高通))中，通过移除存储在经解码图片缓冲器中的隐式视差向量而进一步简化NBDV导出技术，并且以随机存取图片(RAP)选择改善译码增益。JCT3V-D0181(CE2:在3D-HEVC中基于⑶的视差向量导出，J.康，Y.陈，L.张，M卡茨威姿(高通))中描述用于NBDV导出的额外技术。
[0130]视差向量(DV)用作两个视图之间的位移的估计器。因为相邻块在视频译码中几乎共享相同的运动/视差信息，所以当前块可使用相邻块中的运动向量信息作为良好预测符。依照此想法，NBDV导出过程使用相邻视差信息用于估计不同视图中的视差向量。
[0131]为了实施NBDV，视频编码器20初始地界定若干空间和时间相邻块。视频编码器20随后以通过当前块与候选块之间的相关的优先级所确定的预定义次序检查相邻块中的每一者。一旦在候选者中发现视差运动向量(即，指向视图间参考图片的运动向量)，视频编码器20就将所述视差运动向量转换为视差向量且还返回相关联视图次序索引。利用相邻块的两个集合。一个集合包含空间相邻块且另一集合包含时间相邻块。
[0132]在3D-HEVC的最近提议中，NBDV导出中使用两个空间相邻块。所述空间相邻块是相对于当前译码单元(CU)90的左边和上方相邻块，如图8中分别由Al和BI表示。应注意图8中所描绘的相邻块处于与HEVC中的合并模式中使用的相邻块中的一些相同的位置。因此，无需要额外存储器存取。然而应理解，也可以使用相对于当前CU 90在其它位置中的相邻块。
[0133]为了检查时间相邻块，视频编码器20首先执行用于候选图片列表的构造过程。来自当前视图的高达两个参考图片可被视为候选图片。视频编码器20首先将位于同一地点的参考图片插入到候选图片列表，接着按参考索引的升序插入其余候选图片。当两个参考图片列表中具有相同参考索引的参考图片可用时，在与所述位于同一地点的图片相同的参考图片列表中的参考图片位于具有相同参考索引的另一参考图片之前。对于候选图片列表中的每一候选图片，视频编码器20将位于同一地点的区的覆盖中心位置的块确定为时间相邻块。
[0134]当通过视图间运动预测对块进行译码时，可导出视差向量以用于选择不同视图中的对应块。视图间运动预测过程中导出的视差向量称为隐式视差向量(IDV或也称为所导出的视差向量。即使块是以运动预测译码的，为了对随后的块进行译码的目的也不会丢弃所导出的视差向量。
[0135]在HTM的一个设计中，在NBDV导出过程期间，视频译码器(例如，视频编码器20和/或视频解码器30)经配置以按次序检查时间相邻块中的视差运动向量、空间相邻块中的视差运动向量和随后IDV。一旦找到视差运动向量或IDV，过程便终止。
[0136]现将论述通过存取深度信息对NBDV导出过程的精炼(NBDV-R)。当从NBDV导出过程导出视差向量时，可通过从参考视图的深度图检索深度数据进一步精炼所导出的视差向量。所述精炼过程可包含以下技术:
[0137]a)在例如基础视图等经先前译码参考深度视图中通过所导出的视差向量定位对应深度块;对应深度块的大小与当前PU的大小相同。
[0138]b)从对应深度块的四个拐角像素选择一个深度值且将所述深度值转换为经精炼视差向量的水平分量。视差向量的垂直分量不变。
[0139]注意，在一些实例中，经精炼视差向量可以用于视图间运动预测，而未精炼的视差向量可以用于视图间残余预测。另外，如果PU是以后向视图合成预测模式译码，那么可将经精炼视差向量存储为一个HJ的运动向量。在3D-HEVC的一些提议中，无论从NBDV导出过程导出的视图次序索引的值如何，都可存取基础视图的深度视图分量。
[0140]现将论述3D-HEVC中的后向视图合成预测(BVSP)技术。第3次JCT-3V会议中采用了由D.田等人提出的一个实例BVSP方法“CE 1.h:使用相邻块的后向视图合成预测” (JCT3V-CO152 )，其从 http://phenix.1t-sudparis.eu/jct2/doc_end_user/current_document.php? id = 594可用。B V SP的基本想法类似于3 D-A VC中的基于块的视图合成预测。这两个技术均使用后向扭曲和基于块的视图合成预测来避免发射运动向量差且使用更精确的运动向量。3D-HEVC和3D-AVC中的BVSP的实施细节由于不同平台而不同。
[0141 ] 在3D-HEVC中，针对在跳过或合并模式中经译码的经帧间译码块支持BVSP模式。在3D-HEVC的一个实例提议中，针对在高级运动向量预测(AMVP)模式中经译码的块不允许BVSP模式。替代于发射旗标以指示BVSP模式的使用，视频编码器20可经配置以将一个额外合并候选者(即，BVSP合并候选者)添加到合并候选者列表，且每一候选者与一个BVSP旗标相关联。当经解码合并索引对应于BVSP合并候选者时，所述经解码合并索引指示当前预测单元(PU)使用BVSP模式。对于当前PU内的每一子块，可通过转换深度参考视图中的深度值而导出视差运动向量。
[0142]如下界定BVSP旗标的设定。当用于导出空间合并候选者的空间相邻块是以BVSP模式译码时，空间合并候选者的相关联运动信息由当前块继承，如常规合并模式中。另外，此空间合并候选者与等于I的BVSP旗标相关联(S卩，指示空间合并候选者是以BVSP模式译码)。对于新引入的BVSP合并候选者，将BVSP旗标设定成I。对于全部其它合并候选者，将相关联BVSP旗标设定成O。
[0143]如上文所论述，在3D-HEVC中，视频编码器20可经配置以将名为BVSP合并候选者的新候选者导出且嵌入到合并候选者列表中。通过以下方法设定对应参考图片索引和运动向量。
[0144]第一视频编码器20可经配置以从NBDV导出过程获得由所导出的视差向量的视图索引语法元素(例如，3D-HEVC中的refVIdxLX)表示的视图索引。视频编码器20还可经配置以获得与具有等于refVIdxLX的视图次序索引的参考图片相关联的参考图片列表(例如，RefPicListX(RefPicListO或RefPicListl ))。视频编码器20随后使用从NBDV导出过程获得的对应参考图片索引和视差向量作为RefPicListX(即，RefPicListO或RefPicListl)中的BVSP合并候选者的运动信息。
[0145]如果当前切片是B切片，那么视频编码器20检查具有由除RefPicListX外的参考图片列表(即，RefPicListY，其中Y为1-X)中不等于refVIdxLX的refVIdxLY表示的视图次序索引的视图间参考图片的可用性。如果找到此不同视图间参考图片，那么视频编码器20执行双向预测视图合成预测。视频编码器20可进一步经配置以使用不同视图间参考图片的对应参考图片索引和来自NBDV导出过程的经按比例缩放视差向量作为RefPicListY中的BVSP合并候选者的运动信息。来自具有等于refVIdxLX的视图次序索引的视图的深度块用作当前块的深度信息(在纹理优先译码次序的情况下)。视频编码器20经由后向扭曲过程合成所述两个不同视图间参考图片(来自每一参考图片列表一个)并且进一步加权经合成参考图片以实现最终BVSP预测符。
[0146]对于除B切片外的切片类型(例如，P切片)，视频编码器20以RefPicListX作为用于预测的参考图片列表来应用单向预测视图合成预测。
[0147]在3D-HTM中，在共同测试条件中应用纹理优先译码。由于视图的纹理分量是在深度分量之前经译码，因此当解码一个非基础纹理分量时对应非基础深度分量不可用。因此，视频解码器30可经配置以估计深度信息，且随后使用估计的深度信息执行BVSP。为了估计块的深度信息，提出首先从相邻块导出视差向量(例如，使用NBDV导出过程)，且随后使用所导出的视差向量从参考视图获得深度块。
[0148]图9说明用于从参考视图定位深度块且随后使用所述深度块用于BVSP预测的实例技术。初始地，视频编码器20和/或视频解码器30可利用与相邻块102相关联的视差向量104。即，视频编码器20和/或视频解码器30可从已经编码的相邻块(例如相邻块102)存取视差向量信息且再使用当前块100的任何相关联视差向量信息。视差向量104指向参考深度图片中的深度块106。当视差向量104再用于当前块100时，视差向量104现在指向参考深度图片中的深度块108。深度块108对应于当前块100。视频编码器20和/或视频解码器30可随后使用参考深度图片108中的深度信息来使用后向扭曲技术合成参考纹理图片中的块。经合成纹理图片可随后用作参考图片以预测当前块100。
[0149]在本发明的一个实例中，对于NBDV导出过程，假设(dVx，dvy)表示由NBDV导出过程识别的视差向量104，且将当前块100的位置表示为(块X，块y)。在单向预测BVSP的一个实例中，视频编码器20和/或视频解码器30可经配置以获取参考视图的深度视图分量中具有
(块x+dvx，块y+dvy)的左上方位置的深度块108。视频编码器20和/或视频解码器30可经配置以首先将当前块100(例如，PU)分裂为若干子块，其各自具有相同大小(例如，等于W*H)。对于具有等于W*H的大小的每一子块，视频编码器20和/或视频解码器30识别来自所获取深度视图分量内的对应深度子块108的四个拐角像素的最大深度值，例如如图10中所示。图10是说明8x8深度块110的四个拐角像素的概念图。所述四个拐角像素可标记为左上方(TL)像素、右上方(TR)像素、左下方(BL)像素)，和右下方(BR)像素。视频编码器20和/或视频解码器30将最大深度值转换为视差运动向量。每一子块的所导出视差运动向量随后用于运动补m
Izj O
[0150]此部分将论述当执行双向预测时的BVSP。当存在来自RefPicListO和RefPicListl中的不同视图的多个视图间参考图片时，视频编码器20和/或视频解码器30应用双向预测BVSP。在双向预测BVSP中，将从每一参考列表产生两个视图合成预测预测符(S卩，两个合成参考块)，如上文所描述。随后使所述两个视图合成预测预测符平均化以获得最终视图合成预测预测符。
[0151]运动补偿大小，即如上文所描述的W*H，可为8x4或4x8。在一个实例中，为了确定运动补偿大小，应用以下规则:
[0152]对于每一 8x8块，检查对应深度8x8块的四个拐角且:
[0153]if (vdepth[TL]<vdepth[BR]?0:1)! = (vdepth[TR]<vdepth[BL]?0:1)
[0154]使用4X8 分区(W=4，H=8)
[0155]else
[0156]使用8x4 分区(W=8，H=4)
[0157]以下描述3D-HEVC的一个提议中用于跳过/合并模式的视图间候选者导出过程。基于从NBDV导出过程导出的视差向量，可将称为经视图间预测的运动向量候选者(IPMVC)(如果可用)的新运动向量候选者添加到AMVP和跳过/合并模式运动向量候选者列表。经视图间预测的运动向量(如果可用)为时间运动向量。由于跳过模式具有与合并模式相同的