后向视图合成预测的制作方法
【专利说明】
[0001] 本申请案主张2013年4月10日申请的第61/810, 674号美国临时申请案的权利， 所述申请案的全部内容W引用的方式并入本文中。
技术领域
[0002] 本发明涉及视频译码。
【背景技术】
[0003] 可将数字视频能力并入到多种多样的装置中，所述装置包含数字电视、数字直播 系统、无线广播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子图 书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂 窝式或卫星无线电电话（所谓的"智能电话"）、视频电话会议装置、视频串流装置及其类 似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-TH. 263或口U-T H. 264/MPEG-4第10部分高级视频译码（AVC)所定义的标准、目前正在开发的高效视频译 码（肥VC)标准及送些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视 频译码技术而更有效率地发射、接收、编码、解码及/或存储数字视频信息。
[0004] 视频译码技术包含空间（图片内）预测和/或时间（图片间）预测W减少或移除 视频序列中固有的兀余。对于基于块的视频译码来说，视频切片（即，视频顿或视频顿的一 部分）可分割成视频块，视频块也可被称作树块、译码单元（CU)和/或译码节点。使用相 对于同一图片中的相邻块中的参考样本的空间预测对图片的经顿内译码（I)切片中的视 频块进行编码。图片的经顿间译码（P或B)切片中的视频块可使用相对于同一图片中的相 邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可 被称为顿，且参考图片可被称为参考顿。
[0005] 空间或时间预测导致待译码块的预测性块。残余数据表示待译码原始块与预测性 块之间的像素差。经顿间译码块是根据指向形成预测性块的参考样本块的运动向量及指示 经译码块与预测性块之间的差的残余数据编码的。经顿内译码块是根据顿内译码模式和残 余数据来编码。为了实现进一步压缩，可W将残余数据从像素域变换到变换域，从而产生残 余变换系数，接着可W对残余变换系数进行量化。可扫描最初布置为二维阵列的经量化变 换系数，W便产生变换系数的一维向量，且可应用赌译码W实现更多压缩。
【发明内容】
[0006] -般来说，本发明描述用于执行后向视图合成预测度VS巧的技术，在一些情况下 也被称作基于块的视图合成预测。可使用BVSP模式通过W下操作对块进行译码：确定相邻 块的视差向量，相对于所述块识别由所述视差向量识别的深度图片中的深度块，且使用深 度图片的深度像素扭曲对应于深度图片的纹理图像的纹理像素W产生BVSP参考块，在本 文中也被称作经预测块。所述块可进一步包含运动信息，所述运动信息包含识别将从其产 生BVSP参考块的纹理图片的参考索引。视频译码器可随后使用BVSP参考块作为经预测块 对BVSP块进行译码。
[0007] 在一个实例中，一种方法包含；对多视图视频数据块的运动信息进行解码，其中 所述运动信息包含识别包括用于后向扭曲视图合成预测度VS巧的源的参考图片的参考索 弓I;对所述参考图片的一部分执行BVSPW产生BVSP参考块；W及使用所述BVSP参考块预 测所述块。
[0008] 在另一个实例中，一种方法包含；对多视图视频数据块的运动信息进行编码，其中 所述运动信息包含识别包括用于后向扭曲视图合成预测度VS巧的源的参考图片的参考索 弓I;对所述参考图片的一部分执行BVSPW产生BVSP参考块；W及使用所述BVSP参考块预 测所述块。
[0009] 在另一个实例中，一种装置包含视频译码器，所述视频译码器经配置W;对多视图 视频数据块的运动信息进行译码，其中所述运动信息包含识别包括用于后向扭曲视图合成 预测度VS巧的源的参考图片的参考索引；对所述参考图片的一部分执行BVSPW产生BVSP 参考块；W及使用所述BVSP参考块预测所述块。
[0010] 在另一个实例中，一种装置包含；用于对多视图视频数据块的运动信息进行译码 的装置，其中所述运动信息包含识别包括用于后向扭曲视图合成预测度VS巧的源的参考 图片的参考索引；用于对所述参考图片的一部分执行BVSPW产生BVSP参考块的装置；W 及用于使用所述BVSP参考块预测所述块的装置。
[0011] 在另一个实例中，一种计算机可读存储媒体其上存储有（例如，经编码有）指令， 所述指令在执行时致使处理器；对多视图视频数据块的运动信息进行译码，其中所述运动 信息包含识别包括用于后向扭曲视图合成预测度VS巧的源的参考图片的参考索引；对所 述参考图片的一部分执行BVSPW产生BVSP参考块；W及使用所述BVSP参考块预测所述 块。
[0012] 随附图式和W下描述中陈述一或多个实例的细节。其它特征、目标和优点将从所 述描述和图式W及权利要求书而显而易见。
【附图说明】
[0013] 图1是说明可利用用于使用后向视图合成预测度VS巧对块进行译码的技术的实 例视频编码和解码系统的框图。
[0014] 图2是说明可实施用于使用后向视图合成预测度VS巧对块进行编码的技术的视 频编码器的实例的框图。
[0015] 图3是说明可实施用于使用后向视图合成预测度VS巧对块进行解码的技术的视 频解码器的实例的框图。
[001引图4为说明实例多视图视频译码（MVC)结构的概念图。
[0017] 图5是说明基于后向扭曲的基于块的视图合成预测的概念图。
[001引图6是说明当前块及五个空间相邻块的概念图。
[0019] 图7是说明涉及使用相邻块的后向视图合成预测度VS巧的技术的概念图。
[0020] 图8是说明根据本发明的技术使用BVSP对当前块进行编码的实例方法的流程图。
[0021] 图9是说明根据本发明的技术使用BVSP对当前视频数据块进行解码的实例方法 的流程图。
【具体实施方式】
[0022] 本发明的技术大体上涉及基于高级编解码器的多视图视频译码。此些高级编解码 器的一个实例是经配置W根据对高效率视频译码（肥VC)标准的H维（3D)扩展操作的编 解码器。肥VC,也被称作口U-TH. 265,在ht1:p://www.i1:u.inViTU-T/recommendations/ rec.aspx?rec= 11885可用的"ITU-TH. 265,系列H;视听和多媒体系统，移动视频的 视听服务译码的基础结构，高效率视频译码"（2013年4月）中描述。3D-HEVC在格哈德技 术公司（GerhardTech),克孜巧夫?韦格纳、陈英和叶思宏的"3D-肥VC测试模型描述草案 2"(JCT3V-B1005，ITU-TSG16WP3 和IS0/IECJTC1/SC29/WG11 的 3D视频译码扩展开 发联合合作小组第2次会议：中国上海，2012年10月）中描述。
[0023]视频译码标准包含mj-TH. 261、IS0/IECMPEG-IVisual、mJ-T比 262 或ISO/ IECM阳G-2VisualJTU-TH.263、IS0/IECM阳G-4Visual及ITU-TH. 264(也被称为ISO/ IECMPEG-4AVC)，包含其可缩放视频译码（SVC)及多视图视频译码（MVC)扩展。MVC的联 合草案描述于2010年3月的"用于通用视听服务的高级视频译码"(ITU-T建议H. 264)中。 本发明的技术大体上是相对于肥VC及其扩展（例如，3D或多视图视频译码扩展）而描述。 然而，应理解，本发明的技术可应用于其它视频译码标准和对此些标准的扩展。
[0024] 举例来说，本发明的技术可应用于口U-T比264/AVC或其扩展。在H. 264/AVC中， 每一顿间宏块（MB)可W四个不同方式中的一者分割：一个16x16像素MB分区，两个16x8 像素MB分区，两个8x16像素MB分区，或四个8x8像素MB分区。一个MB中的不同MB分区 可具有用于每一预测方向的不同参考索引值（即，Re巧icListO或Re巧icListl)。当MB并 未分割成四个8x8MB分区时，其可具有每一方向中用于整个MB分区的仅一个运动向量，女口 由比264视频译码标准规定。
[00巧]当MB分割成四个8x8像素MB分区时，每一 8x8像素MB分区可进一步分割成子块。 存在四个不同方式从8x8像素MB分区得到子块：一个8x8像素子块，两个8x4像素子块，两 个4x8像素子块，和四个像素4x4子块。每一子块可具有每一方向中的不同运动向量。如 何将8x8MB分区分割成子块称为子块分区。
[0026] 当前，VCEG和MPEG的3D视频译码联合合作小组（JCT-3V)正在开发基于H. 264/ AVC的3DV标准，即，3D-AVC。对于3D-AVC，已经包含且支持除MVC中的视图间预测W外的 新译码工具。用于3D-AVC的3D-ATM版本6. 2软件可从W下链接下载；http://mpeg3dv. research,nokia.com/svn/mpeg3dv/tags/3DV-ATMv6. 2。基于AVC的 3D视频（3D-AVC)译码 标准当前在由JCT-3V开发，且3D-AVC的版本描述于M.M.汉努克塞拉、Y.陈、T.铃木、 J?R?欧姆、G?J?沙利文的"3D-AVC草案文本5" 〇押3￥-(：1002，瑞±日内瓦，2013年1 月，在http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wgll/ JCT3V-C1002-V3.zip可用）中。
[0027] 3D-AVCW基础视图的纹理部分可由比264/AVC解码器完全解码的方式兼容于 H. 264/AVC。对于3D-AVC中的增强视图分量，可在纹理之前对深度进行译码，且可基于来自 深度视图分量的信息对纹理视图分量进行译码，其也被称作深度优先译码。相比之下，在纹 理优先译码次序中每一纹理视图分量可在相应深度视图分量之前译码。
[0028] 3D-AVC中的纹理和深度视图分量的译码次序的实例阐释如下，其中TO和DO分别 指代基础视图的纹理和深度视图分量，且Ti和Di分别指代第i相依视图的纹理和深度视 图分量。在送些实例中，考虑H个视图（0、1和2)，且假定如下文陈述从左到右按次序对视 图分量进行译码：
[0029] ?TODODlD2TlT2-在此实例中，基础视图灯0和DO)是W纹理优先译码次序 译码，而相依视图是W深度优先译码次序译码。混合译码次序是在3D-AVC的共同测试条件 中使用。
[0030] ?TODOTlDlT2D2-在此实例中，所有视图分量是W纹理优先译码次序译码 的。
[0031] 如果针对Ti启用视图间预测，郝么用于视图Ti的参考纹理视图可经界定为包含 用于视图Ti中的图片的对应视图间参考图片的视图，且对应深度视图可经界定为具有与 参考纹理视图的视图次序索引相同的视图次序索引的参考深度视图。举例来说，如果Ti中 的纹理图片是相对于视图化中的参考图片而预测，郝么根据上文的实例定义，化将被标记 为参考纹理视图且Dk将被标记为参考深度视图。
[0032] 下文例如相对于图4至7描述的技术涉及执行后向视图合成预测度VS巧。一般来 说，BVSP涉及从纹理图片中的当前块的相邻块导出视差向量，使用所述视差向量识别深度 视图中的深度块，且使用所述视差向量识别参考纹理图像的像素W用于合成当前块的经预 测块。经预测块也可被称作BVSP参考块。然而，本发明认识到当根据3D-HEVC的当前技术 执行BVSP时可产生的某些问题。
[0033] 本发明首先认识到WBVSP模式译码的预测单元是从视图间参考图片预测，而参 考索引设定成-1。此设计可具有W下问题：
[0034] ? 3D-HEVC的设计在参考索引的语义方面并未与肥VC对准。等于-1的参考索引 通常指示顿内模式预测或无顿间预测。
[0035] ?可能需要修改若干模块；每当调用顿内/顿间模式的检查时，还应检查再一个 条件，即，等于1或不等于1的BVSP模式旗标。
[0036] O举例来说，解块滤波器的设计、时间合并候选者、Do-N抓V(基于相邻块的视差向 量导出）和高级运动向量预测（AMVP)可能需要修改。
[0037] ? 16x16单元中的BVSP模式旗标应连同其它运动信息一起存储在经解码图片缓 冲器中。其可在时间合并候选者导出过程期间使用。
[0038] ?对于运动参数继承，首先导出从位于同一地点纹理块导出的候选者。然后，位于 同一地点的纹理块中的候选者是否是BVSP合并候选者的检查。如果是，郝么通过使用针对 当前深度块产生的BVSP合并候选者对此块停用运动参数继承（MPI)。替换关于译码损失增 加了复杂性。
[0039] ?在软件中将预测方向设定成用于BVSP块的双向预测，而在本说明书中将其设 定成单向预测。
[0040] 本发明提出可应用于3D-HEVC的BVSP技术的各种修改，其可克服送些潜在问题和 /或引入其它优点。本发明的技术可当BVSP经启用时使3D-HEVC中的模块与基本肥VC模 块对准。
[0041] 图1是说明可利用用于使用后向视图合成预测度VS巧对块进行译码的技术的实 例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12,其提供稍后将 由目的地装置14解码的经编码的视频数据。确切地说，源装置12经由计算机可读媒体16 将视频数据提供到目的地装置14。源装置12及目的地装置14可包括多种多样的装置中的 任一者，包含桌上型计算机、笔记型（即，膝上型）计算机、平板计算机、机顶盒、电话手持机 (例如所谓的"智能"电话）、所谓的"智能"平板计算机、电视机、相机、显示装置、数字媒体 播放器、视频游戏控制台、视频串流装置或类似者。在一些情况下，源装置12和目的地装置 14可经装备W用于无线通信。
[0042] 目的地装置14可经由计算机可读媒体16接收待解码的经编码的视频数据。计算 机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类 型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时地将经 编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据例如无线通 信协议等通信标准加W调制，且发射到目的地装置14。通信媒体可包括任何无线或有线通 信媒体，例如射频（R巧频谱或一或多个物理传输线。通信媒体可能形成基于包的网络（例 女口，局域网、广域网或全球网络，例如因特网）的一部分。通信媒体可包含路由器、交换器、 基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。
[0043] 在一些实例中，经编码数据可W从输出接口 22输出到存储装置。类似地，可通过 输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存 储媒体中的任一者，例如硬盘驱动器、藍光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失 性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存 储装置可W对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装 置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务 器可为能够存储经编码视频数据并且将所述经编码视频数据发射到目的地装置14的任何 类型的服务器。实例文件服务器包含网络服务器（例如，用于网站）、FTP服务器、网络附接 存储（NA巧装置或本地磁盘驱动器。目的地装置14可W通过任何标准数据连接（包含因 特网连接）来存取经编码的视频数据。此可包含适合于存取存储于文件服务器上的经编码 的视频数据的无线信道（例如，Wi-Fi连接）、有线连接（例如，D化、电缆调制解调器等）或 两者的组合。经编码视频数据从存储装置的发射可能是串流发射、下载发射或两者的组合。
[0044] 本发明的技术不必限于无线应用或设定。所述技术可应用于支持多种多媒体应用 中的任一者的视频译码，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流 式传输视频发射（例如，经由HTTP的动态自适应流式传输值ASH))、经编码到数据存储媒体 上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系 统10可经配置W支持单向或双向视频发射，W支持例如视频串流、视频重放、视频广播和/ 或视频电话等应用。
[004引在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口 22。目的 地装置14包含输入接口 28、视频解码器30和显示装置32。根据本发明，源装置12的视频 编码器20可经配置W应用使用后向视图合成预测度VS巧对块进行译码的技术。在其它实 例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可W从外部视频 源18 (例如，外部摄像机）接收视频数据。同样，目的地装置14可与外部显示装置介接，而 非包括集成式显示装置。
[0046] 图1的说明的系统10只是一个实例。使用后向视图合成预测度VS巧对块进行译 码的技术可由任何数字视频编码和/或解码装置执行。尽管本发明的技术大体上由视频编 码装置来执行，但所述技术还可通过视频编码器/解码器（通常被称作"编解码器"）执行。 此外，本发明的技术还可由视频预处理器来执行。源装置12及目的地装置14仅为此类译 码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些 实例中，装置12、14可W大体上对称的方式操作W使得装置12、14中的每一者包含视频编 码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传输W例如用 于视频流式传输、视频回放、视频广播或视频电话。
[0047] 源装置12的视频源18可包含视频俘获装置，例如相机、含有先前所俘获视频的视 频档案和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频 源18可产生基于计算机图形的数据作为源视频，或实况视频、经存档视频与计算机产生的 视频的组合。在一些情况下，如果视频源18是视频摄像机，郝么源装置12及目的地装置14 可形成所谓的摄像机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般可 适用于视频译码，且可应用于无线及/或有线应用。在每一情况下，可由视频编码器20编 码所俘获、预先俘获或计算机产生的视频。经编码视频信息可接着通过输出接口 22输出到 计算机可读媒体16上。
[0048] 计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体 (即，非暂时性存储媒体），例如硬盘、闪存驱动器、压缩光盘、数字影音光盘、藍光光盘或其 它计算机可读媒体。在一些实例中，网络服务器（未图示）可W从源装置12接收经编码的 视频数据，并且例如经由网络发射将经编码的视频数据提供到目的地装置14。类似地，媒体 生产设施（例如光盘冲压设施）的计算装置可W从源装置12接收经编码的视频数据并且 生产容纳经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包 含各种形式的一或多个计算机