基于视差向量导出的三维视频编码装置及方法
【专利说明】基于视差向量导出的H维视频编码装置及方法
[0001] 相关秦的香叉引用
[0002] 本发明要求主张编号为PCT/CN2013/070278,于2013年1月9日提出申请且发明 名称为"视差向量（DisparityVector,DV)导出（derivation)方法"的PCT专利申请的优 先权。在此引用并合并参考该PCT专利申请的全部内容。
技术领域
[0003] 本发明是有关于视频编码（videocoding)，更具体地，本发明是有关于S 维（T虹ee-Dimensional, 3D)视频编码和多视点（multi-view)视频编码中的视点间 (inter-view)运动预测（motionprediction),视点间残差预测（residualprediction) 或视差补偿的预测（Disparit5f-CompensatedPrediction,DCP)块的视差向量预测的视差 向重导出。
【背景技术】
[0004]=维电视已成为近年来的技术趋势，其目的在于为观看者带来感官上的观看体 验。多视点视频是一种抓取并实现3D视频的技术。典型的多视点视频通过同时使用多个 相机来抓取一个场景（scene)而创建，其中，多个相机适当排布W便每个相机从一个视角 (viewpoint)抓取场景。具有与多个视点（views)有关的大量视频序列的多视点视频代表 大量数据。相应地，多视点视频将需要大量用于储存的存储空间及/或较高的传输带宽。因 此，在本领域中对多视点视频编码技术进行开发W减少所需的存储空间和传输带宽。一种 直接的方式是可简单将传统视频编码技术单独应用于每个单一视点的视频序列，并忽视不 同视点之间的关联。该种直接的技术可导致较差的编码性能。为了改善多视点视频编码的 效率，多视点视频编码总是利用视点间冗余。两个视点间的视差是由两个不同相机的位置 和角度造成的。
[0005] 为了共享相邻视点之前已编码的纹理（texture)信息，一种称为DCP的技 术已包含于基于高效视频编码（化曲Efficien巧VideoCoding,肥VC)的测试模型 (肥VC-basedTestModel，HTM)软件测试平台中，作为另一种选择W用于运动补偿预测 (Motion-CompensatedPrediction,MCP)。MCP指图像间预测，使用相同视点的之前已编 码的图像，而DCP指图像间预测，使用在同一个接入单元中其它视点的之前已编码的图像。 图1为结合MCP和DCP的3D视频编码系统的示例的示意图。用于DCP的向量（110)也称 为视差向量，类似于用于MCP的运动向量（MotionVector，MV)。图1显示与MCP有关的S 个运动向量（120,130和140)。此外，DCP块的DV也可通过由相邻块或时域（temporal) 共生块（collocatedblocks)导出的（derived)视差矢量预测器（DisparityVector Predictor,DVF〇候选（candidate)进行预测，其中该相邻块或该时域共生块也使用视点间 参考图像。
[0006] 为了共享参考视点之前已编码的运动信息，HTM-5. 0使用了一种编码工具，叫做视 点间运动预测。根据视点间运动预测，当前块的视差向量先导出，且参考视点中已编码图像 中的预测块通过在当前块的位置上加入视差向量来定位。若预测块使用MCP进行编码，贝U预测块的有关运动参数可用作当前视点中当前块的候选运动参数。导出的DV也可直接用 作DCP的候选DV。
[0007] 视点间残差预测是HTM-5. 0中使用的另一种编码工具。为了共享参考视点的之前 已编码的残差（resi化al)信息，当前块的残差信号可通过参考视点中对应块的参考信号 来预测。参考视点中的对应块可通过DV来定位。
[0008] 对于HTM-5. 0中的合并模式（MergeMode)，候选导出也包含视点间运动向量。先 构建合并候选列表（Mergecandidatelist),然后具有最小率失真（Rate-Disto;rtion,畑） 代价的合并候选的运动信息选择作为合并模式的运动信息。对于纹理分量（component)，导 出合并候选的顺序为：时域视点间运动向量合并候选，左（空域（spatial))，上（空域），右 上（空域），视差视点间运动向量合并候选，左下（空域），左上（空域），时域及另外的双向 预测（bi-predictive)候选。为时域视点间运动向量合并候选导出DV，W及直接将导出的 DV用作不同的视点间运动向量合并候选。
[0009] 如上所述，各种编码工具使用导出的DV。因此，对于视点间运动预测，视点间残差 预测，DCP或需要指示视点间图像间对应关系的任意其它工具，DV在3D视频编码中是很关 键的。在HTM版本5.0中，块的DV可导出W便该块可使用DV来明确视点间参考图像中对 应块的位置，W用于视点间运动预测和视点间残差预测。DV是根据预定义的顺序由空域和 时域相邻块中导出的。DV导出可使用的空域相邻块如图2A所示。如图2A所示，五个空域 相邻块可使用。空域相邻块的捜索顺序为Ai(左侧），Bi(上方），B。（右上方），A。（左下方） 及Bz(左上方）。
[0010] 如图2B所示，基于时域对应块，两个时域块（中屯、块CT和右下块RB/左上块化） 可用于导出DV。中屯、块（CT)位于当前块的中屯、。BR块对应于跨越（across)当前块的右 下角的右下块。若BR块不可用（unavail油le)，则使用左上（Top-Left,TL)块。来自当前 视点的最多两个时域共位（collocated)图像可被捜索W定位可用的DV。第一个共位图像 与肥VC中时域运动向量预测（TemporalMotionVectorPrediction,TMVP)所使用的共位 图像相同，该共位图像在片头（sliceheader)中传送信号。第二图像与TMVP中所使用的 共位图像不同，第二图像是从参考图像列表中导出的，其中在该参考列表中，参考图像索引 (indices)W升序排列。将由时域对应块所导出的DV加入候选列表。
[0011] 第二图像选择描述如下：
[0012] (i)捜索参考图像列表中的随机接入点（RadomAccess化int，RAP)。若找到RAP， 则使用RAP作为第二图像并结束导出处理。当RAP对于当前图像（州rrentpicture)不可 用时，则转至步骤（U)。
[0013] (ii)选择具有最低时域识别码（temporallD,TID)的图像，作为第二时域图像。若 存在多个图像具有相同的最低TID，则转至步骤（iii)。
[0014] (iii)在具有相同的最低TID的多个图像中，选择与当前图像具有最小图像顺序 计数（P0C)差异的图像。
[0015] 若在上述空域和时域相邻块中未找到任何DCP编码块，则可使用由基于视差向量 的运动补偿预测（DisparityVectorbasedMotionCompensatedPrediction,DV-MCP)块 所取得的视差信息。图3为DV-MCP的示例的示意图。确定与从视点中的当前图像320的 当前块322有关的视差向量（314)。视差向量（314)用于寻找在参考视点（例如，基准视 点）中的视点间参考图像（310)的对应参考块（312)。参考视点中的参考块（312)的MV用 作当前块（322)的视点间运动向量预测候选。视差向量（314)可从相邻块的视差向量或者 对应深度点（cbpthpoint)的深度值导出。DV-MCP块中所使用的视差向量表示当前图像与 视点间参考图像之间的运动对应关系。
[0016] 为了指示MCP块是否使用DV-MCP编码W及保存与用于视点间运动参数预测 的视差向量有关的数据，增加了两个变量W储存每个块的运动向量信息；dvMcpFlag与 dvMcpDisparity。当dvMcpFlag等于1，dvMcpDisparity设置为用于视点间运动参数预测 的视差向量。在高阶运动向量预测（AdvancedMotionVectorPrediction,AMVP)及合并 候选列表构建操作中，仅当候选为通过视点间运动参数预测所产生时，候选的dvMcpFlag 设置为1。当块使用跳过编码（Skipcoded)时，不传送运动向量差（MotionVector Difference,MVD)数据和残差数据的信号。因此，在HTM-5.0中，只有来自跳过编码的 DV-MCP块的视差向量可用于DV导出。此外，只有空域相邻DV-MCP块使用如下捜索顺序 进行捜索；A0,A1，B0,B1及B2。选择dvMcpFlag等于1的第一个块，并且该第一个块的 dvMcpDisparity将用作当前块的导出的DV。
[0017] 在HTM-5. 0中，时域DV导出对于不同的从视点使用不同的检测顺序。图4为用 于时域DV导出的时域DV候选检测顺序的较佳流程图。在步骤410中，先检测视点识别码 (即，view_Id)。若视点识别码大于1，则操作转至步骤420W检测时域块BR是否位于图 像边界之外。若时域块位于边界之内，则操作转至步骤422W检测时域块BR是否具有DV。 若时域块BR存在DV，则将该DV用作时域DV。否则，操作转至步骤426。若时域块BR位于 边界之外，则操作转至步骤424W检测时域块化是否具有DV。若时域块化存在DV，则将 该DV用作时域DV。否则，操作转至步骤426。在步骤426中，操作检测时域块CT是否具有 DV。若时域块CT存在DV，则将该DV用作时域DV。否则，时域DV不可用。之后，时域DV导 出结束。
[001引若视点对应于图4中的视点1，则在步骤430中，操作检测时域块CT是否具有DV。 若存在DV，则将该DV用作时域DV。否则，操作转至步骤432W检测时域块BR是否位于图 像边界之外。若时域块位于边界之内，则操作转至步骤434W检测时域块BR是否具有DV。 若时域块BR存在DV，则将该DV用作时域DV。否则，时域DV不可用，且操作终止。若时域 块BR位于边界之外，则操作转至步骤436W检测时域块