用于三维视频编码的参考视图选择的方法
【专利说明】用于H维视频编码的参考视图选择的方法
[0001] 【相关申请的交叉引用】
[0002] 本发明主张申请于2013年7月19日，序列号为PCT/CN2013/079715,标题为 "ReferenceViewSelectionfor3DVideoCoding"的PCT专利申请的优先权。将此PCT专 利申请W参考的方式并入本文中。 【技术领域】
[0003]本发明设及S维(three-dimensional，3D)视频编码。特别地，本发明设及与各种S维编码工具相关联的视差向量（disparityvector，DV)W及参考图片导出（reference picturederiv曰tion)〇 【【背景技术】】
[0004]3D视频编码被开发W用于传送由多个相机同时捕获的多个视图的视频数据。因为 相机从不同的视点捕获相同的场景，所W多视图视频数据包含大量视图间冗余。为了利用 视图间冗余，各种使用视差向量(disparityvector,DV)的编码工具被集成到下述现有的 3D高效视频编码（3D-Hi曲EfficiencyVideoCoding,3D-皿VC)或3D高级视频编码（30-AdvancedVideoCoding,3D-AVC)编解码器中。
[0005]视差补偿预测（Disparity-CompensatedPrediction，DCP)
[0006]为了共享参考视图先前被编码的纹理信息，DCP的公知技术被增加W作为运动补 偿预测(motion-compensatedprediction，MCP)的替代。如图1所示，MCP是关于使用不同访 问单元（即，不同时间）的相同视图的已被编码图片的图片间预测（interpicture prediction),而DCP是关于使用相同访问单元中其他视图的已被编码图片的图片间预测。 用于DCP的向量110被称为视差向量(disparityvector,DV)，其模拟用于MCP的运动向量 (motionvector,MV)。图 1 显示了与MCP相关联的S个MV120、13〇W及 140。此外，DCP块的DV 还可由视差向量预测（disparityvectorpredictor,DVP)候选来预测，DVP候选是由也使 用视图间参考图片的相邻块或时间对应块导出。
[0007]视图间运动预测（Inter-ViewMotionPrediction,IVMP)
[000引为了共享参考视图的先前已编码运动信息，IVMP被使用。为了导出用于附属视图 中当前块的候选运动参数，用于当前块的DV首先被导出，且接着，通过将DV增加到当前块的 位置，参考视图中已编码图片中的预测块被定位。如果预测块是使用MCP来编码，相关的运 动参数可用作当前视图中当前块的候选运动参数。已导出DV还可被直接用作当前预测单元 (predictionunit,PU)的视图间DV合并候选。要注意，于当前标准草案中，当将已导出DV储 存为视图间DV合并候选时，相关的参考索引设及每个参考图片列表中第一视图间参考图 片。因为由已导出DV指向的视图间参考图片可能与设及每个参考图片列表中第一视图间参 考图片的相关的参考索引不相同，所W运可能会引入已导出DVW及相关的参考图片之间的 偏差(misalignment)。
[0009]视图间残差预测（Inter-ViewResidualPrediction,IVRP)
[0010] 为了共享参考视图中先前已编码残差信息，当前块的残差信号可由参考视图中对 应块的残差信号来预测。参考视图中的对应块是由一个DV来定位。
[0011] 视图合成预测（ViewSynthesisPrediction，VSP)
[0012] VSP是一种用于移除来自不同视点的视频信号中的视图间冗余的技术，其中，合成 信号被用作预测当前图片的参考。
[001引于3D-肥VC测试模型，HTM-7.0中，存在一种程序来导出视差向量预现巧，其也被称 为相邻块视差向量(Nei曲boringBlockDisparityVector,NBDV)。接着，由NBDV导出的视 差向量被用于获取参考视图的深度图像中的深度块。已获取的深度块当前PU相同的大小， 且将被用于执行用于当前PU的后向扭曲（backwardwa巧ing)。
[0014] 此外，扭曲操作可被执行于子PU等级精度，例如2x2或4x4块。最大深度值被选择用 于子PU块W转换为已转换DVkonvededDV)，且用于扭曲子PU块中的所有像素。VSP仅被应 用于纹理分量的编码。
[0015] 于当前实施方式中，VSP预测被增加W作为新的合并候选W表示VSP预测的使用。 于运样的方式下，VSP块可于跳过模式中被编码，且不需要传送任何残差，或具有已编码残 差信息的合并块。于两种模式中，运动信息将从VSP候选中导出。
[0016] 当图片作为B图片被编码，且当前块被表示为VSP预测时，下文的步骤被应用W确 定VSP的预测方向。
[0017]-从NBDV获取已导出视差向量的视图索引refViewIdxNBDV;
[001引-获取与具有视图索引refViewIdxNBDV的参考图片相关联的参考图片列表RefPicListNBDV(RefPicListO或RefPicListl);
[0019]-检查具有视图索引refViewIdx的视图间参考图片的可用性，视图索引refViewIdx不等于参考图片列表中除RefPicListNBDV之外的refViewIdxNBDV;
[0020] O如果运样的不同视图间参考图片被找到，则应用双向VSP。来自视图索引 refViewIdxNBDV的深度块被用作为当前块的深度信息(在纹理第一编码顺序的情况下），且 两个不同视图间参考图片(来自每个参考图片列表中的一个)经由后向扭曲过程被访问，且 进一步加权W获得最终后向VSP预测子;W及
[0021] O否则，单向（uni-directional)VSP被应用到RefPicListNBDVW作为用于预测的 参考图片列表。
[0022] 当图片作为P图片被编码，且当前预测块使用VSP时，单向VSP被应用。要注意，当前 3D-HEVC草案与软件HTM-7.0中的VSP过程是不同的。两个不同的VSP操作将被描述如下。
[0023] 3D-HEVC工作草案中的VSP化TM-7.0)
[0024] -VSP合并候选的导出过程：
[0025] O获取参考图片列表RefPicLiStX(RefPicLiStO或RefPicLiStl)其包括 RefPicListXbefIdxLX]的ViewIdx等于refViewIdxNBDV的视图间参考图片。如果是， predFlagLXVSP被设置为 1,mvLXVSP被设置为NBDV，且refldxLXVSP被设置为refldxLX;
[0026] O检查存在于RefPicListY(Y=I-X)中的视图间参考图片RefPicLiStY [的門扣1^￥]是否具有不同于'6'￥16*1(1曲80￥的￥16*1扯。如果是，9'6〇^1日旨1^￥￥5?被设置为 l，mvLYVSP被设置为NBDV，且refldxLYVSP被设置为refldxLY。
[0027] -当VSP模式旗标是真(true)，用于帖间预测取样的解码过程：
[0028] 对于X于从0到I的范围中：
[00巧]O如果predFlagLXVSP等于l，RefPicListX[refIdxLX]中的一个或多个视图间参 考图片经由后向扭曲过程被访问。
[0030] -视图合成预测过程：
[0031] 对于X于从0到1的范围中：
[0032]O纹理图片是由RefPicListX[refIdxLX]被导出；W及
[0033]O接着，视差向量mvLX被用于获取当前CU中具有视图索引refViewIdxNBDV的参考 视图的深度图像中的深度块。
[0034] HTM7.0中的VSP
[0035] -视图合成预测合并候选的导出过程：
[0036]OpredFlagLOVSP被设置为 1，且predFlagLlVSP被设置为 0;
[0037]O如果存在RefPiCListo中的视图间参考图片且参考图片RefPiCListo (refIdxLO)是RefPicListO中的第一视图间参考图片，则nwLOVSP被设置为NBDV，且 refIdxLOVSP被设置为refldxLO;W及
[0038]O类似地，如果存在Re巧icListl中的视图间参考图片且参考图片Re^icListl (refIdxLl)是RefPicList1中的第一视图间参考图片，则nwLlVSP被设置为NBDV，且 refIdxLlVSP被设置为refldxLl。
[0039] -当VSP模式旗标是真，用于帖间预测取样的解码过程：
[0040]ORe巧icListX是第一参考图片列表，其包含视图间参考图片，refIdxLXVSP与RefPi化istX中的第一视图间参考图片相关联，且接着，后向扭曲过程于此方向被执行；W 及
[0041]O对于B条带（slice),确定是否为B-VSP的附加测试被执行。附加测试检查列表RefPicListY(Y=I-X)中的视图间参考图片