后向视图合成预测的制作方法_5

文档序号:9423267阅读:来源:国知局
图5的实例中展示。
[019引在相依视图Tl中,正译码当前块的样本值(Cb)是从包含基础视图TO的样本值的 参考区域R(Cb)预测。经译码样本与参考样本之间的位移向量表示为从与当前经译码纹理 样本相关联的深度图值导出的Tl与TO之间的视差向量。
[019引从深度值(例如,在块d(Cb)中的视差值)转换到视差向量的过程可例如W如下 等式执行:
[0200] 被.
[0201] 禪
[0202] 在W上等式(1)和似中,j和i是Cb内的局部空间坐标,d〇是视图#1的深度 图图像中的深度图值,Z是其实际深度值,且D是到特定视图#0的所导出的视差向量的水 平分量。参数f、b、Z近和Z远是指定相机设置的参数,即,使用的焦距(f)、视图#1与视图 #0之间的相机分离化)W及表示深度图转换的参数的深度范围狂近,Z远)。所导出的视 差向量的垂直分量设定成等于零,因为在人视觉系统中,左眼和右眼位于同一高度处。
[0203] 在例如当前3DV-ATM实施方案等一些实例中,可针对每个深度图值化..255)预 先计算等式(1)和(2),且可存储结果作为查找表。
[0204] 在3D-AVC中,为了指示块(例如,MB或子MB)是否是使用BVSP译码,使用在MB层 级的一个旗标来用信号表示当前MB是否是W常规跳过/直接模式译码或W跳过/直接模 式译码但是从合成参考分量预测。对于每一MB分区(从16x16到8x8),每一参考图片列表 中的参考索引用W用信号表示参考图片。当分区是使用BVSP模式译码时,不用信号表示运 动向量差,因为针对经BVSP译码块不译码运动向量。
[0205] 再次在3D-AVC中,当旗标或参考索引指示合成参考分量时,调用如随后项目中描 述的一个分区的预测。对于其大小由NxM(其中N或M可为8或16)指示的每一MB分区, 如果所述分区是WBVSP模式译码,郝么将当前MB分区进一步分割成具有等于KxK(其中K 可为4、2或1)的大小的若干子区。对于每一子区,导出单独的视差运动向量,且从通过视图 间参考图片中的所导出视差运动向量定位的一个块(即,图5中的R(Cb))预测每一子区。 在共同测试条件中,K经界定为4。关于此预测方法,不用信号表示运动向量差(因为实际 上,视差运动向量是从深度视图分量的对应深度值导出)。此外,对于每一分区,可对每一参 考图片列表应用一个W上运动向量。因此,所导出运动向量更精确。
[0206] 在3D-AVC中,当应用深度优先译码次序时,通过转换对应非基础深度视图中的对 应深度块的深度值可获得每一子区的视差运动向量,如图5中所示。一个对应深度块内的 四个拐角像素的最大值可用W转换成视差运动向量的水平分量。将视差向量的垂直分量设 定成0。
[0207] 图6是说明当前块及五个空间相邻块的概念图。所述空间相邻块标记为A0、AU B0、Bl和B2。块AO表TK左下相邻块,块Al表TK左边相邻块,块BO表TK右上相邻块,块Bl 表示上方相邻块,且块B2表示左上相邻块。
[020引当前,VCEG及MPEG的3D视频译码联合合作小组(JCT-3C)正在开发基于肥VC的 3DV标准,其标准化努力的部分包含基于肥VC的多视图视频编解码器(MV-HEVC)的标准化 及用于基于肥VC的3D视频译码(3D-HEVC)的另一部分。对于3D-HEVC,可包含且支持用于 纹理及深度视图两者的新译码工具,包含在译码单元/预测单元层级中的郝些工具。用于 30-肥¥〔的30-册1软件版本6.0可从^下链接下载;111:193://116¥(3.1111;[.化曰11]111(^61\(16/ svn/svn_3DVCSoftware/tags/HTM-6. 0/。
[0209] 参考软件W及3D-HEVC的工作草案的描述提供于格哈德技术公司克孜巧夫?韦 格纳、陈英和叶思宏的"3D-HEVC测试模型描述草案2"(JCT3V-B1005,口U-T SG 16WP 3 和IS0/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作小组第2次会议:中国 上海,2012年10月)中描述,其在111:化://口116]1;[^;.;[1:-311化曰1'13.611/扣12/(10(3_6]1(1_11361'/ 州rrent_do州ment. php?id=460可用。3D-HEVC的参考软件描述的另一版本在 phenix. it-sudp曰ris. eu/jct2/doc_end_user/current_document. php?id = 706可用。
[0210] 基于相邻块的视差向量导出(NBDV)可用作3D-HEVC中的视差向量导出方法,其针 对所有视图使用纹理优先译码次序。在当前3D-肥VC设计中,通过从参考视图的深度图检 索深度数据可进一步精炼从NBDV导出的视差向量。在NBDV中,视差向量值V)用作两个视 图之间的位移的估计器。因为相邻块在视频译码中几乎共享相同运动/视差信息,所W当 前块可使用相邻块中的运动向量信息作为良好预测符。遵循此想法,NBDV使用相邻视差信 息用于估计不同视图中的视差向量。
[0211] 首先界定若干空间和时间相邻块。随后W通过当前块与候选块之间的相关的优先 级确定的预定义次序检查相邻块中的每一者。一旦在候选者中找到视差运动向量(即,指 向视图间参考图片的运动向量),便将所述视差运动向量转换成视差向量。利用相邻候选块 的两个集合。一个集合是来自空间相邻块且另一集合是来自时间相邻块。
[021引 3D-HEVC首先采用JCT3V-A0097, 3D-CE5.h:视差向量产生结果化?张,Y?陈,M?卡 塞维茨(高通))中提出的(基于)相邻块视差向量(NBDV)方法。JCTVC-A0126,3D-CE5.h:基于肥VC的3D视频译码的视差向量导出的简化(J?孙,M?古,S?叶(LG))中与简化 NBDV-起包含隐式视差向量。基于此,在JCT3V-B0047, 3D-CE5.h相关;视差向量导出的改 进(J?康,Y?陈,L?张,M?卡塞维茨(高通))中,通过移除存储在经解码图片缓冲器中 的隐式视差向量进一步简化NBDV,而且WRAP图片选择改善译码增益。
[021引在当前(从本发明的时间起)NBDV中,五个空间相邻块用于视差向量导出。它们 是当前块(例如,当前预测单元(PU))的左下方、左边、右上方、上方和左上方块,如图6中 由A0、AUB0、Bl或B2指示。应注意送些相邻块与在肥VC中的合并模式中使用的郝些相 邻块相同。因此,不需要额外存储器存取。
[0214]为了检查时间相邻块,视频译码器可首先执行候选图片列表的构造过程。来自当 前视图的多达两个参考图片可视为候选图片。视频译码器可首先将位于同一地点的参考图 片插入到候选图片列表中,接着按参考索引的升序插入候选图片的其余部分。当两个参考 图片列表中具有相同参考索引的参考图片可用时,位于同一地点的图片的同一参考图片列 表中的一个参考图片可先于另一参考图片。对于候选图片列表中的每一候选图片,可确定 H个候选区W用于导出时间相邻块。
[0215] 当块是W视图间运动预测译码的时,可导出视差向量W用于选择不同视图中的对 应块。隐式视差向量(IDV,也被称作所导出的视差向量)称为在视图间运动预测中导出的 视差向量。即使块是W运动预测译码的,为了对随后的块进行译码的目的也不会丢弃所导 出的视差向量。
[0216] 在3D-HTM6. 0的当前设计中,视频译码器根据NBDV过程按次序检查时间相邻块 中的视差运动向量、空间相邻块中的视差运动向量W及随后的IDV。一旦找到视差运动向量 或IDV,过程便终止。
[0217] 视频译码器可通过存取深度信息而进一步精炼使用NBDV导出的视差向量。当从 NBDV过程导出一个视差向量时,视频译码器可通过从参考视图的深度图检索深度数据而进 一步精炼视差向量。精炼过程可包含两个步骤:
[021引a)在例如基础视图等经先前译码参考深度视图中通过所导出的视差向量定位对 应深度块;对应深度块的大小与当前PU的大小相同。
[0219]b)从对应深度块的四个拐角像素选择一个深度值且将其转换为经精炼视差向量 的水平分量。视差向量的垂直分量不变。
[0220] 视频译码器可使用经精炼视差向量用于视图间运动预测,同时未精炼的视差向量 用于视图间残余预测。另外,经精炼视差向量可存储为一个PU的运动向量(如果所述PU 是W后向VSP模式译码)。
[0221] 根据本发明的技术,空间相邻块中的一者可对应于经BVSP译码块,且空间相邻块 中的另一者可对应于非经BVSP译码块。举例来说,块Al可对应于经BVSP译码块且块Bl 可对应于非经BVSP译码块。然而,当对当前块的运动信息进行译码时,视频译码器可使用 同一逻辑功能存取块Al和块Bl的运动信息。假定经BVSP译码块(即,上文陈述的实例中 的块Al)的运动信息包含识别参考图片的参考索引。因此,视频译码器中不需要提供用于 存取块Al的运动信息的单独逻辑功能。
[0222] 图7是说明涉及使用相邻块的后向视图合成预测度VS巧的技术的概念图。已提 出并采用BVSP作为用于3D-HEVC的技术。如JCT3V-C0152中提出的后向扭曲VSP方法在 第3次JCT-3V会议中采用。此后向扭曲VSP的基本想法与3D-AVC中的基于块的VSP相 同。送两个技术均使用后向扭曲和基于块的VSPW避免发射运动向量差且使用更精确的运 动向量。实施方案细节由于不同平台而不同。本发明大体上使用首字母缩略词BVSP来指 代3D-HEVC中的后向视图合成预测,但BVSP也可指代3D-AVC的基于块的视图合成预测。
[0223] 在3D-HTM中,在共同测试条件中应用纹理优先译码。因此,当对一个非基础纹理 视图进行解码时对应非基础深度视图不可用。因此,估计深度信息且用W执行BVSP。为了 估计块的深度信息,提出首先从相邻块导出视差向量,且随后使用所导出的视差向量从参 考视图获得深度块。
[0224] 在HTM5. 1测试模型中,存在导出视差向量预测符的过程,称为NBDV(相邻块视差 向量)。假设(dvx,dvy)表示从NBDV功能识别的视差向量,且当前块位置是(块X,块y)。 提出获取参考视图的深度图像中的(块x+dvx,块y+dvy)处的深度块。所获取的深度块将 具有当前预测单元(PU)的相同大小,且其随后将用W进行当前PU的后向扭曲。图7说明 用于从参考视图定位深度块且随后使用所述深度块用于BVSP预测的步骤。
[022引在图7的实例中,深度图片150和纹理图片154对应于同一视图,而纹理图片152 对应于不同视图。确切地说,纹理图片152包含相对于充当参考图片的纹理图片154正译 码的当前块160。视频译码器可参考与当前块160相邻的相邻块162。相邻块162包含先 前所确定的视差向量166。视差向量166可如同当前块160的视差向量164郝样导出。因 此,视差向量164参考参考视图的深度图片150中的深度块156。
[0226] 视频译码器可随后使用深度块156的像素(即,深度值)来确定当前块160的像 素的视差值168 (即,纹理值),用于执行后向扭曲。视频译码器可随后从由视差值168识别 的像素合成当前块160的经预测块(即,BVSP参考块)的值。视频译码器可随后使用此经 预测块预测当前块160。举例来说,在视频编码器20的视频编码期间,视频编码器20可计 算经预测块与当前块160之间的逐像素差W产生残余值,视频编码器20可随后对所述残余 值进行变换、量化和赌编码。另一方面,在视频解码器30的视频解码期间,视频解码器30 可对残余数据进行赌解码、逆量化和逆变换,随后组合所述残余数据(基于逐像素)与经预 测块W再生当前块160。
[0227]JCT3V-C0152提出对3D-HEVC的BVSP技术的改变,如下所述。确切地说,斜体文字 表示添加到3D-HEVC的文字,而前面是"移除"的带括号文字表示从3D-HEVC的删除:
[0228] 如果在序列中启用BVSP,郝么用于视图间运动预测的NBDV过程改变且在W下段 落中突出显示差异:
[0229] ?对于时间相邻块中的每一者,如果其使用视差运动向量,郝么返回视差运动向 量作为视差向量且W3D-肥VC的章节1. 6. 1. 3中描述的方法进一步精炼所述视差向量。
[0230] ?对于空间相邻块中的每一者,W下适用:
[0231] O按次序对于参考图片列表0和参考图片列表1:
[0232] 如果其使用视差运动向量,郝么返回视差运动向量作为视差向量且W章节 I. 6.I. 3中描述的方法进一步精炼所述视差向量。
[023引 否则,如果其使用BVSP模式,郝么返回相关联运动向量作为视差向量。W与章 节1. 6. 1. 3中描述类似的方式进一步精炼所述视差向量。然而,最大深度值是选自对应深 度块的所有像素而不是四个拐角像素,且经精炼视差向量的垂直分量设定成0。
[0234] ?对于空间相邻块中的每一者,如果其使用IDV,郝么返回IDV作为视差向量且W 章节1. 6. 1. 3中描述的方法进一步精炼所述视差向量。
[0235] 所介绍的BVSP模式视为特殊顿间译码模式,且针对每一PU可维持指示BVSP模式 的使用的旗标。将新合并候选者度VSP合并候选者)添加到合并候选者列表,而不是在位 流中用信号表示所述旗标。所述旗标取决于经解码合并候选者索引是否对应于BVSP合并 候选者。如下按JCT3V-C0152定义BVSP合并候选者:
[0236] ?每一参考图片列表的参考图片索引;-1
[0237] ?每一参考图片列表的运动向量;经精炼视差向量
[023引在JCT3V-C0152中,BVSP合并候选者的插入位置取决于空间相邻块,如下文所论 述:
[0239] ?如果五个空间相邻块(图6中所示的40、41、80、81或82)中的任一者是^8¥5口 模式译码,即,维持相邻块的旗标等于1,郝么将BVSP合并候选者视为对应空间合并候选者 且插入到合并候选者列表。BVSP合并候选者将仅插入到合并候选者列表一次。
[0240] ?否则(五个空间相邻块均不是WBVSP模式译码),将BVSP合并候选者插入到合 并候选者列表仅处于时间合并候选者之前。
[0241] 应注意,在组合的双向预测合并候选者导出过程期间,可检查额外条件W避免包 含BVSP合并候选者。
[0242]JCT3V-J0152进一步提供,具有由NxM表示的大小的每一经BVSP译码的PU进一步 分割成具有等于KxK(其中K可为4或2)的大小的若干子区。对于每一子区,导出单独的 视差运动向量,且从通过视图间参考图片中的导出的视差运动向量定位的一个块预测每一 子区。换句话说,用于经BVSP译码PU的运动补偿单元的大小设定成KxKd在共同测试条件 中,K设定成4。
[0243]JCT3V-J0152进一步提供,对于WBVSP模式译码的一个PU内的每一子区(4x4 块),首先在具有上文提到的经精炼视差向量的参考深度视图中定位对应4x4深度块。第 二,选择对应深度块中的十六个深度像素中的最大值。第H,将所述最大值转换成视差运动 向量的水平分量。将视差运动向量的垂直分量设定成0。
[0244]在3D-HEVC中,当应用纹理优先译码次序时,对于每一预测单元(PU),可在考虑/ 不考虑参考深度视图中的深度值的情况下从NBDV导出视差向量。在获得视差向量之后,针 对一个PU的每一 4x4子区将其进一步精炼(如果所述PU是WBVSP模式译码)。
[0245] 3D-HEVC将精炼过程描述为包含两个步骤;1)从通过所导出的视差向量定位的参 考深度视图中的4x4深度块选择一个最大深度值;2)将所述深度值转换为经精炼视差向量 的水平分量,同时保持经精炼视差向量的垂直分量为0。在针对一个PU的一个4x4子区精 炼视差向量之后,3D-HEVC提供使用经精炼视差向量来定位参考纹理视图中的一个块用于 运动补偿。
[0246] 在当前3D-HTM中,通过将特殊候选者添加到合并候选者列表而针对跳过/合并模 式启用BVSP。W如下设定构造此新候选者,即BVSP合并候选者:
[0247] ?预测方向;用于B切片的双向预测和用于P切片的单向预测
[024引?每一参考图片列表的参考索引;-1。
[0249] ?每一参考图片列表的运动向量;从Do-NBDV导出的视差向量
[0250] ?用W指示BVSP模式的使用的BVSP模式变量(或附加到每一块的旗标)
[0251] 对于所有其它合并候选者,3D-HEVC指示BVSP模式变量设定成0。虽然在软件中 双向预测与BVSP合并候选者相关联,但其在运动补偿过程期间是从视图间参考图片单向 预测。
[0巧2] 鉴于3D-HEVC利用-1的参考索引值用于经BVSP译码块,根据本发明的技术,视频 译码器可使用用于块160的运动信息的参考索引,其识别经预测块(即,BVSP参考块)从 其合成的参考图片。因此,在图7的实例中用于块160的参考索引将识别参考图片列表中 的纹理图片154。一般来说,例如纹理图片154等视图间参考图片可形成与当前正译码图 片(例如,纹理图片152)相同的存取单元的部分。此外,应理解,纹理图片154和深度图片 150 (也被称作深度图)可形成同一视图的部分,而纹理图片152可形成不同视图的部分,且 经预测块(从纹理图片154合成)可形成又一不同视图的部分。
[025引图8是说明根据本发明的技术使用BVSP对当前块进行编码的实例方法的流程图。 当前块可包括当前CU或当前CU的一部分。尽管相对于视频编码器20(图1及2)加W描 述,但应理解,其它装置可经配置W执行类似于图8的方法的方法。
[0巧4] 初始地,视频编码器20可确定应使用BVSP模式译码对当前块进行译码(200)。举 例来说,视频编码器20可执行若干译码遍次,尝试各种译码模式,且随后比较由送些各种 潜在译码模式产生的速率失真性能度量。视频编码器20可随后确定所测试模式当中展现 最佳速率失真性能度量的BVSP模式,且因此选择用于当前块的BVSP模式。同样,在送些 测试期间,视频编码器20的模式选择单元40可确定参考视图W用于合成用于当前块的经 预测块(即,BVSP参考块)。因此,视频编码器20可从所述参考视图确定参考图片W用于 BVSP合成(202)。
[0255] 视频编码器20可随后从参考视图中的参考图片合成经预测块(204)。此外,根据 本发明的技术,视频编码器20可设定用于经BVSP译码块的参考索引的值W识别参考图片 列表中的参考图片(206)。
[0巧6] 视频编码器20可随后计算当前块的残余块(208)。目P,求和器50可计算原始块与 经预测块(从参考图片合成)之间的逐像素差,从而从送些差产生残余块。视频编码器20 可随后变换且量化残余块的系数(210)。确切地说,变换处理单元52可执行变换W计算变 换系数,而量化单元54可量化所述变换系数。
[0巧7] 接着,视频编码器
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1