后向视图合成预测的制作方法_4

文档序号:9423267阅读:来源:国知局
示可执行此减法运算的一或多个组件。变换处理单元52将 例如离散余弦变换值CT)或概念上类似的变换等变换应用于残余块,从而产生包括残余变 换系数值的视频块。变换处理单元52可W执行概念上类似于DCT的其它变换。还可使用 小波变换、整数变换、子带变换或其它类型的变换。在任何状况下,变换处理单元52向残余 块应用所述变换,从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到 变换域,例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54 可将所述变换系数量化W进一步减小位速率。量化过程可减少与变换系数中的一些或全部 相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可接 着对包含经量化变换系数的矩阵执行扫描。替代性地,赌编码单元56可执行扫描。
[0155] 在量化之后,赌编码单元56对经量化的变换系数进行赌译码。举例来说,赌编 码单元56可W执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码 (CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割赌(PIP巧译码 或另一赌译码技术。在基于上下文的赌译码的情况下,上下文可W基于相邻块。在由赌编 码单元56进行赌译码之后,可W将经编码位流发射到另一装置(例如,视频解码器30),或 者将所述经编码位流存档W用于稍后发射或检索。
[0156] 逆量化单元58及逆变换单元60分别应用逆量化及逆变换W在像素域中重构残余 块,例如W供稍后用作参考块。运动补偿单元44可W通过将残余块加到参考图片存储器64 中的顿中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器 应用于所重构的残余块W计算子整数像素值用于运动估计。求和器62将经重构的残余块 添加到由运动补偿单元44产生的经运动补偿的预测块,W产生经重构的视频块W用于存 储于参考图片存储器64中。经重构的视频块可由运动估计单元42及运动补偿单元44用 作参考块W对后续视频顿中的块进行顿间译码。
[0157] W此方式,图2的视频编码器20表示经配置W进行W下操作的视频编码器的实 例:例如根据3D-HEVC对多视图视频数据块的运动信息进行编码,其中所述运动信息包含 识别包括用于后向扭曲视图合成预测度VS巧的源的参考图片的参考索引;对所述参考图 片的一部分执行BVSPW产生BVSP参考块;W及使用BVSP参考块预测所述块。
[0158] 图3是说明可实施用于使用后向视图合成预测度VS巧对块进行解码的技术的视 频解码器30的实例的框图。在图3的实例中,视频解码器30包含赌解码单元70、运动补 偿单元72、顿内预测单元74、逆量化单元76、逆变换单元78、参考图片存储器82及求和器 80。视频解码器30在一些实例中可执行与关于视频编码器20 (图2)所描述的编码遍次大 体上互逆的解码遍次。运动补偿单元72可基于从赌解码单元70接收的运动向量产生预测 数据,而顿内预测单元74可基于从赌解码单元70接收的顿内预测模式指示符产生预测数 据。
[0159] 在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频块的视频 块及相关联的语法元素的经编码视频位流。视频解码器30的赌解码单元70赌解码位流W 产生经量化系数、运动向量或顿内预测模式指示符及其它语法元素。赌解码单元70将运动 向量及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级及/或视 频块层级接收语法元素。
[0160] 当视频切片经译码为经顿内译码(I)切片时,顿内预测单元74可W基于用信号表 示的顿内预测模式和来自当前图片的先前经解码块的数据产生用于当前视频切片的视频 块的预测数据。当视频顿被译码为经顿间译码(即,B、P或GPB)切片时,运动补偿单元72 基于从赌解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的 预测性块。可从参考图片列表中的一者内的参考图片中的一者产生所述预测性块。视频解 码器30可W基于存储在参考图片存储器82中的参考图片使用默认构造技术构造参考顿列 表,即列表0及列表1。
[0161] 运动补偿单元72通过剖析运动向量和其它语法元素确定用于当前视频切片的视 频块的预测信息,且使用所述预测信息产生用于经解码的当前视频块的预测块。举例来说, 运动补偿单元72使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预 测模式(例如,顿内预测或顿间预测)、顿间预测切片类型(例如,B切片、P切片或Gro切 片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经顿间编码的视频块的运 动向量、切片的每一经顿间译码的视频块的顿间预测状态和用W对当前视频切片中的视频 块进行解码的其它信息。
[0162] 运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频 编码器20在视频块的编码期间使用的内插滤波器来计算参考块的次整数像素的内插值。 在此情况下,运动补偿单元72可根据所接收的语法元素确定由视频编码器20使用的内插 滤波器并使用所述内插滤波器来产生预测性块。
[0163] 根据本发明的技术,运动补偿单元72可例如使用BVSP从合成图片预测块。举例 来说,赌解码单元70可对指示块是使用BVSP译码的用于所述块的语法数据进行赌解码,且 将此经解码语法数据发送到运动补偿单元72。作为响应,运动补偿单元72可确定另一视图 的参考图片将用W合成将从其预测所述块的参考图片的至少一部分。运动补偿单元72或 视频解码器30的另一元件(例如,合成单元,图3中未图示)可从存储在参考图片存储器 82中的图片合成参考图片的一部分。合成单元当存在时可包含在运动补偿单元72或视频 解码器30的另一元件中。
[0164] 根据本发明的技术,视频解码器30可从块的运动信息的参考索引的值到对应于 图片的值确定参考图片的所述部分从其合成W用于所述块的图片。目P,参考索引可识别参 考图片的所述部分从其合成的图片,作为到包含所述图片的参考图片列表中的索引,W使 得所述索引对应于参考图片列表中的图片。赌解码单元70可对块的运动信息的语法元素 进行解码W确定参考索引,运动补偿单元72可使用所述参考索引W识别参考图片存储器 82(充当经解码图片缓冲器值PB))中的从其合成参考块(即,经预测块)的参考图片。
[0165] 因此,运动补偿单元72可执行用于当前视图中的当前块的后向视图合成预测。 目P,运动补偿单元72可确定第一视图中的参考图片存储器82的图片。如下文相对于图7 更详细地解释,运动补偿单元72可确定当前块的相邻块和相邻块的视差向量。运动补偿单 元72可随后相对于当前视图中的当前块确定由视差向量识别的第一视图中的深度图的深 度块。
[0166] 随后,使用深度块的深度值,运动补偿单元72可扭曲相对于当前块中的像素的位 置所确定的第一视图中的图片的像素值,W使得经预测块(即,BVSP参考块)形成于不同 于第一视图和当前视图的第二视图中。运动补偿单元72可将此经预测块提供到求和器50 和求和器80,分别用于计算残余和再生当前块。同样,根据本发明的技术,视频解码器30可 对界定当前块的运动信息的语法数据进行解码W使得所述运动信息包含具有识别第一视 图中从其合成经预测块的图片的值的参考索引。
[0167] 此外,参考索引可连同块的其它语法元素一起存储在参考图片存储器82中。参 考图片存储器82表示经解码图片缓冲器值PB)的实例。因为存储具有识别实际参考图片 的值的用于块的参考索引,所W当例如根据高级运动向量预测(AMVP)、时间运动向量预测 (TMV巧和/或合并模式对后续块的运动信息进行译码时可使用块的运动信息。此外,视 频解码器30不需要实施用于存取参考图片存储器82中的经BVSP译码块的运动信息的额 外逻辑功能。实际上,视频解码器30可使用与非经BVSP译码块相同的逻辑功能来存取经 BVSP译码块的运动信息。类似地,视频解码器30可启用用于与经BVSP译码块位于同一地 点(但在不同视图或不同图片中)的块的运动参数继承(MPI)。
[0168] 如上文所论述,用于经BVSP译码块的参考索引可存储在DPB中,例如参考图片存 储器82中。然而,视频解码器30可经配置W避免将BVSP变量存储在参考图片存储器82 中。BVSP变量可充当指示正解码的当前块是使用BVSP解码的状态变量。然而,BVSP变量 不需要存储在参考图片存储器82中,且因此,在参考图片存储器82中不需要分配用于BVSP 变量的存储器。
[0169] 逆量化单元76将在位流中提供且由赌解码单元70解码的经量化变换系数逆量 化,即解量化。逆量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算 的量化参数QPy来确定应应用的量化程度和同样的逆量化程度。
[0170] 逆变换单元78对变换系数应用逆变换(例如,逆DCT、逆整数变换,或概念上类似 的逆变换过程),W便产生像素域中的残余块。
[0171] 在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块 后,视频解码器30通过对来自逆变换处理单元78的残余块与由运动补偿单元72产生的对 应预测性块求和而形成经解码的视频块。求和器80表示执行此求和运算的一或多个组件。 如果需要的话,还可应用解块滤波器W对经解码块进行滤波,W便移除成块效应假象。其它 环路滤波器(译码环路中或译码环路之后)也可用于使像素转变变平滑或W其它方式改善 视频质量。接着将给定顿或图片中的经解码视频块存储在参考图片存储器82中,所述参考 图片存储器存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频W 用于稍后呈现在显示装置(例如,图1的显示装置32)上。
[0172] W此方式,图3的视频解码器30表示经配置W进行W下操作的视频解码器的实 例;根据3D-HEVC对多视图视频数据块的运动信息进行解码,其中所述运动信息包含识别 包括用于后向扭曲视图合成预测度VS巧的源的参考图片的参考索引;对参考图片的一部 分执行BVSPW产生BVSP参考块;W及使用BVSP参考块预测所述块。
[017引图4为说明实例多视图视频译码(MVC)结构的概念图。MVC为H. 264/AVC的扩展。 应理解,类似概念可应用于肥VC及其扩展,例如多视图视频译码扩展。图4的实例说明视 图内的图片间预测和视图间预测两者。在图4的实例中,说明八个视图(具有视图ID"S0" 至IJ"S7"),且对于每一视图说明十二个时间位置("TO"到"T11")。也就是说,图4中的每 一行对应于一视图,而每一列指不一时间位置。
[0174] 尽管MVC具有可通过H. 264/AVC解码器解码的所谓的基础视图且MVC还可支持立 体声视图对,但MVC的一个优点是:其可支持使用两个W上视图作为3D视频输入且解码通 过多个视图表示的此3D视频的实例。具有MVC解码器的客户端的再现器可预期具有多个 视图的3D视频内容。
[0175] 典型MVC解码次序布置被称作时间优先译码。存取单元可包含针对一个输出时间 实例的所有视图的经译码图片。举例来说,时间TO的图片中的每一者可包含在共同存取单 元中,时间Tl的图片中的每一者可包含在第二共同存取单元中,等等。解码次序未必与输 出或显示次序相同。
[0176] 在图4中的每一行及每一列的交叉点处使用包含字母的阴影块指示图4中的顿 (即,图片),所述字母指定对应顿是经顿内译码(即,I顿),还是在一个方向上经顿间译码 (即,作为P顿)还是在多个方向上经顿间译码(即,作为B顿)。一般来说,预测由箭头指 示,其中箭头指向的顿使用箭头出发的对象用于预测参考。举例来说,时间位置TO处的视 图S2的P顿是从时间位置TO处的视图SO的I顿预测。
[0177] 如同单个视图视频编码,多视图视频译码视频序列的顿可相对于不同时间位置处 的顿来预测性地编码。举例来说,时间位置Tl处的视图SO的b顿具有从时间位置TO处的 视图SO的I顿指向其的箭头,从而指示b顿是从I顿预测的。然而,另外,在多视图视频编 码的上下文中,顿可经视图间预测。目P,视图分量可使用其它视图中的视图分量用于参考。 举例来说,在MVC中,如同另一视图中的视图分量为顿间预测参考般实现视图间预测。在序 列参数集(SP巧MVC扩展中用信号表示可能的视图间参考且可通过参考图片列表构造过程 修改所述参考,此情形使得能够灵活地将顿间预测或视图间预测参考排序。
[017引在H. 264/AVC的MVC扩展中,作为实例,视差运动补偿支持视图间预测,所述视差 运动补偿使用H. 264/AVC运动补偿的语法,但允许将不同视图中的图片用作参考图片。MVC 可支持对两个视图的译码,所述视图一般被称作立体视图。MVC的优点中的一个优点是: MVC编码器可将两个W上视图作为3D视频输入且MVC解码器可解码此类多视图表示。因 此,具有MVC解码器的再现装置可预期具有两个W上视图的3D视频内容。
[0179] 在MVC中,在同一存取单元(即,W同一时间实例)的不同视图中俘获的图片当中 执行视图间预测(IVP)W移除视图之间的相关。存取单元大体上是包含用于共同时间实例 的所有视图分量(例如,所有NAL单元)的数据单元。因此,在MVC中,准许在同一存取单 元中的图片当中进行视图间预测。当对非基础视图中的一者中的图片进行译码时,如果图 片在不同视图中但在同一时间实例内(例如,具有同一POC值,且因此在同一存取单元中), 郝么可将所述图片添加到参考图片列表中。将图片添加到参考图片列表允许参考所述图片 对其它非基础视图图片的视图间预测。视图间预测参考图片可放置在参考图片列表的任何 位置中,正如任何顿间预测参考图片一般。
[0180] 在多视图视频译码的上下文中,存在两个种类的运动向量。一个种类的运动向量 是指向时间参考图片的正常运动向量,且对应时间顿间预测是运动补偿预测(MCP)。另一种 类的运动向量是指向不同视图中的图片(即,视图间参考图片)的视差运动向量,且对应顿 间预测是视差补偿预测值CP)。
[0181] 可使用各种运动向量译码方案对运动向量进行译码。一个运动向量译码方案是时 间运动向量预测灯MVP)。TMVP可用W改善肥VC的译码效率。使用TMVP的视频译码器(例 女口,视频编码器20或视频解码器30)可存取经解码图片缓冲器中、例如参考图片列表中的 顿(或图片)的运动向量。
[0182] 可针对经译码视频序列用信号表示TMVP的可用性。举例来说,序列参数集(SPS) 可包含具有值1的sps_temporal_mvp_en油le_flag语法元素。此外,可在序列中的切片的 切片标头中用信号表示用于slice_temporal_mvp_enable_flag的值W指示针对所述切片 是否启用TMVP。
[0183] 当TMVP针对当前切片经启用时,如果当前图片是B切片,郝么可在切片标头中用 信号表示collocate^化om_10_flagW指示位于同一地点的图片是来自Re巧icListO还是 Re巧icListl。在识别参考图片列表之后,在切片标头中用信号表示的collocated_ref_idx 可用W识别参考图片列表中的图片中的图片。接着可通过检查位于同一地点的图片来识别 位于同一地点的PU。可使用含有此PU的CU的右下方PU的运动或含有此PU的CU的中必 PU内的右下方PU的运动。
[0184] 如上文所论述,可将块(例如,宏块和/或CU/PU/TU)分割成各种子块,且符合不 同分割模式。假设part_mode指定当前块(例如,当前CU)的分割模式。在一些实例中,可 如下针对块(例如,CU)限制(例如,根据肥VOpartjnode的值:
[0185] ?如果一个CU的译码模式等于M0DE_INTRA,郝么part_mode将等于0或1。
[018引?否则(一个CU的译码模式等于MWE_INTER),W下适用:
[0187]O如果当前CU的大小大于最小CU的大小且不对称运动分割经启用,郝么part_ mode将在0到2(包含性)的范围内或4到7(包含性)的范围内。换句话说,值3不可用, 使得part_mode在0到7 (包含性)的范围内,但不包含值3。
[0188]O否则,如果当前CU的大小大于最小CU的大小且不对称运动分区经停用,郝么 partjnode将在0到2 (包含性)的范围内。
[0189]O否则,如果当前CU的大小等于8,郝么part_mode的值将在0到2 (包含性)的 范围内。
[0190]O否则(当前CU的大小大于8),part_mode的值将在0到3 (包含性)的范围内。
[0191] 在此些实例中,partjnode与变量PartMode的相关联值之间的关系可根据W下表 1界定。当part_mode不存在时,当前CU的分割模式可推断为等于PART_2化2N。
[0192] 表1-与预测模式和分割类型的名称关联
[0193]
[0194] 根据本发明的技术,例如视频编码器20或视频解码器30的视频译码器可经配置 W从参考图片合成当前块的经预测块(即,BVSP参考块)。此外,当前块可为当前视图中的 图片的部分,参考图片可在不同于当前视图的第一视图中,且经预测块可在不同于当前视 图和第一视图两者的第二视图中合成。举例来说,当前块可在视图SI的图片中,参考块可 在视图SO的图片中,且经预测块可对应于视图S2。在此类情况下,视图S2可能实际上不经 译码且在位流中发射,而是,视图S2可表示合成视图。根据本发明的技术,当前块可包含识 别视图S2中的图片的参考索引,且当前块可使用BVSP译码。
[0195] 图5是说明基于后向扭曲的基于块的视图合成预测的概念图。可使用视差运动向 量执行视图间预测。视差运动向量可大体上类似于时间运动向量,不同的是视差运动向量 参考视图间参考图片。在一些实例中,视图间参考图片在与正译码的当前图片相同的存取 单元中。
[0196] 如何导出视差向量可关于每一低层级译码工具而变化,但通常,由于深度优先译 码次序,针对纹理视图分量译码采用相依视图的深度数据。3D-AVC中的环路内基于块的视 图合成视图间预测和基于深度的运动向量预测值-MV巧是低层级译码工具,其主要使用从 相依性顿中的深度图的深度值转换的视差向量。在3D-AVC软件中,从实际深度图值到与特 定视图的视差的转换过程的结果通常与相机参数一起存储在查找表中。
[0197] 基于块的视图合成预测最初在JCT3V-A0107中提出,JCT3V-A0107在http:// phenix.it-sudparis.eu/jct2/doc_end_uSer/documents/l_Stockholm/wgll/ JCT3V-A0107-vl.zip可用。在图5中,假设D表示深度,T表示纹理,且跟随D或T的数字 表示视图。举例来说,TO表示视图0的纹理部分,Tl表示视图1的纹理部分,且Dl表示视 图1的深度部分。假定利用W下译码次序-1'0、00、01、1'1。在此实例中,纹理分量1'0是基 础视图且Tl是WVSP译码的相依视图。此外,在此实例中,深度图分量DO和Dl是与TO和 Tl相关联的相应深度图。深度图分量DO并未在
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1