用于可缩放视频译码和3d视频译码的一般化残差预测的制作方法

用于可缩放视频译码和3d视频译码的一般化残差预测的制作方法
【专利摘要】根据某些方面的用于对视频信息进行译码的设备包含存储器单元及与所述存储器单元通信的处理器。所述存储器单元存储参考层的视频信息。所述处理器至少部分基于预测值及与所述参考层相关联的经调整的残差预测值来确定视频单元的值。所述经调整的残差预测值等于从所述参考层的残差预测乘以不同于1的加权因子。
【专利说明】用于可缩放视频译码和3D视频译码的一般化残差预测

【技术领域】
[0001] 本发明涉及视频译码。

【背景技术】
[0002] 数字视频能力可并入到大范围的装置中，包含数字电视、数字直播系统、无线广播 系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、 数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电 话、所谓的智能电话摂、视频会议装置、视频流式装置等等。数字视频装置实施视频压缩技 术,例如由 MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4 第 10 部分高级视频译码 (AVC)、目前在开发中的高效率视频译码（HEVC)标准定义的标准和所述标准的扩展部分中 所描述的那些视频压缩技术。视频装置可通过实施此些视频译码技术来更高效地发射、接 收、编码、解码和/或存储数字视频信息。
[0003] 视频压缩技术包含空间（图片内）预测和/或时间（图片间）预测以减少或移除 视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片（例如，视频帧或视频帧 的一部分）分割为若干视频块，所述视频块还可被称作树块、译码单元（CU)和/或译码节 点。使用空间预测相对于同一图片中的相邻块中的参考样本来编码图片的经帧内译码（I) 切片中的视频块。图片的经帧间译码（P或B)切片中的视频块可使用相对于同一图片中的 相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可 被称作帧，且参考图片可被称作参考帧。
[0004] 空间或时间预测产生对待译码的块的预测性块。残差数据表示待译码的原始块与 预测性块之间的像素差。根据指向形成预测性块的参考样本块的运动向量以及指示经译码 块与所述预测性块之间的差的残差数据来编码经帧间译码块。根据帧内译码模式和残差数 据来编码经帧内译码块。为了进一步压缩，可将残差数据从像素域变换为变换域，从而产生 残差变换系数，所述残差变换系数随后可被量化。起初布置在二维阵列中的经量化变换系 数可依序扫描以产生变换系数的一维向量，且可应用熵译码以实现更多的压缩。


【发明内容】

[0005] -般来说，本发明描述与可缩放视频译码（SVC)相关的技术。在一些实例中，本发 明的技术可提供一般化残差预测（GRP)框架。层间残差预测使用参考层的残差来预测当前 视频单元。在一般化残差预测中，对当前视频单元的层间残差预测可基于当前层的残差、当 前层的时间预测，及参考层的残差。参考层的残差可通过加权因子来调整。加权因子可基 于且包含各种类型的信息。此类信息的实例可包含加权候选者的数目、加权步长、加权索引 及加权表。
[0006] 根据某些方面的用于对视频信息进行译码的设备包含存储器单元及与所述存储 器单元通信的处理器。所述存储器单元存储参考层的视频信息。所述处理器至少部分基于 预测值及与所述参考层相关联的经调整的残差预测值来确定视频单元的值。所述经调整的 残差预测值等于从所述参考层的残差预测乘以不同于1的加权因子。
[0007] -或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述 及附图和从权利要求书中显而易见。

【专利附图】

【附图说明】
[0008] 图1为说明可利用根据本发明中所描述的各方面的技术的实例性视频编码及解 码系统的框图。
[0009] 图2是说明可实施根据本发明中所描述的各方面的技术的视频编码器的实例的 框图。
[0010] 图3是说明可实施根据本发明中所描述的各方面的技术的视频解码器的实例的 框图。
[0011] 图4是说明根据本发明的各方面的一般化残差预测的实例方法的流程图。
[0012] 图4A是说明根据本发明的各方面的一般化残差预测的另一实例方法的流程图。
[0013] 图5是说明根据本发明的各方面的使用单循环解码的一般化残差预测的实例方 法的流程图。
[0014] 图6是说明根据本发明的各方面的使用多循环解码的一般化残差预测的实例方 法的流程图。
[0015] 图7是说明根据本发明的各方面的用于用信号发送一般化残差预测参数的实例 方法的流程图。
[0016] 图8是说明根据本发明的各方面的用于导出一般化残差预测参数的实例方法的 流程图。
[0017] 图9是说明根据本发明的各方面的用于在一般化残差预测中对层进行上取样或 下取样的实例方法的流程图。
[0018] 图10是说明根据本发明的各方面的用于在一般化残差预测中对运动信息进行再 映射、上取样或下取样的实例方法的流程图。
[0019] 图11是说明根据本发明的各方面的用于确定用于在一般化残差预测中编码的加 权因子的实例方法的流程图。

【具体实施方式】
[0020] 本发明中所描述的技术一般涉及可缩放视频译码（SVC)和3D视频译码。举例来 说，所述技术可与高效率视频译码01EVC)可缩放视频译码（SVC)扩展相关，且与其一起使 用或在其内使用。在SVC扩展中，可存在多个视频信息层。最低层处的层可充当基础层 (BL)，且最顶部处的层可充当增强型层（EL)。"增强型层"有时被称作"增强层"，且这些术 语可互换地使用。中间的所有层可充当EL或BL中的任一者或两者。举例来说，中间的层 可为用于其下方的层（例如，基础层或任何中介的增强层）的EL，且同时充当用于其上方的 增强层的BL。
[0021] 仅出于说明的目的，本发明中所描述的技术使用仅包含两个层（例如，例如基础 层等较低层级的层及例如增强型层等较高层级的层）的实例进行描述。将理解，本发明中 所描述的实例还可扩展到具有多个基础层和增强层的实例。
[0022] 视频译码标准包含 ITU-T H. 261、IS0/IEC MPEG-1 视觉、ITU-T H. 262 或 ISO/ IEC MPEG-2 视觉、ITU-T H. 263、IS0/IEC MPEG-4 视觉以及 ITU-T H. 264(还被称为 ISO/ IEC MPEG-4 AVC)，包含其可缩放视频译码（SVC)以及多视图视频译码（MVC)扩展。另外， 正由ITU-T视频译码专家组（VCEG)以及IS0/IEC运动图片专家组（MPEG)的视频译码联 合合作小组（JCT-VC)开发新的视频译码标准，即高效率视频译码（HEVC)。截止2012年 6 月 7 日，HEVC 的最近草案可从 http ：//wgll. sc29. org/ict/doc end user/current document, oho ? id = 5885/TCTVC-I1003-v2 得到。截止 2012 年 6 月 7 日，被称作 "HEVC 工作草案7 (HEVC Working Draft 7) "的HEVC标准的另一最近草案可从http ://ohenix. it-sudparis. eu/ict/doc end user/documents/9 Geneva/wgll/.TCTVC-I1003-v3. zip 下 载。HEVC工作草案7的全部引用是布洛斯（Bross)等人的文献HCTVC-I1003 "高效率视 频译码（HEVC)文本规范草案 7 (High Efficiency Video Coding (HEVC) Text Specification Draft 7) "，ITU-T SG16 WP3 及 IS0/IEC JTC1/SC29/WG11 的视频译码联合合作小组 (JCT-VC)第9次会议：瑞士日内瓦，2012年4月27日到2012年5月7日。这些参考中的 每一者以全文引用的方式并入。
[0023] 可缩放视频译码（SVC)可用于提供质量（还被称作信噪比（SNR))可缩放性、空间 可缩放性和/或时间可缩放性。增强型层与可具有与基础层不同的空间分辨率。举例来说， EL与BL之间的空间纵横比可为1.0、1.5、2. 0或其它不同比率。换句话说，EL的空间方面 可等于BL的空间方面的1.0、1.5或2.0倍。在一些实例中，EL的缩放因子可大于BL。举 例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，虽然不是限制，但EL的 空间分辨率大于BL的空间分辨率可为可能的。
[0024] 在H. 264的SVC扩展中，可使用针对SVC提供的不同层来执行对当前块的预测。此 预测被称作层间预测。层间预测方法可用于SVC中以便减少层间冗余。层间预测的一些实 例可包含层间帧内预测、层间运动预测，及层间残差预测。层间帧内预测使用基础层中的位 于同一地点的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动来预测 增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。
[0025] 在层间残差预测中，可使用基础层的残差来预测增强层中的当前块。可将残差界 定为视频单元的时间预测与源视频单元之间的差异。在残差预测中，还考虑基础层的残差 来预测当前块。举例来说，可使用从增强层的残差、从增强层的时间预测及从基础层的残差 来重构当前块。可根据以下等式来重构当前块：

【权利要求】
1. 一种用于对视频信息进行译码的设备，其包括： 存储器单元，其经配置W存储与参考层相关联的视频信息；及 处理器，其与所述存储器单元通信，所述处理器经配置W至少部分基于预测值及与所 述参考层相关联的经调整的残差预测值来确定视频单元的值， 其中所述经调整的残差预测值等于从所述参考层的残差预测乘W不同于1的加权因 子。
2. 根据权利要求1所述的设备，其中所述视频单元的所述值是基于残差预测、所述预 测值及从所述参考层的所述经调整的残差预测值来确定。
3. 根据权利要求1所述的设备，其中所述预测值是时间预测值或空间峽内预测值。
4. 根据权利要求1所述的设备，其中所述参考层是经重构参考层。
5. 根据权利要求1所述的设备，其中所述处理器进一步经配置W在选自包括W下各者 的群组的译码层级处应用所述加权因子；序列、峽群组、峽、切片群组、切片、译码单元CU的 群组、译码单元CU、预测单元PU的群组、预测单元PU、块、像素区、像素，及一个亮度分量与 两个色度分量的任何组合。
6. 根据权利要求1所述的设备，其中所述加权因子在位流中用信号发送。
7. 根据权利要求1所述的设备，其中所述加权因子是在位流中接收的。
8. 根据权利要求1所述的设备，其中所述加权因子是基于加权信息来确定。
9. 根据权利要求8所述的设备，其中所述加权信息包括加权步长、加权表、加权因子候 选者的数目及加权索引中的一或多者。
10. 根据权利要求9所述的设备，其中所述加权信息在位流中用信号发送。
11. 根据权利要求9所述的设备，其中所述加权信息是在位流中接收的。
12. 根据权利要求9所述的设备，其中所述加权信息在选自包括W下各者的群组的译 码层级处被译码；序列、峽群组、峽、切片群组、切片、CU的群组、CU、PU的群组、PU、块、像素 区、像素，及一个亮度分量与两个色度分量的任何组合。
13. 根据权利要求9所述的设备，其中所述加权信息至少部分基于先前经译码信息而 被至少部分导出。
14. 根据权利要求13所述的设备，其中所述先前经译码信息是在译码层级处提供且包 括W下各者中的一或多者：量化参数、CU大小、PU大小，及CU译码模式。
15. 根据权利要求14所述的设备，其中加权因子候选者的所述数目是至少部分基于所 述先前经译码信息而被至少部分导出。
16. 根据权利要求14所述的设备，其中所述译码层级包括W下各者中的一或多者：序 列、峽群组、峽、切片群组、切片、CU的群组、CU、PU的群组、PU、块、像素区、像素，及一个亮度 分量与两个色度分量的任何组合。
17. 根据权利要求14所述的设备，其中所述CU译码模式是峽间CU或峽内CU。
18. 根据权利要求1所述的设备，其中所述处理器进一步经配置W执行3D视频译码，且 其中所述参考层包括多个参考层或参考视图。
19. 根据权利要求1所述的设备，其中所述处理器进一步经配置W通过对来自所述参 考层的视频单元进行上取样或下取样来确定空间可缩放视频译码中的所述残差预测值。
20. 根据权利要求19所述的设备，其中所述处理器进一步经配置W将平滑滤波器应用 于所述视频单元或来自所述参考层的视频单元。
21. 根据权利要求1所述的设备，其中所述处理器进一步经配置W通过翅曲、视差补偿 或W上两者来确定3D视频译码中的所述残差预测值。
22. 根据权利要求1所述的设备，其中所述处理器进一步经配置W通过对与层或视图 之间的视频信息相关联的运动信息进行上取样、下取样及再映射中的任一者或组合来确定 所述残差预测值。
23. 根据权利要求22所述的设备，其中所述处理器进一步经配置W通过应用运动移位 来确定所述残差预测值。
24. 根据权利要求1所述的设备，其中所述处理器进一步经配置W通过在参考视频单 元在一个层或视图中可用但在另一对应层或视图中不可用时应用处理来确定所述残差预 测值。
25. 根据权利要求24所述的设备，其中所述应用处理包括将所述参考视频单元标记为 不可用或将相关运动设定为零。
26. 根据权利要求1所述的设备，其中所述处理器进一步经配置W对未编码的视频信 息进行编码且根据W下关系来确定所述加权因子（W);
其中I对应于源图片，P。对应于增强层时间预测或空间峽内预测，Pb对应于基础层时 间预测或空间峽内预测，且ib对应于从所述未编码的视频信息确定的基础层重构。
27. 根据权利要求1所述的设备，其中所述参考层大体上等于所述视频信息的增强层。
28. 根据权利要求1所述的设备，其中所述设备选自由W下各者中的一或多者组成的 群组；桌上型计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、电话手持机、智 能电话、智能平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台，及视频流式装 置。
29. -种用于对视频信息进行译码的方法，其包括： 存储与参考层相关联的视频信息；及 至少部分基于预测值及与所述参考层相关联的经调整的残差预测值来确定视频单元 的值， 其中所述经调整的残差预测值等于从所述参考层的残差预测乘W不同于1的加权因 子。
30. 根据权利要求29所述的方法，其中基于残差预测、所述预测值及从所述参考层的 所述经调整的残差预测值来确定所述视频单元的所述值。
31. 根据权利要求29所述的方法，其中所述预测值是时间预测值或空间峽内预测值。
32. 根据权利要求29所述的方法，其中所述参考层是经重构参考层。
33. 根据权利要求29所述的方法，其进一步包括在选自包括W下各者的群组的译码层 级处应用所述加权因子；序列、峽群组、峽、切片群组、切片、译码单元CU的群组、译码单元 CU、预测单元PU的群组、预测单元PU、块、像素区、像素，及一个亮度分量与两个色度分量的
任何组合。
34. 根据权利要求29所述的方法，其中在位流中用信号发送所述加权因子。
35. 根据权利要求29所述的方法，其中在位流中接收所述加权因子。
36. 根据权利要求29所述的方法，其中基于加权信息来确定所述加权因子。
37. 根据权利要求36所述的方法，其中所述加权信息包括加权步长、加权表、加权因子 候选者的数目及加权索引中的一或多者。
38. 根据权利要求37所述的方法，其中对所述视频信息进行译码包括对所述视频信息 进行编码，且其中在位流中用信号发送所述加权信息。
39. 根据权利要求37所述的方法，其中对所述视频信息进行译码包括对所述视频信息 进行解码，且其中在位流中接收所述加权信息。
40. 根据权利要求37所述的方法，其中在选自包括W下各者的群组的译码层级处对所 述加权信息进行译码；序列、峽群组、峽、切片群组、切片、CU的群组、CU、PU的群组、PU、块、 像素区、像素，及一个亮度分量与两个色度分量的任何组合。
41. 根据权利要求37所述的方法，其中至少部分基于先前经译码信息来至少部分导出 所述加权信息。
42. 根据权利要求41所述的方法，其中所述先前经译码信息是在译码层级处提供且包 括W下各者中的一或多者：量化参数、CU大小、PU大小，及CU译码模式。
43. 根据权利要求42所述的方法，其中至少部分基于所述先前经译码信息来至少部分 导出加权因子候选者的所述数目。
44. 根据权利要求42所述的方法，其中所述译码层级包括W下各者中的一或多者：序 列、峽群组、峽、切片群组、切片、CU的群组、CU、PU的群组、PU、块、像素区、像素，及一个亮度 分量与两个色度分量的任何组合。
45. 根据权利要求42所述的方法，其中所述CU译码模式是峽间CU或峽内CU。
46. 根据权利要求29所述的方法，其进一步包括执行3D视频译码，且其中所述参考层 包括多个参考层或参考视图。
47. 根据权利要求29所述的方法，其进一步包括通过对来自所述参考层的视频单元进 行上取样或下取样来确定空间可缩放视频译码中的所述残差预测值。
48. 根据权利要求47所述的方法，其进一步包括将平滑滤波器应用于所述视频单元或 来自所述参考层的视频单元。
49. 根据权利要求29所述的方法，其进一步包括通过翅曲、视差补偿或W上两者来确 定3D视频译码中的所述残差预测值。
50. 根据权利要求29所述的方法，其进一步包括通过对与层或视图之间的视频信息相 关联的运动信息进行上取样、下取样及再映射中的任一者或组合来确定所述残差预测值。
51. 根据权利要求50所述的方法，其进一步包括通过应用运动移位来确定所述残差预 测值。
52. 根据权利要求29所述的方法，其进一步包括通过在参考视频单元在一个层或视图 中可用但在另一对应层或视图中不可用时应用处理来确定所述残差预测值。
53. 根据权利要求52所述的方法，其中所述应用处理包括将所述参考视频单元标记为 不可用或将相关运动设定为零。
54. 根据权利要求29所述的方法，其进一步包括对未编码的视频信息进行编码且根据 W下关系来确定所述加权因子（W):
其中I对应于源图片，P。对应于增强层时间预测或空间峽内预测，Pb对应于基础层时 间预测或空间峽内预测，且!b对应于从所述未编码的视频信息确定的基础层重构。
55. 根据权利要求29所述的方法，其中所述参考层大体上等于所述视频信息的增强 层。
56. -种其上存储有指令的计算机可读存储媒体，所述指令在被执行时致使设备： 存储与参考层相关联的视频信息；及 至少部分基于预测值及与所述参考层相关联的经调整的残差预测值来确定视频单元 的值， 其中所述经调整的残差预测值等于从所述参考层的残差预测乘W不同于1的加权因 子。
57. 根据权利要求56所述的计算机可读存储媒体，其中所述视频单元的所述值是基于 残差预测、所述预测值及从所述参考层的所述经调整的残差预测值来确定。
58. 根据权利要求56所述的计算机可读存储媒体，其中所述预测值是时间预测值或空 间峽内预测值。
59. 根据权利要求56所述的计算机可读存储媒体，其中所述加权因子是基于加权信息 来确定。
60. 根据权利要求59所述的计算机可读存储媒体，其中所述加权信息包括加权步长、 加权表、加权因子候选者的数目及加权索引中的一或多者。
61. -种用于对视频信息进行译码的设备，其包括： 用于存储与参考层相关联的视频信息的装置；及 用于至少部分基于预测值及与所述参考层相关联的经调整的残差预测值来确定视频 单元的值的装置， 其中所述经调整的残差预测值等于从所述参考层的残差预测乘W不同于1的加权因 子。
62. 根据权利要求61所述的设备，其中所述视频单元的所述值是基于残差预测、所述 预测值及从所述参考层的所述经调整的残差预测值来确定。
63. 根据权利要求61所述的设备，其中所述预测值是时间预测值或空间峽内预测值。
64. 根据权利要求61所述的设备，其中所述加权因子是基于加权信息来确定。
65. 根据权利要求64所述的设备，其中所述加权信息包括加权步长、加权表、加权因子 候选者的数目及加权索引中的一或多者。
【文档编号】H04N19/597GK104429076SQ201380036301
【公开日】2015年3月18日 申请日期:2013年7月3日 优先权日:2012年7月10日
【发明者】李想, 克里希纳坎斯·拉帕卡, 郭立威, 陈建乐, 马尔塔·卡切维奇 申请人:高通股份有限公司