2Nx2N、inter_2NxN、 inter_Nx2N、inter_NxN以及不对称运动分区（AMP)模式）中编码时，可执行层间残差预测。
[0032] 过程300可在块304继续，在此可访问对应于协同定位块的残差。比如，参考图4 和图5，块304可涉及SVC编解码器406使用处理器402从存储器408获得对应于协同定位 块504的残差数据。比如，存储器408可充当用于暂时存储视频内容（诸如对应于块504 的残差数据）的帧缓冲器。
[0033] 在块306,可关于执行在块304获得的残差的上采样做出确定。比如，在PU502对应 于四个协同定位块504的图5示例中，对应于块504的残差可能需要被上采样以匹配PU502 的大小，并且过程300可进行到块308。在其它实现中，诸如当不提供空间可缩放性时，可不 执行上采样，并且过程300可从块306跳到块310,使得可不执行块308。
[0034] 在各种实现中，通过对残差应用内插滤波器可执行在块308对残差的上采样，不 过本公开不限于任何具体形式的上采样滤波。在各种实现中，对残差上采样可改进层间残 差预测的准确度，并且可导致EL的更好压缩性能。在各种实现中，在块308可应用固定内插 滤波器或自适应内插滤波器。对于采用固定上采样滤波器的实现，滤波器系数可预先确定， 并且可由译码器（例如系统200)和解码器（要在下面更详细描述）都使用。对于采用自 适应上采样滤波器的实现，滤波器系数可在译码器自适应确定（例如通过训练），并且然后 可作为一部分位流发送到解码器，这将在下面进一步说明。在各种实现中，在块308应用的 内插滤波器可以是多抽头多相内插滤波器。进一步说，在各种实现中，块308可涉及SVC编 解码器406使用处理器402中的硬件逻辑（诸如固定功能电路）对残差应用从存储器408 获得的内插滤波器系数。
[0035] 过程300可在块310继续，在此可关于精炼在块304获得的残差或由块308产生 的上采样残差做出确定。在各种实现中，对残差应用精炼滤波器可改进层间残差预测的准 确度，并且可导致EL的更好压缩性能。如果选择精炼，则过程300可在一些实现中进行到 块312,在此二维（2D)空间滤波器可被作为精炼滤波器应用，不过本公开不限于任何具体 类型的精炼滤波器。在其它实现中，可不执行空间滤波，并且过程300可从块310跳到块 314,使得可不执行块312。进一步说，在各种实现中，块312可涉及SVC编解码器406使用 处理器402中的硬件逻辑（诸如固定功能电路）对残差应用从存储器408获得的精炼滤波 器系数。
[0036] 在各种实现中，如果r表示滤波之前的中心残差值，并且周围残差值f W (i，j=0, ...，N)表示2D滤波器窗口，则在块312应用的精炼滤波器可根据下式确定对应滤 波的中心残差值r'
【主权项】
1. 一种方法，包括： 在增强层（EL)视频解码器： 至少部分基于从较低EL或基础层（BL)帧中的至少一个获得的残差确定EL帧的块的 预测残差。
2. 如权利要求1所述的方法，进一步包括：访问存储器中的所述残差。
3. 如权利要求1所述的方法，其中所述EL帧包括时间、空间或质量EL帧中的至少一 个。
4. 如权利要求1所述的方法，其中确定所述预测残差包括确定有关切片、画面或层级 中的至少一个的所述预测残差。
5. 如权利要求1所述的方法，其中所述块包括编码单元（CU)、预测单元（PU)或变换单 元（TU)之一。
6. 如权利要求1所述的方法，其中确定所述预测残差包括响应于在所述EL视频解码 器接收的位流中包含的指示符而确定所述预测残差。
7. 如权利要求6所述的方法，其中在第一状态中所述指示符规定所述EL视频解码器 将执行层间残差预测，并且其中在第二状态中所述指示符规定所述EL视频解码器将不执 行层间残差预测。
8. 如权利要求7所述的方法，其中基于速率失真成本已经将所述指示符置于所述第 一状态或所述第二状态之一。
9. 如权利要求1所述的方法，其中所述残差对应于所述较低EL或所述BL的一个或多 个协同定位块。
10. 如权利要求9所述的方法，其中所述一个或多个协同定位块包括内部编码块、中 间编码块或混合内部/中间编码块之一。
11. 如权利要求1所述的方法，进一步包括在确定所述预测残差之前对所述残差应用 上采样滤波器。
12. 如权利要求11所述的方法，其中所述上采样滤波器包括固定上采样系数或自适 应上采样系数之一。
13. 如权利要求1所述的方法，进一步包括在确定所述预测残差之前对所述残差应用 精炼滤波器。
14. 如权利要求13所述的方法，其中所述精炼滤波器包括固定精炼系数或自适应精 炼系数之一。
15. 至少一个机器可读介质，包括多个指令，所述指令响应于在计算装置上执行而使 所述计算装置执行如权利要求1至14中任一项所述的方法。
16. -种设备，当操作时配置成执行如权利要求1至14中任一项所述的方法。
17. -种设备，包括用于执行如权利要求1至14中任一项所述的方法的部件。
18. -种方法，包括： 在EL视频译码器： 至少部分基于从较低EL或基础层（BL)帧中的至少一个获得的残差确定EL帧的块的 预测残差。
19. 如权利要求18所述的方法，进一步包括：访问存储器中的所述残差。
20. 如权利要求18所述的方法，进一步包括： 在确定所述预测残差之后对所述EL进行熵译码；以及 生成包含所述熵译码的EL帧的位流。
21. 如权利要求20所述的方法，进一步包括： 生成指示符，其中在第一状态中所述指示符规定对于所述块将执行层间残差预测，并 且其中在第二状态中所述指示符规定对于所述块将不执行层间残差预测；以及 将所述指示符包含在所述位流中。
22. 如权利要求21所述的方法，进一步包括： 基于速率失真成本将所述指示符置于所述第一状态或所述第二状态之一。
23. 如权利要求18所述的方法，其中所述EL帧包括时间、空间或质量EL帧中的至少 一个。
24. 如权利要求18所述的方法，其中确定所述预测残差包括确定有关切片、画面或层 级中至少一个的所述预测残差。
25. 如权利要求18所述的方法，其中所述块包括编码单元（CU)、预测单元（PU)或变换 单元（TU)之一。
26. 如权利要求18所述的方法，其中所述残差对应于所述较低级EL帧或所述BL帧的 一个或多个协同定位块。
27. 如权利要求26所述的方法，其中所述一个或多个协同定位块包括内部编码块、中 间编码块或混合内部/中间编码块中的至少一个。
28. 如权利要求18所述的方法，进一步包括在确定所述预测残差之前对所述残差应 用上采样滤波器。
29. 如权利要求28所述的方法，其中所述上采样滤波器包括固定上采样系数或自适 应上采样系数之一。
30. 如权利要求18所述的方法，进一步包括在确定所述预测残差之前对所述残差应 用精炼滤波器。
31. 如权利要求30所述的方法，其中所述精炼滤波器包括固定精炼系数或自适应精 炼系数之一。
32. 至少一个机器可读介质，包括多个指令，所述指令响应于在计算装置上执行而使 所述计算装置执行如权利要求18至31中任一项所述的方法。
33. -种设备，当操作时配置成执行如权利要求18至31中任一项所述的方法。
34. -种设备，包括用于执行如权利要求18至31中任一项所述的方法的部件。
【专利摘要】描述了包含使用层间残差预测执行可缩放视频编码的系统、装置和方法。增强层编码单元、预测单元或变换单元中的层间残差预测可使用从基础层或从较低增强层获得的残差数据。残差可受到上采样滤波和/或精炼滤波。上采样或精炼滤波器系数可预先确定，或者可自适应确定。
【IPC分类】H04N19-463, H04N19-61, H04N19-30
【公开号】CN104584553
【申请号】CN201280075457
【发明人】张文豪, 邱怡仁, 徐理东, 韩钰, 邓智玭, 蔡晓霞
【申请人】英特尔公司
【公开日】2015年4月29日
【申请日】2012年9月28日
【公告号】EP2901694A1, US20150163499, WO2014047877A1