用于可缩放视频译码的帧内预测改善的制作方法
【技术领域】
[0001] 本发明涉及视频译码。
【背景技术】
[0002] 数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码 相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线 电电话、所谓的"智能电话"、视频电话会议装置、视频流式发射装置及其类似者。数字视频 装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H. 263或ITU-T H. 264/MPEG-4第 10部分高级视频译码（AVC)所定义的标准、目前正在开发的高效率视频译码（HEVC)标准及 这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有 效率地发射、接收、编码、解码及/或存储数字视频信息。
[0003] 视频译码技术包含空间（图片内）预测及/或时间（图片间）预测以减少或移除 视频序列中固有的冗余。对于基于块的视频译码来说，视频切片（例如，视频帧或视频帧的 一部分）可分割成视频块，视频块还可被称作树块、译码单元（CU)及/或译码节点。使用 相对于图片中的相邻块中的参考样本的空间预测对同一图片的经帧内编码（I)切片中的 视频块进行编码。图片的经帧间译码（P或B)切片中的视频块可使用相对于同一图片中的 相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可 称作帧，且参考图片可称作参考帧。
[0004] 空间或时间预测导致待译码块的预测性块。残余数据表示待译码的原始块与预测 性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指 示经译码块与预测性块之间的差的残余数据而编码。经帧内译码块是根据帧内译码模式及 残余数据而编码。为了实现进一步压缩，可将残余数据从像素域变换到变换域，从而产生残 余变换系数，接着可对残余变换系数进行量化。可扫描最初布置为二维阵列的经量化变换 系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
【发明内容】
[0005] 大体来说，在一些方面中，本发明描述与使用不同技术或模式预测视频单元值以 及将加权因子应用到每一模式计算以确定所述视频单元值有关的技术。在一些实施例中， 所述加权因子为预定的，且可译码于视频位流中。在一些实施例中，所述加权因子是基于所 述视频单元在相关联块内的位置而确定。举例来说，所述加权因子可基于所述视频单元在 所述块内的所述位置而选自加权因子的预定列表或群组。在另一实施例中，所述加权因子 是通过使用视频块位置信息而计算。在一个实施例中，所述视频单元（例如，像素）到所述 块的顶部及/或左边缘越近，与帧内预测模式相关联的加权单元就越大。在另一实施例中， 所述视频单元距所述块的顶部及左边缘越远，与帧内BL预测模式相关联的所述加权单元 就越大。
[0006] -种根据某些方面的用于译码视频信息的设备包含存储器单元及与所述存储器 单元通信的处理器。所述存储器单元存储与参考层及对应增强层相关联的视频信息。所述 处理器至少部分基于通过第一加权因子加权的帧内预测值及通过第二加权因子加权的在 所述参考层中的共置视频单元的值而确定定位在所述增强层内的一位置处的视频单元的 值，其中所述帧内预测值是基于所述增强层中的至少一个额外视频单元而确定，其中所述 共置视频单元位于所述参考层中的对应于所述视频单元在所述增强层中的所述位置的位 置。在一些实施例中，所述第一加权因子及所述第二加权因子中的至少一者在0与1之间。
[0007] -种根据某些方面的用于译码视频信息的设备包含存储器单元及与所述存储器 单元通信的处理器。所述存储器单元存储与参考层及对应增强层（EL)相关联的视频信息。 所述处理器至少部分基于所述参考层中的多个像素的平均值而确定所述EL中的像素的预 测值。
[0008] 一种根据某些方面的用于译码视频信息的设备包含存储器单元及与所述存储器 单元通信的处理器。所述存储器单元存储与增强层相关联的视频信息。所述处理器将平滑 滤波器应用到视频单元且在所述视频单元为像素值时将平滑滤波器应用到邻近于所述视 频单元的至少一个额外视频单元。
[0009] 一种根据某些方面的用于译码视频信息的设备包含存储器单元及与所述存储器 单元通信的处理器。所述存储器单元存储从增强层与对应参考层之间的差导出的与像素信 息的差视频层相关联的差视频信息。第一空间分辨率与所述增强层相关联，且第二空间分 辨率与所述参考层相关联。所述处理器在所述第一空间分辨率不等于所述第二空间分辨率 时至少部分基于所述差视频层确定定位在所述增强层内的一位置处的视频单元的值。所述 处理器进一步在所述第一空间分辨率等于所述第二空间分辨率时禁止至少部分基于所述 差视频层确定所述视频单元的所述值。
[0010] 一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述 及附图且从权利要求书中显而易见。
【附图说明】
[0011] 图1是说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统 的框图。
[0012] 图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0013] 图3是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
[0014] 图4是说明视频译码器的实例的框图。
[0015] 图5说明用于帧内预测的各种模式。
[0016] 图6是说明预测过程的框图。
[0017] 图7是说明当前预测单元及其相邻单元的框图。
[0018] 图8是说明增强层差域译码及常规像素域译码的框图。
[0019] 图9是说明使用相邻值来确定差域预测的框图。
[0020] 图10是经加权平面帧内预测模式实施方案的框图。
[0021] 图11是经加权平面帧内预测模式实施方案的另一实施例的框图。
[0022] 图12是经加权平面帧内预测模式实施方案的另一实施例的框图。
[0023] 图13是经加权平面帧内预测模式实施方案的另一实施例的框图。
[0024] 图14是说明DC预测模式的实施方案的框图。
[0025] 图15是说明根据本发明的方面的用于经加权平面帧内预测的实例方法的流程 图。
[0026] 图16是说明根据本发明的方面的用于经加权平面帧内预测的实例方法的流程 图。
[0027] 图17是说明根据本发明的方面的用于经加权平面帧内预测的实例方法的流程 图。
[0028] 图18是说明根据本发明的方面的用于经加权平面帧内预测的实例方法的流程 图。
[0029] 图19说明平面帧内预测模式的实例。
[0030] 图20说明用于可缩放视频译码的平面模式帧内预测扩展的一个实施例。
[0031] 图21说明使用基础与增强层预测样本的组合的增强层帧内预测的一个实施例。
[0032] 图22说明差域帧内预测中的所提议帧内残差预测模式的一个实施例。
[0033] 图23说明用于45度帧内预测方向的实例I-D方向变换。
[0034] 图24A说明用于帧内DC预测的滤波的一个实施例。
[0035] 图24B说明用于垂直及/或水平预测模式的滤波的一个实施例。
【具体实施方式】
[0036] 本发明中描述的技术大体涉及可缩放视频译码（SVC)及3D视频译码。举例来说， 技术可与高效率视频译码（HEVC)可缩放视频译码（SVC)扩展相关，且与HEVC SVC扩展一 起使用或在所述HEVC SVC扩展内使用。HEVC SVC扩展也可称作可缩放HEVC (SHVC)。在 SVC扩展中，可存在多个视频信息层。在最底层级处的层可充当基础层（BL)，且在最顶部 的层可充当增强型层（enhanced layer，EL)。"增强型层"有时称作"增强层（enhancement layer)"，且这些术语可互换地使用。所有在中间的层可充当EL或BL，或EL及BL两者。举 例来说，在中间的层可为用于在其下方的层（例如基础层或任何介入增强层）的EL，且同时 充当用于在其上方的增强层的BL。
[0037] 仅出于说明的目的，本发明中描述的技术用仅包含两层（例如，例如基础层等较 低层级层，及例如增强型层等较高层级层）的实例来加以描述。应理解，本发明中描述的实 例也可扩展到具有多个基础层及增强层的实例。
[0038] 视频译码标准包含 ITU-T H. 261、ISO/IEC MPEG-IVisual、ITU-T H. 262 或 ISO/IEC MPEG-2Visual、ITU-T H. 263、ISO/IEC MPEG-4Visual 及 ITU-T H. 264(也被称为 ISO/IEC MPEG-4AVC)，包含其可缩放视频译码（SVC)及多视图视频译码（MVC)扩展。此外，一种新的 视频译码标准，即高效率视频译码（HEVC)，正由ITU-T视频译码专家组（VCEG)及ISO/IEC 运动图片专家组（MPEG)的视频译码联合合作小组（JCT-VC)进行开发。HEVC的新近草案 从 2012 年 6 月 7 H fcnTAAhttp ：//wgll. sc29. org/ict/doc end user/current document. Dhp ? id = 5885/TCTVC-11003-v2获得。被称作"HEVC工作草案7"的HEVC标准的另一 新近草案从 2012 年 6 月 7 曰起.可从 http ://phenix· it-sudparis. eu/ict/doc end user/ documents/9 Geneva/wgll/.TCTVC-I1003_v3· zip下裁。对 HEVC 工作草案 7 的完全弓I 用是 布洛斯（Bross)等人的文献HCTVC-I1003 "高效率视频译码（HEVC)文本规范草案7 (High Efficiency Video Coding(HEVC)Text Specification Draft 7)"，ITU-T SG16WP3 及 ISO/ IEC JTC1/SC29/WG11的视频译码联合合作小组（JCT-VC)，第9次会议：瑞士日内瓦，2012 年4月27日到2012年5月7日。被称作"HEVC工作草案（WD) 8"的HEVC标准的额外新 近草案可从 http://Dhenix.int-evry.fr/ict/doc end user/documents/10 Stockholm/ wgll/TCTVC-T1003-v8. zip获得。HEVC标准的另一新近工作版本为JCTVT-N0041。审批通 讨的 HECV 规范可见于 http ://www, itu. int/rec/T-REC-H. 265-201304-1。这些参考文献 中的每一者以全文引用的方式并入本文中。
[0039] 可缩放视频译码（SVC)可用于提供质量（还称作信噪比（SNR))可缩放性、空间可 缩放性及/或时间可缩放性。增强型层可具有与基础层不同的空间分辨率。举例来说，EL 与BL之间的空间纵横比可为I. 0、1. 5、2. 0或其它不同比率。换句话说，EL的空间方面可 等于BL的空间方面的I. 0、1. 5或2.0倍。在一些实例中，EL的缩放因子可大于BL。举例 来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，可有可能（但不限于）EL 的空间分辨率大于BL的空间分辨率。
[0040] 在译码增强层时，可使用像素域或差域来执行帧内预测。帧内预测是基于相邻像 素及帧内预测模式。帧内预测模式的一些实例包含垂直模式、水平模式、DC模式、平面模式、 角度模式。还可使用额外帧内预测模式。举例来说，在HEVC中，18个帧内预测模式可用于 4x4框，且36个帧内预测模式可用于8x8框。在DC模式中，相邻像素值用于当前像素的帧 内预测。
[0041] 在SVC中，差域可指通过从增强层中重建的像素减去经重建的基础层像素（或反 之亦然）而形成的一组差像素。如上文所解释，差域可用于帧内