用于视频译码预测的存储器减少的制作方法
【专利说明】
[0001] 本申请案主张2013年3月29日申请的第61/806, 700号美国临时申请案和2013 年4月4日申请的第61/808, 479号美国临时申请案的权益，以上申请案中的每一者的整个 内容以引入的方式并入本文中。
技术领域
[0002] 本发明涉及视频译码，且更具体来说涉及用于视频译码的运动信息（例如，运动 向量）预测。
【背景技术】
[0003] 数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码 相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线 电电话（所谓的"智能电话"）、视频电话会议装置、视频串流装置及其类似者。数字视频装 置实施视频压缩技术，例如，由 MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4 第 10 部 分高级视频译码（AVC)定义的标准、目前正在开发的高效率视频译码（HEVC)标准及此类标 准的扩展中所描述的视频压缩技术。视频装置通过实施这些视频压缩技术可以更有效地发 射、接收、编码、解码及/或存储数字视频信息。
[0004] 视频压缩技术执行空间（图片内）预测及/或时间（图片间）预测来减少或去除 视频序列中固有的冗余。对于基于块的视频译码，可以将视频切片（即，视频帧或视频帧的 一部分）分割成视频块，视频块也可被称作树块、译码单元（CU)及/或译码节点。图片的 经帧内编码（I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间 预测来编码。图片的经帧间译码（P或B)切片中的视频块可使用相对于同一图片中的相邻 块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可称 为帧，且参考图片可称为参考帧。
[0005] 空间或时间预测导致对块的预测块进行译码。残余数据表示待译码的原始块与预 测块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指 示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及 残余数据而编码。为了进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余 变换系数，接着可以将残余变换系数量化。可扫描最初布置成二维阵列的经量化变换系数， 以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。
【发明内容】
[0006] -般来说，本发明描述用于视频译码的存储器带宽减少的技术。确切地说，本发明 描述视频译码器（例如，视频编码器或视频解码器）借以减少将从图片缓冲器读取的样本 的数目以用于获得用于视频编码的预测块的技术。所述技术可具体来说适用于使用视频样 本的非4:2:0色度格式的视频译码。
[0007] 在一些实例中，所述技术可包含将对于双向帧间预测或"双向预测"的限制延伸到 额外视频块大小，或者延伸到给定视频块的少于全部分量。在此些实例中，视频译码器可将 为了获得视频块的预测符而接收的双向运动向量转换为单向运动向量。在一些实例中，所 述技术可包含以不同方式分割给定视频块的不同分量以使得例如视频译码器可分裂明度 分量以得到额外压缩效率，同时避免分裂至少一个色度分量以减少用于预测所需的像素样 本的数目。在一些实例中，所述技术可包含用信号表示用于双向预测的相应运动向量的不 同参考图片列表的不同分区大小。在一些实例中，所述技术可包含应用对双向预测的限制 的阈值，所述阈值基于例如视频块的区域、大小区域内的块的数目，或视频块高度和宽度的 总和值。根据以上技术中的任何一或多者操作的视频译码器因此可具有相对于视频译码标 准界定视频译码器的硬件规范要求的减少的峰值存储器带宽，以及宽松的硬件规范要求的 减少的成本。
[0008] 在一个实例中，一种对视频数据进行译码的方法，所述方法包括：获得用于预测具 有非4:2:0色度格式的视频块的运动向量；确定所述视频块的视频块大小；在所述视频块 大小满足大小准则的情况下修改所述运动向量以产生经修改运动向量以用于获得将用来 预测所述视频块的至少一个参考图片的样本；以及使用所述至少一个参考图片的所述样本 和所述经修改运动向量产生所述视频块的预测块。
[0009] 在另一实例中，一种用于对视频数据进行译码的设备包括经配置以进行以下操作 的视频译码器：获得用于预测具有非4:2:0色度格式的视频块的运动向量；确定所述视频 块的视频块大小；在所述视频块大小满足大小准则的情况下修改所述运动向量以产生经修 改运动向量以用于获得将用来预测所述视频块的至少一个参考图片的样本；以及使用所述 至少一个参考图片的所述样本和所述经修改运动向量产生所述视频块的预测块。
[0010] 在另一个实例中，一种用于对视频数据进行译码的设备包括：用于获得用于预测 具有非4:2:0色度格式的视频块的运动向量的装置；用于确定所述视频块的视频块大小的 装置；用于在所述视频块大小满足大小准则的情况下修改所述运动向量以产生经修改运动 向量以用于获得将用来预测所述视频块的至少一个参考图片的样本的装置；以及用于使用 所述至少一个参考图片的所述样本和所述经修改运动向量产生所述视频块的预测块的装 置。
[0011] 在另一个实例中，一种计算机可读存储媒体具有存储于其上的指令，所述指令当 执行时致使用于对视频数据进行译码的设备的一或多个处理器进行以下操作：获得用于预 测具有非4:2:0色度格式的视频块的运动向量；确定所述视频块的视频块大小；在所述视 频块大小满足大小准则的情况下修改所述运动向量以产生经修改运动向量以用于获得将 用来预测所述视频块的至少一个参考图片的样本；以及使用所述至少一个参考图片的所述 样本和所述经修改运动向量产生所述视频块的预测块。
[0012] -或多个实例的细节陈述于随附图式及以下描述中。其它特征、目标和优势将从 所述描述和图式以及从权利要求书而显而易见。
【附图说明】
[0013] 图1为说明可利用本发明中描述的技术的实例视频编码和解码系统的框图。
[0014] 图2是说明实例视频块以及用于构造实例视频块的运动向量信息的代表性空间 和时间相邻块的概念图。
[0015] 图3为说明可实施本发明中描述的技术的实例视频编码器的框图。
[0016] 图4是说明可实施本发明中描述的技术的实例视频解码器的框图。
[0017] 图5是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割视频 块的不同分量的实例方法的流程图。
[0018] 图6是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于 视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。
[0019] 图7是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于 视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。
[0020] 图8是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于 视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。
[0021] 图9是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于 视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。
[0022] 图10是说明根据本文所描述的用于存储器带宽减少的技术以不同方式分割用于 视频块的至少一个分量的双向预测的参考列表的预测块的实例方法的流程图。
[0023] 图11是说明用于分量内插的实例整数和分数样本位置矩阵的框图。
[0024] 相同的参考标号贯穿文字和图式表示相同的元件。
【具体实施方式】
[0025] 如上文所论述，视频压缩技术包含相对于另一图片中的另一块中的参考样本对视 频数据块（即，视频块）的时间（图片间）预测。经帧间译码块是根据运动信息（例如，指 向形成另一图片中的预测块的参考样本的块的运动向量）而被译码。在一些实例中，为了 实现进一步位流效率，视频块的运动信息（例如，运动向量、预测方向和参考图片索引值） 自身可使用运动信息预测技术而预测，所述技术有时称为运动向量预测（MVP)技术。
[0026] 根据此类运动信息预测技术，视频译码器可从参考块导出当前视频块的运动向量 和/或其它运动信息。可从其导出运动信息的参考块大体上包含多个预定义空间相邻块， 以及来自一或多个不同（例如，时间上）图片的一或多个位于同一地点或相邻的块。视频 译码器（例如，视频编码器或视频解码器）可构造运动信息候选列表，也被称作候选者列表 或候选集合，其包含空间和时间相邻块的运动信息作为用于对视频块进行译码的候选运动 信息。视频译码器可将索引编码或解码到候选列表中以识别用于译码所述视频块的所选择 的运动信息候选者。
[0027] 用于高效率视频译码（HEVC)(也被称作H. 265或IS0/IEC 23008-HEVC)的运动信 息预测模式包含合并模式和高级运动向量预测（AMVP)模式。对于两种模式，视频译码器 (例如，视频编码器或视频解码器）可基于空间和时间相邻块的运动信息构造运动信息候 选者的列表。另外，视频译码器可使用子样本精度用于运动向量。对于根据例如HEVC获得 的明度块，视频译码器可使用具有用于内插分数样本位置的7分接头（用于四分之一样本 位置）或8分接头滤波器（用于二分之一样本位置）的四分之一样本精度，即，明度样本之 间的距离的四分之一。
[0028] 对于相对于4:2:0色度格式对大量色度像素进行取样的非4:2:0取样格式，内插 用于色度分量中的每一者的大量色度像素以便预测色度块可显著增加视频译码器的存储 器带宽。存储器带宽指代数据从计算机可读存储媒体读取或写入到计算机可读存储媒体的 数据速率。因此，增加存储器带宽可指代增加从此媒体读取的数据或对此媒体写入的数据 的速率，且可导致由于针对用于非4:2:0取样的内插所需的额外数目的色度像素而来自更 多数据负载的此情境。这可能增加视频译码器的硬件成本以便满足非4:2:0的规范，这在 一些使用情况中是不可接受的。举例来说，较高需要的存储器带宽可需要较大总线、较大存 储器、较快总线、较快存储器或这些改进的某种组合以用于满足较高需要的存储器带宽的 规范。
[0029] 在根据本发明的技术的实例中，视频译码器可针对额外情况限制用于非4:2:0格 式的视频译码中的双向预测模式的使用。举例来说，如果色度格式是4:2:2或4:4:4,那么 视频译码器可将带宽减少操作延伸到较大大小的块。因此，例如除限制4x8和8x4块的双 向预测之外，视频译码器还可检测或经配置以对非4:2:0格式进行编码并且因此另外限制 用于任何一或多个较大块分区大小的双向预测，例如8x8块、8x16/16x8块等。视频译码器 可因此将此块的双向运动向量（再次，当视频译码器应用扩展限制时）转换为单向运动向 量。视频译码器可使用上述用于合并模式或AMVP的转换技术中的一者将双向运动向量转 换为单向运动向量。
[0030] 在如本文中所描述限制用于非4:2:0格式的视频译码中的双向预测模式的使用 的视频译码器的一些实例中，视频译码器可除根据HEVC标准限制用于4x8和8x4块的双向 预测之外或替代于根据HEVC标准限制用于4x8和8x4块的双向预测，还根据分量的类型限 制用于较大大小的块的双向预测。对于例如以非4:2:0格式编码的8x8块，视频译码器可 限制用于色度分量中的至少一者的双向预测，同时允许用于明度分量的双向预测。因此，视 频译码器可将用于此些分量的双向运动向量（再次，当视频应用此扩展的每分量限制时） 转换为单向运动向量。因为扩展带宽减少限制对总译码效率具有不等的影响，所以将此限 制应用于色度分量可对将限制应用于明度分量的总译码性能具有较少影响，同时仍潜在地 获得用于视频译码过程的所需存储器带宽的减少。
[0031] 图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。 如图1中所展示，系统10包含源装置12,其产生稍后时间待由目的地装置14解码的经编码 视频数据。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计 算机、笔记型（即，膝上型）计算机、平板计算机、机顶盒、电话手持机（例如所谓的"智能" 电话）、所谓的"智能"平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制 台、视频流式传输装置或类似者。在一些情况下，可装备源装置12和目的地装置14以用于 无线通信。
[0032] 目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能 够将经编码视频数据从源装置12移动到目的地装置14的任何类型媒体或装置。在一个实 例中，链路16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置 14的通信媒体。经编码视频数据可根据通信标准（例如，无线通信协议）来调制，且被发射 到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频（RF)频谱或一或 多个物理发射线。通信媒体可形成基于包的网络（例如，局域网、广域网或全球网络，例如 因特网）的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源装置 12到目的地装置14的通信的设备。
[0033] 替代地，可将经编码数据从输出接口 22输出到存储装置36。类似地，可由目的地 装置14的输入接口 28从存储装置36存取经编码数据。存储装置36可包含多种分布式或 本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储 器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的适当数字存储媒体。 在另一实例中，存储装置36可对应于文件服务器或可保持由源装置12产生的经编码视频 的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置36存取所存储的 视频数据。文件服务器可为能够存储经编码视频