使用颜色分量之间的样本预测的视频译码的制作方法
【专利说明】使用颜色分量之间的样本预测的视频译码
[0001]本申请案主张2013年5月22日申请的美国临时专利申请案61/826，396的权利，所述临时专利申请案的全部内容是以引用方式并入本文中。
技术领域
[0002]本发明涉及视频译码(即，视频数据的编码及/或解码)。
【背景技术】
[0003]数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电话、所谓“智能电话”、视频电话会议装置、视频流式处理装置，及其类似者。数字视频装置实施视频压缩技术，诸如以下各者中描述的视频压缩技术:由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(高级视频译码(AVC))定义的标准；目前在开发中的高效率视频译码(HEVC)标准；及此类标准的扩展。视频装置可通过实施此类视频压缩技术而较有效率地发射、接收、编码、解码及/或存储数字视频信息。
[0004]视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测以缩减或移除视频序列中所固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的部分)分割成视频块。图片的经帧内译码(I)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测予以编码。图片的经帧间译码(Ρ或Β)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
[0005]空间预测或时间预测引起用于待译码块的预测性块。残差数据表示原始待译码块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动矢量及指示经译码块与预测性块之间的差的残差数据来编码经帧间译码块。根据帧内译码模式及残差数据来编码经帧内译码块。出于进一步压缩起见，可将残差数据从像素域变换到变换域，从而引起残差系数，其可接着被量化。可扫描最初以二维阵列而布置的经量化系数以便产生系数的一维矢量，且可应用熵译码以达成甚至更多的压缩。
【发明内容】
[0006]—般来说，本发明的技术涉及视频译码及压缩的领域。在一些实例中，本发明的技术涉及高效率视频译码(HEVC)范围扩展，其中可支持除了 YCbCr 4:2:0以外的颜色空间及取样格式。如本文中所描述，视频译码器可重构使用运动预测而产生的预测值颜色分量的残差信号。预测值颜色分量的经重构残差信号可包含预测值颜色分量的经重构残差样本值。另外，视频译码器可使用预测值颜色分量的经重构残差样本值以预测不同的经预测颜色分量的残差样本值。
[0007]在一个实例中，本发明描述一种解码视频数据的方法，所述方法包括:解码包含所述视频数据的经编码表示的位流，其中解码所述位流包括:重构第一颜色分量的残差信号，其中使用运动预测来产生所述第一颜色分量的所述残差信号，所述第一颜色分量的所述经重构残差信号包含所述第一颜色分量的经重构残差样本值；及使用所述第一颜色分量的所述经重构残差样本值以预测第二不同颜色分量的残差样本值。
[0008]在另一实例中，本发明描述一种编码视频数据的方法，所述方法包括:产生包括所述视频数据的经编码表示的位流，其中产生所述位流包括:通过使用运动预测来产生用于第一颜色分量的残差信号；重构所述第一颜色分量的所述残差信号，所述第一颜色分量的所述经重构残差信号包含所述第一颜色分量的经重构残差样本值；及使用所述第一颜色分量的经重构样本值以预测第二颜色分量的样本值。
[0009]在另一实例中，本发明描述一种视频译码装置，其包括:数据存储媒体，其经配置以存储视频数据；及一或多个处理器，其经配置以产生或解码包括所述视频数据的经编码表示的位流，其中作为产生或解码所述位流的部分，所述一或多个处理器:重构第一颜色分量的残差信号，其中使用运动预测来产生所述第一颜色分量的所述残差信号，所述第一颜色分量的所述经重构残差信号包含所述第一颜色分量的经重构残差样本值；及使用所述第一颜色分量的所述经重构残差样本值以预测第二不同颜色分量的残差样本值。
[0010]在另一实例中，本发明描述一种视频译码装置，其包括:用于重构第一颜色分量的残差信号的装置，其中使用运动预测来产生所述第一颜色分量的所述残差信号，所述第一颜色分量的所述经重构残差信号包含所述第一颜色分量的经重构残差样本值；及用于使用所述第一颜色分量的所述经重构残差样本值以预测第二不同颜色分量的残差样本值的装置。
[0011]在另一实例中，本发明描述一种存储有指令的非暂时性计算机可读数据存储媒体，所述指令在经执行时致使视频译码装置:重构第一颜色分量的残差信号，其中使用运动预测来产生所述第一颜色分量的所述残差信号，所述第一颜色分量的所述经重构残差信号包含所述第一颜色分量的经重构残差样本值；及使用所述第一颜色分量的所述经重构残差样本值以预测第二不同颜色分量的残差样本值。
[0012]在随附图式及以下描述中阐述本发明的一或多个实例的细节。其它特征、目标及优点将从所述描述、所述图式以及权利要求书显而易见。
【附图说明】
[0013]图1为说明可利用本发明中所描述的技术的实例视频译码系统的框图。
[0014]图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0015]图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0016]图4为说明根据本发明的一或多种技术的视频编码器的实例操作的流程图。
[0017]图5为说明根据本发明的一或多种技术的视频解码器的实例操作的流程图。
[0018]图6为说明根据本发明的一或多种技术的视频编码器的实例操作的流程图。
[0019]图7为说明根据本发明的一或多种技术的视频解码器的实例操作的流程图。
【具体实施方式】
[0020]在许多视频译码标准中，像素块可实际上包括用于不同颜色分量的样本的两个或两个以上块。举例来说，像素块可实际上包括用以指示明度的亮度样本的块及用以指示颜色的彩度(即，色度)样本的两个块。在一些情形下，颜色分量的样本值可与不同颜色分量的对应样本值相关。换句话说，一个颜色分量的样本值可与另一颜色分量的样本值具有相互关系。缩减此类相关性可引起表示所述样本值所需要的数据量的缩减。
[0021]根据本发明的一或多种技术，可在帧间预测块中缩减不同颜色分量的样本值之间的相关性。因此，根据本发明的一或多种技术，视频译码器可产生或解码包括视频数据的经编码表示的位流。作为产生或解码位流的部分，视频译码器可重构第一颜色分量(即，预测值颜色分量)的残差信号。可使用运动预测来产生第一颜色分量的残差信号。第一颜色分量的经重构残差信号包含第一颜色分量的经重构残差样本值。此外，视频译码器可使用第一颜色分量的经重构残差样本值以预测第二不同颜色分量的残差样本值。以此方式，可缩减第一颜色分量的样本值与第二颜色分量的样本值之间的相关性，从而潜在地引起位流较小。
[0022]图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所使用，术语“视频译码器”一般地是指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码” 一般地可指视频编码或视频解码。
[0023]如图1所展示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频译码装置或视频译码设备的实例。
[0024]源装置12及目的地装置14可包括广泛范围的装置，包含桌上型计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、诸如所谓“智能”电话的电话手机、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机，或其类似者。
[0025]目的地装置14可从源装置12经由信道16而接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括使源装置12能够将经编码视频数据直接实时地发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据诸如无线通信协议的通信标准来调制经编码视频数据，且可将经调制视频数据发射到目的地装置14。一或多个通信媒体可包含无线及/或有线通信媒体，诸如射频(RF)频谱或一或多个物理传输线。一或多个通信媒体可形成基于分组的网络的部分，诸如局域网、广域网或全局网络(例如，因特网)。一或多个通信媒体可包含路由器、交换机、基站，或促进从源装置12到目的地装置14的通信的其它装备。
[0026]在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可(例如)经由磁盘存取或卡存取而存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体，诸如蓝光(Blu-ray)光盘、DVD、CD-ROM、闪速存储器，或用于存储经编码视频数据的其它合适数字存储媒体。
[0027]在另外实例中，信道16可包含文件服务器或存储由源装置12产生的经编码视频数据的另一中间存储装置。在此实例中，目的地装置14可经由流式处理或下载而存取存储在文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的服务器类型。实例文件服务器包含万维网服务器(例如，用于网站)、超文本传送协议(HTTP)流式处理服务器、文件传送协议(FTP)服务器、网络连接存储(NAS)装置，及本地磁盘驱动器。
[0028]目的地装置14可经由诸如因特网连接的标准数据连接而存取经编码视频数据。实例类型的数据连接可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等等)，或此两者的组合。经编码视频数据从文件服务器的发射可为流式处理发射、下载发射，或此两者的组合。
[0029]本发明的技术不限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用，诸如空中电视广播、有线电视发射、卫星电视发射、流式处理视频发射(例如，经由因特网)、供存储在数据存储媒体上的视频数据的编码、存储在数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持诸如视频流式处理、视频回放、视频广播及/或视频电话的应用。
[0030]图1仅仅为实例，且本发明的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设置(例如，视频编码或视频解码)。在其它实例中，数据(例如，视频数据)是从本地存储器被检索、经由网络而被流式处理，或其类似者。视频编码装置可编码数据(例如，视频数据)且将所述数据存储到存储器，及/或视频解码装置可从存储器检索数据(例如，视频数据)且解码所述数据。在许多实例中，编码及解码是由彼此不通信但简单地将数据(例如，视频数据)编码到存储器及/或从存储器检索数据(例如，视频数据)并解码所述数据的装置执行。
[0031]在图1的实例中，源装置12包含视频源18、视频编码器20，及输出接口 22。在一些实例中，输出接口 22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含:视频捕获装置，例如，视频摄像机；视频存档，其含有经先前捕获视频数据；视频馈送接口，其用以从视频内容提供者接收视频数据；及/或计算机图形系统，其用于产生视频数据；或此类视频数据源的组合。
[0032]视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12直接经由输出接口 22而将经编码视频数据发射到目的地装置14。在其它实例中，也可将经编码视频数据存储到存储媒体或文件服务器上，以供目的地装置14稍后存取以用于解码及/或回放。
[0033]在图1的实例中，目的地装置14包含输入接口 28、视频解码器30，及显示装置32。在一些实例中，输入接口 28包含接收器及/或调制解调器。输入接口 28可经由信道16而接收经编码视频数据。显示装置32可与目的地装置14整合或在目的地装置14外部。一般来说，显示装置32显示经解码视频数据。显示装置32可包括多种显示装置，诸如液晶显示器0XD)、等离子显示器、有机发光二极管(0LED)显示器，或另一类型的显示装置。
[0034]视频编码器20及视频解码器30各自可被实施为多种合适电路系统中的任一者，诸如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件，或其任何组合。如果部分地以软件来实施技术，那么装置可将用于所述软件的指令存储在合适非暂时性计算机可读存储媒体中，且可使用一或多个处理器而以硬件来执行所述指令以执行本发明的技术。前述各者中的任一者(包含硬件、软件、硬件与软件的组合等等)可被认为是一或多个处理器。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述一或多个编码器或解码器中的任一者可被整合为相应装置中的组合式编码器/解码器(编码解码器(CODEC))的部分。
[0035]本发明通常可涉及视频编码器20将某些信息“发信”到诸如视频解码器30的另一装置。术语“发信”通常可指语法元素及/或用以解码经压缩视频数据的其它数据的传达。可实时地或近实时地发生此类传达。替代地，可在一时间跨度内发生此类传达，诸如可能在编码时在经编码位流中将语法元素存储到计算机可读存储媒体时发生此类传达，所述语法元素接着可在被存储到此媒体之后的任何时间由解码装置检索。
[0036]在一些实例中，视频编码器20及视频解码器30根据视频压缩标准而操作，所述视频压缩标准是诸如 IS0/IEC MPEG-4 Visual 及 ITU-T H.264 (也被称作 IS0/IEC MPEG-4AVC)，包含其可伸缩视频译码(SVC)扩展、多视图视频译码(MVC)扩展，及基于MVC的3DV扩展。在一些情况下，符合基于MVC的3DV的任何合法位流总是含有与MVC简档(例如，立体声高简档)兼容的子位流。此外，正在努力产生对H.264/AVC的三维视频(3DV)译码扩展，SP，基于AVC的3DV。在其它实例中，视频编码器20及视频解码器30可根据ITU-T H.261、IS0/IEC MPEG-1 Visual、ITU-T Η.262 或 IS0/IEC MPEG-2 Visual、ITU-T Η.263、IS0/IECMPEG-4 Visual 及 ITU-T H.264、IS0/IEC Visual 而操作。
[0037]在图1的实例中，视频编码器20及视频解码器30可根据由ITU-T视频译码专家组(VCEG)及IS0/IEC动画专家组(MPEG)的视频译码联合合作团队(JCT-VC)开发的高效率视频译码(HEVC)标准而操作。被称作“HEVC工作草案6”的HEVC标准草案在Bross等人的“High Efficiency Video Coding (HEVC) text specificat1n draft 6”(2011 年11月，瑞士日内瓦，ITU-T SG16 WP3及IS0/IEC JTC1/SC29/WG11的视频译码联合合作团队(JCT