用信号发送用于视频译码的量化矩阵的制作方法

用信号发送用于视频译码的量化矩阵的制作方法
【专利摘要】本发明的技术大体上可涉及用信号发送量化矩阵的值。在一些实例中，可基于系数值在所述量化矩阵中的位置而用不同因数对所述量化矩阵中的所述系数值进行降频采样。
【专利说明】用信号发送用于视频译码的量化矩阵
[0001]本申请案主张以下各者的权利:2011年11月7日申请的美国临时申请案第61/556,785号；2012年2月3日申请的美国临时申请案第61/594，885号；2012年2月9日申请的美国临时申请案第61/597，107号；及2012年3月I日申请的美国临时申请案第61/605,654号，所述申请案中的每一者的全部内容以引用方式并入本文中。

【技术领域】
[0002]本发明涉及数据译码，且更明确地说，涉及用于译码视频数据的技术。

【背景技术】
[0003]数字视频能力可并入到广泛范围的装置中，装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏机、蜂窝式或卫星无线电电话、视频电传会议装置及类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第十部分(进阶视频译码(AVC))定义的标准、目前在开发中的高效率视频译码(HEVC)标准和这些标准的扩展中所描述的视频压缩技术，以更有效率地发射、接收并存储数字视频信息。
[0004]视频压缩技术包含空间预测和/或时间预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，视频帧或切片可分割成多个块。每一块可予以进一步分割。帧内译码(I)帧或切片中的块是使用相对于同一帧或切片中的相邻块中的参考样本的空间预测来编码。帧间译码(P或B)帧或切片中的块可使用相对于同一帧或切片中的相邻块中的参考样本的空间预测，或相对于其它参考帧中的参考样本的时间预测。空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。
[0005]经帧间译码的块是根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差异的残余数据来编码。经帧内译码的块是根据帧内译码模式和残余数据来编码。为了进一步压缩，残余数据可从像素域变换到变换域，从而产生接着可被量化的残余变换系数。最初布置成二维阵列的经量化的变换系数可以特定次序加以扫描以产生变换系数的一维向量以用于熵译码。


【发明内容】

[0006]一般来说，本发明描述用信号发送量化矩阵的值。例如，视频编码器可将量化矩阵的值划分成至少值的第一子集和值的第二子集。视频编码器可将所述第一子集的所述值作为语法元素编码及用信号发送。视频解码器可接收所述第一子集的所述值的语法元素且解码所述语法元素以产生所述第一子集的所述值。在未接收所述第二子集的所述值的情况下，视频解码器可根据所述第一子集中的所述值预测所述第二子集的所述值。
[0007]在本发明的一个实例中，一种编码视频数据的方法包括:产生包含多个值的量化矩阵；按第一降频采样因数降频采样所述量化矩阵中的第一值集合以产生第一降频采样值集合；按第二降频采样因数降频采样所述量化矩阵中的第二值集合以产生第二降频采样值集合；以及产生包含所述第一降频采样值集合及所述第二降频采样值集合的经译码位流。
[0008]在本发明的另一实例中，一种解码视频数据的方法包括:在经译码位流中接收用降频采样值译码的量化矩阵；按第一升频采样因数升频采样所述量化矩阵中的第一降频采样值集合以产生第一值集合；按第二升频采样因数升频采样所述量化矩阵中的第二降频采样值集合以产生第二值集合；以及用所述第一及所述第二值集合反量化变换系数块。
[0009]一或多个实例的细节陈述于随附图式及以下描述中。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书显而易见。

【专利附图】

【附图说明】
[0010]图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统的框图。
[0011]图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。
[0012]图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。
[0013]图4为说明实例量化矩阵的概念图。
[0014]图5为说明具有实例值的量化矩阵的概念图。
[0015]图6为说明利用本发明的一或多个实例技术的重构建的量化矩阵的概念图。
[0016]图7为说明用于量化矩阵的一个实例中的不同部分的降频采样因数的概念图。
[0017]图8为说明用于量化矩阵的另一实例中的不同部分的降频采样因数的概念图。
[0018]图9为说明用于量化矩阵的另一实例中的不同部分的降频采样因数的概念图。
[0019]图10为说明根据本发明的技术的视频编码方法的流程图。
[0020]图11为说明根据本发明的技术的视频解码方法的流程图。

【具体实施方式】
[0021]本发明描述用于在视频译码中用信号发送量化矩阵的值的技术。量化矩阵可为包含多个值的二维矩阵。作为说明，量化矩阵可用以缩放量化步长，量化步长用于量化与用于视频译码的变换单元相关联的残余变换系数。可将量化参数(QP)指派给一变换系数块(例如，一变换单元)以指定一量化步长。量化矩阵中的每一值对应于块中的一待量化的系数，且用以确定待应用于系数的量化程度(给定QP值)。
[0022]明确地说，本发明提议用于降频采样量化矩阵的技术，使得仅需在经编码视频位流中传输和/或存储较少的量化值。传输或存储与视频数据的块相关联的整个量化矩阵可能需要大量位，从而降低经译码视频位流的频宽效率。又，视频解码器可将整个量化矩阵存储于存储装置中以供反量化过程使用。通过利用本发明的技术降频采样量化矩阵，可在不实质上降低经译码视频的质量的情况下节约位。
[0023]在本发明中，将出于说明目的对视频译码进行描述。本发明中所描述的译码技术也可适用于其它类型的数据译码。数字视频装置实施视频压缩技术以更有效率地编码及解码数字视频信息。视频压缩可应用空间(图帧内)预测和/或时间(图帧间)预测技术以减少或去除视频序列中固有的几余。
[0024]应理解，术语“帧”可与术语“图片”互换地使用。换句话说，术语“帧”及“图片”各自指视频的一部分，且帧或图片的顺序显示导致平滑播放。因此，在本发明使用术语“帧”的例子中，本发明的技术不应被解释为限于利用术语“帧”的视频译码技术或标准，且所述技术可扩展到其它标准(例如，已开发标准、开发中标准或未来标准)或利用术语“图片”的其它视频译码技术。
[0025]典型视频编码器将原始视频序列的每一帧分割成被称作“块”或“译码单元”的邻接的矩形区域。这些块是以“帧内模式”(I模式)或以“帧间模式”(P模式或B模式)来编码。
[0026]对于P模式或B模式，编码器首先在由Fref指示的“参考帧”中搜寻类似于正被编码的块的块。搜寻通常局限于距待编码的块不超过特定空间位移的范围。当最佳匹配(即，预测性块或“预测”)已被识别时，以二维(2D)运动向量(ΛΧ，Δγ)的形式表示最佳匹配，其中ΛX为在参考帧中预测性块中的像素的位置相对于在待译码块中的像素的位置的水平位移且Ay为在参考帧中预测性块中的像素的位置相对于在待译码块中的像素的位置的垂直位移。
[0027]如下所述，将运动向量与参考帧一起用以构建预测块Fpral:
[0028]Fpred (X，y) = Fref (χ+Δχ, y+Δ y)
[0029]像素在帧中的位置由(X，y)指示。
[0030]对于以I模式编码的块，预测块是使用空间预测根据同一图帧内的先前编码的相邻块来形成。对于I模式及P或B模式两者，将预测误差(即，正被编码的块及预测块中的像素值之间的残余差异)表示为某一离散变换(例如，离散余弦变换(DCT))的加权基底函数的集合。变换可基于不同大小的块(例如，4X4、8X8或16X16及更大)而执行。变换块的形状并非总为正方形。也可使用矩形形状的变换块，例如，具有16X4、32X8等的变换块大小。
[0031]随后量化权数(B卩，变换系数)。量化引入信息的损失，且因而，经量化系数具有比原始变换系数低的精度。经量化的变换系数和运动向量为“语法元素”的实例。这些语法元素加上某一控制信息形成视频序列的经译码表示。也可对语法元素进行熵译码，藉此进一步减少其表示所需要的位的数目。熵译码为以通过利用符号分布的性质(某些符号比其它符号出现地更频繁)最小化表示所传输或存储符号(在本情况下为语法元素)所需的位数目为目标的无损失操作。
[0032]压缩比(S卩，用以表示原始序列及压缩序列的位数目的比)可通过调整量化参数(QP)的值及量化矩阵中的值中的一者或两者来控制，QP及量化矩阵皆可用以量化变换系数值。压缩比可视所使用的熵译码方法而定。量化矩阵通常经设计使得矩阵中的量化值通常(但未必无例外地)在行(左到右)方向及列(上到下)方向两者上增加。例如，当变换系数块从左上(0，0)角中的DC位置朝着变换系数块的右下(η，η)角延伸到较高频率系数时，量化矩阵中的对应值通常增加。此设计的原因在于，人类视觉系统(HVS)的对比敏感性函数(CSF)随频率增加而减小，在水平方向及垂直方向上均如此。
[0033]在解码器中，当前帧中的块是通过首先以与编码器中的方式相同的方式构建块的预测且通过将经压缩预测误差添加到预测而获得。经压缩预测误差通过使用经量化系数对变换基底函数进行加权而发现。重构建的帧与原始帧之间的差异被称为重构建误差。
[0034]图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含源装置12，其经由通信信道16将经编码视频传输到目的地装置14。经编码视频数据也可存储于存储媒体34或文件服务器36上且可由目的地装置14按需要接入。当存储到存储媒体或文件服务器时，视频编码器20可将经译码视频数据提供到另一装置(例如，网络接口、紧密光盘(CD)、蓝光或数字影音光盘(DVD)烧录器或冲印设施装置，或其它装置)以用于将经译码视频数据存储到存储媒体。同样，与视频解码器30分离的装置(例如，网络接口、⑶或DVD读取器或类似者)可从存储媒体检索经译码视频数据且将所检索数据提供到视频解码器30。
[0035]源装置12及目的地装置14可包括包含以下各者的广泛范围的装置中的任一者:桌上型计算机，笔记型(即，膝上型)计算机，平板计算机，机顶盒，例如所谓智能电话的电话手机，电视，摄影机，显示装置，数字媒体播放器，视频游戏机，或类似者。在许多情况下，这些装置可经配备以用于无线通信。因此，通信信道16可包括无线信道、有线信道，或无线信道及有线信道的适合于传输经编码视频数据的组合。类似地，文件服务器36可由目的地装置14经由任何标准数据连接(包含因特网连接)接入。此可包含无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或无线信道与有线连接的适合于接入存储于文件服务器上的经编码视频数据的组合。
[0036]根据本发明的实例的用于用信号发送量化矩阵的技术可应用于支持多种多媒体应用中的任一者的视频译码，多媒体应用例如空中(over-the-air)电视广播、有线电视传输、卫星电视传输、流式传输视频传输(例如，经由因特网)、供存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播和/或视频电话的应用。
[0037]在图1的实例中，源装置12包含视频源18、视频编码器20、调制器/解调制器22和发射器24。在源装置12中，视频源18可包含例如视频捕获装置(例如，视频摄影机)、含有先前捕获的视频的视频存档、用以从视频内容提供者接收视频的视频馈送接口和/或用于产生作为源视频的计算机图形数据的计算机图形系统或这些源的组合的源。作为一个实例，如果视频源18为视频摄影机，则源装置12及目的地装置14可形成所谓的摄影机电话或视频电话。然而，本发明中所描述的技术通常可适用于视频译码，且可应用于无线和/或有线应用或将经编码视频数据存储于本端碟片上的应用。
[0038]所捕获、预先捕获或计算机产生的视频可由视频编码器20编码。经编码视频信息可根据例如无线通信协议的通信标准由调制解调器22调制，且经由发射器24传输到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于传输数据的电路，包含放大器、滤波器和一或多个天线。
[0039]由视频编码器20编码的所捕获、预先捕获或计算机产生的视频也可存储到存储媒体34或文件服务器36上以供稍后使用。存储媒体34可包含蓝光光盘、DVD、⑶-ROM、快闪存储装置或用于存储经编码视频的任何其它合适数字存储媒体。存储于存储媒体34上的经编码视频可接着由目的地装置14接入以用于解码及播放。虽然图1中未展示，但在一些实例中，存储媒体34和/或文件服务器36可存储发射器24的输出。
[0040]文件服务器36可为能够存储经编码视频且将经编码视频传输到目的地装置14的任何类型的服务器。实例文件服务器包含网站服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、本端磁盘机，或能够存储经编码视频数据且将经编码视频数据传输到目的地装置的任何其它类型的装置。经编码视频数据从文件服务器36的传输可为流式传输、下载传输或两者的组合。文件服务器36可由目的地装置14经由任何标准数据连接(包含因特网连接)接入。此可包含无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、缆线调制解调器、乙太网络、USB等)或无线信道与有线连接的适合于接入存储于文件服务器上的经编码视频数据的组合。
[0041]在图1的实例中，目的地装置14包含接收器26、调制解调器28、视频解码器30和显示装置32。目的地装置14的接收器26经由信道16接收信息，且调制解调器28解调制信息以产生供视频解码器30使用的经解调制位流。经由信道16传达的信息可包含由视频编码器20产生以供视频解码器30在解码视频数据时使用的多种语法信息。此语法也可与存储于存储媒体34或文件服务器36上的经编码视频数据包含在一起。视频编码器20及视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(CODEC)的部分。
[0042]显示装置32可与目的地装置14集成或在目的地装置14外。在一些实例中，目的地装置14可包含集成式显示装置且也可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如，液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0043]在图1的实例中，通信信道16可包括任何无线或有线通信媒体(例如，射频(RF)谱或一或多个实体传输线，或无线与有线媒体的任何组合)。通信信道16可形成基于封包的网络(例如，局域网、广域网，或例如因特网的全球网络)的部分。通信信道16通常表示用于将视频数据从源装置12传输到目的地装置14的任何合适通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适组合。通信信道16可包含路由器、交换器、基地台或对促进从源装置12到目的地装置14的通信有用处的任何其它装备。
[0044]视频编码器20和视频解码器30可根据视频压缩标准(例如，目前在开发中的高效率视频译码标准(HEVC))来操作，且可遵守HEVC测试模型(HM)。替代地，视频编码器20及视频解码器30可根据其它专有或工业标准(例如，替代地称为MPEG-4第十部分(进阶视频译码(AVC))的ITU-T H.264标准)或这些标准的扩展而操作。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2及ITU-T H.263。
[0045]虽然图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件以处置共同数据流或单独数据流中的音频及视频两者的编码。如果适用，则在一些实例中，MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如用户数据报协议(UDP)的其它协议。
[0046]视频编码器20及视频解码器30可各自实施为多种合适编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且使用一或多个处理器在硬件中执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，其任一者可集成为相应装置中的组合式编码器/解码器(编码解码器)的部分。
[0047]对于根据目前由视频译码联合协作小组(JCT-VC)开发的新兴HEVC标准的视频译码，作为一个实例，可将视频帧分割成译码单元。译码单元(CU)通常指图像区域，图像区域充当被应用各种译码工具以用于视频压缩的基本单元。CU通常具有指示为Y的亮度分量和指不为U及V的两个色度分量。视视频米样格式而定，U和V分量的大小可与Y分量的大小相同或不同(就样本的数目来说)。CU通常为正方形，且可被认为类似于所谓宏块(例如，根据例如ITU-T H.264的其它视频译码标准)。出于说明目的，将在本申请案中描述根据开发中的HEVC标准的当前提议方面中的一些的译码。然而，本发明中所描述的技术对其它视频译码过程例如，根据H.264定义的视频译码过程，或其它标准或专有视频译码过程)可能有用处。
[0048]HEVC标准化努力是基于视频译码装置的被称为HEVC测试模型(HM)的模型。HM假定了视频译码装置的相对于根据(例如)ITU-T H.264/AVC的装置的若干能力。例如，尽管
H.264提供九个帧内预测编码模式，但HM可提供多达35个帧内预测编码模式。HEVC的近期最新工作草案(WD)(在下文中被称为HEVC WD7)可自2012年10月30起从http://phenix.1nt-evry.fr/jet/doc_end_user/documents/9_Geneva/wgll/JCTVC-11003-v6.zip 获得。
[0049]一般来说，HM的工作模型描述:视频帧或图片可被划分为包含亮度样本及色度样本两者的树型块或最大译码单元(LCU)的序列。树型块具有与H.264标准的宏块类似的用途。切片以译码次序包含数个连续树型块。视频帧或图片可分割成一或多个切片。每一树型块可根据四叉树分裂成多个译码单元(CU)。例如，作为四叉树的根节点的树型块可分裂成四个子节点，且每一子节点又可为母节点且可分裂成另外四个子节点。作为四叉树的叶节点的最后未分裂的子节点包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可定义树型块可分裂的最大次数，且也可定义译码节点的最小大小。
[0050]CU包含译码节点和与译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小，且其形状必须为正方形。⑶的大小可在8X8个像素直到具有64 X 64个像素或更多像素的最大值的树型块的大小的范围内。每一 CU可含有一或多个I3U及一或多个TU。与CU相关联的语法数据可描述(例如)CU到一或多个PU的分割。分割模式在CU以跳跃或直接模式编码、以帧内预测模式编码或是以帧间预测模式编码之间可能不同。PU可被分割为非正方形。与CU相关联的语法数据也可描述(例如)根据四叉树将⑶分割成一或多个TU。TU可为正方形或非正方形。
[0051]HEVC标准允许根据TU的变换，变换对于不同⑶可能不同。通常基于针对经分割LCU定义的给定CU内的PU的大小来设定TU的大小，但情况可能并非始终如此。TU通常与PU大小相同或小于W。在一些实例中，对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构而再分为较小单元。RQT的叶节点可被称为变换单元(TU)。与TU相关联的像素差值可经变换以产生变换系数，变换系数可被量化。
[0052]一般来说，PU包含与预测过程有关的数据。例如，当经帧内模式编码时，PU可包含描述用于PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义用于PU的运动向量的数据。定义用于PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片和/或运动向量的参考图片列表(例如，列表O、列表I或列表C)。
[0053]一般来说，将TU用于变换及量化过程。具有一或多个I3U的给定⑶也可包含一或多个变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括像素差值，所述值可使用TU变换为变换系数，经量化并扫描以产生用于熵译码的串行化变换系数。本发明通常使用术语“视频块”来指CU的译码节点。在一些特定情况下，本发明也可使用术语“视频块”来指树型块(即，LCU)或CU，其包含译码节点及及TU。
[0054]视频序列通常包含一系列视频帧或图片。图片群组(GOP)通常包括一系列一或多个视频图片。GOP可包含在GOP的标头、图片中的一或多者的标头中或别处的语法数据，其描述包含于GOP中的若干图片。图片的每一切片可包含描述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定的译码标准而在大小上不同。
[0055]作为实例，HM支持按各种PU大小的预测。假设特定⑶的大小为2NX2N，HM支持按2N X 2N或N X N的PU大小的帧内预测，和按2N X 2N、2N X N、N X 2N或N X N的对称I3U大小的帧间预测。HM也支持用于按2NXnU、2NXnD、nLX2N及nRX2N的PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向未被分割，而另一方向经分割成25%及75%。CU的对应于25%分割区的部分由“η”跟着为“上(Up)”、“下(Down)”、“左(Left)”或“右(Right) ”的指示来指示。因此，例如，“2NXnU”指经水平分割而在顶部具2NX0.5NPU 且在底部具 2NX 1.5N PU 的 2NX 2N CU。
[0056]在本发明中，“NXN”及“N乘N”可互换地使用以指视频块在垂直维度及水平维度方面的像素尺寸，例如，16X16像素或16乘16像素。一般来说，16X16块在垂直方向上将具有16个像素(y = 16)，且在水平方向上将具有16个像素(x = 16)。同样，NXN块通常在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。可按行及列来布置块中的像素。此外，块未必需要在水平方向上与在垂直方向上具有相同数目个像素。例如，块可包括NXM个像素，其中M不必等于N。
[0057]在使用CU的PU的帧内预测性译码或帧间预测性译码之后，视频编码器20可计算⑶的TU的残余数据。可包括空间域(也被称为像素域)中的像素数据，且TU可包括在对残余视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后在变换域中的系数。残余数据可对应于未经编码的图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含CU的残余数据的TU，且接着变换TU以产生用于CU的变换系数。
[0058]在用以产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化通常指量化变换系数以可能减少用以表示系数的数据量，从而提供进一步压缩的过程。量化过程可减少与系数中的一些或所有系数相关联的位深度。例如，可在量化期间将η位值降值舍位到m位值，其中η大于m。
[0059]在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可熵编码的串列化向量。在其它实例中，视频编码器20可执行自适应性扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进位算术译码(CABAC)、基于语法的上下文自适应性二进位算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来对一维向量进行熵编码。视频编码器20也可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在解码视频数据时使用。
[0060]为了执行CABAC，视频编码器20可将上下文模型内的上下文指派给待传输的符号。上下文可与(例如)符号的相邻值是否系非零有关。为了执行CAVLC，视频编码器20可选择用于待传输符号的可变长度码。可构建VLC中的码字，以使得相对较短的码对应于概率较大的符号，而较长码对应于概率较低的符号。以此方式，较之于(例如)将相等长度码字用于待传输的每一符号，使用VLC可达成位节省。概率确定可基于指派给符号的上下文。
[0061]视频编码器20可在视频译码过程中实施本发明的用于降频采样及用信号发送量化矩阵的技术中的任一者或全部。同样，视频解码器30可在视频译码过程中实施用于升频采样量化矩阵的这些技术中的任一者或全部。如本发明中所描述，视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样，视频译码可指视频编码或视频解码。
[0062]在本发明的一个实例中，视频编码器20可经配置以:产生包含多个值的量化矩阵；按第一降频采样因数降频采样量化矩阵中的第一值集合以产生第一降频采样值集合；按第二降频采样因数降频采样量化矩阵中的第二值集合以产生第二降频采样值集合；且产生包含第一降频采样值集合及第二降频采样值集合的经译码位流。在一些实例中，降频采样因数可为一，在此情况下，直接对值进行译码而不降频采样。
[0063]在本发明的另一实例中，视频解码器30可经配置以:在经译码位流中接收用降频采样值译码的量化矩阵；按第一升频采样因数升频采样量化矩阵中的第一降频采样值集合以产生第一值集合；按第二升频采样因数升频采样量化矩阵中的第二降频采样值集合以产生第二值集合；且用第一及第二值集合反量化变换系数块。在一些实例中，升频采样因数可为一，在此情况下，直接对值进行译码而不升频采样。
[0064]图2为说明可实施本发明中所描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内及帧间译码。帧内译码依靠空间预测以减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测以减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可指若干基于时间的压缩模式中的任一者。
[0065]在图2的实例中，视频编码器20包含分割单元35、预测处理单元41、参考图片存储装置64、求和器50、变换处理单元52、量化单元54和熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44和帧内预测处理单元46。为了视频块重构建，视频编码器20也包含反量化单元58、反变换处理单元60和求和器62。也可包含解块滤波器(图2中未图示)以对块边界进行滤波以从重构建的视频中去除块效应伪影。如果需要，解块滤波器通常可对求和器62的输出进行滤波。除解块滤波器外，也可使用额外环路滤波器(环路内或环路后)。
[0066]如图2所示，视频编码器20接收视频数据，且分割单元35将数据分割成多个视频块。此分割也可包含分割成切片、瓦片或其它较大单元，以及(例如)根据LCU及CU的四叉树结构的视频块分割。视频编码器20通常说明编码待编码的视频切片内的视频块的组件。切片可划分成多个视频块(且可能划分成被称为瓦片的视频块集合)。预测处理单元41可基于错误结果(例如，译码速率及失真程度)为当前视频块选择多个可能译码模式中的一者(例如，多个帧内译码模式中的一者或多个帧间译码模式中的一者)。预测处理单元41可将所得的经帧内或帧间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重构建经编码块以用作参考图片。
[0067]预测处理单元41内的帧内预测处理单元46可相对于在与待译码的当前块相同的帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44相对于一或多个参考图片中的一或多个预测性块执行当前视频块的帧间预测性译码以提供时间压缩。
[0068]运动估计单元42可经配置以根据视频序列的预定型样确定用于视频切片的帧间预测模式。预定型样可将序列中的视频切片指定为P切片、B切片或GPB切片。运动估计单元42及运动补偿单元44可高度集成，但为概念目的而单独说明。由运动估计单元42执行的运动估计为产生运动向量的过程，运动向量估计视频块的运动。例如，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。
[0069]预测性块为经发现在像素差方面紧密匹配待译码的视频块的的块，像素差可通过绝对差的和(SAD)、平方差的和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储于参考图片存储装置64中的参考图片的子整数像素位置的值。例如，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于完整像素位置及分数像素位置执行运动搜寻，且输出具有分数像素精度的运动向量。
[0070]运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码的切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表O)或第二参考图片列表(列表I)，列表中的每一者识别存储于参考图片存储装置64中的一或多个参考图片。运动估计单元42将所计算出的运动向量发送到熵编码单元56及运动补偿单元44。
[0071]由运动补偿单元44执行的运动补偿可涉及基于由运动估计确定的运动向量来提取或产生预测性块，可能执行到子像素精度的内插。在接收到用于当前视频块的PU的运动向量时，运动补偿单元44可在参考图片列表中的一者中找出运动向量所指向的预测性块的位置。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值。像素差值形成块的残余数据，且可包含亮度差分量及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44也可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
[0072]帧内预测处理单元46可帧内预测当前块，以作为如上所述的由运动估计单元42及运动补偿单元44执行的帧间预测的替代。明确地说，帧内预测处理单元46可确定用以编码当前块的帧内预测模式。在一些实例中，帧内预测处理单元46可(例如)在单独编码遍次期间使用各种帧内预测模式编码当前块，且帧内预测处理单元46(或在一些实例中，模式选择单元40)可从经测试模式选择适当帧内预测模式来使用。例如，帧内预测处理单元46可使用对各种经测试帧内预测模式的位率失真分析计算位率失真值，且在经测试模式中选择具有最佳位率失真特性的帧内预测模式。位率失真分析通常确定经编码块与经编码以产生经编码块的原始未经编码块之间的失真(或误差)的量，以及用以产生经编码块的位率(即，位的数目)。帧内预测处理单元46可从各种经编码块的失真及位率计算比率以确定哪一帧内预测模式展现块的最佳位率失真值。
[0073]在任何情况下，在选择用于块的帧内预测模式之后，帧内预测处理单元46可将指示用于块的选定帧内预测模式的信息提供到熵译码单元56。熵译码单元56可根据本发明的技术编码指示选定帧内预测模式的信息。视频编码器20可在所传输的位流中包含配置数据，配置数据可包含多个帧内预测模式索引表及多个经修改帧内预测模式索引表(也被称为码字映射表)、各种块的编码上下文的定义及用于上下文中的每一者的最大概率帧内预测模式、帧内预测模式索引表及经修改帧内预测模式索引表的指示。
[0074]在预测处理单元41经由帧间预测抑或帧内预测产生当前视频块的预测性块之后，视频编码器20通过从当前视频块减去预测性块而形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中且应用于变换处理单元52。变换处理单元52使用一变换(例如，离散余弦变换(DCT)或一概念上类似的变换)将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域变换到例如频域的变换域。
[0075]变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位率。量化过程可减少与系数中的一些或所有系数相关联的位深度。可通过调整量化参数或通过修改量化矩阵中的值来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。
[0076]在一些情况下，除了量化操作之外，量化单元54也可执行变换后缩放操作。变换后缩放操作可结合由变换单元52执行的核心变换操作使用，以关于残余数据块有效率地执行完整的空间到频率变换操作或其近似操作。在一些实例中，变换后缩放操作可与量化操作集成，以使得变换后操作及量化操作系作为关于待量化的一或多个变换系数的同一操作集合的部分而执行。
[0077]在一些实例中，量化单元54可基于量化矩阵来量化变换系数。量化矩阵可包含多个值，多个值中的每一者对应于待量化的变换系数块中的多个变换系数中的相应变换系数。量化矩阵中的值可用以确定待由量化单元54应用于变换系数块中的对应变换系数的量化量。例如，对于待量化的变换系数中的每一者，量化单元54可根据至少部分地由量化矩阵中的值中的对应于待量化的变换系数的相应值确定的量化量来量化相应变换系数。
[0078]在另外实例中，量化单元54可基于量化参数及量化矩阵来量化变换系数。量化参数可为可用以确定待应用于变换系数块的量化量的块层级参数(即，指派给整个变换系数块的参数)。在这些实例中，量化矩阵中的值及量化参数可一起用以确定待应用于变换系数块中的对应变换系数的量化量。换句话说，量化矩阵可指定与量化参数一起可用以确定待应用于对应变换系数的量化量的值。例如，对于变换系数块中的待量化的变换系数中的每一者，量化单元54可根据量化量来量化相应变换系数，量化量至少部分地由用于变换系数块的块层级量化参数(QP)和量化矩阵中的多个系数特定值中的对应于待量化的变换系数的相应值确定。因此，量化矩阵为每一变换系数提供对应值，且将值应用于QP以确定用于变换系数值的量化量。
[0079]在一些实例中，量化过程可包含类似于针对HEVC提议和/或由H.264解码标准定义的过程中的一或多者的过程。例如，为了量化变换系数的值(即，水平)，量化单元54可按量化矩阵中的对应值及按变换后缩放值对变换系数进行缩放。量化单元54可接着使经缩放变换系数移位一基于量化参数的量。在一些情况下，变换后缩放值可基于量化参数来选择。也可使用其它量化技术。
[0080]在一些实例中，量化单元54可使指示由量化单元54用于量化变换系数的量化矩阵的数据包含于经编码位流中。例如，量化单元54可将指示量化矩阵的数据提供到熵编码单元56以用于对数据进行熵编码，且随后置放于经编码位流中。
[0081]包含于经编码位流中的量化矩阵数据可由视频解码器30用于解码位流(例如，用于执行反量化操作)。在一些实例中，数据可为索引值，其从一组量化矩阵识别预定量化矩阵，或可识别用于产生量化矩阵的函数。在另外实例中，数据可包含量化矩阵中所含的实际值。在额外实例中，数据可包含量化矩阵中所含的实际值的经译码版本。例如，量化矩阵的经译码版本可包含用于量化矩阵中的特定位置的降频采样值。在另一实例中，可基于如本发明中稍后更详细描述的预测值产生经译码版本。在一些实例中，数据可采取指定由量化单元54用于量化对应于待译码的视频块的变换系数块的量化矩阵的一或多个语法元素的形式，且量化单元54可使一或多个语法元素包含于经译码视频块的标头中。
[0082]在例如MPEG-2及AVC/H.264的先前标准中，如上所述，量化矩阵被用以改进主观质量。量化矩阵也可被包含作为HEVC标准的部分。
[0083]在HM5.1中，4X4、8X8、16X16及32X32的变换大小是可能的。32X32变换可用于亮度，且可能仅用于亮度(即，可能不用于色度分量)。允许有总共20个量化矩阵可为合适的(即，针对Y、U及V分量用于4X 4、8 X 8、16 X 16帧内及帧间预测块以及针对Y分量的32 X 32帧内及帧间预测的块的单独量化矩阵)。因此，编码器用信号发送4064个量化矩阵值以便用信号发送所有可能排列是可能的。在一些实例中，对量化矩阵输入项的Z字形扫描，接着为一阶预测(例如，微分译码)及指数葛洛姆译码(其中参数=O))可用于无损失地压缩量化矩阵。然而，归因于量化矩阵系数的巨大数目，HEVC中可能需要较好压缩方法。
[0084]量化矩阵通常被设计成利用人类视觉系统(HVS)。人类视觉系统通常对较高频率下的量化误差较不敏感。此设计的一个原因在于，人类视觉系统的对比敏感性函数(CSF)随频率增加而减小，在水平方向及垂直方向上均如此。因此，对于设计周到的量化矩阵，矩阵输入项在行(左到右)方向及列(上到下)方向上皆增加。明确地说，当变换系数块从左上(0，0)角中的DC位置朝着右下(n，n)角延伸到较高频率系数时，量化矩阵中的对应值大体上增加或至少不减小。
[0085]在用于用信号发送量化矩阵的先前技术中，对整个量化矩阵的所有值(即，系数)进行用信号发送。然而，用信号发送整个量化矩阵可能并非必需的，因为一些系数(例如，朝向量化矩阵的右下角的系数)对视频质量可能无实质影响。
[0086]作为一个实例，例如32X32的较高块大小通常在残余块平滑时使用，其中残余块为视频数据的实际块与视频数据的预测块之间的差异。平滑的残余块展现残余块内的值的小偏差。在此情况下，在量化之后，在经变换块的较高频率下(即，朝向右下角)存在许多非零系数可能不太可能。
[0087]经编码视频序列的统计数据支持此假设。例如，使用部分频率变换技术(例如，对来自32 X 32块的最小16 X 16个系数进行编码)展示译码效率的极小损失。此可被视为等效于为在16 X 16区域外的频率的量化矩阵输入项选择极高值(例如，为在16 X 16区域外的频率的量化矩阵系数选择高值)。在此实例中，因为译码效率中可能存在极小损失，所以可能不必在经编码视频位流中用信号发送所有32X32量化矩阵值(其为1024个值)。
[0088]以下描述量化矩阵的用信号发送及和码实例。例如，对于用信号发送，视频编码器20可用信号发送用以指示整个量化矩阵或是仅量化矩阵的一子集经译码的一位旗标。如果旗标指示整个量化矩阵经译码，则可使用任何译码方法，例如HM5.1、AVC/H.264、JCTVC-F085、JCTVC-E073的译码方法，或以全文引用方式并入且将在下文更详细论述的美国临时专利申请案第61/547，647号中所描述的技术。
[0089]如果旗标指示仅量化矩阵的一子集正被译码(例如，第一子集)，则子集的大小可经译码为一对值(laSt_row，laSt_Col)。在此实例中，假设子集为矩形的且覆盖从位置(0，O)到位置(last_roW，last_col)的量化矩阵输入项。然而，可能使用其它形状。也可能将形状限制为正方形，在此情况下，仅可能需要译码单一最后值，因为last_r0W值及last_col值将相同。最后值(last_row、last_col)可用固定数目个位进行译码，固定数目可视量化矩阵的大小而定。例如，对于32X32量化矩阵，最后值可使用5+5 = 10个位进行译码。可能使用可变长度码(例如，指数葛洛姆码或葛洛姆码)来对最后值进行译码。
[0090]在对最后值(last_row、last_col)进行译码之后,可对属于一子集的量化矩阵输入项(例如，第一子集的值)进行译码。HM5.1方法或任何其它方法(例如，AVC/H.264、JCTVC-F085、JCTVC-E073，或2012年10月11日申请的美国专利申请案第13/649，836号中所描述的技术)可用以对属于子集的量化矩阵输入项进行译码。译码可为有损失或无损失的。
[0091]根据美国专利申请案第13/649，836号的技术，视频编码器20及视频解码器30可对量化矩阵的第一子集的值执行光栅扫描及用于译码预测误差的非线性预测值技术。根据一实例技术，预测值为量化矩阵的第一子集中相对于量化矩阵中的当前扫描位置在左边的值及在上方的值中的最大值。换句话说，当以光栅次序扫描量化矩阵时，量化矩阵中的当前值是基于在当前值左边的值及在当前值上方的值中的最大值而预测。光栅次序可通常指按行从上到下且在每一行内从左到右地扫描量化矩阵中的值的次序。一般来说，量化矩阵中的值将对应于变换系数块中的相应变换系数，其中朝向左上方的系数为低频率且接近右下方的系数在频率上增加。
[0092]在对属于一子集的量化矩阵输入项的译码完成之后，可根据属于第一子集的量化矩阵输入项来预测量化矩阵输入项的剩余部分(例如，第二子集的系数值)。此过程可由编码器及解码器两者进行。例如，如果属于一子集的量化矩阵输入项以有损失方式译码，则重构建输入项。接着，以光栅扫描次序(作为一个实例)扫描在子集外的量化矩阵输入项(例如，第二子集的系数值)以预测第二子集的系数值。
[0093]在本发明的实例中，视频编码器20可经配置以用信号发送量化矩阵的一子集的量化矩阵值。例如，视频编码器可将量化矩阵划分成至少量化矩阵值的第一子集及第二子集。视频编码器可编码第一子集的系数值，且将这些经编码值作为语法元素用信号发送到视频解码器。视频解码器可根据所接收的语法元素解码第一子集的系数值。
[0094]在本发明的一些实例中，视频解码器30可预测第二子集的值。例如，在一些实例中，视频编码器20可能不必用信号发送用以导出第二子集的量化矩阵系数值的语法元素，使得视频解码器可预测第二子集的值。实情为，视频解码器30可利用本发明的技术预测第二子集的值而不利用这些语法元素。以此方式，针对量化矩阵需要用信号发送的数据量可减少。
[0095]作为一个实例，视频解码器20可基于量化矩阵值的第一子集的经解码系数值来预测量化矩阵值的第二子集的系数值，如下文所更详细论述。作为另一实例，为了预测量化矩阵值的第二子集的值，视频解码器30可为第二子集中的每一系数指派常数值，其中作为一个非限制性实例。常数值可为最大可允许量化矩阵值。在一些实例中，视频编码器20可将常数值用信号发送到视频解码器，或替代地，视频编码器20及视频解码器30可用常数值预先编程。
[0096]图4为说明实例量化矩阵的图形图。图4说明量化矩阵94，其为用以量化残余变换系数的32 X 32块的32 X 32量化矩阵。虽然关于图4的技术在32 X 32量化矩阵的上下文中描述，但本发明的方面不限于此且可扩展到其它大小的量化矩阵，包含非正方形量化矩阵。量化矩阵94包含第一子集96，第一子集包含量化矩阵94的输入项的值的一子集。在此实例中，第一子集96为8 X 8矩阵(包含左上角中的量化矩阵值AOOl及右下角中的量化矩阵值A232)，虽然其它大小(包含非正方形大小)是可能的。在此实例中,第一子集96的输入项中的系数值可由视频编码器20编码并用信号发送。第一子集96的大小也可经编码并用信号发送。大小可为第一子集96的最后行和最后列，即(7，7)，假设变数AOOl在量化矩阵94中位于(0，0)。因为此子集为正方形的，所以可能仅需要用信号发送一个变数(例如，7)。对于非正方形子集，可编码并用信号发送最后行值及最后列值。
[0097]在一些实例中，第二子集98的输入项的值可能未被用以预测第二子集98的输入项的值。第二子集尤其包含量化矩阵值A009、A257及A1024，且以点线为边界。椭圆形表示额外量化矩阵值且被用以减小图的大小。换句话说，可不利用根据第二子集的输入项的系数值计算的语法元素而预测第二子集98的输入项的值。在一些其它实例中，可根据从视频编码器接收的第二子集的降频采样值确定第二子集98的输入项的值，如下文中将更详细论述。
[0098]在一些实例中，第二子集98的输入项的值可为在特定值上方的量化矩阵值中的最大值或在特定值左边的量化矩阵值中的最大值。如果不存在左边或上方值，则假设左边或上方值为零。例如，为了预测量化矩阵的第二子集的系数值，视频编码器20或视频解码器30可将第二子集的在坐标位置[X，y]处的当前输入项的系数值设定为在量化矩阵中坐标位置[x-1，y]处的在左边的输入项的系数值和在量化矩阵中坐标位置[X，y-Ι]处的在上方的输入项的系数值中的较大者(假设在η乘η量化矩阵中左上角为[0，0]且右下角为[η, η])。
[0099]在一些实例中，第一子集96的输入项的值可以光栅扫描次序预测；然而，可使用其它扫描次序。在此实例中，并非用信号发送量化矩阵的值本身，用信号发送当前量化矩阵值与沿着光栅扫描次序之前一量化矩阵值之间的差异。由于量化矩阵值通常在水平方向及垂直方向上增加，故所提议预测值(即，上方及左边的量化矩阵值)的预测误差(即，当前量化矩阵值与沿着扫描次序之前一量化矩阵值之间的差异)几乎始终为非负的。应注意，此所提议预测方案在使用不对称量化矩阵时适用，而基于Z字形的扫描不会如此有效。
[0100]在一些实例中，使用葛洛姆码编码预测误差。葛洛姆码参数可由编码器包含于经编码视频位流(使用固定或可变长度码)中或可为编码器及解码器两者所知。可能使用其它方法(例如，指数葛洛姆译码)来编码预测误差。归因于预测误差的稍微散布性质，可能需要葛洛姆码。为了能够编码偶然的负值，可使用再映射方法。
[0101]在一些实例中，第二子集的预测系数值中的一或多者可根据第二子集的其它预测系数值来预测。例如，量化矩阵中也为第二子集的部分的输入项的系数值可在第二子集中的当前输入项上方，且量化矩阵中也为第二子集的部分的输入项的系数值可在第二子集中的当前输入项的左边。在此实例中，可用以预测当前输入项的系数值的输入项的系数值可为预测值本身，因此这些输入项也为第二子集的部分，且第二子集的输入项的系数值可全部被预测。视频编码器20及视频解码器30可使用此过程来导出在子集外(例如，在第二子集中)的所有量化输入项。在图5和6中说明了说明量化矩阵及重构建的量化矩阵的图形图，且在下文予以更详细描述。
[0102]返回参看图4，作为一个实例，第二子集98的系数A009的值被预测为等于第一子集96的系数A008，因为在A009上方无值可用。第二子集98的系数A257的值被预测为等于第一子集96的系数A225，因为在A257左边无值可用。第二子集98的系数A042的值被预测为系数AOlO及系数A041(均属于第二子集98)的值中的较大者。在此实例中，系数AOlO及A041的值为预测值，因为两个系数皆在第二子集98中。
[0103]图5为说明具有可使用根据上述技术的预测用信号发送的实例值的量化矩阵的图形图。图6为说明利用本发明的一或多个实例技术的重构建的量化矩阵的图形图。例如，出于说明目的，图5说明量化矩阵100，其为8 X 8矩阵。在此实例中，视频编码器20可用信号发送量化矩阵100中的最初5 X 5个输入项的值(以粗线展示)。例如，在此实例中，量化矩阵100的第一子集101为最初5X5个值，其意谓:在此实例中，last_row及last_col的值各为4(假设基于零的索引)。因为第一子集101为正方形的，所以视频编码器20可仅用信号发送值5(例如，由于last_row值及last_col值相同)。量化矩阵100中的剩余值(即，第一子集101外的值)被视为在第二子集中。
[0104]图6说明重构建的量化矩阵102。在此实例中，视频解码器30(或重构建环路中的视频编码器20)可利用实例技术中的一者来产生重构建的量化矩阵102。例如，视频解码器30及视频编码器20可利用通过使用相对于当前系数在左边的系数与相对于当前系数在上方的系数之间的最大值确定量化矩阵值的第二子集的值的技术。
[0105]重构建的量化矩阵102说明此技术的结果。例如,第一子集103中的最初5X5个输入项与量化矩阵100中的第一子集101中的最初5X5个输入项相同，因为这些值经明确地用信号发送。剩余值(例如，在第一子集103外的第二子集的值)是根据确定相对于当前系数在上方的系数及在左边的系数中的最大值而导出。
[0106]在一些实例中，替代上文所描述的预测及光栅扫描，可使用其它扫描和/或预测。替代地，在子集外的量化矩阵输入项(例如，第二子集的系数值)可经设定为常数值，例如最大可允许量化矩阵值。此常数值可在位流中从视频编码器用信号发送到视频解码器，或视频编码器及视频解码器可用常数值预先编程。
[0107]在一些实例中，视频编码器20可与由视频解码器30所执行类似地预测第二子集中的值。例如，视频编码器20可预测第二子集的值，且用第二子集的预测值替换第二子集中的值。以此方式，在视频编码器侧及视频解码器侧使用的量化矩阵可能相同。
[0108]在一些视频译码实例中，使用量化矩阵值的常数值或来自第一子集的预测来确定未明确地用信号发送的量化矩阵输入项(即，在(0，0)到(last_r0W，last_col)的矩形外的彼等输入项，第二子集的值)可能并不足够。以下描述用于用信号发送量化矩阵值的其它实例，例如，使用不同矩阵的值及使用降频采样值来确定第二子集的值。
[0109]作为一个实例，未明确地用信号发送的输入项(例如，第二子集的值)是从不同矩阵(例如，大小较小的量化矩阵)导出。作为一个实例，此大小较小的量化矩阵可能已在视频编码器用信号发送的位流中译码。在一些实例中，不同矩阵可为量化矩阵。视频编码器20可能先前已用信号发送此不同矩阵。
[0110]例如，视频编码器可用信号发送不同量化矩阵(例如，具有包含4X4、8X8、16X16或32X32的大小的量化矩阵)的值。在此实例中，视频解码器30可利用来自先前在位流中编码的量化矩阵中任一者的系数值来重构建当前量化矩阵。例如，假设待重构建的量化矩阵为32X32量化矩阵。在此实例中，视频编码器20可用信号发送32X32量化矩阵的第一子集的系数值。假设视频解码器已接收到大小为4X4、8X8或16X16的量化矩阵，视频解码器可利用4X4、8X8或16X16的量化矩阵来确定第二子集的值从而重构建32X32量化矩阵。
[0111]在一些实例中，可能使用4X4、8X8或16X16量化矩阵中的任一者重构建32X 32量化矩阵。例如，为了重构建32X32量化矩阵，视频解码器30可使用8X8量化矩阵，且8X8量化矩阵可为使用4X4量化矩阵进行重构建的重构建量化矩阵。然而，量化矩阵的这些分层重构建可能并非在每个实例中皆为必需的。例如，视频编码器20可用信号发送由视频解码器30用于重构建32X32量化矩阵的整个8X8量化矩阵。可用信号发送32X32量化矩阵的值中的一些，而可根据较小矩阵中的一或多者重构建其它值。
[0112]另外，在一些实例中，视频编码器可用信号发送较小矩阵(例如，第一子集)的大小。在另一实例中，视频解码器30及视频编码器20可用较小矩阵的大小预先编程(例如，较小矩阵的大小可能事前为视频编码器20及视频解码器30所知)。
[0113]作为一个特定实例，假设:量化矩阵为32X32, last_row = 14,且last_col = 14。在此实例中，视频编码器20用信号发送32X32量化矩阵中的最低的15 X 15个输入项的值。假设视频解码器30正在推导具有索引(r，c)的矩阵输入项的值，其中r> = 15或c>= 15。在这个实例中，为了推导量化矩阵值，视频解码器可使用来自可为大小较小的量化矩阵的不同矩阵(例如，8X8矩阵)的值。
[0114]视频解码器30可利用不同方式将大小较小的量化矩阵用于确定第二子集的值。例如，视频解码器可确定量化矩阵的大小与不同的大小较小矩阵的大小之间的比。视频解码器30可用比率划分量化矩阵内的值经确定的输入项(例如，第二子集中的输入项的值)的位置坐标，且使用顶值函数及底限函数来确定在不同的大小较小矩阵中的对应位置。视频解码器30可接着使用不同的大小较小矩阵中的对应于不同的大小较小矩阵内的经识别位置的值来确定在正被重构建的量化矩阵中的第二子集的值。
[0115]例如，令指示NXN大小的重构建的量化矩阵在位置(r，c)处的值，其中r为行索引且 C 为列索引。令 rL = floor (r/4), rH = ceil (r/4), cL = floor (c/4),且 cH =ceil(c/4)，其中因数4是作为(32/8)而导出。此处，flooHx)指示小于或等于x的最大整数。类似地，ceil (X)指示大于或等于X的最小整数。接着，可将么2.@(r，r)设定为8(ri，c￡)，或可将032.?32 又定为么.r8 (rL，C￡)、&HxS(rL,CH)、ftxS (?，Ct)及 ，Cff )的干均值。如果整个8 X 8量化矩阵被发送到解码器，则重构建的8 X 8矩阵与原始8 X 8量化矩阵相同。可使用双线性内插法或其它更复杂的内插技术和/或较长的内插滤波器。藉以导出缺失值的矩阵大小可在位流中用信号发送或事前为视频编码器及视频解码器所知。较小矩阵(例如，第一子集)的值也可包含于位流中。
[0116]在AVC/H.264中，使用Z字形扫描及微分脉码调制(DPCM，即，从扫描次序中的最后值进行预测)。接着，如果量化矩阵值经译码为零，则此指示:不再有量化矩阵值要被译码且重复最后的经译码正量化矩阵值。在此情况下，替代重复最后的经译码量化矩阵值，可从较小大小的量化矩阵导出剩余量化矩阵值，如较早所描述。
[0117]如上所述，在一些实例中，视频解码器30可在不接收基于第二子集的值的任何语法元素的情况下确定第二子集的值。然而，避免用信号发送第二子集中的量化矩阵值可能并非在每个实例中皆为有益的。即，用信号发送量化矩阵的较高频率分量的至少某些量化矩阵值(例如，值的第二子集中的彼等值)可提供译码效率与重构建的量化矩阵中的错误之间的较好取舍。
[0118]在本发明的另一实例中，如下文将更详细地描述，视频编码器20可降频采样量化矩阵值的一子集的值，且用信号发送降频采样值。视频解码器可升频采样降频采样值以确定在视频解码器侧重构建量化矩阵所需的值。与原始值相比，降频采样值中可存在较少量的数据，且通过用信号发送降频采样值，可减小针对量化矩阵所用信号发送的数据量。
[0119]在降频采样的一个实例中，量化矩阵的一子集(例如，从(0,0)到(last_row,last_col))外的值(即，第二子集中的值)可按特定因数(例如，2)进行降频采样，且可以无损失方式在位流中对降频采样值进行译码。任何译码方法(例如，AVC/H.264、JCTVC-F085、JCTVC-E073中所描述的译码方法，或美国专利申请案第13/649,836号中所描述的技术)可用以译码降频采样值。使用简单平均(例如，NXN区域中的量化矩阵值的平均)或使用更复杂滤波器和/或方程式来执行降频采样。视频编码器20及视频解码器30皆可使用经译码值的升频采样来产生第一子集外的值(例如，第二子集的值)。升频采样技术可使用简单的像素重复(即，使用降频采样区域内的所有坐标的降频采样值)或更复杂的技术。例如，可以类似于降频采样图像的方式处理降频采样量化矩阵值。接着，此项技术中已知的用于执行图像升频采样的技术(例如，双线性内插法、双三次内插法等)可用于对降频采样量化矩阵进行升频采样。
[0120]如上所述，视频编码器20可明确地用信号发送第一子集的系数值，且使用某一形式的预测确定第二子集的系数值。在以下实例中，并非用信号发送第一子集的系数值及通过预测确定第二子集的值，以下技术可允许视频编码器产生以不同水平的粗略度用信号发送量化矩阵的系数值的经译码位流。例如，对应于量化矩阵的较低频率分量的系数值可以无损失方式(即，明确地)用信号发送，且其它系数值(例如，在第二子集、第三子集等中)可以越来越粗略的方式用信号发送(例如，通过使用不同降频采样因数)。对应于较低频率位置的系数值通常位置最接近量化矩阵的原点(例如，系数值的行索引及列索引最接近(0,0)) 0 一般来说，以下技术允许视频编码器基于量化矩阵值位于量化矩阵中何处而将非均匀量的降频采样应用于量化矩阵值。
[0121]本实例的技术可提供一方案，通过所述方案，与位置较接近量化矩阵的原点的系数值相比，较粗略地近似位置距量化矩阵的原点较远的系数值。在本实例中，所近似的量化矩阵值(例如，在第二和/或第三子集或更大子集中)可在位流中进行译码并被用信号发送。
[0122]然而，在一些替代实例中，可能对第一子集的系数值利用以下技术，其中第一子集类似于上文所描述的第一子集。在这些替代实例中，所述技术可使用以上实例技术中的任一者确定第二子集的系数值。
[0123]例如，对于位于靠近量化矩阵的原点的区域中(例如，在接近(0，0)的第一子集中)的量化矩阵值，视频编码器20可不应用降频采样(即，应用降频采样因数I)。在此区域中，所有量化矩阵值皆被用信号发送。如果量化矩阵中的系数值的位置距量化矩阵的原点较远(例如，在第一子集外的第二子集中)，则视频编码器20可应用较高水平的降频采样(例如，应用降频采样因数2、3、4等)。大于I的降频采样因数可指示由一个值表示的系数值的数目。作为一个实例，降频采样因数2可意谓:当重复对重构建使用像素重复时，量化矩阵的22(即，4)个系数值可由每一经编码值来表示。类似地，降频采样因数4可意谓:当对重构建使用像素重复时，量化矩阵的24(即，16)个系数值可由每一经编码值来表示。
[0124]如上文所论述，根据降频采样因数计算出的值可为简单平均值。例如，在编码器侦牝对于降频采样因数2，2 X 2正方形中的四个量化矩阵值被平均，且彼等四个量化矩阵值的平均值被用信号发送。同样，如果降频采样因数为4，则4X4正方形中的十六个量化矩阵值被平均，且彼等十六个量化矩阵值的平均值被用信号发送。其它更复杂的方程式或滤波器技术可用以计算降频采样值。
[0125]在一些实例中，视频编码器20可确立量化矩阵内的降频采样转变点(例如，边界)。根据第一降频采样因数(其可能低至一，此意谓无降频采样)对量化矩阵中位于第一转变点与量化矩阵的原点之间的系数值进行降频采样，可按第二降频采样因数对量化矩阵中位于第一转变点与第二转变点之间的系数值进行降频采样，可按第三降频采样因数对量化矩阵中位于第二转变点与第三转变点之间的系数值进行降频采样，等。在一些实例中，在每一转变点降频采样因数改变的量可为非均匀的；但本发明的方面不限于此。
[0126]例如，在一些实例中，指示量化矩阵值的子集的位置的语法元素可能未包含于位流中。实情为，在视频编码器及解码器两者处事前知道区域的位置。使用降频采样因数I可等效于发送所有值，如在先前实例中对低频率子集值所做的(例如，低频率子集值指位置最接近量化矩阵的原点的值)。另外，对于使用大于I的降频采样因数的其它区，可将额外量化矩阵值包含于位流中。在图7中对于16X16块展示了此额外量化矩阵值的一个实例。
[0127]在图7的实例中，如果行索引和列索引皆在0〈=索引〈=3的范围中，则在每一方向上使用降频采样因数I (即，无降频采样)。如果行索引及列索引皆在0〈=索引〈=7的范围中，但皆不在0〈=索引〈=3的范围中，则在每一方向(行/列)上使用降频采样因数2。对于所有剩余值，在每一方向上使用降频采样因数4。在图7中，针对有编号正方形中的每一正方形译码一个量化矩阵值。可通过简单地对来自原始16X16量化矩阵的属于对应正方形的所有量化矩阵值求平均来推导此值。虽然在本实例中使用简单求平均，但也可能使用更复杂的降频采样滤波器。正方形0-15各自直接对应于一个量化矩阵值，因为在此区域中降频采样因数为I。正方形17-27对应于量化矩阵值的2X2块(即，4个量化矩阵值)，因为在此区域中降频采样因数为2。正方形29-39对应于量化矩阵值的4X4块(即，16个量化矩阵值)，因为在此区域中降频采样因数为4。正方形内的数字表示藉以在位流中译码值的Z字形扫描次序。
[0128]对应于每一正方形的一个量化矩阵值可包含于位流中。此可针对每一降频采样因数在特定区域中使用单独Z字形扫描来实现。例如，对应于降频采样因数I的首批正方形0-15系以Z字形次序扫描。此扫描后跟着为对应于降频采样因数2的正方形17-27的Z字形扫描。此扫描后跟着为对应于降频采样因数4的正方形28-39的Z字形扫描。如果用于较高降频采样因数的Z字形扫描越过被用于较低降频采样因数的另一Z字形扫描覆盖的区，则无值被译码(例如，当从正方形16转到正方形17时)。然而，如果使用DPCM来译码降频采样值，则用于Z字形扫描中之下一值的预测值可从用于较低子采样因数的对应量化矩阵值导出，值已在位流中译码。
[0129]例如，在图7中，考虑对应于子采样因数2的Z字形扫描。Z字形扫描越过具有索引16及17的正方形。这些两个正方形之间存在已被对应于子采样因数I的Z字形扫描覆盖的区(正方形11-15)。因而，针对彼区域，无值被译码到位流，因为此区域已被译码。然而，当正使用DPCM译码具有索引17的正方形的量化矩阵值时，预测值是从具有索引11、13、14及15的正方形的已译码值导出。此量化矩阵值可为舍位到最接近的整数的经译码值的简单平均值。
[0130]在接收到降频采样量化矩阵时，视频解码器30可按与藉以将量化矩阵值包含于位流中的次序相同的次序解码系数值的量化矩阵值。视频解码器30可将简单重复用于执行量化矩阵值的升频采样。即，正方形内的所有位置使用相同量化矩阵值。此量化矩阵值通常为对应于彼正方形的经译码值。也可使用更复杂的升频采样滤波器。
[0131]如上文关于其它技术所描述，降频采样量化矩阵值可使用DPCM(从扫描中之前一值的预测)、跟着为带正负号的指数葛洛姆译码进行译码。当某一值由于彼区已由对应于较低子采样因数的Z字形扫描覆盖而未被译码时，如上所述地修改下一经译码值的预测。也可使用任何其它预测及译码方法。替代例如图7中所展示的3个降频采样因数，可使用更少或更多降频采样因数及区域。图8展示对于8X8块具有2个降频采样因数的实例，其中块0-15具有降频采样因数I且块17-27具有降频采样因数2。
[0132]也应注意，可使用例如对角线向上(up-diagonal)的其它类型的扫描。又，扫描可以反向次序进行。例如，可首先译码对应于降频采样因数3的值。此可跟着为对应于降频采样因数2的值，等等。
[0133]在本发明的一个特定实例中，量化矩阵的DC系数(即，位置(0，0)处的量化矩阵值)为第一子集中的唯一值，且用降频采样因数I进行降频采样(即，其被明确地用信号发送)。量化矩阵中的所有其它量化矩阵值被视为在第二子集中，且以2或更大的因数进行降频采样。图9展示根据本实例译码的16X16量化矩阵。如图9中所展示，正方形O中的DC系数被明确地译码(即，用降频采样因数I)，且量化矩阵中的所有其它量化矩阵值是用因数2进行降频采样。请注意，用因数2降频采样的正方形I技术上包含DC系数。用于此特定2 X 2块的值可被确定为三个剩余量化矩阵值(即，除DC系数外的值)的平均值、区域中的所有四个量化矩阵值的平均值(即，包含DC系数的平均值)或使用某一其它滤波技术确定。
[0134]在本发明的另一实例中，对于32X32块，可使用以下降频采样转变点。如果行索弓丨及列索引皆在0〈=索引〈=3的范围中，则在每一方向上使用降频采样因数1(即，无降频采样)。如果行索引及列索引皆在0〈=索引〈=15的范围中，但皆不在0〈=索引〈=3的范围中，则可在每一方向(行/列)上使用降频采样因数2。对于所有剩余值，可在每一方向上使用降频采样因数4。降频采样因数改变值(例如，从I到2或从2到4)所在的转变点及实际降频采样因数可包含于位流中，或其可在视频编码器20及视频解码器30两者处为事前已知的。
[0135]在本发明的一个实例中，如果使用均匀采样，则仅需要译码8 X 8矩阵。对于非均匀采样，对更多量化矩阵值进行译码，因为将达成对完整量化矩阵(32X32或16X16)的更精确估算。
[0136]对于均匀采样实例，替代译码16 X 16或32 X 32的量化矩阵，在位流中译码较低大小(例如，8X8)的量化矩阵。接着，当需要产生较大矩阵的量化矩阵输入项的值时，可使用内插法。如果量化矩阵输入项表示较低频率子集中的频率(例如，最低8X8个频率)，则使用双线性内插法来计算较大量化矩阵的量化矩阵输入项的值。对于区的剩余部分，使用从较低大小的量化矩阵重复对应值。替代使用最低8X8频率，可使用任何其它子集。此外，替代双线性内插法和像素重复，可使用任何两个内插方法。此技术可进一步推广到2个以上区域及2个以上内插方法。
[0137]关于图7、8和9，以及上文所描述的对系数值进行降频采样的实例，在不同区(即，表示量化矩阵值的不同子集)中使用不同降频采样因数。对于每一子集，可针对每一块(例如，图7到9中的有编号正方形)用信号发送一个量化矩阵值，其中每一块所表示的量化矩阵值的数目是由用于特定子集的降频采样因数确定。降频采样因数之间的切换发生于的位置可为视频编码器及视频解码器所知或被明确地用信号发送。
[0138]换句话说，上文所论述的降频采样技术可允许视频编码器20无损失地用信号发送较低频率量化矩阵值(在一个实例中，关于DC系数)且以越来越粗略的方式近似其它量化矩阵值。此可避免使整个量化矩阵置于存储装置中的必要性，此对16X 16及32X32的块大小可能有益(但益处也可适用于不同大小的块)。
[0139]根据上文所描述的技术，视频编码器20可经配置以:确定包含多个值的量化矩阵；按第一降频采样因数降频采样量化矩阵中的第一值集合以产生第一降频采样值集合；按第二降频采样因数降频采样量化矩阵中的第二值集合以产生第二降频采样值集合；且产生包含第一降频采样值集合及第二降频采样值集合的经译码位流。
[0140]返回参看图2，在量化之后，熵编码单元56熵编码经量化的变换系数。例如，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进位算术译码(CABAC)、基于语法的上下文自适应性二进位算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在通过熵编码单元56进行的熵编码之后，经编码位流可被传输到视频解码器30，或经存档以供稍后传输或由视频解码器30检索。熵编码单元56也可熵编码用于正被译码的当前视频切片的运动向量和其它语法元素。
[0141]在一些实例中，熵编码单元56可操作以执行本发明的技术。然而，本发明的方面不限于此。在替代实例中，视频编码器20的某一其它单元(例如处理器)或视频编码器20的任何其它单元可被分派执行本发明的技术的任务。作为一个实例，熵编码单元56可操作以编码量化矩阵的第一子集的大小、编码第一子集的系数值且预测量化矩阵的第二子集的系数值。又，在一些实例中，本发明的技术可划分到视频编码器20的一或多个单元当中。
[0142]反量化单元58及反变换处理单元60分别应用反量化及反变换，以重构建像素域中的残余块以供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块加到参考图片列表中的一者内的参考图片中的一图片的预测性块来计算参考块。运动补偿单元44也可将一或多个内插滤波器应用于重构建的残余块以计算子整数像素值以供在运动估计中使用。求和器62将重构建的残余块加到由运动补偿单元44产生的经运动补偿的预测块以产生参考块以存储于参考图片存储装置64中。参考块可由运动估计单元42及运动补偿单元44用作参考块来帧间预测随后视频帧或图片中的块。
[0143]图3为说明可实施本发明中所描述的技术的实例视频解码器30的框图。在图3的实例中，视频解码器30包含熵解码单元80、预测处理单元81、反量化单元86、反变换单元88、求和器90和参考图片存储装置92。预测处理单元81包含运动补偿单元82和帧内预测处理单元84。在一些实例中，视频解码器30可执行与关于图2的视频编码器20所描述的编码遍次大体上互逆的解码遍次。
[0144]在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元80熵解码位流以产生经量化的系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发到预测处理单元81。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。
[0145]在一些实例中，熵解码单元80可操作以执行本发明的技术。然而，本发明的方面不限于此。在替代实例中，视频解码器30的某一其它单元(例如处理器)或视频解码器30的任何其它单元可被分派执行本发明的技术的任务。作为一个实例，熵解码单元80可操作以解码量化矩阵的第一子集的大小、解码第一子集的系数值且预测量化矩阵的第二子集的系数值。又，在一些实例中，本发明的技术可在视频解码器30的一或多个单元当中划分。
[0146]当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于所用信号发送的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为帧间译码(即，B、P或GPB)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。可根据参考图片列表中的一者内的参考图片中的一图片产生预测性块。视频解码器30可基于存储于参考图片存储装置92中的参考图片使用默认构建技术来构建参考帧列表(列表O及列表I)。
[0147]运动补偿单元82通过剖析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息，且使用预测信息产生用于正被解码的当前视频块的预测性块。例如，运动补偿单元82使用所接收的语法元素中的一些确定用以译码视频切片的视频块的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的构建信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态和用以解码当前视频切片中的视频块的其它信息。
[0148]运动补偿单元82也可基于内插滤波器执行内插。运动补偿单元82可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算用于参考块的子整数像素的内插值。在此情况下，运动补偿单元82可根据所接收的语法元素确定由视频编码器20使用的内插滤波器，且使用内插滤波器来产生预测性块。
[0149]反量化单元86反量化(即，解量化)提供于位流中且由熵解码单元80解码的经量化变换系数。反量化过程可包含将由视频编码器20针对视频切片中的每一视频块计算并用信号发送的量化参数和/或量化矩阵用以确定量化的程度及(同样地)应应用的反量化的程度。明确地说，反量化单元86可经配置以解码所接收的已根据上述技术译码的量化矩阵。明确地说，视频解码器30可经配置以升频采样所接收的已根据本发明的技术降频采样的量化矩阵。
[0150]在本发明的一个实例中，视频解码器30可经配置以:在经译码位流中接收用降频采样值译码的量化矩阵；按第一升频采样因数升频采样量化矩阵中的第一降频采样值集合以产生第一值集合；按第二升频采样因数升频采样量化矩阵中的第二降频采样值集合以产生第二值集合；且用第一及第二值集合反量化变换系数块。
[0151]反变换处理单元88将反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数以便产生像素域中的残余块。
[0152]在运动补偿单元82基于运动向量及其它语法元素产生用于当前视频块的预测性块之后，视频解码器30通过将来自反变换处理单元88的残余块与由运动补偿单元82产生的对应预测性块求和而形成经解码视频块。求和器90表示执行此求和运算的一或多个组件。如果需要，也可应用解块滤波器来对经解码块进行滤波以便去除块效应伪影。也可将其它环路滤波器(在译码环路中或在译码环路之后)用以平滑化像素转变或以其它方式改进视频质量。给定帧或图片中的经解码视频块接着被存储于存储用于随后运动补偿的参考图片的参考图片存储装置92中。参考图片存储装置92也存储经解码视频以供稍后呈现于显示装置(例如图1的显示装置32)上。
[0153]图10为说明根据本发明的技术的视频编码方法的流程图。图10的方法可由视频编码器20执行。视频编码器20可经配置以:确定包含多个值的量化矩阵(920);按第一降频采样因数降频采样量化矩阵中的第一值集合以产生第一降频采样值集合(922);且按第二降频采样因数降频采样量化矩阵中的第二值集合以产生第二降频采样值集合(924)。
[0154]在本发明的一个实例中，视频编码器20可基于第一值集合在量化矩阵中的位置确定第一降频采样因数，且基于第二值集合在量化矩阵中的位置确定第二降频采样因数。在具体实例中，第一值集合仅包含量化矩阵的位置(0，0)处的值，其中第一降频采样因数经确定为1，且其中第二降频采样因数经确定为2及4中的一者。
[0155]视频编码器20可经配置以确定量化矩阵中的转变点从而确定降频采样量化矩阵值的方式。在一个实例中，视频编码器20可经配置以:确定量化矩阵中的第一转变点，其中位于第一转变点与量化矩阵的原点之间的值未经降频采样；确定量化矩阵中的第二转变点，其中量化矩阵中的第一值集合位于第一转变点与第二转变点之间；且确定量化矩阵中的第三转变点，其中量化矩阵中的第二值集合位于第二转变点与第三转变点之间。视频编码器20可经配置以在经译码位流中用信号发送第一、第二及第三转变点以及第一及第二降频采样因数。
[0156]在本发明的一个实例中，视频编码器20可经配置以通过以下操作来用信号发送降频采样值:根据第一及第二降频采样值集合中的沿着扫描次序的先前降频采样值预测第一及第二降频采样值集合中的沿着扫描次序的降频采样值中的一者，其中第一集合中的降频采样值可用以预测第二集合中的降频采样值。
[0157]在本发明的另一实例中，降频采样量化矩阵中的第一值集合包括对第一值集合中的第一数目个量化矩阵值求平均以产生第一降频采样值集合中的值，其中第一数目是根据第一降频采样因数确定，且其中降频采样量化矩阵中的第二值集合包括对第二值集合中的第二数目个量化矩阵值求平均以产生第二降频采样值集合中的值，其中第二数目是根据第二降频采样因数确定。
[0158]视频编码器20可经进一步配置以根据量化矩阵量化变换系数块中的变换系数的值以形成经量化的变换系数(926)。视频编码器20可经进一步配置以产生包含第一降频采样值集合及第二降频采样值集合的经译码位流(928)。
[0159]图11为说明根据本发明的技术的视频解码方法的流程图。图11的方法可由视频解码器30执行。视频解码器30可经配置以在经译码位流中接收用降频采样值译码的量化矩阵(1020);按第一升频采样因数升频采样量化矩阵中的第一降频采样值集合以产生第一值集合(1022);按第二升频采样因数升频采样量化矩阵中的第二降频采样值集合以产生第二值集合(1024);且用第一及第二值集合反量化变换系数块(1026)。
[0160]在本发明的一个实例中，视频解码器30可经配置以:基于第一降频采样值集合在量化矩阵中的位置确定第一升频采样因数，且基于第二降频采样值集合在量化矩阵中的位置确定第二升频采样因数。在具体实例中，第一降频采样值集合仅包含量化矩阵的位置(0，O)处的值，其中第一升频采样因数经确定为1，且其中第二升频采样因数经确定为2及4中的一者。
[0161]在本发明的另一实例中，视频解码器30可经配置以:确定量化矩阵中的第一转变点，其中量化矩阵的位于第一转变点与量化矩阵的原点之间的值未经降频采样；确定量化矩阵中的第二转变点，其中量化矩阵中的第一降频采样值集合位于第一转变点与第二转变点之间；且确定量化矩阵中的第三转变点，其中量化矩阵中的第二降频采样值集合位于第二转变点与第三转变点之间。在此实例中，在经译码位流中接收第一、第二及第三转变点以及第一及第二降频采样因数。
[0162]在本发明的另一实例中，视频解码器30经配置以根据第一及第二降频采样值集合中的沿着扫描次序的先前降频采样值预测第一及第二降频采样值集合中的沿着扫描次序的降频采样值中的每一连续降频采样值，其中第一集合中的降频采样值可用以预测第二集合中的降频采样值。
[0163]在本发明的另一实例中，通过以下步骤对量化矩阵中的第一值集合进行升频采样:对于第一值集合中的第一数目个值重复第一降频采样值集合中的降频采样值，其中第一数目是根据第一升频采样因数确定，且升频采样量化矩阵中的第二值集合包括对于第二值集合中的第二数目个值重复第二降频采样值集合中的降频采样值，其中第二数目是根据第二升频采样因数确定。
[0164]在本发明的一个实例中，将不同升频采样技术用以升频采样第一及第二降频采样值集合。在具体实例中，使用双线性内插法升频采样第一及第二值集合中的至少一者。
[0165]视频解码器30可经进一步配置以反变换变换系数的反量化块以形成残余视频数据块；且对残余视频数据块执行预测过程以形成经解码的视频数据块。
[0166]在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体传输，且通过基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体，通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(I)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器接入以检索指令、代码和/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
[0167]作为实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储装置，或可用以存储呈指令或数据结构的形式的所要代码且可由计算机接入的任何其它媒体。又，将任何连接适当地称为计算机可读媒体。例如，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电及微波)而从网站、服务器或其它远端源传输指令，则同轴电缆、光纤缆线、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是有关非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、雷射光盘、光盘、数字影音光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过雷射以光学方式再生数据。以上各物的组合也应包含于计算机可读媒体的范围内。
[0168]可由(例如)一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器执行指令。因此，本文中所使用的术语“处理器”可指上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置用于编码及解码的专用硬件和/或软件模块内或并入于组合式编码解码器中。又，所述技术可完全实施于一或多个电路或逻辑元件中。
[0169]本发明的技术可实施于广泛多种装置或设备中，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求通过不同硬件单元实现。相反地，如上所述，可将各种单元组合于编码解码器硬件单元中，或可由结合合适软件和/或固件的互操作性硬件单元(包含如上所述的一或多个处理器)的集合提供所述单元。
[0170]已描述各种实例。这些及其它实例在以下权利要求书的范围内。
【权利要求】
1.一种编码视频数据的方法，其包括: 确定包含多个值的量化矩阵； 按第一降频采样因数降频采样所述量化矩阵中的第一值集合以产生第一降频采样值集合; 按第二降频采样因数降频采样所述量化矩阵中的第二值集合以产生第二降频采样值集合；以及 产生包含所述第一降频采样值集合及所述第二降频采样值集合的经译码位流。
2.如权利要求1所述的方法，其进一步包括: 基于所述第一值集合在所述量化矩阵中的位置确定所述第一降频采样因数；以及 基于所述第二值集合在所述量化矩阵中的位置确定所述第二降频采样因数。
3.如权利要求2所述的方法，其中所述第一值集合仅包含所述量化矩阵的位置(0，0)处的值，其中所述第一降频采样因数被确定为1，且其中所述第二降频采样因数被确定为2及4之一。
4.如权利要求3所述的方法， 其中所述量化矩阵具有16X16或32X32的大小。
5.如权利要求1所述的方法，其进一步包括: 确定所述量化矩阵中的第一转变点，其中位于所述第一转变点与所述量化矩阵的原点之间的值未经降频采样； 确定所述量化矩阵中的第二转变点，其中所述量化矩阵中的所述第一值集合位于所述第一转变点与所述第二转变点之间； 确定所述量化矩阵中的第三转变点，其中所述量化矩阵中的所述第二值集合位于所述第二转变点与所述第三转变点之间；以及 在所述经译码位流中用信号发送所述第一、所述第二及所述第三转变点以及所述第一及所述第二降频采样因数。
6.如权利要求1所述的方法，其进一步包括: 根据所述第一及所述第二降频采样值集合中的沿着扫描次序的先前降频采样值预测所述第一及所述第二降频采样值集合中的沿着所述扫描次序的所述降频采样值之一，其中所述第一集合中的降频采样值可用以预测所述第二集合中的降频采样值。
7.如权利要求1所述的方法，其中降频采样所述量化矩阵中的所述第一值集合包括:对所述第一值集合中的第一数目个量化矩阵值求平均以产生所述第一降频采样值集合中的值，其中所述第一数目是根据所述第一降频采样因数确定，且 其中降频采样所述量化矩阵中的所述第二值集合包括:对所述第二值集合中的第二数目个量化矩阵值求平均以产生所述第二降频采样值集合中的值，其中所述第二数目是根据所述第二降频采样因数确定。
8.如权利要求1所述的方法，其进一步包括: 对视频数据块执行预测过程以形成残余视频数据块； 变换所述残余视频数据以形成变换系数块； 以及将所述经量化的变换系数熵译码到所述经译码位流中。
9.一种解码视频数据的方法，其包括: 在经译码位流中接收用降频采样值译码的量化矩阵； 按第一升频采样因数升频采样所述量化矩阵中的第一降频采样值集合以产生第一值集合; 按第二升频采样因数升频采样所述量化矩阵中的第二降频采样值集合以产生第二值集合；以及 用所述第一及所述第二值集合反量化变换系数块。
10.如权利要求9所述的方法，其进一步包括: 基于所述第一降频采样值集合在所述量化矩阵中的位置确定所述第一升频采样因数；以及 基于所述第二降频采样值集合在所述量化矩阵中的位置确定所述第二升频采样因数。
11.如权利要求10所述的方法，其中所述第一降频采样值集合仅包含所述量化矩阵的位置(0，0)处的值，其中所述第一升频采样因数被确定为1，且其中所述第二升频采样因数被确定为2及4之一。
12.如权利要求11所述的方法， 其中所述量化矩阵具有16 X 16或32 X 32的大小。
13.如权利要求9所述的方法，其进一步包括: 确定所述量化矩阵中的第一转变点，其中位于所述第一转变点与所述量化矩阵的原点之间的所述量化矩阵的值未经降频采样； 确定所述量化矩阵中的第二转变点，其中所述量化矩阵中的所述第一降频采样值集合位于所述第一转变点与所述第二转变点之间； 确定所述量化矩阵中的第三转变点，其中所述量化矩阵中的所述第二降频采样值集合位于所述第二转变点与所述第三转变点之间；以及 在所述经译码位流中接收所述第一、所述第二及所述第三转变点以及所述第一及所述第二降频采样因数。
14.如权利要求9所述的方法，其进一步包括: 根据所述第一及所述第二降频采样值集合中的沿着扫描次序的先前降频采样值预测所述第一及所述第二降频采样值集合中的沿着所述扫描次序的所述降频采样值中的每一连续降频采样值，其中所述第一集合中的降频采样值可用以预测所述第二集合中的降频采样值。
15.如权利要求9所述的方法，其中升频采样所述量化矩阵中的所述第一值集合包括:对于所述第一值集合中的第一数目个值复制所述第一降频采样值集合中的降频采样值，其中所述第一数目是根据所述第一升频采样因数确定，且 其中升频采样所述量化矩阵中的所述第二值集合包括:对于所述第二值集合中的第二数目个值复制所述第二降频采样值集合中的一降频采样值，其中所述第二数目是根据所述第二升频采样因数确定。
16.如权利要求9所述的方法，其中使用不同升频采样技术来升频采样所述第一及所述第二降频采样值集合。
17.如权利要求9所述的方法，其中使用双线性内插法来升频采样所述第一及所述第二值集合中的至少一者。
18.如权利要求9所述的方法，其进一步包括: 反变换所述反量化变换系数块以形成残余视频数据块；以及 对所述残余视频数据块执行预测过程以形成经解码视频数据块。
19.一种经配置以译码视频数据的设备，其包括: 视频编码器，其经配置以: 确定包含多个值的量化矩阵； 按第一降频采样因数降频采样所述量化矩阵中的第一值集合以产生第一降频采样值集合; 按第二降频采样因数降频采样所述量化矩阵中的第二值集合以产生第二降频采样值集合；以及 产生包含所述第一降频采样值集合及所述第二降频采样值集合的经译码位流。
20.如权利要求19所述的设备，其中所述视频编码器经进一步配置以: 基于所述第一值集合在所述量化矩阵中的位置确定所述第一降频采样因数；以及 基于所述第二值集合在所述量化矩阵中的位置确定所述第二降频采样因数。
21.如权利要求20所述的设备，其中所述第一值集合仅包含所述量化矩阵的位置(0，O)处的值，其中所述第一降频采样因数被确定为1，且其中所述第二降频采样因数被确定为2及4之一。
22.如权利要求21所述的设备， 其中所述量化矩阵具有16 X 16或32 X 32的大小。
23.如权利要求19所述的设备，其中所述视频编码器经进一步配置以: 确定所述量化矩阵中的第一转变点，其中位于所述第转变点与所述量化矩阵的一原点之间的值未经降频采样； 确定所述量化矩阵中的第二转变点，其中所述量化矩阵中的所述第一值集合位于所述第一转变点与所述第二转变点之间； 确定所述量化矩阵中的第三转变点，其中所述量化矩阵中的所述第二值集合位于所述第二转变点与所述第三转变点之间；以及 在所述经译码位流中用信号发送所述第一、所述第二及所述第三转变点以及所述第一及所述第二降频采样因数。
24.如权利要求19所述的设备，其中所述视频编码器经进一步配置以: 根据所述第一及所述第二降频采样值集合中的沿着扫描次序的先前降频采样值预测所述第一及所述第二降频采样值集合中的沿着所述扫描次序的所述降频采样值之一，其中所述第一集合中的降频采样值可用以预测所述第二集合中的降频采样值。
25.如权利要求19所述的设备，其中降频采样所述量化矩阵中的所述第一值集合包括:对所述第一值集合中 的第一数目个量化矩阵值求平均以产生所述第一降频采样值集合中的值，其中所述第一数目是根据所述第一降频采样因数确定，且 其中降频采样所述量化矩阵中的所述第二值集合包括:对所述第二值集合中的第二数目个量化矩阵值求平均以产生所述第二降频采样值集合中的值，其中所述第二数目是根据所述第二降频采样因数确定。
26.如权利要求19所述的设备，其中所述视频编码器经进一步配置以: 对视频数据块执行预测过程以形成残余视频数据块； 变换所述残余视频数据以形成变换系数块； 根据所述量化矩阵量化所述变换系数块中的变换系数的值以形成经量化的变换系数；以及 将所述经量化的变换系数熵译码到所述经译码位流中。
27.—种经配置以解码视频数据的设备，其包括: 视频解码器，其经配置以: 在经译码位流中接收用降频采样值译码的量化矩阵； 按第一升频采样因数升频采样所述量化矩阵中的第一降频采样值集合以产生第一值集合; 按第二升频采样因数升频采样所述量化矩阵中的第二降频采样值集合以产生第二值集合；以及 用所述第一及所述第二值集合反量化变换系数块。
28.如权利要求27所述的设备，其中所述视频解码器经进一步配置以: 基于所述第一降频采样值集合在所述量化矩阵中的位置确定所述第一升频采样因数；以及 基于所述第二降频采样值集合在所述量化矩阵中的位置确定所述第二升频采样因数。
29.如权利要求28所述的设备，其中所述第一降频采样值集合仅包含所述量化矩阵的位置(0，0)处的值，其中所述第一升频采样因数被确定为1，且其中所述第二升频采样因数被确定为2及4之一。
30.如权利要求29所述的设备， 其中所述量化矩阵具有16X16或32X32的大小。
31.如权利要求27所述的设备，其中所述视频解码器经进一步配置以: 确定所述量化矩阵中的第一转变点，其中位于所述第一转变点与所述量化矩阵的原点之间的所述量化矩阵的值未经降频采样； 确定所述量化矩阵中的第二转变点，其中所述量化矩阵中的所述第一降频采样值集合位于所述第一转变点与所述第二转变点之间； 确定所述量化矩阵中的第三转变点，其中所述量化矩阵中的所述第二降频采样值集合位于所述第二转变点与所述第三转变点之间；以及 在所述经译码位流中接收所述第一、所述第二及所述第三转变点以及所述第一及所述第二降频采样因数。
32.如权利要求27所述的设备，其中所述视频解码器经进一步配置以: 根据所述第一及所述第二降频采样值集合中的沿着扫描次序的先前降频采样值预测所述第一及所述第二降频采样值集合中的沿着所述扫描次序的所述降频采样值中的每一连续降频采样值，其中所述第一集合中的降频采样值可用以预测所述第二集合中的降频采样值。
33.如权利要求27所述的设备，其中升频采样所述量化矩阵中的所述第一值集合包括:对于所述第一值集合中的第一数目个值复制所述第一降频采样值集合中的降频采样值，其中所述第一数目是根据所述第一升频采样因数确定，且 其中升频采样所述量化矩阵中的所述第二值集合包括:对于所述第二值集合中的第二数目个值复制所述第二降频采样值集合中的降频采样值，其中所述第二数目是根据所述第二升频采样因数确定。
34.如权利要求27所述的设备，其中使用不同升频采样技术来升频采样所述第一及所述第二降频采样值集合。
35.如权利要求27所述的设备，其中使用双线性内插法来升频采样所述第一及所述第二值集合中的至少一者。
36.如权利要求27所述的设备，其中所述视频解码器经进一步配置以: 反变换所述反量化变换系数块以形成残余视频数据块；以及 对所述残余视频数据块执行预测过程以形成经解码视频数据块。
37.一种经配置以编码视频数据的设备，其包括: 用于确定包含多个值的量化矩阵的装置； 用于按第一降频采样因数降频采样所述量化矩阵中的第一值集合以产生第一降频采样值集合的装置； 用于按第二降频采样因数降频采样所述量化矩阵中的第二值集合以产生第二降频采样值集合的装置；以及 用于产生包含所述第一降频采样值集合及所述第二降频采样值集合的经译码位流的>j-U ρ?α装直。
38.一种经配置以解码视频数据的设备，其包括: 用于在经译码位流中接收用降频采样值译码的量化矩阵的装置； 用于按第一升频采样因数升频采样所述量化矩阵中的第一降频采样值集合以产生第一值集合的装置； 用于按第二升频采样因数升频采样所述量化矩阵中的第二降频采样值集合以产生第二值集合的装置；以及 用于用所述第一及所述第二值集合反量化变换系数块的装置。
39.一种存储指令的计算机可读存储媒体，所述指令在执行时使经配置以编码视频数据的装置的一或多个处理器: 确定包含多个值的量化矩阵； 按第一降频采样因数降频采样所述量化矩阵中的第一值集合以产生第一降频采样值集合; 按第二降频采样因数降频采样所述量化矩阵中的第二值集合以产生第二降频采样值集合；以及 产生包含所述第一降频采样值集合及所述第二降频采样值集合的经译码位流。
40.一种存储指令的计算机可读存储媒体，所述指令在执行时使经配置以解码视频数据的装置的一或多个处理器: 在经译码位流中接收用降频采样值译码的量化矩阵； 按第一升频采样因数升频采样所述量化矩阵中的第一降频采样值集合以产生第一值集合; 按第二升频采样因数升频采样所述量化矩阵中的第二降频采样值集合以产生第二值集合；以及 用所述第一及 所述第二值集合反量化变换系数块。
【文档编号】H04N19/124GK104137546SQ201280054682
【公开日】2014年11月5日 申请日期:2012年11月7日 优先权日:2011年11月7日
【发明者】瑞珍·雷克斯曼·乔许, 马尔塔·卡切维奇 申请人:高通股份有限公司