用于基于系数采样的可扩展视频编码的系统、方法和计算机程序产品的制作方法
【专利摘要】用于与HEVC标准兼容的扩展编码视频数据的多个层的生成的方法、系统和计算机程序产品。可以将来自预测处理的残余变换成频域中的系数。然后，可以对这些系数进行采样来创建经编码数据的层。可以使用不同方式对这些系数进行采样来创建多个相应的层。然后可以对这些层进行复用并将其发送到解码器。在此，可以选择这些层中的一个或多个层。对某些层的选择可以依赖于所产生视频的期望属性。例如，可以期望某个级别的视频质量、帧速率、分辨率和/或比特深度。然后可以对所选择的层中的系数进行组装来创建要在视频解码中使用的残余的版本。
【专利说明】用于基于系数采样的可扩展视频编码的系统、方法和计算机程序产品
【背景技术】
[0001]高效视频编码(册乂0是演进中的视频压缩标准。其正在由130/1%运动图像专家组(即郎)和1几-！'视频编码专家组…⑶幻形成的视频编码(兀I'-70联合协作小组开发。
可以使用诸如帧内/帧间预测、变换、量化和环路滤波和熵编码模块的若干模块。
[0002]随着的标准化接近完成，10X^0已经开始计划向标准增加可扩展视频编码(370扩展。37(:是应对现代视频服务的环境中的网络和设备异质性的一种方式。比特流可以包含本身可以被解码的若干子比特流，其中，这些子流可以分别表示源视频内容，但具有例如，各自不同的分辨率、帧速率、质量和/或比特深度。在解码一侧，可以选择特定的子集流来进行解码，其中，该选择可以基于所期望的分辨率、帧速率、质量、和/或比特深度等。
[0003]通过使用多层编码结构来实现可扩展性。概括地说，在37(:系统中，可以存在一个底层(80和若干个增强层(此可以使用与标准兼容的方式来对81进行编码，并且可以将814示识为层0。可以以将￡14示识为层1、2.......等等。当对具有等于~的层标识符的此进行编码时，具有小于~的层标识符的所有的层是可用的。这意味着可以根据更低层的图像(即，具有更小编号的层)或者根据同一层中之前被编码的图像来对与此相对应的图像进行预测。可以将所有的层发送到解码侧，其中，可以选择特定层用于解码。
[0004]因为每个层表示源视频内容，所以多个层的传输和存储表示极大量的数据。虽然关于对解码哪个表示(即层)向端用户提供了若干选项，但在对这些层的编码、传输和存储中会消耗大量的带宽和处理功率。
【专利附图】
【附图说明】
[0005]图1是示出实施例的处理的流程图。
[0006]图2是根据实施例的用于可扩展视频编码和解码的系统的框图。
[0007]图3是根据实施例示出系数采样的流程图。
[0008]图4是根据实施例的一维系数采样的图示。
[0009]图5是根据实施例示出用于系数采样的替代过程的流程图。
[0010]图6是根据实施例的二维系数采样的图示。
[0011]图7是根据实施例示出层生成的流程图。
[0012]图8是根据实施例示出根据所接收层的系数恢复的流程图。
[0013]图9是根据实施例的可扩展视频编码的软件或固件实施例的计算环境的框图。
[0014]图10是根据实施例的可扩展视频解码的软件或固件实施例的计算环境的框图。
[0015]图11是示出根据实施例的、本文中描述的功能可以在其中实现的平台的框图。
[0016]图12是示出根据实施例的、本文中描述的功能可以在其中实现的示例性设备的图。
[0017]在附图中，附图标记的最左边的位标识该附图标记首次出现的附图。
【具体实施方式】
[0018]现在参照附图对实施例进行描述，在附图中相同的附图标记指示完全相同或功能相似的元素。虽然讨论了特定的配置和布置，但应该理解的是:这是仅为了说明的目的而做的。相关领域的技术人员将认识到的是:在不脱离本说明书的精神和范围的情况下可以使用其它配置和布置。对于相关领域的技术人员来说显而易见的是:这也可以在不同于本文中描述的多种其它系统和应用中使用。
[0019]本文中公开了用于与标准兼容的视频数据的多个层的生成的方法、系统和计算机程序产品。可以将来自处理的残余变换成频域中的系数。然后，可以对这些系数进行采样来创建视频数据的层。可以使用不同方式对这些系数进行采样来创建各个不同的层。然后可以对这些层进行复用并将其发送到解码器。在此，可以选择这些层中的一个或多个层。对某些层的选择可以依赖于所产生视频的期望属性。例如，可能期望某个级别的视频质量、帧速率、分辨率和/或比特深度。然后可以对所选择的层中的系数进行组装来创建将要在视频解码中使用的残余的版本。
[0020]图1示出了根据实施例的对可扩展的经编码视频的处理。在105处，可以将来自在视频压缩期间执行的预测性视频压缩过程的残余变换成频域中的系数。在110处，可以将系数扫描成一维形式或数据结构。在115处，可以对系数进行采样。在替代实施例中，如同下面将更详细描述的，采样可以在扫描之前发生。可以执行多次采样，其中，每次采样导致系数的子集。在实施例中，可以对与亮度分量相对应的系数，或者对视频的色度分量执行采样。在120处，可以生成多个层的经编码数据，其中，针对系数的每次采样生成一个层。可以在125处对层进行复用。
[0021]在130处，在解码器处，可以对复用数据进行解复用，从而可以得到单独的层。在135处，可以选择这些层的子集以达到用户或用户的视频处理系统的要求。如上所述，层的特定子集的选择可以依赖于这样的要求，从而允许可扩展性。在140处，可以确定来自这些所选择的层的系数，并且在145处，可以对这些系数进行组装。然后，在150处，可以对所产生的系数执行逆变换。这可以创建原始残余的版本，其然后可以用于对可接受形式的视频进行解码。
[0022]图2中示出了根据实施例的用于以可扩展的方式对视频进行编码和解码的系统。可以接收来自预测性视频压缩过程的残余205，并将其输入到编码器中的变换模块210。该变换可以得到对残余205的频域表示，其中，变换模块210的输出可以是该表示的系数。例如，该变换可以是正方形四叉树变换，或者可替代地可以是非正方形四叉树变换。然后，可以将系数输出到系数采样模块215。在这里，可以对系数进行多次采样，每次采样得到原始系数的不同的子集。
[0023]单独对每个子集或者各个采样进行处理，以便生成其自己的视频数据层。对于每一层来说，可以将系数传送到量化模块。为了创建层0，将系数传送到量化模块220，可以将该量化模块的输出传送到熵编码器230。该熵编码的结果可以是层0。另一次采样可以得到可以送到量化模块221的系数的子集，可以将该量化模块的输出送到熵编码器231。熵编码器231的输出可以是层1。可以针对多次采样重复该过程，从而得到相应数量的层。最后是被示为层II的层。然后这些层可由比特流复用器(皿240进行组合。
[0024]在解码器处，可以在子流提取模块245处对经复用的比特流进行处理。在这里，提取出代表从层0......中的选择的子流。可以在比特流解复用器((161111^)250处执行对这些所选择的层的解复用，从而得到所示出的层0、1.......0。在各个实施例中，可以对原始层0.......的任意子集进行选择和解复用。然后，可以对每个层进行处理以便恢复相关联的系数。层0可由熵编码器260和反量化模块270处理。可以对每个所选择的层进行类似的处理。可以在系数组装模块275处对系数进行聚合。然后，可以对经组装的系数执行逆变换280。结果是残余285。注意，鉴于不是原始层0.......11中的所有层都可以是由提取模块245提取的，因此残余285可能与残余205不相同，相反残余285可以被视为残余205的近似。残余285然后可以用于对经编码的源视频(未示出)的最后解码。
[0025]根据实施例，在图3中示出了系数采样的过程(图1的115〉。如同根据标准的处理，可以用二维的方式来组织从对残余的变换中得到的系数。可以在310处对系数进行扫描，从而得到这些系数的一维组织。该扫描操作可以使用水平扫描顺序、垂直扫描顺序或对角扫描顺序。
[0026]一旦扫描完成，可以进行采样。采样过程可由若干预先定义的采样参数来控制。这些参数可以包括采样的起始位置和结束位置。此外，可以定义采样模式。采样模式可以包括采样率或周期1该值表示采样过程的周期性。如果原始变换内核是二维的，并且具有~X 1的大小，那么系数的总数量是~ X 1，并且I？可以处于(1,⑶X 1)-1]的范围中。采样模式还可以包括相位的定义，其规定对每个周期中的哪些系数进行采样。因此，如果周期尺=4，并且相位被定义为(0, 1，3),那么可以将系数视为连续非重叠的4个一组。在每个4个系数的组中，可以将系数标识为系数0、1、2和3。如果相位是(0, 1，3),那么可以对编号为0、1和3的系数(即，第一、第二和第四系数)进行采样。
[0027]在实施例中，可以基于量化参数⑶？)值自适应地确定采样参数。还可以通过使用当前图像和/或之前编码的图像的特性在编码器处生成采样参数。这样的参数可以发送到解码器以便在解码期间使用。可替代地，可以通过使用之前编码的相邻图像的特性在解码器处生成采样参数。可替代地，采样参数可以依赖于变换过程中使用的变换内核。在本文中，不同大小的变换内核可以导致不同采样参数的使用；此外，正方形四叉树变换内核可以使用与非正方形四叉树变换内核不同的采样参数。此外，不同通道(例如，色度和亮度)可以使用不同的采样参数。
[0028]在320处，采样可以在定义的起始位置处开始。在330处，采样可以根据预先定义的周期和相位进行。在340处，采样可以在预先定义的结束位置处停止。
[0029]在实施例中，可以针对特定的编码或预测模式，和/或针对特定编码单元、预测单元或变换单元来自适应地应用系数采样。例如，对于某种预测模式来说，系数采样可以是强制的。
[0030]在图4中以图形的形式示出了示例采样过程。在所示的四幅图中的每一幅图中，V轴表示系数值，而X轴表示频率。每个箭头的高度表示相应系数的幅度3轴上的小的空心正方形表示具有幅度0的系数。顶部的图表示从变换和扫描过程得到的完整的一组系数。虚线表示采样范围的程度，在采样范围之内，采样过程的开始和结束位置定义如下。
[0031]从上往下的第二幅图示出了层0，层0也被称为底层(81^在这里，采样范围中的所有系数设置为0。下一幅图示出了层1，层1是增强层(￡1).在这里，周期设置为3，并且相位是(0, 0。因此，将采样范围中的系数视为连续非重叠的3个一组。在每一组内，对第一和第二系数进行采样，并且忽略第三系数。
[0032]第四幅图(在图4的底部)示出了层2，其是另一个此。在这里，周期设置为3，并且相位是(2).因此，再次将采样范围中的系数视为连续非重叠的3个一组。在每一组内，忽略第一和第二系数，对第三系数进行采样。所指示的系数表示所产生的层2。如同所指示的，移除三个一组的每组中的第一和第二系数，即，与相位0或1相对应的系数。
[0033]在替代实施例中，扫描可以在采样之后执行。在这里，可以针对从变换过程输出的以二维形式组织的系数进行采样。图5中示出了这样的实施例。在510处，采样可以在系数的二维(20)阵列中所定义的起始位置处开始。在520处，采样可以根据预先定义的相位和周期进行。在530处，采样可以在预先定义的结束点处结束。在540处，可以对所采样的系数执行扫描。
[0034]在图6中以图形的形式示出了这样的实施例。左上方的阵列可以将系数表示为变换过程的输出。该阵列的右半部分表示采样范围。可以用符号的形式将这些系数的值表示为社.......2,0,1.......5。为了采样的目的，指示了预先定义的开始和结束位置。此外，
如所示的，垂直周期设置为4，而水平周期设置为2。右上方的阵列表示8匕层0，其中，采样范围中所有的系数值设置为0。
[0035]左下方的阵列表示此，层1。用于采样的相位指示为(0, 0)(其与开始点一致)(1, 0、(2, 0)和(3, 1〉。在位置(0, 0)处采样的系数具有值3 ；在位置(1, 1)处采样的系数具有值(1 ；在位置(2, 0)处采样的系数具有值6 ；并且在位置(3, 1)处采样的系数具有值卜。如所示的，在每个周期中，上述相位继续。右下方的阵列表示另一个此，层2。在这里，执行不同的采样。具体而言，相位是以不同的方式定义的。该层中的相位是(0, 1),(1, 0), (2, 1)^(3，0〉。所采样的系数如所示的。
[0036]在这样的实施例中，在采样完成之后，可以进行对所采样系数的扫描。和以前一样，扫描可水平、垂直或对角地进行。结果可以是这些经扫描的系数的一维组织。
[0037]根据实施例，在图7中示出了层生成(图1的12(0。在710处，可以接收层的系数。在720处，可以执行系数的量化。在730处，可以执行熵编码。熵编码的输出可以表示视频数据的层。
[0038]根据实施例，在图8中示出了从这样的经编码数据中得到系数(图1的140)的逆操作。在810处，可以接收所选择的层。在820处，可以执行熵解码。在830处，可以执行反量化，从而得到所选择的层的系数。
[0039]可以使用硬件元件、软件元件或二者的组合来实现各个实施例。硬件元件的示例可以包括:处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(八310、可编程逻辑器件(^⑶)、数字信号处理器⑶?？)、现场可编程门阵列(冲以)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件的示例可以包括:软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(仙0、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或它们的任意组合。确定是否使用硬件元件和/或软件元件来实现实施例可以根据多种因素而不同，诸如期望的计算速率、功率电平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。
[0040]如本文中所使用的，术语软件可以指代包括计算机可读介质的计算机程序产品，计算机可读介质中存储有用于导致计算机系统执行本文中公开的一个或多个特征和/或特征组合的计算机程序逻辑。计算机可读介质可以是临时性或非临时性的。临时性计算机可读介质的示例可以是通过局域网或广域网、或者通过例如因特网的网络，在射频上或在电导体上传输的数字信号。非临时性计算机可读介质的示例可以是光盘、闪速存储器、随机存取存储器、只读存储器或其它数据存储设备。
[0041]根据实施例，在图9中示出了执行这样的软件/固件的计算系统。所示出的系统900可以用作视频编码器的一部分或者支持视频编码器。系统900可以包括一个或多个处理器920，并且还可以包括存储器910的本体。处理器920可以包括一个或多个中央处理单元内核和/或具有一个或多个内核的图形处理单元。存储器910可以包括可以存储计算机程序逻辑940的一个或多个计算机可读介质。存储器910可以实现为硬盘和驱动器、诸如例如光盘、只读存储器(801)或随机存取存储器(1^1)设备的可移动介质、或它们的某种组合。处理器920和存储器910可以使用本领域普通技术人员已知的若干技术中的任意技术(例如总线)来进行通信。存储器910中包含的计算机程序逻辑940可由处理器920读取和执行。一个或多个1/0端口和/或1/0设备(统一示为1/0 930)也可以连接到处理器920和存储器910。
[0042]计算机程序逻辑940可以包括体现上面针对视频数据的某些层描述的处理的逻辑。在图示的实施例中，计算机程序逻辑940可以包括变换模块950，其可以负责将残余变换成频域的一组系数。逻辑940还可以包括扫描模块960，其可以负责将二维形式的系数转换成一维形式。逻辑940还可以包括采样模块970。该模块可以负责根据预先定义的采样模式和给定的规定的结束和起始位置的如上所述的对系数的采样。逻辑940还可以包括量化模块980，其负责对系数进行量化以便有助于随后的处理。逻辑940还可以包括用于熵编码的模块990。
[0043]根据实施例，在图10中示出了执行解码系统中的软件/固件(或者支持这样的解码系统)的计算系统。所示出的系统1000可以用作解码器的一部分或者支持解码器。系统1000可以包括一个或多个处理器1020，并且还可以包括存储器1010的本体。处理器1020可以包括一个或多个中央处理单元内核和/或具有一个或多个内核的图形处理单元。存储器1010可以包括可以存储计算机程序逻辑1040的一个或多个计算机可读介质。存储器1010可以实现为硬盘和驱动器、诸如例如光盘、只读存储器(801)或随机存取存储器(狀1)设备的可移动介质、或它们的某种组合。处理器1020和存储器1010可以使用本领域普通技术人员已知的若干技术中的任意技术(例如总线)来进行通信。存储器1010中包含的计算机程序逻辑1040可由处理器1020读取和执行。一个或多个1/0端口和/或1/0设备(统一示为1/0 1030)也可以连接到处理器1020和存储器1010。
[0044]计算机程序逻辑1040可以包括体现上面针对解码器处的处理描述的处理的逻辑。在图示的实施例中，计算机程序逻辑1040可以包括层选择模块1050，其可以负责选择用于解码目的的特定层。计算机程序逻辑1040还可以包括负责熵解码的模块1060。计算机程序逻辑1040还可以包括反量化模块1070，其可以负责将量化的系数调整成允许进一步处理的形式。逻辑1040还可以包括系数组装模块1080，其可以负责对来自所选择的层的系数进行聚合。逻辑1040还可以包括逆变换模块1090，其可以负责将系数转换成可以用于解压缩的残余的形式。
[0045]用于可扩展视频编码和/或解码的系统(例如，图2、图9和图10所示的系统)可以是更大的信息系统的一部分。图11示出了这样的实施例。在实施例中，系统1100可以是媒体系统，尽管系统1100并不局限于该上下文。例如，系统1100可以并入个人计算机〔？0、膝上型计算机、超膝上型计算机、平板设备、触摸板、便携式计算机、手持计算机、掌上型计算机、个人数字助理(即八)、蜂窝电话、组合蜂窝电话外0八、电视、智能设备(例如智能电话、智能平板或智能电视?、移动互联网设备(1101消息传送设备、数据通信设备等等。
[0046]在实施例中，系统1100包括耦接到显示器1120的平台1102。平台1102可以接收来自内容设备(诸如内容服务设备1130或内容传递设备1140或其它类似的内容源)的内容。包括一个或多个导航特征的导航控制器1150可以用于例如与平台1102和/或显示器1120进行交互。下面对这些组件中的每个组件进行了更加详细的描述。
[0047]在实施例中，平台1102可以包括芯片组1105、处理器1110、存储器1112、存储1114、图形子系统1115、应用1116和/或无线电1118的任意组合。芯片组1105可以在处理器1110、存储器1112、存储1114、图形子系统1115、应用1116和/或无线电1118之间提供互通。例如，芯片组1105可以包括能够提供与存储1114的互通的存储适配器(未示出
[0048]处理器1110可以实现为复杂指令集计算机化130或精简指令集计算机(8130处理器、#6指令集兼容处理器、多内核、或任何其它微处理器或中央处理单元(⑶们。在实施例中，处理器1110可以包括多核处理器、多核移动处理器等等。在实施例中，处理器1110可以分别与图9和图10的处理器920和/或1020相对应。
[0049]存储器1112可以实现为易失性存储器设备，诸如但不限于:随机存取存储器(狀…、动态随机存取存储器或静态
[0050]存储1114可以实现为非易失性存储设备，诸如但不限于:磁盘驱动器、光学盘驱动器、磁带驱动器、内部存储设备、附接存储设备、闪速存储器、电池备份的30狀1 (同步01^1)和/或网络可访问的存储设备。在实施例中，例如，当包括多个硬盘驱动器时，存储1114可以包括用于针对有价值的数字媒体增加存储性能增强的保护的技术。
[0051]图形子系统1115可以执行对图像(诸如用于显示的静止或视频)的处理。例如，图形子系统1115可以是图形处理单元(⑶们或视觉处理单元〔V？们。模拟或数字接口可以用于通信地耦接图形子系统1115和显示器1120。例如，接口可以是高清晰度多媒体接口、显示端口、无线11011、和/或无线！10兼容技术中的任意一种。图形子系统1115可以集成到处理器1110或芯片组1105中。图形子系统1115可以是通信地耦接到芯片组1105的独立的卡。
[0052]本文中描述的图形和/或视频处理技术可以在各种硬件架构中实现。例如，图形和/或视频功能可以集成在芯片组内。可替代地，可以使用分立的图形和/或视频处理器。作为又一个实施例，图形和/或视频功能可由通用处理器(包括多核处理器)实现。在进一步实施例中，该功能可以在消费者电子设备中实现。
[0053]无线电1118可以包括能够使用各种合适的无线通信技术来发送和接收信号的一个或多个无线电。这样的技术可以涉及跨一个或多个无线网络的通信。示例性无线网络包括(但不限于):无线局域网(11灿0、无线个域网〔I？灿0、无线城域网(丽/^)、蜂窝网络、以及卫星网络。在跨这些网络的通信中，无线电1118可以根据任何版本中一个或多个可应用的标准进行操作。
[0054]在实施例中，显示器1120可以包括任何监测器或显示器。显示器1120可以包括例如，计算机的显示屏幕、触摸屏显示器、视频监视器、类电视设备、和/或电视机。显示器1120可以是数字和/或模拟的。在实施例中，显示器1120可以是全息显示器。另外，显示器1120可以是可以接收视觉投影的透明表面。这样的投影可以传递各种形式的信息、图像和/或对象。例如，这样的投影可以是用于移动增强现实(嫩10应用的视觉覆盖。在一个或多个软件应用1116的控制之下，平台1102可以在显示器1120上显示用户接口 1122。
[0055]在实施例中，例如，内容服务设备1130可由任何国家、国际和/或独立的服务托管，并因此可由平台1102经由因特网访问。内容服务设备1130可以耦接到平台1102和/或显示器1120。平台1102和/或内容服务设备1130可以耦接到网络1160以便传送(例如，发送和/或接收)去往和来自网络1160的媒体信息。内容传递设备1140还可以耦接到平台1102和/或显示器1120。
[0056]在实施例中，内容服务设备1130可以包括:有线电视盒、个人计算机、网络、电话、能够传递数字信息和/或内容的因特网使能的设备或器件、以及能够在内容提供商和平台1102和/显示器1120之间经由网络1160或者直接单向或双向传送内容的任何其它类似设备。将明白的是，去往和来自内容提供商和系统1100中的组件中的任意一个的内容可以经由网络1160单向或双向传送。内容的示例可以包括任何媒体信息，其包括例如视频、音乐、医疗和游戏彳目息等等。
[0057]内容服务设备1130接收内容，例如，包括媒体信息、数字信息和/或其它内容的有线电视节目。内容提供商的示例可以包括任何有线或卫星电视或无线电或因特网内容提供商。所提供的示例并不意在限制本发明的实施例。
[0058]在实施例中，平台1102可以接收来自具有一个或多个导航特征的导航控制器1150的控制信号。例如，控制器1150的导航特征可以用于与用户接口 1122进行交互。在实施例中，导航控制器1150可以是指示设备，该指示设备可以是允许用户向计算机输入空间(例如，连续和多维)数据的计算机硬件组件(尤其是人机接口设备诸如图形用户接口((^1)和电视机和监测器的许多系统允许用户使用物理姿势控制并向计算机或电视机提供数据。
[0059]控制器1150的导航特征的运动可以通过指针、光标、对焦环、或显示器上显示的其它可视指示器的运动在显示器(例如，显示器1120)上得到呼应。例如，在软件应用1116的控制下，位于导航控制器1150上的导航特征可以映射到例如用户接口 1122上显示的虚拟导航特征。在实施例中，控制器1150可以不是单独的组件，而是集成在平台1102和/或显示器1120中。然而，实施例并不局限于本文中描述或示出的元素或上下文。
[0060]在实施例中，驱动器(未示出)可以包括:例如，当启用时，用于使用户能够在初始启动之后，用对按钮的触摸像电视一样立即打开或关闭平台1102的技术。当平台“关闭”时，程序逻辑可以允许平台1102将内容流式传输到媒体适配器或其它内容服务设备1130或内容传递设备1140。此外，例如，芯片组1105可以包括支持5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件。驱动器可以包括用于集成的图形平台的图形驱动器。在实施例中，图形驱动器可以包括快速外围组件互连(1^1)图形卡。
[0061]在各个实施例中，系统1100中示出的组件中的任意一个或多个组件可以是集成的。例如，平台1102和内容服务设备1130可以是集成的，或者平台1102和内容传递设备1140可以是集成的，或者例如平台1102、内容服务设备1130和内容传递设备1140可以是集成的。在各个实施例中，平台1102和显示器1120可以是集成单元。例如，显示器1120和内容服务设备1130可以是集成的，或者显示器1120和内容传递设备1140可以是集成的。这些示例并不意在限制本发明。
[0062]在各个实施例中，系统1100可以实现为无线系统、有线系统、或者二者的组合。当实现为无线系统时，系统1100可以包括适于通过无线共享介质来进行通信的组件和接口，诸如一个或多个天线、发射机、接收机、收发机、放大器、滤波器、控制逻辑等等。无线共享介质的示例可以包括无线频谱的一些部分，例如，即频谱等等。当实现为有线系统时，系统1100可以包括适于通过有线通信介质来进行通信的组件和接口，诸如输入丨输出(1/0)适配器、用于将1/0适配器与相应的有线通信介质相连接的物理连接器、网络接口卡010、磁盘控制器、视频控制器、音频控制器等等。有线通信介质的示例可以包括:电线、线缆、金属引线、印刷电路板”⑶)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等等。
[0063]平台1102可以建立用于传送信息的一个或多个逻辑或物理信道。信息可以包括媒体信息和控制信息。媒体信息可以指的是表示意欲用于用户的内容的任何数据。内容的示例可以包括:例如，来自语音会话、视频会议、流式视频、电子邮件(“咖^丨”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音会话的数据可以是，例如，话音信息、静默时段、背景噪声、舒适噪声、音调等等。控制信息可以指的是表示意欲针对自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用于路由媒体信息通过系统，或者指示节点以预先确定的方式来处理媒体信息。然而，实施例并不局限于图11中描述或示出的元素或上下文。
[0064]如上所述，可以以不同的物理样式或形状因子来体现系统1100。图12示出了可以在其中体现系统1100的小形状因子设备1200的实施例。例如，在实施例中，设备1200可以实现为具有无线能力的移动计算设备。例如，移动计算设备可以指的是具有处理系统和移动电源或供电(例如一个或多个电池)的任何设备。
[0065]如上所述，移动计算设备的示例可以包括:个人计算机〔？0、膝上型计算机、超膝上型计算机、平板设备、触摸板、便携式计算机、手持计算机、掌上型计算机、个人数字助理(户!^)、蜂窝电话、组合蜂窝电话外0八、电视、智能设备(例如智能电话、智能平板或智能电视 ?、移动互联网设备(110^消息传送设备、数据通信设备等等。
[0066]移动计算设备的示例还可以包括:布置为由人佩戴的计算机。在实施例中，例如，移动计算设备可以实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。虽然通过举例的方式，一些实施例可以用实现为智能电话的移动计算设备来描述，但可以明白的是:其它实施例也可以使用其它无线移动计算设备来实现。这些实施例并不局限于此上下文。
[0067]如图12中所示，设备1200可以包括:壳体1202、显示器1204、输入/输出(1/0)设备1206、和天线1208。设备1200还可以包括导航特征1212。显示器1204可以包括用于显示适合移动计算设备的信息的任何合适的显示单元。1/0设备1206可以包括用于向移动计算设备输入信息的任何合适的1/0设备。1/0设备1206的示例可以包括:字母数字键盘、数字按键、触摸板、输入键、按钮、开关、摇杆开关、麦克风、扬声器、语音识别设备和软件等等。也可以通过麦克风的方式将信息输入到设备1200。这些信息可以由语音识别设备进行数字化。这些实施例并不局限于此上下文。
[0068]至少一个实施例的一个或多个方面可由表示处理器中的各个逻辑的机器可读介质上存储的代表性指令实现，当由机器读取时，所述指令使得机器制造逻辑以执行本文中描述的技术。被称为“I？核”的这样的表示可以存储在有形机器可读介质上，并提供给各个消费者或制造工厂以便加载到实际制造逻辑或处理器的制造机器中。
[0069]在示出功能、特征及其的关系的功能构造块的帮助下，在本文中公开了方法和系统。为了描述方便，已经在本文中任意定义了这些功能构造块的边界中的至少一些。只要适当地执行所规定的功能及其关系，就可以定义替代边界。
[0070]虽然在本文中公开了各个实施例，但应理解的是，这些实施例是仅通过举例而非限制的方式呈现的。对相关领域的技术人员来说将显而易见的是:可以在不脱离本文中公开的方法和系统的精神和范围的情况下，在其中在形式和细节上进行各种变化。因此，权利要求的广度和范围不应由本文中公开的任何示例性实施例来限定。
[0071]在实施例中，一种可扩展视频编码方法可以包括:对从过程的预测残余的变换得到的系数进行采样，其中，采样执行多次以便产生相应的多个采样；针对每次采样，生成经编码数据的相应的层；以及对相应的层进行复用。
[0072]在实施例中，这样的方法还可以包括:将每次米样扫描成一维形式，其在所述米样之后因此在所述生成之后执行。在替代实施例中，这样的方法还可以包括:将从变换得到的系数扫描成一维形式，其在所述采样之前执行。
[0073]经编码数据的层的生成可以包括:对采样的量化；以及对量化采样的熵编码。采样可以根据预先定义的采样模式、起始位置和结束位置来执行。
[0074]在实施例中，一种可扩展视频解码方法可以包括:接收包括经编码数据的多个层的经复用的比特流；从经复用的比特流中选择所述多个层的子集；针对子集中的每个层，得到至少部分表示过程的残余的对系数的采样；对这些层的系数进行组装；以及对系数执行逆变换，以便创建残余的版本。这样的方法还可以包括:确定视频质量的级别，其中，选择所述多个层的子集以便达到所述视频质量。针对层的对系数的采样的获得可以包括:对层进行熵解码；以及对经熵解码的层执行反量化。
[0075]上述处理可由用于可扩展视频编码的设备来实现，其包括:用于使处理器对从过程的预测残余的变换得到的系数进行采样的装置，其中，采样执行多次以便产生相应的多个采样；
用于使处理器针对每次采样，生成经编码数据的相应层的装置；以及用于使处理器对相应层进行复用的装置。这样的设备还可以包括:用于使处理器将每次采样扫描成一维形式的装置，所述扫描在所述采样之后并且在所述生成之前执行；或者可以包括:用于使处理器将从变换得到的系数扫描成一维形式的装置，所述扫描在所述采样之前执行。
[0076]用于使处理器生成经编码数据的层的装置可以包括:用于使处理器对采样进行量化的装置；以及用于使处理器对经量化的采样进行熵编码的装置。
[0077]采样可以根据预先定义的采样模式、起始位置和结束位置来执行。
[0078]—种用于可扩展视频解码的设备可以包括:用于使处理器接收包括经编码数据的多个层的经复用的比特流的装置；用于使处理器从经复用的比特流中选择所述多个层的子集的装置；用于使处理器针对子集中的每个层，得到至少部分表示过程的残余的对系数的采样的装置；用于使处理器对这些层的系数进行组装的装置；以及用于使处理器对系数执行逆变换，以便创建残余的版本的装置。用于使处理器得到针对层的对系数的采样的装置可以包括:用于使处理器对层进行熵解码的装置；以及用于使处理器对经熵解码的层执行反量化的装置。这样的设备还可以包括:用于使处理器确定视频质量的级别的装置，其中，选择所述多个层的子集以便达到特定的视频质量。
[0079]—种用于可扩展视频编码的设备可以包括:用于对从过程的预测残余的变换得到的系数进行采样的系数采样模块，其中，采样执行多次以便产生相应的多个采样；用于针对每次采样，生成经编码数据的相应层的装置；以及用于对相应层进行复用的复用器。
[0080]这样的设备还可以包括:用于将每次采样扫描成一维形式的装置，所述扫描在所述采样之后并且因此在所述生成之后执行，或者可以包括:用于将从变换得到的系数扫描成一维形式的装置，所述扫描在所述采样之前执行。
[0081]生成装置可以包括:用于采样的量化的量化模块；以及用于对经量化的采样进行熵编码的熵编码器。
[0082]在这样的装置中，采样可以根据预先定义的采样模式、起始位置和结束位置来执行。
[0083]一种用于可扩展视频解码的设备可以包括:用于接收包括经编码数据的多个层的经复用的比特流的装置；用于从经复用的比特流中选择所述多个层的子集的子流选择模块；用于针对子集中的每个层，得到至少部分表示过程的残余的对系数的采样的装置；用于对这些层的系数进行组装的系数组装模块；以及用于对系数执行逆变换，以便创建残余的版本的逆变换模块。用于得到针对层的对系数的采样的装置可以包括:用于对层进行熵解码的熵编码器；以及用于对经熵解码的层执行反量化的反量化模块。该设备还可以包括:用于确定视频质量的级别的装置，其中，选择所述多个层的子集以便达到视频质量。
【权利要求】
1.一种可扩展视频编码方法，包括: 对从视频压缩过程的残余的变换得到的系数进行采样，其中，所述采样执行多次以便产生相应的多个采样； 针对每次采样，生成视频数据的相应的层；以及 对所述相应的层进行复用。
2.根据权利要求1所述的方法，还包括: 将每次采样扫描成一维形式，所述扫描在所述采样之后并且在所述生成之前执行。
3.根据权利要求1所述的方法，还包括: 将从所述变换得到的所述系数扫描成一维形式，所述扫描在所述采样之前执行。
4.根据权利要求1所述的方法，其中经编码数据的层的所述生成包括: 对采样进行量化；以及 对经量化的采样进行熵编码。
5.根据权利要求1所述的方法，其中，所述采样是根据预先定义的采样模式、起始位置和结束位置来执行的。
6.一种可扩展视频解码方法，包括: 接收包括视频数据的多个层的经复用的比特流； 从所述经复用的比特流中选择所述多个层的子集； 针对子集中每个所选择的层，得到至少部分表示视频压缩过程的残余的对系数的采样； 对所选择的层的系数进行组装；以及 对所述系数执行逆变换，以便创建所述残余的版本。
7.根据权利要求6所述的方法，其中，针对层的对系数的采样的所述得到包括: 对所述层进行熵解码；以及 对经熵解码的层执行反量化。
8.根据权利要求6所述的方法，还包括:确定视频质量，其中，选取所选择的层以便达到所述视频质量。
9.一种用于可扩展视频编码的设备，包括: 用于使处理器对从视频压缩过程的残余的变换得到的系数进行采样的装置，其中，所述采样执行多次以便产生相应的多个采样； 用于使所述处理器针对每次采样，生成视频数据的相应层的装置；以及 用于使所述处理器对所述相应层进行复用的装置。
10.根据权利要求9所述的设备，还包括: 用于使所述处理器将每次采样扫描成一维形式的装置，所述扫描在所述采样之后并且在所述生成之前执行。
11.根据权利要求9所述的设备，还包括: 用于使所述处理器将从所述变换得到的系数扫描成一维形式的装置，所述扫描在所述采样之前执行。
12.根据权利要求9所述的设备，其中，用于使所述处理器生成经编码数据的层的所述装置包括: 用于使所述处理器对采样进行量化的装置；以及 用于使所述处理器对经量化的采样进行熵编码的装置。
13.根据权利要求9所述的设备，其中，所述采样是根据预先定义的采样模式、起始位置和结束位置来执行的。
14.一种用于可扩展视频解码的设备，包括: 用于使处理器接收包括视频数据的多个层的经复用的比特流的装置； 用于使所述处理器从经复用的比特流中选择所述多个层的子集的装置； 用于使所述处理器针对所述子集中的每个所选择的层，得到至少部分表示视频压缩过程的残余的对系数的采样的装置； 用于使所述处理器对所选择的层的系数进行组装的装置；以及 用于使所述处理器对所述系数执行逆变换，以便创建所述残余的版本的装置。
15.根据权利要求14所述的设备，其中，用于使所述处理器得到针对层的对系数的采样的所述装置包括: 用于使所述处理器对所述层进行熵解码的装置；以及 用于使所述处理器对经熵解码的层执行反量化的装置。
16.根据权利要求14所述的设备，还包括: 用于使所述处理器确定视频质量的装置，其中，选取所选择的层以便达到所述视频质量。
17.一种用于可扩展视频编码的设备，包括: 系数采样模块，其用于对从视频压缩过程的残余的变换得到的系数进行采样，其中，所述采样执行多次以便产生相应的多个采样； 用于针对每次采样，生成经编码数据的相应层的装置；以及 复用器，其用于对所述相应层进行复用。
18.根据权利要求17所述的设备，还包括: 用于将每次采样扫描成一维形式的装置，所述扫描在所述采样之后并且在所述生成之前执行。
19.根据权利要求17所述的设备，还包括: 用于将从所述变换得到的所述系数扫描成一维形式的装置，所述扫描在所述采样之前执行。
20.根据权利要求17所述的设备，其中经编码数据的层的所述生成包括: 用于采样的量化的量化模块；以及 用于对经量化的采样进行熵编码的熵编码器。
21.根据权利要求17所述的设备，其中，所述采样是根据预先定义的采样模式、起始位置和结束位置来执行的。
22.一种用于可扩展视频解码的设备，包括: 用于接收包括视频数据的多个层的经复用的比特流的装置； 子流提取模块，其用于从所述经复用的比特流中选择所述多个层的子集； 用于针对所述子集中的每个所选择的层，得到至少部分表示视频压缩过程的残余的对系数的采样的装置； 系数组装模块，其用于对所选择的层的系数进行组装；以及 逆变换模块，其用于对所述系数执行逆变换，以便创建所述残余的版本。
23.根据权利要求22所述的设备，其中，用于得到针对层的对系数的采样的所述装置包括: 用于对所述层进行熵解码的熵编码器；以及 用于对经熵解码的层执行反量化的反量化模块。
24.根据权利要求22所述的设备，还包括: 用于确定视频质量的级别的装置，其中，选取所选择的层以便达到视频质量。
【文档编号】H04N19/132GK104335584SQ201280073513
【公开日】2015年2月4日 申请日期:2012年6月29日 优先权日:2012年6月29日
【发明者】张文豪, 邱怡仁, 徐理东, 韩钰, 江宏 申请人:英特尔公司