用于小块的高级语法简化工具集的制作方法

1.本发明的至少一个实施例主要涉及一种用于视频编码(encoding)或解码(decoding)的方法或装置。


背景技术：

2.为了实现高压缩效率，图像和视频译码(coding)方案通常采用预测(包括空间和/或运动向量预测)以及变换以利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对通常表示为预测误差或预测残差的原始图像与预测图像之间的差异进行变换、量化和熵译码。为了重构视频，通过与熵译码、量化、变换和预测相对应的逆处理来对压缩数据进行解码。在译码和解码的过程中可以使用多种译码工具。


技术实现要素：

3.现有技术的缺点和不利可以通过本文描述的主要方面来解决，其涉及编码和解码中的块形状自适应帧内预测方向。
4.根据第一方面，提供了一种方法。所述方法包括以下步骤：基于比特流中的至少一个视频块的特性，启用一个或多个译码工具，以对所述至少一个视频块进行译码；以及在所述比特流中包括表示针对具有所述特性的块使用所述一个或多个译码工具的信息；以及存储、传送或传输所述比特流。
5.根据第二方面，提供了一种方法。所述方法包括以下步骤：解析比特流以获得表示使用所述一个或多个译码工具用于解码视频块的的信息；使用所述信息以启用一或多个译码工具用于比特流中的至少一个视频块；以及解码所述比特流。
6.根据另一方面，提供了一种装置。该装置包括处理器。所述处理器可经配置以通过执行上述方法中的任意者来编码视频的块或解码比特流。
7.根据至少一个实施例的另一个主要方面，提供了一种设备，该设备包括根据解码实施例中的任意者的装置；以及以下至少一者：(i)天线，被配置成接收信号，该信号包括所述视频块，(ii)频带限制器，被配置成将所接收的信号限制到包括所述视频块的频带，或(iii)显示器，被配置成显示表示视频块的输出。
8.根据至少一个实施例的另一个主要方面，提供了一种非暂时性计算机可读介质，其包含根据所描述的编码实施例或变型中的任意者成的数据内容。
9.根据至少一个实施例的另一个主要方面，提供了一种包括根据所描述的编码实施例或变型中的任意者生成的视频数据的信号。
10.根据至少一个实施例的另一个主要方面，比特流被格式化为包括根据所描述的编码实施例或变型中的任意者所生成的数据内容。
11.根据至少一个实施例的另一个主要方面，提供了一种包括指令的计算机程序产品，当计算机执行该程序时，该指令使该计算机执行所描述的解码实施例或变型中的任意者。
12.从以下结合附图阅读的示例性实施例的详细描述中，这些和其它方面、所述主要方面的特征和优点将变得显而易见。
附图说明
13.图1示出了标准的通用视频压缩方案。
14.图2示出了标准的通用的视频压缩方案。
15.图3示出了分层图片译码深度的示例流程图。
16.图4示出了分层图片译码深度的示例。
17.图5示出了根据所描述的一般方面的编码方法的一个实施例。
18.图6示出了根据所描述的一般方面的解码方法的一个实施例。
19.图7示出了用于使用帧内预测模式扩展进行编码或解码的装置的一个实施例。
20.图8示出了其中可以实现所描述的实施例的典型处理器布置。
具体实施方式
21.本发明属于视频压缩领域，并且涉及视频压缩以及视频编码和解码。其目的在于与基于混合架构的现有视频压缩系统相比提高压缩效率。
22.通用视频译码(vvc)测试模型(vtm)是用于改进视频压缩的标准化努力。在vvc中，帧内预测中的任何目标块可以具有67种预测模式中的一种。另外，存在可以使用的多个帧间预测模式和多个译码工具。
23.在当前文本中，将提及在现代编解码器中使用的一集合的译码工具：
24.长抽头和短抽头运动补偿滤波器：用于运动补偿(mc)预测的滤波器大小可以使用具有不同抽头数的滤波器。
25.双向预测：可对两个预测块求平均以形成一个单个预测块。
26.解码器侧运动向量细化(又称dmvr)：在帧间双向预测中，运动向量可以使用两个运动预测的样本通过最小化差值而被细化。
27.双向光流(也称为bdof或bio)：bdof允许将偏移添加到用双光学等式计算的双向预测样本。
28.仿射帧间预测模式：用于子块的mc的运动向量是该子块在块中的位置的函数。该函数通常被构建为两个或三个参考运动向量的空间线性内插。
29.局部光照补偿(lic)：可以使用简单模型针对局部光照变化来校正mc预测。该校正可以是线性的，并且所述模型参数通常从相邻的重构和/或参考样本中导出。
30.仿射线性加权帧内预测(alwp)：帧内预测块的一些样本被导出为相邻(可能滤波的)重构样本的线性加权。
31.三角形：非矩形预测块(例如，三角形)允许将图片分割成块时具有更多灵活性。
32.组合的帧间和帧内预测(也称为ciip)：主要概念是将帧间预测块与帧内预测块进行组合。帧间预测通常在合并模式中执行。加权可以是固定的，或者可以随块中的样本位置而变化。
33.广义双向预测(又称为gbi或bpwa或bwa)：在帧间双向预测的情况下，计算两个预测块，并通过加权和而对其进行组合。要使用的权重按cu用引用预定义权重的索引来译码。
34.在混合视频编解码器中，译码效率通常利用bd-率(bd-rate)(bjontegaard增量比特率)增益来测量。然而，以操作数量和存储器带宽而测量的工具复杂性是要考虑的另一个重要参数，因为它可能影响设备制造成本和功耗。当设计(例如标准化)或部署译码系统时，考虑要在编解码器中实现的每个译码工具的译码效率和工具复杂度之间的折衷。
35.然而，对于一些译码工具，译码效率与工具复杂性之间的折衷根据块大小而变化。例如，对于小块(例如4
×
4)，一方面，与使用较短抽头滤波器(例如6抽头)或单向预测相比，使用长抽头滤波器(例如8抽头)进行运动补偿或双向预测显著增加了每个样本的操作数量。另一方面，对于大图片(例如，2k或4k)，很少选择4
×
4分区，因为较大的块大小通常具有较好的折衷，即使穷举编码器必须测试许多且昂贵(就操作数目而言)的4
×
4块大小配置。
36.这就是为什么一些编解码器设计架构师(例如，标准化组织)优选地减少实现4
×
4块大小的工具的数量(例如：对于vvc中的小块不支持双向预测)或者简化支持4
×
4块大小的工具(例如，在现有提议中，对于4
×
4块，用6抽头滤波器代替8抽头滤波器)的原因。
37.迄今为止提出的解决方案(对于小块工具简化的硬选择)倾向于支持某些译码或架构而损害其他方面的内容。例如，vvc已经被选择为支持具有良好复杂度和增益折衷的解决方案，以用于大图片大小(例如，≥2k)。如果这些选择已经被基于大图片的大多数应用的要求所激发，则它们会负面地影响较低图像分辨率使用情况并且危害最终编解码器规范的通用性/适应性。
38.例如，另一个提议是：
[0039]-针对4x4 cu，禁用帧间预测
[0040]-针对4x8 cu和8x4 cu，禁用双向预测
[0041]-使用6抽头内插滤波器进行4
×
4cu和子cu运动补偿
[0042]
据报道，这些简化的bd率损失增加，而图片大小减小，如表1所示。表2还证实bd率损失与比特流中4
×
4cu的量相关。
[0043]
表1：几个4
×
4、4
×
8和8
×
4工具简化的组合的bd率损失。
[0044][0045]
表2：当为四个416
×
240序列而组合几个4
×
4、4
×
8和8
×
4工具简化时，4
×
4块的比率和bd率损失。
[0046]
416x2404x4 cu的％yuvbasketballpass7.29％0.27％0.78％0.85％bqsquare20.0％1.15％1.50％1.79％blowingbubbles7.90％0.78％1.17％1.27％racehorses6.80％0.38％0.81％0.92％
[0047]
本文描述的主要方面提出了高级语法(hls)和相关联的过程，其允许对与小块相
关联的工具简化的级别进行控制，并且更好地使总体编解码器设计适应于特定应用要求和各种使用情况。
[0048]
实施例-1：
[0049]
在高级语法(hls)中定义并译码一标志，其指示是否针对“小(small)”块启用(或停用)一集合的译码工具。该标志可以在例如sps、pps、切片或图块报头中被译码(310)。
[0050]
对于“小”块启用/禁用的工具的示例是(表3)：
[0051]
1.使用长抽头滤波器(例如8抽头)进行运动补偿。在jvet软件中，小抽头滤波器用于4
×
4块。
[0052]
2.双向预测。在jvet软件中，对于小于4x8和8x4的块大小，禁用帧间预测。
[0053]
3.帧间预测。在jvet软件中，对于块4x4，禁用帧间预测。
[0054]
4.解码器侧运动向量细化(又称dmvr)。在jvet软件中，如果块样本的数目至少等于64并且高度至少等于8，则应用dmvr。
[0055]
5.双向光流(也称为bdof或bio)。在jvet软件中，bdof在4x4和4x8块中被禁用[如果！(pu.y().高度＝＝4||(pu.y().宽度＝＝4&&pu.y().高度＝＝8))，被启用]
[0056]
6.仿射帧间预测模式。在jvet软件中，如果宽度和高度亮度块大小都严格大于8，则允许仿射。(warning merge(警告合并)》＝8)
[0057]
7.局部照明补偿(lic)。在jvet软件中，如果块样本的数量小于64，则禁用lic。
[0058]
8.仿射线性加权帧内预测(alwp)。在jvet中，alwp被启用，而不管亮度块大小如何。对于小块，可以禁用alwp
[0059]
9.用光流进行预测细化(又称为prof)。对于小块，可以禁用prof。
[0060]
10.三角形。在jvet中，如果cu.lwidth()*cu.lheight()《triangle_min_size＝64，那么三角形被停用
[0061]
11.组合的帧间和帧内预测(也称为ciip)。在jvet软件中，如果样本数严格小于64，则禁用三角形模式。
[0062]
12.广义双向预测(也称为gbi或bpwa或bwa)。在当前的jvet软件中，仅如果cu.lwidth()*cu.lheight()《256，则gbi被禁用。
[0063]
表3：jvet中的每个工具的“小”块分类的总结
[0064][0065]
相同的标志将工具集合分组。有利地，使用与块大小相关联的一个或多个预定义阈值将块分类为“小”(330)。例如，如果(亮度)样本的数目(宽度
×
高度)低于阈值，则块被分类为“小”。在一变型中，如果宽度和高度两者都低于预定阈值widthmin和heightmin，或者如果至少宽度或高度低于预定阈值＝sizemin，则块被分类为“小”。
[0066]
在一种变型中，可以针对每个工具定义所述阈值。这意味着对于“工具i”和“工具j”的阈值是不同的。举例来说，对于工具1，可将具有低于4的宽度及高度的块分类为“小”块，而对于工具2，可将具有低于32的样本数目的块分类为“小”块。
[0067]
在一变型中，如果cu(译码单元)对于“工具i”被认为是“小”(330)，则相关联的参数(例如，“mode_flag(i)”)不存在于流中，并且被推断。例如，“mode_flag(i)”被推断为零(“工具i”不适用)。如果cu被视为“非小”，那么如果满足“工具i”的其它条件，那么与“工具i”相关联的参数可存在于比特流中(340)。
[0068]
举例来说，在gbi(广义双向预测)的情况下，如果cu被视为“小”，那么语法元素“gbi_index”不存在于比特流中且被推断为默认。否则，如果所述cu被视为“非小”且所述cu是以“帧间”和“合并”和“双向预测”模式(或，其它条件)被译码，那么“gbi_index”被译码(340)。
[0069]
实施例-2：
[0070]
在一种变型中，所述阈值是亮度译码块minblksize的最小大小(例如，hevc中的log2_min_luma_coding_block_size_minus3)和/或最大亮度译码块大小(例如，hevc中的ctu大小，log2_diff_max_min_luma_coding_block_size)的函数。
[0071]
例如，工具1的“小”块可以是具有少于minblksize x minblksize样本的块。
[0072]
那么一旦最小或最大块大小被解码，就更新所述阈值(320)。
[0073]
实施例-3：
[0074]
在一种变型中，在hls中直接编码所述一个或多个阈值的值。
[0075]
实施例-4：
[0076]
在一种变型中，标记值不被译码，而是从一个或几个其它参数推断的。例如，在分
层译码的情况下，从图片大小或图片深度推断所述标志(图4)。例如，如果图片大小(亮度样本的数量)小于阈值＝416
×
240，则推断所述标志为真(意味着所述工具集被启用用于“小”块)。在另一示例中，如果图片大小(亮度样本的数目)低于阈值且当前切片或图块(或图块组)的分层深度低于另一阈值(例如，th＝3)，那么推断所述标志为真。
[0077]
实施例-5：
[0078]
根据简档(profile)/层(tier)/级别(level)，对于一些简档/层/级别，可以将用于小块的标志强制为预定义值。这意味着它被推断出，或者它可以存在于比特流中，但是它的值是由所述简档和/或层和/或级别约束的，例如如在说明书中指定的。
[0079]
举例来说，对于低层值，标志的值可设定为一(针对“小”块，启用一集合的译码工具)。
[0080]
在变型中，可以按照简档、层或级别来定义emb-1的阈值。
[0081]
图5示出了使用这里描述的一般方面的方法500的一个实施例，该方法开始于开始框501，并且控制进行到功能框510，用于使得能够基于至少一个视频块的特性来启用一个或多个译码工具来译码比特流中的所述至少一个视频块。控制然后从框510进行到框520，以在所述比特流中包括表示对于具有所述特性的块使用所述一个或多个译码工具的信息。控制然后从框520进行到框530，用于存储、传送或传输所述比特流。
[0082]
图6示出了使用这里描述的一般方面的方法600的一个实施例，该方法开始于开始框601，并且控制进行到功能框610，用于解析比特流以获得表示使用所述一个或多个译码工具来对视频块进行解码的信息。控制然后从框610前进至框620，用于使用该信息来使得能够针对比特流中的至少一个视频块使用一个或多个译码工具。控制然后从框620前进到框630以解码所述比特流。
[0083]
图7示出了用于使用译码或解码工具来压缩、编码或解码视频的装置700的一个实施例。该装置包括处理器710，并且可以通过至少一个端口与存储器720互连。处理器710和存储器720两者还可具有到外部连接的一个或一个以上额外互连。
[0084]
处理器710还被配置为通过使用各种译码工具进行压缩、编码或者解码，在比特流中插入或者接收信息。
[0085]
本技术描述了多个方面，这其中包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特异性，并且至少为了示出个体特性，通常以可能听起来受限的方式来描述。然而，这是为了描述清楚的目的，并且不限制那些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供另外的方面。此外，这些方面也可以与在较早的文档中描述的方面组合和互换。
[0086]
本技术中描述和预期的方面可以以许多不同的形式实现。以下图1、2和8提供了一些实施例，但是可以设想其他实施例，并且对图1、2和8的讨论不限制实现的广度。所述方面中的至少一个方面主要涉及视频编码和解码，并且至少一个其它方面主要涉及传送所生成或编码的比特流。这些和其它方面可以被实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
[0087]
在本技术中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构”在编码器
侧被使用，而“解码”在解码器侧被使用。
[0088]
本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非所述方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。
[0089]
本技术中描述的各种方法和其它方面可用于修改模块，例如，图1和图2所示的视频编码器100和解码器200的帧内预测、熵译码和/或解码模块(160,360,145,330)。此外，本发明不限于vvc或hevc，并且可应用于例如其它标准和提案(无论是预先存在的还是将来开发的)以及任何此类标准和提案(包括vvc和hevc)的扩展。除非另外指出或在技术上排除，本技术中描述的方面可以单独或组合使用。
[0090]
在本技术中使用各种数值。具体值是出于示例目的，并且所描述的方面不限于这些具体值。
[0091]
图1示出了编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而没有描述所有预期的变型。
[0092]
在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入颜色图片应用颜色变换(例如，从rgb 4:4:4到ycbcr 4:2:0的转换)，或者执行输入图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用所述颜色分量之一的直方图均衡)。元数据可以与所述预处理相关联，并且被附加到比特流。
[0093]
在编码器100中，如下所述，由编码器元件对图片进行编码。以例如cu为单位分区(102)并处理要编码的图片。使用例如帧内或帧间模式来编码每个单元。当以帧内模式对单元进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。所述编码器决定(105)使用帧内模式或帧间模式中的哪一者来对所述单元进行编码，并且通过例如预测模式标志来指示所述帧内/帧间决定。例如，通过从原始图像块中减去(110)预测块来计算预测残差。
[0094]
然后，对所述预测残差进行变换(125)和量化(130)。对所量化的变换系数以及运动向量和其它语法元素进行熵译码(145)以输出比特流。所述编码器可以跳过所述变换，并直接对未变换的残差信号应用量化。所述编码器可以绕过变换和量化这两者，即，直接对所述残差进行译码而不应用所述变换或量化处理。
[0095]
所述编码器对编码块进行解码，以提供用于进一步预测的参考。对所量化的变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)所解码的预测残差和预测块，重构图像块。环内滤波器(165)被应用于所重构的图片，以执行例如解块/sao(样本自适应偏移)滤波，从而减少编码伪像。将所滤波的图像存储在参考图片缓冲器(180)中。
[0096]
图2示出了视频解码器200的框图。在解码器200中，如下所述，由解码器元件解码比特流。视频解码器200通常执行与如图1中所描述的编码过程互逆的解码过程。所述编码器100通常还执行视频解码作为编码视频数据的一部分。
[0097]
特别地，所述解码器的输入包括视频比特流，其可以由视频编码器100生成。所述比特流首先被熵解码(230)以获得变换系数、运动向量和其它译码信息。图片分区信息指示所述图片如何被分区。所述解码器因此可以根据所解码的图片分区信息来划分(235)所述图片。所述变换系数被解量化(240)和逆变换(250)以解码所述预测残差。将所解码的预测
残差与预测块进行组合(255)，重构图像块。所述预测块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。环内滤波器(265)被应用于所重构的图像。将所滤波的图像存储在参考图片缓冲器(280)中。
[0098]
解码后的图片可以进一步经历解码后处理(285)，例如，逆颜色变换(例如，从ycbcr 4:2:0到rgb 4:4:4的转换)或执行在预编码处理(101)中执行的所述重新映射过程的逆重新映射。所述解码后处理可以使用在所述预编码处理中导出并且在所述比特流中用信号发送的元数据。
[0099]
图8示出了其中实现了各个方面和实施例的系统的示例的框图。系统1000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本文中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地被实现在单个集成电路(ic)、多个ic和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个ic和/或分立组件上。在各种实施例中，所述系统1000经由例如通信总线或通过专用输入和/或输出端口而被通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中，所述系统1000被配置为实现本文中描述的一个或多个方面。
[0100]
所述系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以用于实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。所述系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，这其中包括但不限于电可擦除可编程只读存储器(eeprom)、只读存储器(rom)、可编程只读存储器(prom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，所述存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的存储设备和不可拆卸的存储设备)和/或网络可访问的存储设备。
[0101]
系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供所编码的视频或所解码的视频，并且所述编码器/解码器模块1030可以包括其自己的处理器和存储器。所述编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的，设备可以包括所述编码模块和解码模块中的一个或两个。另外，编码器/解码器模块1030可实施为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。
[0102]
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可以在执行本文中描述的过程期间存储各种项中的一者或多者。这些存储的项可以包括但不限于输入视频、所解码的视频或该解码的视频的部分、比特流、矩阵、变量以及来自方程式、公式、运算和运算逻辑的处理的中间或最终结果。
[0103]
在一些实施例中，所述处理器1010和/或所述编码器/解码器模块1030内的存储器用于存储指令，并且提供用于在编码或解码期间需要的处理的工作存储器。然而，在其它实
施例中，所述处理设备(例如，所述处理设备可为所述处理器1010或所述编码器/解码器模块1030)外部的存储器用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中，诸如ram的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器，诸如用于mpeg-2(mpeg是指运动图像专家组，mpeg-2也被称为iso/iec 13818，并且13818-1也被称为h.222，并且13818-2也被称为h.262)、hevc(hevc是指高效视频译码，也被称为h.265和mpeg-h部分2)、或vvc(通用视频译码，由联合视频团队专家jvet开发的新标准)的工作存储器。
[0104]
如框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于：(i)接收例如由广播者通过空中传输的射频(rf)信号的rf部分，(ii)分量(comp)输入端子(或一组分量输入端子)，(iii)通用串行总线(usb)输入端子，和/或(iv)高清晰度多媒体接口(hdmi)输入端子。图8中未示出的其它示例包括合成视频。
[0105]
在各种实施例中，框1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，所述rf部分可以与适合于以下的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到一频带)，(ii)将所选择的信号下变频，(iii)再次将频带限制到较窄频带，以选择(例如，)在某些实施例中可以称为信道的信号频带，(iv)解调所述下变频且频带限制的信号，(v)执行纠错，和(vi)解复用以选择期望的数据分组流。各种实施例的rf部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。所述rf部分可以包括执行各种这些功能的调谐器，这些功能包括例如将所接收的信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，所述rf部分及其相关的输入处理元件接收通过有线(例如，电缆)介质发送的rf信号，并通过滤波、下变频和再次滤波来执行到期望频带的频率选择。各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，所述rf部分包括天线。
[0106]
另外，usb和/或hdmi终端可以包括用于通过usb和/或hdmi连接将系统1000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如，,，所罗门纠错)可以根据需要在例如单独的输入处理ic或处理器1010内实现。类似地，usb或hdmi接口处理的各方面可以根据需要在单独的接口ic内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，这其中包括例如处理器1010和编码器/解码器1030，其与存储器和存储元件结合操作以根据需要来处理所述数据流以便在输出设备上呈现。
[0107]
系统1000的各种元件可以设置在集成壳体内。在该集成壳体内，各种元件可以使用合适的连接布置(例如，本领域已知的内部总线，包括ic间(i2c)总线、布线和印刷电路板)互连并在其间传输数据。
[0108]
所述系统1000包括通信接口1050，其使得能够经由通信信道1060与其他设备通信。所述通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。所述通信接口1050可以包括但不限于调制解调器或网卡，并且所述通信信道1060可以例如在有线和/或无线介质内实现。
[0109]
在各种实施例中，使用无线网络(例如，wi-fi网络，例如ieee 802.11(ieee是指电
气和电子工程师协会))，将数据流式传输或以其他方式提供给所述系统1000。这些实施例的wi-fi信号通过适用于wi-fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式传输应用和其它云上通信。其它实施例使用通过输入框1130的hdmi连接来传递数据的机顶盒而向系统1000提供流式传输的数据。还有一些实施例使用输入框1130的rf连接而向所述系统1000提供流式传输的数据。如上所述，各种实施例以非流式传输方式提供数据。另外，各种实施例使用除wi-fi之外的无线网络，例如，蜂窝网络或蓝牙网络。
[0110]
所述系统1000可以向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施例的显示器1100包含以下中的一者或多者：例如触摸屏显示器、有机发光二极管(oled)显示器、弯曲显示器和/或可折叠显示器。所述显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。所述显示器1100还可与其它组件集成(例如，如在智能电话中)，或是单独的(例如，用于膝上型计算机的外部监视器)。在各实施例的各示例中，所述其它外围设备1120包括以下中的一者或多者：独立数字视频盘(或数字多功能盘)(dvr，针对这两项)、盘播放器、立体声系统和/或照明系统。各种实施例使用一个或多个外围设备1120，其基于系统1000的输出来提供功能。例如，盘播放器执行播放所述系统1000的输出的功能。
[0111]
在各种实施例中，使用信令(诸如，av.link(av.链路)、消费电子控制(cec)、或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议)在系统1000和显示器1100、扬声器1110或其它外围设备1120之间传送控制信号。所述输出设备可以经由通过相应接口1070、1080和1090的专用连接而通信地耦合到系统1000。作为替代，所述输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。所述显示器1100和扬声器1110可以与系统1000的其它组件一起集成在电子设备(例如，电视机)中的单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如定时控制器((t con)芯片。
[0112]
例如，如果输入1130的rf部分是单独机顶盒的一部分，则所述显示器1100和扬声器1110可以备选地与其它组件中的一个或多个分离。在所述显示器1100和扬声器1110是外部组件的各种实施例中，所述输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括hdmi端口、usb端口或comp输出。
[0113]
这些实施例可以由处理器1010或由硬件实现的计算机软件或由硬件和软件的组合来实现。作为非限制性示例，所述实施例可以由一个或多个集成电路实现。所述存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。所述处理器1010可以是适合于技术环境的任何类型，并且作为非限制性示例，可以包含以下中的一者或多者：微处理器、通用计算机、专用计算机和基于多核架构的处理器。
[0114]
各种实现方式涉及解码。如本技术中所使用的，“解码”可以包括例如对接收到的编码序列执行的全部或部分过程，以便产生适合于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，这样的过程还或替代地包括由本技术中描述的各种实现的解码器执
行的过程。
[0115]
作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是旨在具体地指代操作的子集还是一般地指代更广泛的解码过程，这基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。
[0116]
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本技术中使用的“编码”可以包括例如对输入视频序列执行的以便产生编码比特流的过程的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵译码。在各种实施例中，这样的过程还或替代地包括由本技术中描述的各种实现的编码器执行的过程。
[0117]
作为进一步的示例，在一个实施例中，“编码”仅指熵译码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵译码的组合。短语“编码过程”的旨在具体地指代操作的子集还是一般地指代更广泛的编码过程，这将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。
[0118]
注意，如本文所使用的语法元素是描述性术语。因此，它们不排除使用其它语法元素名称。
[0119]
当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。
[0120]
各种实施例可能涉及参数模型或速率失真优化。特别地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷，通常给出计算复杂度的约束。它可以通过速率失真优化(rdo)度量，或者通过最小均方(lms)、绝对误差均值(mae)或其它这样的测量来测量。所述速率失真优化通常被公式化为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法来解决速率失真优化问题。例如，这些方法可以基于对所有编码选项的广泛测试，这其中包括所有考虑的模式或译码参数值，且对它们的译码成本和在译码和解码之后的重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度，特别是基于预测或预测残差信号而不是重构信号来计算近似失真。还可以使用这两种方法的混合，例如通过仅对一些可能的编码选项使用近似失真，而对其他编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中的任何一种来执行所述优化，但是该优化不一定是对译码成本和相关失真这两者的完整评估。
[0121]
本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中被讨论(例如，仅作为方法而被讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现，所述处理器通常指处理设备，这其中包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“pda”)和便于终端用户之间的信息通信的其他设备。
[0122]
对“一个实施例”或“一实施例”或“一个实现方式”或“一实现方式”以及其它变化形式的提及意味着结合该实施例描述的特定特征、结构、特性等包含于至少一个实施例中。因此，在本技术中的各个地方出现的短语“在一个实施例中”或“在一实施例中”或“在一个
实现方式中”或“在一实现方式中”以及任何其他变型的出现不一定都指同一实施例。
[0123]
另外，本技术可以涉及“确定”各种信息。确定该信息可以包括例如以下一者或多者：估计该信息、计算该信息、预测该信息或从存储器检索该信息。
[0124]
此外，本技术可以涉及“访问”各种信息。访问该信息可以包括例如以下一者或多者：接收该信息、检索该信息(例如，从存储器检索该信息)、存储该信息、移动该信息、复制该信息、计算该信息、确定该信息、预测该信息或估计该信息。
[0125]
另外，本技术可以指“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收所述信息可以包括例如以下一者或多者：访问该信息或(例如，从存储器)检索该信息。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。
[0126]
应当理解，例如在“a/b”、“a和/或b”以及“a和b中的至少一者”的情况下，使用以下“/”、“和/或”以及“中的至少一者”中的任意者旨在涵盖仅对第一列出的选项(a)的选择、或仅对第二列出的选项(b)的选择、或对两个选项(a和b)的选择。作为进一步的示例，在“a、b和/或c”和“a、b和c中的至少一者”的情况下，这样的措词旨在包括仅选择第一个列出的选项(a)、或者仅选择第二个列出的选项(b)、或者仅选择第三个列出的选项(c)、或者仅选择第一个和第二个列出的选项(a和b)、或者仅选择第一个和第三个列出的选项(a和c)、或者仅选择第二个和第三个列出的选项(b和c)、或者选择所有三个选项(a和b和c)。如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列的多个项目。
[0127]
此外，如本文所使用的，词语“信号”尤其是指向对应的解码器指示某物。例如，在某些实施例中，编码器用信号通知多个变换、译码模式或标志中的特定一个。这样，在一实施例中，在编码器侧和解码器侧使用相同的变换、参数或模式。因此，例如，编码器可以向解码器发送(显式地用信号发送)特定参数，使得解码器可以使用该相同的特定参数。相反，如果解码器已经具有所述特定参数以及其它参数，则可以使用信令而不进行发送(隐式地用信号发送)，以简单地允许解码器知道并选择所述特定参数。通过避免任何实际功能的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号发送给对应的解码器。虽然前述内容涉及词语“信号”的动词形式，但是词语“信号”在本文中也可以用作名词。
[0128]
如对于本领域普通技术人员将显而易见的，实现方式可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现方式之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。所述格式化可以包括例如对数据流进行编码并且利用所编码的数据流对载波进行调制。所述信号携带的信息可以是例如模拟或数字信息。如已知的，所述信号可以通过各种不同的有线或无线链路来传输。所述信号可以存储在处理器可读介质上。
[0129]
我们描述了可跨各种权利要求类别及类型的多个实施例。这些实施例的特征可以单独提供或以任何组合提供。此外，跨越各种权利要求类别和类型，实施例可以单独或以任意组合包括以下特征、设备或方面中的一者或多者：
[0130]
·
一种用于传送与利用一个或多个译码工具执行编码和解码有关的信息的过程或设备。
[0131]
·
一种用于传送与执行编码和解码有关的信息的过程或设备，其中在比特流中插入的信息表示用于实施一个或多个译码工具的信息。
[0132]
·
一种用于传送与执行编码和解码有关的信息的过程或设备，其中在比特流中插入的信息表示用于实施一个或多个译码工具的信息。
[0133]
·
一种用于传送与执行编码和解码有关的信息的过程或设备，其中在比特流中插入的信息表示用于实施一个或多个译码工具的信息。
[0134]
·
包括所描述的语法元素中的一者或多者或其变型的比特流或信号。
[0135]
·
一种比特流或信号，包括传达根据所描述的任何实施例生成的信息的语法。
[0136]
·
根据所述的任何实施例，创建和/或发送和/或接收和/或解码。
[0137]
·
根据所描述的任何实施例的方法、过程、装置、存储指令的介质、存储数据的介质或信号。
[0138]
·
在所述信令中插入使得所述解码器能够以对应于编码器所使用的方式的方式确定译码模式的语法元素。
[0139]
·
创建和/或发送和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。
[0140]
·
tv、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的任何实施例执行变换方法(一个或多个)。
[0141]
·
tv、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的任何实施例执行变换方法(一个或多个)确定，并且显示(例如，使用监视器、屏幕或其他类型的显示器)所得到的图像。
[0142]
·
tv、机顶盒、蜂窝电话、平板电脑或其他电子设备，其选择、频带限制、或调谐(例如，使用调谐器)信道以接收包括所编码的图像的信号，并且根据所描述的任何实施例执行变换方法(一个或多个)。
[0143]
·
tv、机顶盒、蜂窝电话、平板电脑或其他电子设备，其通过空中接收(例如，使用天线)包括所编码的图像的信号，并且执行变换方法(一个或多个)。