本实施例一般涉及变换块解码和译码，并且尤其涉及有助于变换块的空间改进的此类解码和译码。
背景技术：
已表明视频编码内的变换编码在去除预测误差中的冗余的方面是非常有用。此类预测误差来自于基于空间上邻近的先前编码采样（帧内预测）或基于时间上邻近的先前编码采样（间预测）来预测采样或像素的当前块（通常在本领域中表示为编码块（CB）或编码单元（CU））。在本领域中也表示为H.265的高效视频编码（HEVC）中，当前块被划分成对于当前块的部分或者与当前块相同尺寸的预测块（PB）或预测单元（PU）。然后为每个此类预测块选择相应的帧内预测模式或帧间预测。在变换块（TB）或变换单元（TU）中对具有与当前块相同尺寸的预测误差（在HEVC中最大TU尺寸是32×32采样）或针对当前块的预测误差的部分（在HEVC中最小TU尺寸是4×4采样）应用变换以获得变换系数。然后对变换系数进行量化和熵译码（例如，在HEVC中通过上下文自适应二进制算术编码（CABAC））。HEVC也支持变换跳过（transform skip），其意味着预测误差在没有变换的情况下编码。
关于变换编码的问题在于，当在视频编码过程中使用强量化（例如，以有挑战性的位率）时，它可以产生以变换基础式样的形式的视觉伪影。此问题在图1A和1B中示出。图1A示出在应用变换和量化之前的具有相应预测误差值的采样的残差块。图1B示出通过变换并然后量化残差块紧跟着去量化并且然后逆变换而获得的图1A中的残差块的重构版本。在图1B的顶部清楚地看到称为“振铃”的伪影。
在当前的视频编码标准中，残差块中的所有频率以相同的块尺寸编码。实际上，视频流的图片或帧中的大面积可能包含平滑梯度以及局部高频率部分。然后，译码器必须选择是否选择小的变换块尺寸，并且冒风险必须多次对平滑梯度进行译码，或者选择大的变换块尺寸，并仍尝试对局部高频率进行译码。前一种情况导致低效编码，而后一种情况导致振铃伪影，如图1B中所示的。
作为备选，译码器可以选择不使用变换并且在没有任何变换情况下编码残差块的预测误差。然而，对于通常包含采样之间的空间相关性的自然视频内容，此类方法的效率相对差。
美国专利No. 8,077,991公开一种将变换编码的能量压缩特征与空间编码的局部化特性组合的技术。更详细地，对残差块的预测误差执行变换编码以创建预测误差的第一表示。对预测误差执行空间编码以创建预测误差的第二表示。两个表示联合以形成编码的预测误差信号。
因此存在有对于在变换块解码和译码内的改进的需要。
技术实现要素：
一般目标是要改进变换块解码和译码。
特定目标是要提供可以以变换基础式样的形式补偿伪影的技术。
这些和其它目标由如本文公开的实施例来满足。
实施例的方面涉及一种变换块解码的方法。该方法包括对具有相应变换系数的采样的第一变换块进行逆变换，以获得具有相应重构预测误差值的采样的第一残差块。该方法还包括对具有相应变换系数的采样的第二变换块进行逆变换，以获得具有相应重构预测误差值的采样的第二残差块。该方法进一步包括通过第二残差块的相应重构预测误差值修改第一残差块的子部分中的采样的相应重构预测误差值。该修改影响第一残差块的子部分中的采样的重构预测误差值，但不影响第一残差块的剩余部分中的采样的重构预测误差值。
实施例的相关方面定义了变换块解码的方法。该方法包括对具有相应变换系数的采样的变换块进行逆变换以获得具有相应重构预测误差值的采样的残差块。该方法还包括提供具有相应预测误差值的采样的变换跳过块。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。该方法进一步包括通过变换跳过块的相应预测误差值逐个采样地修改残差块的子部分中的采样的相应重构预测误差值。该修改影响残差块的子部分中的采样的重构预测误差值，但不影响残差块的剩余部分中的采样的重构预测误差值。
实施例的另一方面涉及一种变换块译码的方法。该方法包括将具有相应预测误差值的采样的第一残差块变换成具有相应变换系数的采样的第一变换块。该方法还包括将具有相应预测误差值的采样的第二残差块逆变换成具有相应变换系数的采样的第二变换块。该方法进一步包括提供指导解码器通过基于所述第二变换块获得的第二残差块的重构版本的相应重构预测误差值修改基于第一变换块获得的第一残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。基于提供的信息执行的修改影响第一残差块的所述重构版本的子部分中的采样的重构预测误差值，但不影响第一残差块的所述重构版本的剩余部分中的采样的重构预测误差值。
实施例的相关方面定义了一种变换块译码的方法。该方法包括将具有相应预测误差值的采样的残差块变换成具有相应变换系数的采样的变换块。该方法还包括提供具有相应预测误差值的采样的变换跳过块。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。该方法进一步包括提供指导解码器通过变换跳过块的相应预测误差值逐个采样地修改基于所述变换块获得的残差块的重构版本的子部分中的相应重构预测误差值的信息。基于提供的信息执行的修改影响残差块的重构版本的子部分中的采样的重构预测误差值，但不影响所述残差块的重构版本的剩余部分中的采样的重构预测误差值。
实施例的进一步方面涉及用于变换块解码的装置。该装置配置成对具有相应变换系数的采样的第一变换块进行逆变换，以获得具有相应重构预测误差值的采样的第一残差块。该装置还配置成对具有相应变换系数的采样的第二变换块进行逆变换以获得具有相应重构预测误差值的采样的第二残差块。所述装置进一步配置成通过所述第二残差块的相应重构预测误差值修改所述第一残差块的子部分中的采样的相应重构预测误差值。由装置执行的修改影响第一残差块的子部分中的采样的重构预测误差值，但不影响第一残差块的剩余部分中的采样的重构预测误差值。
实施例的相关方面定义了用于变换块解码的装置。该装置配置成对具有相应变换系数的采样的变换块进行逆变换，以获得具有相应重构预测误差值的采样的残差块。该装置还配置成提供具有相应预测误差值的采样的变换跳过块。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。所述装置进一步配置成通过变换跳过块的相应预测误差值逐个采样地修改所述残差块的子部分中的采样的相应重构预测误差值。由装置执行的修改影响残差块的子部分中的采样的重构预测误差值，但不影响残差块的剩余部分中的采样的重构预测误差值。
实施例的另一相关方面定义了用于变换块解码的装置。该装置包括逆变换单元，其用于对具有相应变换系数的采样的第一变换块进行逆变换，以获得具有相应重构预测误差值的采样的第一残差块，并对具有相应变换系数的采样的第二变换块进行逆变换以获得具有相应重构预测误差值的采样第二残差块。该装置还包括修改单元，用于通过第二残差块的相应重构预测误差值修改第一残差块的子部分中的采样的相应重构预测误差值。由修改单元执行的修改影响第一残差块的子部分中的采样的重构预测误差值，但不影响第一残差块的剩余部分中的采样的重构预测误差值。
实施例的进一步相关方面定义了用于变换块解码的装置。该装置包括逆变换单元，其用于对具有相应变换系数的采样的变换块进行逆变换，以获得具有相应重构预测误差值的采样的残差块。该装置还包括修改单元，用于通过具有相应预测误差值的采样的变换跳过块的相应预测误差值逐个采样地修改残差块的子部分中的相应重构预测误差值。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。由修改单元执行的修改影响残差块的子部分中的采样的重构预测误差值，但不影响残差块的剩余部分中的采样的重构预测误差值。
实施例的又一方面涉及用于变换块译码的装置。该装置配置成将具有相应预测误差值的采样的第一残差块变换成具有相应变换系数的采样的第一变换块。该装置还配置成将具有相应预测误差值的采样的第二残差块变换成具有相应变换系数的采样的第二变换块。该装置进一步配置成提供指导解码器通过基于所述第二变换块获得的第二残差块的重构版本的相应重构预测误差值修改基于第一变换块获得的第一残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。该修改影响第一残差块的所述重构版本的子部分中的采样的重构预测误差值，但不影响第一残差块的所述重构版本的剩余部分中的采样的重构预测误差值。
实施例的相关方面定义了用于变换块译码的装置。该装置配置成将具有相应预测误差值的采样的残差块变换成具有相应变换系数的采样的变换块。该装置还配置成提供具有相应预测误差值的采样的变换跳过块。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。该装置进一步配置成提供指导解码器通过变换跳过块的相应预测误差值逐个采样地修改基于变换块获得的残差块的重构版本的子部分中的相应重构预测误差值的信息。基于提供的信息执行的修改影响残差块的重构版本的子部分中的采样的重构预测误差值，但不影响所述残差块的重构版本的剩余部分中的采样的重构预测误差值。
实施例的另一相关方面定义了装置或变换块译码。该装置包括变换单元，其用于将具有相应预测误差值的采样的第一残差块变换成具有相应变换系数的采样的第一变换块以及将具有相应预测误差值的采样的第二残差块变换成具有相应变换系数的采样的第二变换块。该装置还包括提供单元，其用于提供指导解码器通过基于所述第二变换块获得的第二残差块的重构版本的相应重构预测误差值修改基于第一变换块获得的第一残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。基于所提供的信息执行的修改影响第一残差块的重构版本的子部分中的采样的重构预测误差值，但不影响第一残差块的重构版本的剩余部分中的采样的重构预测误差值。
实施例的进一步相关方面定义了用于变换块译码的装置。该装置包括变换单元，其用于将具有相应预测误差值的采样的残差块变换成具有相应变换系数的采样的变换块。该装置还包括提供单元，其用于提供具有相应预测误差值的采样的变换跳过块。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。提供单元还用于提供指导解码器通过变换跳过块的相应预测误差值逐个采样地修改基于变换块获得的残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。基于所提供的信息值执行的修改影响残差块的重构版本的子部分中的采样的重构预测误差值，但不影响残差块的重构版本的剩余部分中的采样的重构预测误差值。
实施例的进一步方面涉及一种包括指令的计算机程序，所述指令在由处理器执行时使所述处理器对具有相应变换系数的采样的第一变换块进行逆变换以获得具有相应重构预测误差值的采样的第一残差块。还使处理器对具有相应变换系数的采样的第二变换块进行逆变换，以获得具有相应重构预测误差值的采样的第二残差块。进一步使处理器通过第二残差块的相应重构预测误差值修改第一残差块的子部分中的采样的相应重构预测误差值。由处理器执行的修改影响第一残差块的子部分中的采样的重构预测误差值，但不影响第一残差块的剩余部分中的采样的重构预测误差值。
实施例的相关方面定义包括指令的计算机程序，所述指令在由处理器执行时使处理器对具有相应变换系数的采样的变换块进行逆变换以获得具有相应重构预测误差值的采样的残差块。还使处理器提供具有相应预测误差值的采样的变换跳过块。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。进一步使处理器通过变换跳过块的相应预测误差值逐个采样地修改残差块的子部分中的采样的相应重构预测误差值。由处理器执行的修改影响残差块的子部分中的采样的重构预测误差值，但不影响残差块的剩余部分中的采样的重构预测误差值。
实施例的又一方面涉及一种包括指令的计算机程序，所述指令在由处理器执行时使处理器将具有相应预测误差值的采样的第一残差块变换成具有相应变换系数的采样的第一变换块。还使处理器将具有相应预测误差值的采样的第二残差块变换成具有相应变换系数的采样的第二变换块。还使处理器提供指导解码器通过基于所述第二变换块获得的第二残差块的重构版本的相应重构预测误差值修改基于第一变换块获得的第一残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。由处理器执行的修改影响第一残差块的重构版本的子部分中的采样的重构预测误差值，但不影响第一残差块的重构版本的剩余部分中的采样的重构预测误差值。
实施例的相关方面定义了包括指令的计算机程序，所述指令在由处理器执行时使处理器将具有相应预测误差值的采样的残差块变换成具有相应变换系数的采样的变换块。还使处理器提供具有相应预测误差值的采样的变换跳过块。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。进一步使处理器提供指导解码器通过变换跳过块的相应预测误差值逐个采样地修改基于变换块获得的残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。由处理器执行的修改影响残差块的重构版本的子部分中的采样的重构预测误差值，但不影响残差块的重构版本的剩余部分中的采样的重构预测误差值。
实施例的又一方面定义了包括如上面定义的计算机程序的载体。载体是电子信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质中的一种。
实施例实现在添加到预测之前的重构残差块中的空间上局部化改进。由此局部化空间改进可以补偿或处置来自变换编码的伪影（例如以变换基础式样的形式）。否则，这些伪影会在视频流的视频帧或图片中引起视觉上恼人的效果。
附图说明
通过连同附图一起采取而对下面的描述进行参考，可以最佳地理解实施例连同其进一步的目标和优点，其中：
图1A和1B示出变换和量化前的残差块（图1A）以及变换、量化、去量化和逆变换之后的残差块的重构版本（图1B）；
图2A和2B示出根据现有技术（图2A）和根据实施例（图2B）的变换块的划分;
图3是示出根据实施例的变换块解码的方法的一般概念的流程图;
图4是示出根据实施例的变换块解码的方法的流程图;
图5是示出图4中的修改步骤的实施例的流程图;
图6是示出图4中的修改步骤的另一实施例的流程图;
图7是示出图4中的修改步骤的进一步实施例的流程图;
图8是示出图7中所示的方法的附加、可选步骤的流程图。
图9是示出图4中的修改步骤的又一实施例的流程图。
图10是示出图9中的修改步骤的实施例的流程图;
图11是示出图9中的修改步骤的另一实施例的流程图。
图12是示出根据实施例的图9中所示的方法的附加、可选步骤的流程图。
图13是示出根据另一实施例的图9中所示的方法的附加、可选步骤的流程图。
图14是示出图13中的分割步骤的实施例的流程图。
图15是示出根据另一实施例的变换块解码的方法的流程图。
图16A-16D示意性地示出变换块解码的各种示例;
图17是示出根据实施例的变换块译码的方法的流程图。
图18是示出图17中的提供步骤的实施例的流程图。
图19是示出图17中的提供步骤的另一实施例的流程图。
图20是示出根据另一实施例的变换块译码的方法的流程图。
图21是根据实施例的用于变换块解码的装置的示意性框图。
图22是根据实施例的用于变换块译码的装置的示意性框图。
图23是根据另一实施例的用于变换块解码的装置的示意性框图。
图24是根据另一实施例的用于变换块译码的装置的示意性框图。
图25示意性地示出以计算机程序形式的实施例的实现;
图26是根据进一步实施例的用于变换块解码的装置的示意性框图。
图27是根据进一步实施例的用于变换块译码的装置的示意性框图。
图28是根据实施例的解码器的示意性框图。
图29是根据实施例的用户设备的示意性框图；以及
图30是根据实施例的译码器的示意性框图。
具体实施方式
整个附图中，相同的参考数字用于相似或对应的元件。
本发明一般涉及变换块解码和译码，并且尤其涉及有助于变换块的空间改进的此类解码和译码。由此，实施例实现在重构残差块添加到帧内预测或帧间预测以形成采样或像素的原始块的重构（或解码）版本之前，在重构残差块的空间上局部化部分中的改进，所述重构残差块在本领域中也表示为解码残差块。通过在添加到帧内或帧间预测之前修改重构残差块的子部分中的重构（或解码）预测误差值来实现此改进。由此，此空间上局部化修改可以联系原始块的编码而补偿在变换和量化期间引入的伪影。
例如，图2A示出构成要被译码的视频流的图片或帧的一部分的编码块1。在此特定的编码块1中，图片具有平滑的背景，其中线6在编码块1上跨过。编码块1由此包含平滑梯度（背景）以及局部高频率部分（线）。在这种情况下，译码器需要将编码块1分割成更小的变换块2、3、4以便有效地对编码块1进行译码。因此，针对包括线6的编码块1的那些部分需要小的变换块尺寸4，而对应较大的变换块尺寸2、3可以用于仅包含平滑背景的编码块1的那些部分。在图2A的此说明性现有技术示例中，由于存在跨编码块1穿过的线6，编码块1已分割成22个变换块。
图2B示出根据实施例的示例。在这种情况下，编码块1已分割成仅四个变换块2。由于线6的存在的高频率数据转而通过修改在对四个变换块2进行逆变换之后获得的重构残差块中的两个的子部分5来处理。这意味着，通过重构残差块的一个或多个子部分的选择性修改，与现有技术相比，实施例可以以高得多的效率的方式处置具有平滑梯度和局部高频率部分的编码块1。
一般地，在视频编码中，构成视频流的帧或图片的一部分的采样或像素的编码块在采样数量方面划分成与当前块相同尺寸或者对于当前块的一部分的一个或多个预测块。然后为每个此类预测块选择相应的帧内预测模式或帧间预测。计算选择的预测和编码块中的采样值之间的差以得到具有相应预测误差值的采样的一个或多个残差块。然后在变换块中对具有与当前块相同尺寸的预测误差值或针对预测误差值的一部分应用变换以得到具有相应变换系数的采样的一个或多个变换块。然后对变换系数进行量化和译码。在解码期间，对译码数据进行解码和去量化以得到一个或多个变换块，或更确切地，一个或多个变换块的一个或多个重构版本。对一个或多个变换块进行逆变换以得到一个或多个残差块的一个或多个重构或解码版本（一个或多个重构残差块）。将一个或多个残差块的一个或多个重构版本的重构或解码预测误差值添加到一个或多个预测以得到编码块的重构版本。
在视频编码领域中，帧间预测用于利用时间统计相关性、帧内预测利用空间统计相关性以及预测残差的变换编码，即预测误差值，进一步利用空间统计相关性。变换编码涉及使用变换（优选地，线性空间变换）在残差块中的预测误差值的变换。此类变换的非限制性但优选的示例包括离散余弦变换（DCT）、离散正弦变换（DST）、Karhunen-Loève变换（KLT）等。
根据本发明，一个或多个残差块的一个或多个重构版本的重构预测误差值的子部分而不是全部在添加到一个或多个预测之前被修改。
在接下来，变换块用于表示具有相应变换系数并且通过具有相应预测误差值的采样的残差块的变换的应用而获得的采样块。本领域中变换块有时表示为变换单元。
图3是示出根据实施例的变换块解码的方法的一般概念的流程图。该方法包括在步骤S1中修改通过对具有相应变换系数的采样的变换块进行逆变换而获得的采样的残差块的子部分中的采样的相应重构预测误差值。在步骤S1中执行的修改影响残差块的子部分中的采样的重构预测误差值，但不影响残差块的剩余部分中的采样的重构预测误差值。
因此，在步骤S1中执行的修改仅影响在残差块的子部分中的重构预测误差值（本领域中有时表示为解码的预测误差值）。这意味着残差块的剩余部分中的重构预测误差值保持与修改之前相同。相应地，修改是对残差块的一部分的空间上局部化修改。
步骤S1中的空间上局部化修改由此可用于例如处置高频率数据或补偿来自变换编码的视觉伪影，例如以变换基础式样的形式。
图4是示出根据实施例的变换块解码的方法的流程图。该方法包括在步骤S10中对具有相应变换系数的采样的第一变换块（1ST TB）进行逆变换，以获得具有相应重构预测误差的采样的第一残差块（1ST RB）。该方法还包括在步骤S11中对具有相应变换系数的采样的第二变换块（2ND TB）进行逆变换以获得具有相应重构预测误差值的采样的第二残差块（2NDRB）。接下来的步骤S12包括通过第二残差块的相应重构预测误差值修改第一残差块的子部分中的采样的相应重构预测误差值。在步骤S12中执行的修改影响第一残差块的子部分中的采样的重构预测误差值，但不影响第一残差块的剩余部分中的采样的重构预测误差值。
图4的两个步骤S10和S11可以以任何顺序串行或至少部分并行执行。
因此，在此实施例中通过使用通过对第二变换块进行逆变换而获得的重构预测误差值来实现第一残差块的子部分中的重构预测误差值的空间上局部化修改。
在实施例中，在步骤S10和S11中可以将相同类型的逆变换应用于第一和第二变换块。例如，使用相同类型的逆DCT变换。在备选实施例中，当生成第一变换块和第二变换块时，可以在视频编码和变换编码期间使用不同类型的变换。在此类情况下，将第一变换应用于第一残差块以得到第一变换块，并且将第二变换应用于第二残差块以得到第二变换块。与第一变换相比，第二变换然后可以具有其它特征和特性。这意味着可以在步骤S10中使用第一逆变换以从第一变换块获得第一残差块，并且可以在步骤S11中使用第二逆变换以从第二变换块获得第二残差块。然后，第一（逆）变换可以是从包括一种或多种类型的DCT、一种或多种类型的DST以及一种或多种类型的KLT的群组中选择的第一（逆）变换。然后第二（逆）变换可以是从此群组中选择的第二、不同（逆）变换。例如，第一（逆）变换可以是（逆）DCT变换，而第二（逆）变换是（逆）DST或KLT变换。在另一示例中，第一（逆）变换是第一类型的（逆）DCT变换并且第二（逆）变换是第二、不同类型的（逆）DCT变换。
由第二残差块修改的第一残差块的子部分通常是第一残差块中的相邻采样位置的连续采样区域。例如，子部分可以对应于第一残差块的四分之一（quarter）或四分之一部分（quadrant）中的一个或子集。这在例如要在本文进一步讨论的图16A-16C中更详细地示出。在采样数量方面，子部分可具有不同的尺寸或形状，包括例如P×P采样的正方形形状或P×Q采样的矩形形状，其中P、Q是等于或大于1的整数。在特定实施例中，在正方形形状（P×P采样）的情况下，P是等于或大于2的整数。在另一特定实施例中，在矩形形状（P×Q采样）的情况下，P和Q中的至少一个是等于或大于2的整数。在矩形形状的情况下，子部分可以是以1×Q采样或P×1采样的形式。这对应于修改第一残差块中的行或列中的一个中的重构预测误差值。行或列优选地是第一残差块中的第一或最后一行或列。这将对应于修改第一残差块中的边界采样位置。
在备选实施例中，共同构成第一残差块中的子部分的采样位置可以被分配以包括非相邻的采样位置。例如，子部分可以构成第一残差块中的每隔一个采样。
在如图16A中所示的图4中所示的方法的第一实现实施例中，与第一残差块11相比，第二残差块21在采样数量方面具有较小的尺寸。此外，第二残差块图21对应于第一残差块11的子部分12。在此实现实施例中，图4的步骤S12包括通过第二残差块21的相应重构预测误差值逐个采样地修改第一残差块11的子部分12的相应重构预测误差值。
图16A还示出在步骤S10和S11中被逆变换的第二变换块20和第一变换块10，以分别得到第二残差块21和第一残差块11。
逐个采样地修改意指第一残差块11的子部分12中的给定采样的重构预测误差值被第二残差块21中的对应采样的重构预测误差值修改。此对应采样占据第二残差块21内的所述给定采样在第一残差块11的子部分12中占据的相同位置（其可能与整个第一残差块11内的给定采样的位置不同）。例如，占据第一残差块11的子部分12的左上角的采样的重构预测误差值通过占据第二残差块21中的左上角的对应采样的重构预测误差值修改，等等。
在此实施例中，最终残差块（RB）13具有使用第二残差块21的修改的重构预测误差值和对应于来自第一残差块11的“原始”重构预测误差值的未修改的重构预测误差值。
图5是示出图4中的修改步骤的实施例的流程图。在此实施例中，该方法从图4中的步骤S11继续。接下来的步骤S13包括将第二残差块21的重构相应预测误差值逐个采样地添加到第一残差块11的子部分12的相应重构预测误差值。
下面通过4×4采样的第一残差块11和2×2采样的第二残差块21来呈现此类相加的示例。在此示例中，第二残差块21的相应重构预测误差值添加到第一残差块11的右上2×2子部分。
在相关的实施例中，可以通过将第二残差块21的重构相应预测误差值的加权版本逐个采样地添加到第一残差块11的子部分12的相应重构预测误差值来执行修改。
在此类情况下，可以针对所有重构预测误差值使用相同的权重，或者可以针对不同的预测误差值使用不同的权重。在后一情况下，可以基于第二残差块12内的特定采样位置来定义权重的值。备选地，可以从允许权重的确定的译码器提供信息。
在进一步的实施例中，可以基于对于当前块的帧内或帧间预测的采样值来推导或确定权重的值。
图6是示出图4中的修改步骤的另一实施例的流程图。在此实施例中，步骤S14包括通过第二残差块21的相应重构预测误差值逐个采样地替换第一残差块11的子部分12的相应重构预测误差值。
下面呈现对于此类替换的对应示例。
在实施例中，图4的步骤S10包括对具有相应变换系数的2N×2N采样的变换块10进行逆变换，以获得具有相应重构预测误差的2N×2N采样的残差块11。在此实施例中，参见图16B，步骤S11包括对具有相应变换系数的N×N采样的至少一个变换块20A-20D进行逆变换，以获得具有相应重构预测误差值的N×N采样的至少一个残差块21A-21D。N×N采样的至少一个残差块21A-21D的每个残差块21A-21D对应于2N×2N采样的残差块11的相应子部分12A-12D。在此实施例中，步骤S12包括通过N×N采样的残差块21A-21D的相应重构预测误差值逐个采样地并且针对N×N采样的至少一个残差块21A-21D的每个残差块21A-21D修改2N×2N采样的残差块11的相应子部分12A-21D的相应重构预测误差值。
在特定实施例中，2N×2N采样的残差块11包括四个相应子部分12A-12D，每个子部分12A-12D表示2N×2N采样的残差块11的相应四分之一或四分之一部分。然后可以通过来自N×N采样的一个或多个残差块21A-21D的重构预测误差值修改这些四分之一12A-12D中的一个或多个中的重构预测误差值，诸如通过如上面联系图5和图6提到的添加或替换。
在实施例中，图4的步骤S11和S12以与2N×2N采样的变换块10关联的至少一个标志的值为条件。这意味着在此实施例中，如果与2N×2N采样的变换块10关联的至少一个标志具有指示变换系数可用于2N×2N变换块级的值，则执行S11和S12。
在第一实施例中，使用单个标志。如果标志具有诸如1bin（二进制）（或0bin）的第一值，则N×N采样的至少一个变换块20A-20D可用，并且应当用于修改通过对2N×2N采样的变换块10进行逆变换而获得的重构预测误差值。这意味着除了图4中的步骤S10，应该执行步骤S11和S12。然而，如果标志具有诸如0bin（或1bin）的第二值，则没有N×N采样的变换块20A-20D可用于2N×2N采样的当前变换块10。在这种情况下，应该仅执行步骤S10而非图4的步骤S11和S12。
如果标志具有第一值，则诸如标志或其它语法元素的附加信息优选地可用并用于发信号通知应该修改的2N×2N采样的重构块11的哪个（些）四分之一12A-12D。如果上面提到的第一标志具有第一值，则这可以通过具有四个附加标志（对于每个四分之一12A-12D一个）来实现。然后，每个此类附加标志可以发信号通知是否应该修改关联的四分之一12A-12D的重构预测误差值。由此该方法有可能根本不修改2N×2N采样的残差块11或修改一个或多个其四分之一12A-12D。这在修改重构预测误差值方面和在空间上选择其中应该发生此类修改的一个或多个子部分12A-12D方面实现高灵活性。
在略微较不灵活的实施例中，N×N采样的单个变换块20可以是可用的。在此类情况下，替代使用四个附加标志，可以使用单个语法元素（诸如2位语法元素）来指示应该使用N×N采样的变换块20来修改的子部分12A-12D，即四分之一。一个甚至更不灵活的实施例要预定义2N×2N采样的残差块11中的子部分12A-12D的位置。在此类情况下，不需要语法元素来用于发信号通知子部分12A-12D的位置。此类情况的典型示例是对于具有帧内预测误差的残差块的右下角。残差块的此子部分通常包含最大预测误差值（因为其距离用于定义帧内预测的参考采样最远）。
进一步示例是要得出在要基于当前块的帧内或帧间预测的采样值修改的2N×2N采样的残差块11中的子部分（例如，四分之一）的位置。一般地，其中预测为非平坦的采样的预测块中的对应采样位置构成了对于应该通过使用N×N采样的残差块21来修改的子部分的适合位置。
另外变体是要使N×N采样的变换块20覆盖采样位置，所述采样位置不一定彼此重合，而是覆盖更大的区域。例如，2N×2N采样的残差块11中的每隔一个采样位置。另一示例是其中对于块的帧内或帧间预测为不平坦（如上面所提到的）的位置。因此，应该使用N×N采样的变换块20修改的子部分12A-12D（即四分之一）不一定必须是相邻采样位置的连续采样区域。明确相反地，共同构成2N×2N采样的残差块11中的子部分12A-12D的采样位置可以被分配以包括不相邻采样位置。
在另一实施例中，图4的步骤S10包括对具有相应变换系数的2N×2N采样的变换块进行逆变换，以获得具有相应重构预测误差的2N×2N采样的残差块11。在此实施例中，步骤S11包括对具有相应变换系数的N×N采样的四个变换块20A-20D进行逆变换，以获得具有相应重构预测误差值的N×N采样的四个残差块21A-21D。N×N采样的四个残差块21A-21D的每个残差块21A-21D对应于2N×2N采样的残差块11的相应子部分12A-12D。在此实施例中，步骤S12包括如图7中所示的四个子步骤S15至S18。步骤S15包括通过N×N采样的四个残差块21A-21D的N×N采样的第一残差块21A的相应重构预测误差值逐个采样地修改2N×2N采样的残差块11的第一子部分12A的相应重构预测误差值。步骤S16包括通过N×N采样的四个残差块21A-21D的N×N采样的第二残差块21B的相应重构预测误差值逐个采样地修改2N×2N采样的残差块11的第二子部分12B的相应重构预测误差值。步骤S17包括通过N×N采样的四个残差块21A-21D的N×N采样的第三残差块21C的相应重构预测误差值逐个采样地修改2N×2N采样的残差块11的第三子部分12C的相应重构预测误差值。步骤S18包括通过N×N采样的四个残差块21A-21D的N×N采样的第四残差块21D的相应重构预测误差值逐个采样地修改2N×2N采样的残差块11的第四子部分12D的相应重构预测误差值。
在此实施例中，N×N采样的相应变换20A-20D是可用的并且可以用于修改（诸如图5和图6中所示的）在2N×2N采样的残差块11中的四个N×N子部分12A-12D中的每个中的重构预测误差值。
在特定实施例中，两个标志与2N×2N采样的变换块10关联，并且可以被使用以便确定是否应该发生通过对2N×2N采样的变换块10进行逆变换而获得的重构预测误差值的修改。在此实施例中，如果与2N×2N采样的变换块10关联的第一标志具有指示2N×2N采样的变换块10分割成N×N采样的四个变换块20A-20D的值，并且如果与2N×2N采样的变换块10关联的第二标志具有指示变换系数可用于2N×2N变换块级的值，则执行图4的步骤S10-S12。
此实施例在图8中更详细地示出。所述方法在步骤S20开始，其中调查第一标志的值。如果第一标志在此示例中具有值0bin，则没有N×N采样的变换块20A-20D可用于2N×2N采样的当前变换块10。由此在步骤S21中对2N×2N采样的变换块10进行逆变换以得到2N×2N采样的重构块13，并且不执行对重构预测误差值的修改。然而，如果第一标志在此示例中等于1bin，则该方法继续到步骤S22，其中检查第二标志的值。如果在此示例中此第二标志等于0bin，则没有变换系数可用于2N×2N变换块级。这基本上对应于通过N×N采样的四个变换块替换2N×2N采样的变换块或将2N×2N采样的变换块分割成N×N采样的四个变换块。然后在步骤S23中对N×N采样的四个变换块进行逆变换，或者可以将它们中的至少一个进一步分割成四个甚至更小的变换块。然而，如果第二标志等于1bin（如在步骤S22中确定的），则该方法继续到步骤S24，该方法包括对2N×2N采样的变换块10和N×N采样的四个变换块20A-20D进行逆变换。该方法然后继续到图7中的步骤S15，其中2N×2N采样的残差块11的重构预测误差如本文先前描述地被修改。
在上面描述的实施例中，N是整数，并且优选地是等于或大于2的整数。在特定实施例中，N =2n，其中n是等于或大于1的整数。更优选地，n = 1,2,3或4，或n = 1,2,3,4或5。
在实施例中，不是所有的N×N采样的四个变换块20A-20D都是相等的。这则意味着2N×2N采样的残差块11的不同子部分12A-12D受到不同的修改。在特定实施例中，N×N采样的至少一个残差块21A-21D的重构预测误差值中的至少一个等于零。
图9是示出根据另一实现实施例的图4中的修改步骤S12的实施例的流程图。也对图16C进行参考。该方法从图4中的步骤S11继续。下一步骤S30包括修改第二残差块21的子部分22中的相应重构预测误差值。接下来的步骤S31包括将第二残差块21的相应的重构预测误差值逐个采样地添加到第一残差块11的相应预测误差值。
在特定实施例中，在子部分22的修改之后，第二残差块21中的重构预测误差值中的至少一个为零。这意味着在此类情况下，具有零重构预测误差值的第二残差块21中的一个或多个采样将不修改对于第一残差块11中的一个或多个对应采样的一个或多个重构预测误差值。
在特定实施例中，第一和第二变换块10、20在采样数量方面具有相同的尺寸，并且第一和第二残差块11、21在采样数量方面也具有相同的尺寸。
在实施例中，如图10中所示地执行图9的步骤S30。因此，在此实施例中，该修改包括在步骤S32中将第二残差块21的子部分22中的相应重构预测误差值归零。这意味着对于在子部分22中存在的那些采样，残差块21的重构预测误差值然后由零替换。
图11示出图9中的步骤S30的另一实施例。在此实施例中，该修改包括在步骤S33中将第二残差块21的子部分22中的每个相应重构预测误差值与相应权重相乘。
在实施例中，权重中的至少一个为零，引起对于第二残差块21的子部分22内的至少一个采样的重构预测误差值的归零。
与归零所有重构预测误差值相比，这是更一般化的实施例。这种类型的修改不如简单归零那么严格，并且可以实现例如对于一些采样的重构预测误差值的幅度的减小。然后可以将相应的权重视为相应缩放因子。为了避免被修改的第二残差块21的子部分22与未被修改的第二残差块21的剩余部分之间的不连续性，在步骤S33中使用权重的缩放然后可以从权重或缩放因子1（暗示没有修改）降低到期望的权重因子或缩放因子，例如零。这意味着当沿着第二残差块21的子部分22中的采样的行或列移动时，在一个或多个步骤中从重构预测误差值的归零到未修改的重构预测误差值是可能的。这转而避免了当跨第二残差块21中的剩余部分和子部分22之间的边界时从归零的采样去到相邻的未被修改的采样时可能以其它方式发生的不连续性。
权重可以是预定义的，并且例如取决于子部分22中的采样位置。备选地，可以使用从译码器提供的信息来得出权重。
图12示出图9中示出的方法的附加的、可选的步骤。该方法从图4中的步骤S11继续。下一步骤S34包括基于与第二变换块20关联的至少一个标志的相应值识别第二残差块21的子部分21。该方法然后继续到图9中的步骤S30。
在此实施例中，至少一个标志用于识别子部分22。在第一方法中，子部分22的位置可以固定在第二残差块21中，例如对应于第二残差块21的左上四分之一。在此类情况下，可以使用单个标志来发信号通知此子部分22中的重构预测误差值是否应该被修改。
在另一实施例中，四个标志可以与第二变换块20关联。在此类情况下，每个此类标志被指配用于第二残差块21的每个相应四分之一。这意味着然后单独地发信号通知针对第二残差块21中的每个四分之一的修改或不修改是可能的。
另外变体是要具有与第二变换块20关联的语法元素，例如2位语法元素。此语法元素然后可以发信号通知在第二残差块21内的子部分22的位置（如果子部分22构成第二残差块21的四个四分之一中的一个）。
也可能的是基于帧间预测或帧内预测(即特定帧间或帧内预测的采样值)推导子部分22的位置，其在本文先前已经描述。
在实施例中，图4的步骤S10包括对具有相应零频率或低频率变换系数的采样的第一变换块10进行逆变换以获得第一残差块11。在此实施例中，步骤S11包括对具有相应高频率变换系数的采样的第二变换块20进行逆变换以获得第二残差块21。
由此，两个变换块10、20 彼此互补，其中第一变换块10携带零频率（即DC）和低频率变换系数，而第二变换块20携带高频率变换系数。在步骤S10和S11中的逆变换之后，第一残差块11将由此包括重构预测误差的DC和低频率贡献，而第二残差块21包括重构预测误差的高频率贡献。在此类情况下，在修改步骤S30中归零或至少抑制对于残差块13的子部分22的高频率贡献。然后通过在步骤S31中将两个残差块11、21相加在一起，得到的残差块13将具有采样的一部分，其仅具有对重构预测误差的DC和低频率贡献，而残差块13的剩余部分将具有带有对重构预测误差的DC、低频率和高频率贡献的采样。
在另一实施例中，归零或抑制可以转而应用于零频率和/或低频率贡献。在此类情况下，修改在第一残差块11而不是第二残差块21的子部分上执行。组合这些方法也是可能的。在此类情况下，第一残差块11的子部分中的零频率和/或低频率贡献被修改，并且第二残差块21的子部分中的高频率贡献被修改。这两个子部分通常在残差块11、21内具有不同的位置。
如本文所使用的低频率贡献和低频率变换系数优选地涉及上至第m阶改变，而高频率贡献和高频率变换系数涉及从第（m + 1）阶的改变。例如，第一变换块10可以包括DC和第一阶变换系数，而第二变换块20携带第二阶和更高阶变换系数。
在实施例中，可以在译码和解码期间生成如上面提到的两个变换块10、20。备选地，使用单个变换块，并且然后将其分割成第一和第二变换块10、20。在此类情况下，该方法优选地包括如图13中所示的可选步骤S40。此步骤S40包括将具有相应变换系数的采样的变换块分割成第一变换块10和第二变换块20。然后，该方法继续到图4中的步骤S10。
图14是示出图14中的分割步骤S40的优选实现的流程图。该方法包括在步骤S41中将来自变换块的相应零频率和低频率变换系数复制到第一变换块10中的零频率和低频率采样位置中。接下来的步骤S42包括将第二变换块10中的剩余采样位置设置为零。步骤S43包括将来自变换块的相应高频率变换系数复制到第二变换块20中的高频率采样位置中。接下来的步骤S44包括将第二变换块20中的剩余位置设置为零。
在步骤S42中设置为零的采样位置优选地是第一变换块10中的高频率采样位置。对应地，在步骤S44中设置为零的采样位置优选地是第二变换块20中的零频率和低频率采样位置。相应地，第一变换块10然后包括零频率和低频率变换系数，但是优选地没有高频率变换系数。第二变换块20对应地优选地包括高频率变换系数但没有零频率或低频率变换系数。
此过程在下面示意性地示出，其在第一步骤中示出通过分别复制零和低频率变换系数和高频率变换系数而将变换块分割成第一和第二变换块。在第二步骤中，剩余的采样位置设置为零。
备选方法是要在得出残差块的重构预测误差值时省略使用对应于应该等于零的变换系数的变换的基础函数。
图15是示出根据进一步实现实施例的变换块解码的方法的流程图。也对图16D进行参考。在此实现实施例中，该方法在步骤S50中开始，其包括对具有相应变换系数的采样的变换块10进行逆变换，以获得具有相应重构预测误差值的采样的残差块11。下一步骤S51包括提供具有相应预测误差值的采样的变换跳过块25。在实施例中，与残差块11相比，变换跳过块25在采样数量方面具有较小的尺寸。接下来的步骤S52包括通过变换跳过块25的相应预测误差值逐个采样地修改残差块11的子部分12中的相应重构预测误差值。.在步骤S52中执行的修改影响残差块11的子部分12中的采样的重构预测误差值，但不影响残差块11的剩余部分中的采样的重构预测误差值。
如本文使用的变换跳过块25是对于其变换被绕过的变换块。这意味着变换跳过块25中的采样的系数是空间残差采样，即预测误差值。相应地，不需要逆变换以便获得变换跳过块25的预测误差值。
步骤S52中的修改可以与联系图5和图6描述的内容类似地执行。因此，在实施例中，步骤S52包括将变换跳过块25的相应预测误差值逐个采样地添加到残差块11的子部分12的相应重构预测误差值。在另一实施例中，步骤S52包括通过变换跳过块25的相应预测误差值逐个采样地替换残差块11的子部分12的相应重构预测误差值。
子部分12的特定位置可以如本文联系图16A先前描述地被发出信号通知。
上面关于子部分12和连续或分布式子部分12的形状所提供的讨论也适用于使用变换跳过块而不是使用另一变换块来修改残差块中的重构预测误差值的实施例。
上面描述的方法和实施例通常在编码视频流以及编码视频流内的图片或帧的解码期间在解码器中或由解码器执行。然而，当译码器测试在译码编码块时使用哪个（些）预测时，在译码期间也执行逆变换。因此，该方法还可以在译码视频流期间在译码器中或由译码器执行。
译码器优选地向解码器提供指导解码器执行如本文所公开的重构预测误差值的修改的信息。这种类型的信息可以是包括在编码视频位流中的一个或多个标志和/或一个或多个语法元素。这种类型的信息可以包括在编码视频位流的参数集合中或与编码视频位流关联的参数集合（诸如视频参数集合（VPS）、序列参数集合（SPS）、图片参数集合（PPS））中。备选地或另外，该信息可以包括在切片报头中或者实际上包括在用于视频流的图片或帧的编码的有效载荷数据中。
替代一个或多个标志和/或一个或多个语法元素或作为对一个或多个标志和/或一个或多个语法元素的补充，信息可以包括在修改后要添加到残差块的重构预测误差值的帧间预测或帧内预测的采样值。例如，可以由解码器使用帧间或帧内预测的采样值以便识别应该使用如本文公开的第二残差块或变换跳过块来修改的残差块的子部分。例如，残差块中的具有与要确定为非平坦的帧间或帧内预测中的对应部分相同的采样位置的子部分，即帧间或帧内预测中的最大和最小采样值之间的较大的差，可以被识别为适合用于修改。
通常在视频流内的图片或帧以及视频流的译码期间在译码器中或由译码器执行接下来的方法和实施例。这些方法和实施例由此产生在先前“解码相关的”方法和实施例中讨论的一个或多个变换块。相应地，在前述中联系“解码相关的”实施例描述的信息和过程经必要的修正后应用于对应的“编码相关的”实施例。
在变换块译码的方法的一般概念中，该方法包括将具有相应预测误差值的采样的残差块变换成具有相应变换系数的采样的变换块。该方法还包括提供指导解码器修改基于变换块获得的残差块的重构版本的子部分中的相应重构预测误差值的信息。基于所提供的信息执行的修改影响残差块的重构版本的子部分中的采样的重构预测误差值，但不影响残差块的重构版本的剩余部分中的采样的重构预测误差值。
图17是示出根据实施例的变换块译码的方法的流程图。该方法包括在步骤S60中将具有相应预测误差值的采样的第一残差块变换成具有相应变换系数的采样的第一变换块。该方法还包括在步骤S61中将具有相应预测误差值的采样的第二残差块变换成具有相应变换系数的采样的第二变换块。该方法进一步包括在步骤S62中提供指导解码器通过基于第二变换块获得的第二残差块的重构版本的相应重构预测误差值修改基于第一变换块获得的第一残差块的重构版本的子部分中的相应重构预测误差值的信息。该修改影响第一残差块的重构版本的子部分中的采样的重构预测误差值，但不影响第一残差块的重构版本的剩余部分中的采样的重构预测误差值。
此“编码相关的”方法在具有相应预测误差值的采样的原始残差块上操作。然后对残差块进行变换以得到具有相应变换系数的采样的变换块。然后如本文所描述地进一步处理变换系数（量化并且然后去量化）。然后基于变换块获得（原始）残差块的重构版本。更详细地，量化并且然后去量化的变换系数然后被输入到逆变换以得到具有相应重构预测误差值的采样的残差块的重构版本。
在实施例中，参见图16A，与第一残差块11相比，第二残差块21在采样数量方面具有较小的尺寸。第二残差块21还对应于第一残差块11的子部分12。在此实施例中，修改包括通过基于第二变换块20获得的第二残差块21的重构版本的相应重构预测误差值逐个采样地修改基于第一变换块10获得的第一残差块11的重构版本的子部分12的相应重构预测误差值。
如本文先前描述的，该修改可以作为逐个采样的添加或替换来执行。
在此实施例中，提供的信息包括通知解码器关于第二变换块20的存在的信息，并且优选地还包括指示第一残差块11中的子部分12的位置的信息。信息可以采用间接定义第二变换块20的存在和/或子部分11的位置的信息和/或一个或多个一个或多个语法元素、一个或更多标志的形式。这种类型的信息可以是用于第一残差块11的帧间或帧内预测的特定值并且也可选地是第一残差块11的预测误差值。
在另一实施例中，参见图16B，步骤S60包括变换将具有相应预测误差值的2N×2N采样的残差块11以获得具有相应变换系数的2N×2N采样的变换块10。步骤S61包括变换具有相应预测误差值的N×N采样的至少一个残差块21A-21D，以获得具有相应变换系数的N×N采样的至少一个变换块20A-20D。在此实施例中，N×N采样的至少一个残差块21A-21D的每个残差块21A-21D对应于2N×2N采样的残差块11的相应子部分12A-12D。在此实施例中，修改包括通过基于N×N采样的变换块20A-20D获得的N×N采样的残差块21A-21D的重构版本的相应重构预测误差值逐个采样地并且针对N×N采样的至少一个变换块20A-20D的每个变换块20A-20D修改基于2N×2N采样的变换块10获得的2N×2N采样的残差块11的重构版本的相应子部分12A-12D的相应重构预测误差值。
在特定实施例中，步骤S62包括将与2N×2N采样的变换块10关联的至少一个标志设置成指示变换系数可用于2N×2N变换块级的值。
在此实施例中，所提供的信息包括至少一个标志。
在进一步实施例中，步骤S60包括变换具有相应预测误差值的2N×2N采样的残差块11，以获得具有相应变换系数的2N×2N采样的变换块10。步骤S61包括变换具有相应预测误差值的N×N采样的四个残差块21A-21D，以获得具有相应变换系数的N×N采样的四个变换块20A-20D。在此实施例中，N×N采样的四个残差块21A-21D的每个残差块21A-21D对应于2N×2N采样的残差块11的相应子部分12A-12D。在此实施例中，修改包括通过基于N×N采样的四个变换块20A-20D的N×N采样的第一变换块20A获得的N×N采样的第一残差块21A的重构版本的相应重构预测误差值逐个采样地修改基于2N×2N采样的变换块10获得的2N×2N采样的残差块11的重构版本的第一子部分12A的相应重构预测误差值。修改还包括通过基于N×N采样的四个变换块20A-20D的N×N采样的第二变换块20B获得的N×N采样的第二残差块21B的重构版本的相应重构预测误差值逐个采样地修改2N×2N采样的残差块11的重构版本的第二子部分12B的相应重构预测误差值。修改进一步包括通过基于N×N采样的四个变换块20A-20D的N×N采样的第三变换块20C获得的N×N采样的第三残差块21C的重构版本的相应重构预测误差值逐个采样地修改2N×2N采样的残差块11的重构版本的第三子部分12C的相应重构预测误差值。修改此外包括通过基于N×N采样的四个变换块20A-20D的N×N采样的第四变换块20D获得的N×N采样的第四残差块21D的重构版本的相应重构预测误差值逐个采样地修改2N×2N采样的残差块11的重构版本的第四子部分12D的相应重构预测误差值。
在实施例中，图17的步骤S62如图18中所示地执行。该方法从图18中的步骤S61继续。下一步骤S63包括将与2N×2N采样的变换块10关联的第一标志设置成指示2N×2N采样的变换块10被分割成N×N采样的四个变换块20A-20D的值。该方法还包括在步骤S64中将与2N×2N采样的变换块10关联的第二标志设置成指示变换系数可用于2N×2N块级的值。
在此实施例中，所提供的信息包括第一和第二标志。
在另一实施例中，参见图16C，该修改然后优选地包括修改基于第二变换块20获得的第二残差块21的重构版本的子部分22中的相应重构预测误差值。该修改还包括将第二残差块21的重构版本的相应重构预测误差值逐个采样地添加到基于第一变换块10获得的第一残差块11的重构版本的相应重构预测误差值。
在实施例中，修改相应重构预测误差值包括将第二残差块21的重构版本的子部分22中的相应重构预测误差值归零。
在另一实施例中，修改相应重构预测误差值包括将第二残差块21的重构版本的子部分22中的每个相应重构预测误差值与相应的权重相乘。
在可选实施例中，图17的步骤S62如图19中所示地执行。该方法从图17中的步骤S61继续。下一步骤S65包括将与第二变换块20关联的至少一个标志设置成指示第二残差块21的重构版本中的子部分22的位置的相应的值。
在此实施例中，所提供的信息包括至少一个标志。
在又一实施例中，步骤S60包括将第一残差块11变换成具有相应零频率或低频率变换系数的采样的第一变换块10。在此实施例中，步骤S61包括将第二残差块21变换成具有相应高频率变换系数的采样的第二变换块20。
在另一实施例中，图17的步骤S62包括向解码器提供信息以将变换块分割成具有相应零频率或低频率变换系数的采样的第一变换块10和具有相应高频率变换系数的采样的第二变换块20。通过将来自变换块的相应零频率和低频率变换系数复制到第一变换块10中的零频率和低频率采样位置中并将第一变换块10中的剩余采样位置设置成零来执行变换块的此分割。分割还包括将来自变换块的相应高频率变换系数复制到第二变换块20中的高频率采样位置中，并将第二变换块20中的剩余采样位置设置成零。在此实施例中，该修改包括修改基于第二变换块20获得的采样的第二残差块21的重构版本的子部分22中的相应重构预测误差值。该修改还包括将第二残差块21的重构版本的相应重构预测误差值逐个采样地添加到基于第一变换块获得的第一残差块11的重构版本的相应重构预测误差值。
对子部分22中的重构预测误差值的修改可以如本文先前描述地执行，诸如通过归零或与相应权重或缩放因子相乘。
在此实施例中，所提供的信息包括分割信息并且优选地第二残差块21内的子部分22的位置的信息。
如果主要采用第二变换块20以便减小残差块的一部分中的高频率误差，则此类第二变换块20与（第一）变换块一起的使用可以以变换块中的高频率系数的存在为条件。如果在变换块中不存在此类高频率系数，则不需要第二变换块20。如果变换块仅包含有一些低频率系数，则这实现没有额外的开销。
图20示出变换块译码的方法的另一实施例，也参见图16D。该方法包括在步骤S70中将具有相应预测误差值的采样的残差块11变换成具有相应变换系数的采样的变换块10。该方法还包括在步骤S71中提供具有相应预测误差值的采样的变换跳过块25。与残差块11相比，变换跳过块25在采样数量方面具有较小的尺寸。接下来的步骤S72包括提供指导解码器通过变换跳过块25的相应预测误差值修改基于变换块10获得的残差块11的重构版本的子部分12中的采样的相应重构预测误差值的信息。修改影响残差块11的重构版本的子部分12中的采样的重构预测误差值但不影响在残差块11的重构版本的剩余部分中的重构预测误差值。
如本文先前描述的，修改可以采用添加或替换的形式。
如本文先前所描述的，在变换编码期间，变换块的变换系数被量化以获得量化的变换系数。在此实施例中，通过对量化的变换系数进行去量化以获得变换系数的重构版本（变换块的重构版本）而基于变换块获得残差块的重构版本。然后对变换系数的重构版本进行逆变换以获得残差块的重构版本。
在所描述的实施例中的一些中，使用多个变换块或一个变换块和一个变换跳过块。在此类情况下，可以在对于不同变换块的量化和去量化期间使用不同的量化参数（QP）。使用相同的QP也是可能的。
如本领域所公知的，视频流中的图片或帧的采样包括通常表示采样的颜色的采样值。颜色通常由多个（例如三个）颜色分量表示。不同的颜色格式在本领域中是已知的，并且可以在视频编码期间使用。例如，颜色可以由以亮度值和两个色度值形式的三元组表示，或者由以红色值、绿色值和蓝色值的形式的三元组表示。因此，如本文所描述的预测误差值和重构预测误差值可以表示对于此类颜色分量的预测误差值，例如，对于亮度分量的预测误差值或对于色度分量的预测误差值。
实施例的特征是要在残差块被添加到帧内/帧间预测之前改进残差块的空间上局部化部分（其中变换已被用于残差的编码）。如果编码的残差存在，例如如果对应的编码块标志（cbf）为非零，可以提供指示使用还是不使用空间上局部化修改的指示符。可以明确地发信号通知或者从帧内/帧间预测、块尺寸或其它已知数据隐含地得出应当修改哪些部分以及应当如何修改它们的指示。
可以在将残差块添加到帧内/帧间预测之前通过改进残差块的空间上局部化部分来减小来自变换编码的视觉伪影。例如，这可以通过对包含高频率的大块进行编码，并且然后针对残差块的部分而将高频率去除，或者通过对具有极少或没有高频率的大块进行编码，以及针对残差块的部分对较小变换进行编码以在那里添加高频率来完成。
如本文教导的修改可以被选择以在包含编码的残差的残差块中适用。残差块是原始采样值的块与帧内/帧间预测采样值的块之间的差。这也被称为预测误差。译码器然后通常通过应用变换来对残差块进行编码并且量化变换系数并且然后对量化的变换系数进行熵译码。如果所有量化变换系数等于0，则变换块不包含编码的残差，并且修改不被使用。然后将编码的位流存储或传送到对译码位流进行解码的解码器。残差解码过程包括对量化的变换系数进行熵解码、对它们进行逆量化，并且应用逆变换来得出解码的残差采样。译码器还生成解码的残差采样的版本。然后将解码的残差采样添加到帧内/帧间预测的采样。与在变换域中的量化的变换系数或变换系数形成对照，残差或解码的残差在采样域中。
基本想法是变换块的一些或全部变换基础函数可以在变换块的许多部分中很好地表示残差，但是一些变换基础函数对解码的残差的一部分具有负面影响（例如由于变换系数的量化）。负面影响可以示出为在已经添加帧内/帧间预测之后也出现的解码的残差块中的变换式样。因此，通过修改解码的残差块的一个或多个局部化部分，可以实现更好的重构。
此处下面将简要描述各种示例。
示例1
由变换T得出的（解码的）残差块的局部化修改的一个示例是要不包括来自针对残差块的局部化子部分的变换T的一个或若干基础函数的贡献。这个的重要情况是要允许DC和第一阶改变（坡道（ramp）），但不包括来自具有更多波状外观（即更高阶改变）的变换基础函数的贡献。因此，在只要求一些平滑改变的区域中可以避免来自量化的伪影。这可以例如通过归零来自不应该被包括的变换基础函数的贡献或归零对于不应该被包括以用于残差块的局部化子部分的变换基础函数的变换系数来实现。对于仅减小一些解码的残差采样的幅度也可以不那么严格，例如通过逐采样地将采样与缩放因子相乘。为了避免不具有任何幅度修改的剩余部分与具有减小的幅度的子部分之间的不连续性，缩放可以在对应于1的缩放因子（意味着幅度没有减小）到对应于实际缩放因子的值之间调整。实际缩放因子的典型值是0，例如完全去除来自来自一个或若干变换基础函数对残差块的局部化子部分的贡献。
示例2
由变换T得出的（解码的）残差块的局部化修改的另一示例是要包括来自变换T的残差块的子部分中的较小变换Tn的贡献，其中存在变换T的负面影响。在这种情况下，可以实现更好的残差的表示。在这种情况下的修改可以完全替换来自残差块的子部分中的变换T的贡献或者是对变换T的一些变换基础函数的贡献的添加。较小变换Tn可以具有另一量化参数（ QP），例如比变换T更低的QP，或较小的变换可以使用与变换T相同的QP。
示例3
由变换T得出的（解码的）残差块的局部化修改的另一示例是要包括来自非变换TS（HEVC词表中的变换跳过）对残差块的子部分的的贡献，其中TS是对T的解码残差的添加或替换T的解码的残差采样。替换可以针对TS的非零采样。非变换TS可以具有另一QP，例如，比变换T更低的QP，或TS可以使用与变换T相同的QP。
示例4
在交叉分量预测中，从来自亮度（chroma）的残差预测对于色度（luma）的残差。最近也从第一chroma分量预测了对于第二chroma分量的残差。可以使用实施例来省略使用所有luma残差，但是限制从luma变换的一个或若干变换基础函数的预测。这在精神方面与示例1类似。
示例5
当由变换T得出的（解码的）残差块的局部化修改明确地包括在编码视频位流中时，典型方法将会是在覆盖当前使用的变换T的变换块处通过具有根的四叉树定义选择。如果adjustTransformFlagRoot设置为1，其意味着使用该方法并且当前变换块分割成4个叶子，其中每个叶子具有splitAdjustTransformFlag（除非叶子具有最小可能的块尺寸并且没有进一步分割是可能的），其指示相应叶子是否应该进一步分割。当没有更多的分割被执行时，对应的叶子具有adjustTransformFlagLeaf，其指示该方法是被使用还是未被使用。当存在有对于变换块的非零变换系数时，仅在编码的视频位流中提供adjustTransformFlagRoot标志（以及如果使用调整，则为adjustTransformFlagLeaf标志）。adjustTransformFlagLeaf的含义是采用最简单的形式，其中来自一些变换基础函数的贡献不被包括以用于变换块的该部分（示例1）。局部化的另一含义是要在设置标志时应用另一个但是为较小的变换而不是较大的变换，并将来自其的贡献添加到较大变换的贡献，或者其替换大变换的贡献（示例2）。局部化的又一含义是要在设置标志时应用除了大变换之外的非变换（示例3）。来自非变换的残差被添加到大变换的残差，或者具有非零系数的采样替换大变换的残差。
示例6
当由变换T得出的（解码的）残差块的局部化修改基于帧内/帧间预测是隐含的时，针对在最大和最小采样值之间具有小变化的采样确定局部化，例如，相对平滑的区域（也可以是倾斜的平表面）。如果变换块包含对具有不正确的边缘定位的帧内/帧间预测的校正，则此类采样将在更大程度上受到变换编码残差的不良细化（refinement）。局部化可以基于采样或块。局部化的采样则可以与示例1-3中的任一个一起使用。
实施例的另一方面涉及用于变换解码的装置。该装置配置成修改通过对具有相应变换系数的采样的变换块进行逆变换而获得的采样的残差块的子部分中的采样的相应重构预测误差值。由装置执行的修改影响残差块的子部分中的采样的重构预测误差值，但不影响残差块的剩余部分中的采样的重构预测误差值。
实施例的进一步方面涉及用于变换解码的装置。该装置配置成对具有相应变换系数的采样的第一变换块进行逆变换，以获得具有相应重构预测误差值的采样的第一残差块。该装置还配置成对具有相应变换系数的采样的第二变换块进行逆变换以获得具有相应重构预测误差值的采样的第二残差块。所述装置进一步配置成通过所述第二残差块的相应重构预测误差值修改所述第一残差块的子部分中的采样的相应重构预测误差值。由装置执行的修改影响第一残差块的子部分中的采样的重构预测误差值，但不影响第一残差块的剩余部分中的采样的重构预测误差值。
在实施例中，与第一残差块相比，第二残差块在采样数量方面具有较小的尺寸，并且第二残差块对应于第一残差块的子部分。所述装置进一步配置成通过所述第二残差块的所述相应重构预测误差值逐个采样地修改所述第一残差块的所述子部分的所述相应重构预测误差值。
在特定实施例中，所述装置配置成将第二残差块的相应重构预测误差值逐个采样地添加到第一残差块的子部分的相应重构预测误差值。
在另一特定实施例中，所述装置配置成通过所述第二残差块的所述相应重构预测误差值逐个采样地替换所述第一残差块的所述子部分的所述相应重构预测误差值。
在实施例中，该装置配置成对具有相应变换系数的2N×2N采样的变换块进行逆变换，以获得具有相应重构预测误差值的2N×2N采样的残差块。该装置还配置成对具有相应变换系数的N×N采样的至少一个变换块进行逆变换，以获得具有相应重构预测误差值的N×N采样的至少一个残差块。 N×N采样的至少一个残差块的每个残差块对应于2N×2N采样的残差块的相应子部分。所述装置进一步配置成通过N×N采样的残差块的相应重构预测误差值逐个采样地且针对N×N采样的所述至少一个残差块的每个残差块修改2N×2N采样的残差块的相应子部分的相应重构预测误差值。
在特定实施例中，所述装置配置成如果与2N×2N采样的变换块关联的至少一个标志具有指示变换系数可用于2N×2N变换块级的值，则执行对N×N采样的所述至少一个变换块进行逆变换，并且修改相应重构预测误差值。
在实施例中，该装置配置成对具有相应变换系数的2N×2N采样的变换块进行逆变换，以获得具有相应重构预测误差值的2N×2N采样的残差块。该装置还配置成对具有相应变换系数的N×N采样的四个变换块进行逆变换，以获得具有相应重构预测误差值的N×N采样的四个残差块。N×N采样的四个残差块中的每个残差块对应于2N×2N采样的残差块的相应子部分。所述装置进一步配置成通过N×N采样的四个残差块的N×N采样的第一残差块的相应重构预测误差值逐个采样地修改2N×2N采样的残差块的第一子部分的相应重构预测误差值。该装置此外配置成通过N×N采样的四个残差块的N×N采样的第二残差块的相应重构预测误差值逐个采样地修改2N×2N采样的残差块的第二子部分的相应重构预测误差值。此外，该装置配置成通过N×N采样的四个残差块的N×N采样的第三残差块的相应重构预测误差值逐个采样地修改2N×2N采样的残差块的第三子部分的相应重构预测误差值。该装置还配置成通过N×N采样的四个残差块的N×N采样的第四残差块的相应重构预测误差值逐个采样地修改2N×2N采样的残差块的第四子部分的相应重构预测误差值。
在特定实施例中，所述装置配置成如果与2N×2N采样的变换块关联的第一标志具有指示2N×2N采样的变换块分割成N×N采样的四个变换块的值，并且如果与2N×2N采样的变换块关联的第二标志具有指示变换系数可用于2N×2N变换块级的值，则执行对2N×2N采样的变换块进行逆变换、对N×N采样的四个变换块进行逆变换、且修改相应重构预测误差值。
在实施例中，该装置配置成对具有相应变换系数的采样的第一变换块进行逆变换，以获得具有相应重构预测误差值的采样的第一残差块。该装置还配置成对具有相应变换系数的采样的第二变换块进行逆变换以获得具有相应重构预测误差值的采样的第二残差块。该装置进一步配置成修改第二残差块的子部分中的相应重构预测误差值。该装置此外配置成将第二残差块的相应重构预测误差值逐个采样地添加到第一残差块的相应重构预测误差值。
在特定实施例中，该装置配置成将第二残差块的子部分中的相应重构预测误差值归零。
在另一特定实施例中，该装置配置成将第二残差块的子部分中的每个相应重构预测误差值与相应的权重相乘。
在进一步特定实施例中，该装置配置成基于与第二变换块关联的至少一个标志的相应值来识别第二残差块的子部分。
在实施例中，该装置配置成对具有相应零频率或低频率变换系数的采样的第一变换块进行逆变换以获得第一残差块。该装置还配置成对具有相应高频率变换系数的采样的第二变换块进行逆变换以获得第二残差块。
在特定实施例中，该装置配置成通过将来自变换块的相应零频率和低频率变换系数复制到第一变换块中的零频率和低频率采样位置中来将变换块分割成第一变换块和第二变换块。该装置还配置成将第一变换块中的剩余采样位置设置为零。该装置进一步配置成将来自变换块的相应高频率变换系数复制到第二变换块中的高频率采样位置中，并将第二变换块中的剩余采样位置设置为零。
实施例的又一方面涉及用于变换块解码的装置。该装置配置成对具有相应变换系数的采样的变换块进行逆变换，以获得具有相应重构预测误差值的采样的残差块。该装置还配置成提供具有相应预测误差值的采样的变换跳过块。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。所述装置进一步配置成通过变换跳过块的相应预测误差值逐个采样地修改所述残差块的子部分中的相应重构预测误差值。
在特定实施例中，所述装置配置成将变换跳过块的相应预测误差值逐个采样地添加到残差块的子部分的相应重构预测误差值。
在另一特定实施例中，所述装置配置成通过所述变换跳过块的相应预测误差值逐个采样地替换所述残差块的所述子部分的相应重构预测误差值。
实施例的进一步方面定义用于变换块译码的装置。该装置配置成将具有相应预测误差值的采样的残差块变换成具有相应变换系数的采样的变换块。该装置还配置成提供指导解码器修改基于变换块获得的残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。该修改影响残差块的重构版本的子部分中的采样的重构预测误差值，但不影响残差块的重构版本的剩余部分中的采样的重构预测误差值。
实施例的又一方面定义用于变换块译码的装置。该装置配置成将具有相应预测误差值的采样的第一残差块变换成具有相应变换系数的采样的第一变换块。该装置还配置成将具有相应预测误差值的采样的第二残差块变换成具有相应变换系数的采样的第二变换块。该装置进一步配置成提供指导解码器通过基于第二变换块获得的第二残差块的重构版本的相应重构预测误差值修改基于第一变换块获得的第一残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。该修改影响第一残差块的重构版本的子部分中的采样的重构预测误差值，但不影响第一残差块的重构版本的剩余部分中的采样的重构预测误差值。
在实施例中，与第一残差块相比，第二残差块在采样数量方面具有较小的尺寸，并且第二残差块对应于第一残差块的子部分。该修改包括通过基于第二变换块获得的第二残差块的重构版本的相应重构预测误差值逐个采样地修改基于第一变换块获得的第一残差块的重构版本的子部分的相应重构预测误差值。
在实施例中，该装置配置成变换具有相应预测误差值的2N×2N采样的残差块，以获得具有相应变换系数的2N×2N采样的变换块。该装置还配置成变换具有相应预测误差值的N×N采样的至少一个残差块，以获得具有相应变换系数的N×N采样的至少一个变换块。 N×N采样的至少一个残差块的每个残差块对应于2N×2N采样的残差块的相应子部分。该修改包括通过基于N×N采样的变换块获得的N×N采样的残差块的重构版本的相应重构预测误差值逐个采样地并且针对N×N采样的至少一个变换块的每个变换块修改基于2N×2N采样的变换块获得的2N×2N采样的残差块的重构版本的相应子部分的相应重构预测误差值。
在特定实施例中，该装置配置成将与2N×2N采样的变换块关联的至少一个标志设置成指示变换系数可用于2N×2N变换块级的2N×2N采样的变换块的值。
在实施例中，该装置配置成变换具有相应预测误差值的2N×2N采样的残差块，以获得具有相应变换系数的2N×2N采样的变换块。该装置还配置成变换具有相应预测误差值的N×N采样的四个残差块，以获得具有相应变换系数的N×N采样的四个变换块。N×N采样的四个残差块中的每个残差块对应于2N×2N采样的残差块的相应子部分。该修改优选地包括通过基于N×N采样的四个变换块的N×N采样的第一变换块获得的N×N采样的第一残差块的重构版本的相应重构预测误差值逐个采样地修改基于2N×2N采样的变换块获得的2N×2N采样的残差块的重构版本的第一子部分的相应重构预测误差值。该修改还包括通过基于N×N采样的四个残差块的N×N采样的第二变换块获得的N×N采样的第二残差块的重构版本的相应重构预测误差值逐个采样地修改2N×2N采样的残差块的重构版本的第二子部分的相应重构预测误差值。该修改进一步包括通过基于N×N采样的四个残差块的N×N采样的第三变换块获得的N×N采样的第三残差块的重构版本的相应重构预测误差值逐个采样地修改2N×2N采样的残差块的重构版本的第三子部分的相应重构预测误差值。该修改此外包括通过基于N×N采样的四个残差块的N×N采样的第四变换块获得的N×N采样的第四残差块的重构版本的相应重构预测误差值逐个采样地修改2N×2N采样的残差块的重构版本的第四子部分的相应重构预测误差值。
在特定实施例中，该装置配置成将与2N×2N采样的变换块关联的第一标志设置成指示2N×2N采样的变换块分割成N×N采样的四个变换块的值。该装置还配置成将与2N×2N采样的变换块关联的第二标志设置成指示变换系数可用于2N×2N变换块级的值。
在实施例中，该装置配置成将具有相应预测误差值的采样的第一残差块变换成具有相应变换系数的采样的第一变换块。该装置还配置成将具有相应预测误差值的采样的第二残差块变换成具有相应变换系数的采样的第二变换块。该修改优选地包括修改基于第二变换块获得的第二残差块的重构版本的子部分中的相应重构预测误差值。该修改还包括将第二残差块的重构版本的相应重构预测误差值逐采样地添加到基于第一变换块获得的第一残差块的重构版本的重构相应预测误差值。
在特定实施例中，修改包括将第二残差块的重构版本的子部分中的相应重构预测误差值归零。
在另一特定实施例中，修改包括将第二残差块的重构版本的子部分中的每个相应重构预测误差值与相应权重相乘。
在进一步特定实施例中，所述装置配置成将与所述第二变换块关联的至少一个标志设置成指示所述第二残差块的所述重构版本中的所述子部分的位置的相应值。
在实施例中，该装置配置成将第一残差块变换成具有相应的零频率或低频率变换系数的采样的第一变换块。该装置还配置成将第二残差块变换成具有相应高频率变换系数的采样的第二变换块以获得第二残差块。
在实施例中，该装置配置成提供指导解码器将变换块分割成具有相应零频率或低频率变换系数的采样的第一变换块和具有相应高频率变换系数的采样的第二变换块的信息。分割优选地包括将来自变换块的相应零频率和低频率变换系数复制到第一变换块中的零频率和低频率采样位置中，并将第一变换块中的剩余采样位置设置为零。分割还包括将来自变换块的相应高频率变换系数复制到第二变换块中的高频率采样位置中，并将第二变换块中的剩余采样位置设置为零。该修改优选地包括修改基于第二变换块获得的采样的第二残差块的重构版本的子部分中的相应预测误差值。该修改还包括将第二残差块的重构版本的相应预测误差值逐个采样地添加到基于第一变换块获得的第一残差块的重构版本的相应预测误差值。
实施例的进一步方面定义用于变换块译码的装置。该装置配置成将具有相应预测误差值的采样的残差块变换成具有相应变换系数的采样的变换块。该装置还配置成提供具有相应预测误差值的采样的变换跳过块。在此实施例中，与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。该装置进一步配置成提供指导解码器通过变换跳过块的相应预测误差值逐个采样地修改基于变换块获得的残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。该修改影响残差块的重构版本的子部分中的采样的重构预测误差值，但不影响残差块的重构版本的剩余部分中的采样的重构预测误差值。
在实施例中，该装置配置成量化变换块的变换系数以获得量化的变换系数。该装置还配置成对量化的变换系数进行译码以获得译码的、量化的变换系数。通过对译码的、量化的变换系数进行解码以获得量化变换系数的重构版本而基于变换块获得残差块的重构版本。量化变换系数的重构版本然后被去量化以获得变换系数的重构版本。对变换系数的重构版本进行逆变换以获得残差块的重构版本。
将认识到，本文描述的方法和装置可以以各种方式组合和重新布置。
例如，实施例可以在硬件或在软件中实现，以用于由适合的处理电路或其组合来执行。
本文中描述的步骤、功能、过程、模块和/或块可以在使用任何常规技术（例如，包括通用电子电路和专用电路两者的分立电路或集成电路技术）的硬件中实现。
图21示出用于变换块解码的装置100的特定硬件实现。图22示出用于变换块译码的装置200的对应硬件实现。适合的硬件电路的特定示例包括一个或多个适合配置的或可能可重新配置的电子电路，例如专用集成电路（ASIC）、现场可编程门阵列（FPGA）或任何其它硬件逻辑，例如互连以联系适合的寄存器（REG）和/或存储器单元（MEM）执行专用功能的基于分立逻辑门和/或触发器的电路。
备选地，本文描述的步骤、功能、过程、模块和/或块中的至少一些可以在例如计算机程序的软件中实现，以用于由适合的处理电路（诸如一个或多个处理器或处理单元）来执行。
处理电路的示例包括但不限于一个或多个微处理器、一个或多个数字信号处理器（DSP）、一个或多个中央处理单元（CPU）、视频加速硬件，和/或任何适合的可编程逻辑电路，例如一个或多个现场可编程门阵列（FPGA）或一个或多个可编程逻辑控制器（PLC）。
还应该理解，重新使用任何常规装置、单元、系统或布置（在其中实现所提出的技术）的一般处理能力可以是可能的。重新使用现有软件也是可能的，例如通过重新编程现有软件或通过添加新的软件组件。
在特定示例中，用于变换块解码的装置110（参见图23）包括处理器111和存储器112，该存储器112包括由处理器111可执行的指令。
在实施例中，处理器111操作以对第一变换块和第二变换块进行逆变换。处理器111还操作以通过第二残差块的相应重构预测误差值来修改第一残差块的子部分中的采样的相应重构预测误差值。
在另一实施例中，处理器111操作以对变换块进行逆变换。处理器111还操作以提供变换跳过块。处理器111进一步操作以通过变换跳过块的相应预测误差值来修改残差块的子部分中的采样的相应重构预测误差值。
装置110可选地还包括接收器113和传送器114。接收器113和传送器114可以实现为用于无线通信的接收器和传送器对或者实现公共收发器。备选地，它们可以采取用于进行有线通信的输入端口和输出端口的形式。
接收器113优选地配置成接收译码的视频数据并且尤其变换系数。传送器114优选地配置成传送解码的视频数据并且尤其重构预测误差值。
图24中示出用于变换块译码的装置210。装置210包括处理器211和存储器212，该存储器212包括由处理器211可执行的指令。
在实施例中，处理器211操作以将第一残差块和第二残差块变换成第一变换块和第二变换块。处理器211还操作以提供指导解码器通过第二残差块的重构版本的相应重构预测误差值修改第一残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。
在另一实施例中，处理器211操作以将残差块变换成变换块。处理器211还操作以提供变换跳过块。处理器211进一步操作以提供指导解码器通过变换跳过块的相应预测误差值修改基于变换块获得的残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。
装置120可选地还包括接收器213和传送器214。接收器213和传送器214可以实现为用于无线通信的接收器和传送器对或者实现为公共收发器。备选地，它们可以采取用于进行有线通信的输入端口和输出端口的形式。
接收器213优选地配置成接收视频数据并且尤其预测误差值。传送器214优选地配置成传送译码的视频数据并且尤其变换系数。
参考图23和图24，在特定实施例中，当执行存储在存储器112、212中的指令时，处理器111、211操作以执行上面描述的操作。处理器111、211由此互连到存储器112、212以使能正常的软件执行。
图25是示出包括处理器310、关联的存储器320和通信电路330的装置300的示例的示意性框图。
在此特定示例中，本文描述的步骤、功能、过程、模块和/或块中的至少一些在计算机程序340中实现，该计算机程序340被加载到存储器320中以用于由包括一个或多个处理器310的处理电路执行。处理器310和存储器320彼此互连以使能正常的软件执行。通信电路330还互连到处理器310和/或存储器320以使能无线或有线通信。
术语'处理器'应该以一般意义解释为能够执行程序代码或计算机程序指令以执行特定处理、确定或计算任务的任何系统或装置。
包括一个或多个处理器的处理电路因此配置成在执行计算机程序时执行明确定义的处理任务（例如本文描述的那些）。
处理电路不必专用于仅执行上面描述的步骤、功能、过程和/或块，而是还可以执行其它任务。
在实施例中，计算机程序340包括指令，所述指令在由处理器310执行时使处理器310对具有相应变换系数的采样的第一变换块进行逆变换以获得具有相应重构预测误差值的采样的第一残差块。还使处理器310对具有相应变换系数的采样的第二变换块进行逆变换，以获得具有相应重构预测误差值的采样的第二残差块。进一步使处理器310通过第二残差块的相应重构预测误差值来修改第一残差块的子部分中的采样的相应重构预测误差值。由处理器310执行的修改影响第一残差块的子部分中的采样的重构预测误差值，但不影响第一残差块的剩余部分中的采样的重构预测误差值。
在实施例中，计算机程序340包括指令，所述指令在由处理器310执行时使处理器310对具有相应变换系数的采样的变换块进行逆变换，以获得具有相应重构预测误差值的采样的残差块。还使处理器310提供具有相应预测误差值的采样的变换跳过块。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。进一步使处理器310通过变换跳过块的相应预测误差值逐个采样地修改残差块的子部分中的采样的相应重构预测误差值。由处理器310执行的修改影响残差块的子部分中的采样的重构预测误差值，但不影响残差块的剩余部分中的采样的重构预测误差值。
在进一步的实施例中，计算机程序340包括指令，所述指令在由处理器310执行时使处理器310将具有相应预测误差值的采样的第一残差块变换成具有相应变换系数的采样的第一变换块。还使处理器310将具有相应预测误差值的采样的第二残差块变换成具有相应变换系数的采样的第二变换块。还使处理器310提供指导解码器通过基于第二变换块获得的第二残差块的重构版本的相应重构预测误差值修改基于第一变换块获得的第一残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。由处理器310执行的修改影响第一残差块的重构版本的子部分中的采样的重构预测误差值，但不影响第一残差块的重构版本的剩余部分中的采样的重构预测误差值。
在又一实施例中，计算机程序340包括指令，所述指令在由处理器310执行时使处理器310将具有相应预测误差值的采样的残差块变换成具有相应变换系数的采样的变换块。还使处理器310提供具有相应预测误差值的采样的变换跳过块。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。进一步使处理器310提供指导解码器通过变换跳过块的相应预测误差值逐个采样地修改基于变换块获得的残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。由处理器310执行的修改影响残差块的重构版本的子部分中的采样的重构预测误差值，但不影响残差块的重构版本的剩余部分中的采样的重构预测误差值。
所提出的技术还提供了包括计算机程序340的载体350。载体350是电子信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质350中的一种。
通过示例方式，软件或计算机程序340可以实现为计算机程序产品，其通常被携带或存储在计算机可读介质350（优选地非易失性计算机可读存储介质350）上。计算机可读介质350可以包括一个或多个可去除或不可去除存储器装置，其包括但不限于只读存储器（ROM）、随机存取存储器（RAM）、光盘（CD）、数字多功能盘（DVD） 、蓝光盘、通用串行总线（USB）存储器、硬盘驱动器（HDD）存储装置、闪存、磁带或任何其它常规存储器装置。计算机程序340因此可以加载到由图27中的装置300表示的计算机或等效处理装置的操作存储器320中，以用于由其处理器310执行。
因此本文呈现的一个或多个流程图在由一个或多个处理器执行时可以被视为一个或多个计算机流程图。对应的装置可以被定义为功能模块群组，其中由处理器执行的每个步骤对应于功能模块。在这种情况下，功能模块实现为在处理器上运行的计算机程序。因此，该装置可以备选地定义为功能模块群组，其中功能模块实现为在至少一个处理器上运行的计算机程序。
在如图26中所示的示例中，用于变换块解码的装置120可以通过功能模块来实现。在此类情况下，装置120包括逆变换单元121，其用于对具有相应变换系数的采样的第一变换块进行逆变换，以获得具有相应重构预测误差值的采样的第一残差块。逆变换单元121还用于对具有相应变换系数的采样的第二变换块进行逆变换，以获得具有相应重构预测误差值的采样的第二残差块。装置120还包括修改单元122，其用于通过第二残差块的相应重构预测误差值修改采样的第一残差块的子部分中的采样的相应重构预测误差值。由修改单元122执行的修改影响第一残差块的子部分中的采样的重构预测误差值，但不影响第一残差块的剩余部分中的采样的重构预测误差值。
在另一示例中，用于变换块解码的装置120包括逆变换单元121，其用于对具有相应变换系数的采样的变换块进行逆变换，以获得具有相应重构预测误差值的采样的残差块。装置120还包括修改单元122，其用于通过具有相应预测误差值的采样的变换跳过块的相应预测误差值逐个采样地修改采样的残差块的子部分中的采样的相应重构预测误差值。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。由修改单元122执行的修改影响残差块的子部分中的采样的重构预测误差值，但不影响残差块的剩余部分中的采样的重构预测误差值。
在如图27中所示的进一步示例中，用于变换块译码的装置220可以通过功能模块来实现。装置220然后优选地包括变换单元221，其用于将具有相应预测误差值的采样的第一残差块变换成具有相应变换系数的采样的第一变换块。变换单元221还用于将具有相应预测误差值的采样的第二残差块变换成具有相应变换系数的采样的第二变换块。装置220还包括提供单元222，其用于提供指导解码器通过基于第二变换块获得的第二残差块的重构版本的相应重构预测误差值修改基于第一变换块获得的第一残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。该修改影响第一残差块的重构版本的子部分中的采样的重构预测误差值，但不影响第一残差块的重构版本的剩余部分中的采样的重构预测误差值。
在又一示例中，用于变换块译码的装置220包括变换单元221，其用于将具有相应预测误差值的采样的残差块变换成具有相应变换系数的采样的变换块。装置220还包括提供单元222，其用于提供具有相应预测误差值的采样的变换跳过块。与残差块相比，变换跳过块在采样数量方面具有较小的尺寸。提供单元222还用于提供指导解码器通过变换跳过块的相应预测误差值逐个采样地修改基于变换块获得的残差块的重构版本的子部分中的采样的相应重构预测误差值的信息。该修改影响第一残差块的重构版本的子部分中的采样的重构预测误差值，但不影响第一残差块的重构版本的剩余部分中的采样的重构预测误差值。
实施例的进一步方面涉及如图28中所示的解码器130。解码器然后包括用于如本文所描述的并且在图21、23和26中示出的变换块解码的装置100、110、120。
解码器130优选地配置成解码视频流的译码的视频帧或图片。解码器130可以符合使用预测误差值的变换和变换系数的逆变换以便得到解码或重构预测误差值的任何视频编码标准。此类视频编码标准的非限制性示例是H.265和H.266。
参见图29，实施例还涵盖用户设备140，用户设备140包括解码器130，诸如图28中所示的解码器。用户设备140可以是具有配置成解码编码的视频位流以得到解码的视频数据的解码器的任何设备或装置。解码的视频数据最经常显示在用户设备140的屏幕上或连接到用户设备140的屏幕上。
用户设备140可以例如采取移动电话、智能电话、计算机、膝上型计算机、平板电脑、机顶盒，具有视频解码能力的游戏控制台、代码转换器等的形式。
参见图30，实施例的又一方面涉及译码器230，译码器230包括用于如本文所描述的并且在图22、24和27中示出的变换块译码的装置200、210、220。
译码器230优选地配置成将视频流的视频帧或图片译码成编码的视频位流。译码器230可以符合使用预测误差值的变换和变换系数的逆变换以便得到重构预测误差值的任何视频编码标准。此类视频编码标准的非限制性示例是H.265和H.266。
译码器230可以包括在具有译码视频流的能力的装置中。此类装置的非限制性示例包括视频相机、视频创建装置、代码转换器等。
上面描述的实施例要被理解为本发明的一些说明性示例。本领域技术人员将理解，在不脱离本发明的范围的情况下，可以对实施例进行各种修改、组合和改变。尤其，在技术上可能的情况下，不同实施例中的不同部分解决方案可以以其它配置组合。然而，本发明的范围由所附权利要求定义。