数据处理设备、方法、计算机程序和计算机可读介质与流程

本发明涉及数据处理设备、方法、计算机程序和计算机可读介质。

背景技术：

在很多已知系统中，信号的压缩和解压缩是重要的考虑因素。

很多类型的信号(例如视频、音频或体积信号)可以被压缩和编码，用于例如通过数据通信网络传输。其他信号可以以压缩形式存储，例如存储在诸如数字通用盘(dvd)之类的存储介质上。在解码这样的信号时，可能希望提高信号的质量水平和/或尽可能多地恢复原始信号中包含的信息。

一些已知系统采用可伸缩编码技术。可伸缩编码涉及将信号连同信息一起编码，以允许以不同质量水平重建信号，这取决于解码器的能力和可用带宽。但是，可能需要存储和/或传输较大量的信息，特别是随着更高质量、更高清晰度视频的使用变得更加普遍。

技术实现要素：

根据本发明的第一方案，提供一种设备，被配置为：

获得第一多个残差元素，所述第一多个残差元素能够用于使用较高质量水平的信号的第二表示的第一部分来重建所述较高质量水平的信号的第一表示的第一部分，所述第二表示的第一部分能够从较低质量水平的所述信号的表示中的一个或多个信号元素的第一集合导出；

获得第二多个残差元素，所述第二多个残差元素能够用于使用所述信号的第二表示的第二不同部分来重建所述信号的第一表示的第二不同部分，所述第二表示的第二部分能够从所述较低质量水平的信号表示中的一个或多个信号元素的第二不同集合导出；以及

进行涉及所述第一多个残差元素中的至少一个残差元素和所述第二多个残差元素中的至少一个残差元素的至少一个变换操作，以生成至少一个关联元素，所述至少一个关联元素取决于所述第一多个残差元素中的至少一个残差元素与所述第二多个残差元素中的至少一个残差元素之间的关联程度，

其中，所述设备被配置为在所述至少一个关联元素被编码之前进行所述至少一个变换操作。

根据本发明的第二方案，提供一种设备，被配置为：

进行涉及至少一个关联元素的至少一个变换操作，以生成第一多个残差元素中的至少一个残差元素和第二多个残差元素中的至少一个残差元素，所述至少一个关联元素取决于所述第一多个残差元素中的所述至少一个残差元素与所述第二多个残差元素中的所述至少一个残差元素之间的关联程度，所述第一多个残差元素能够用于使用较高质量水平的信号的第二表示的第一部分来重建所述较高质量水平的信号的第一表示的第一部分，所述第二多个残差元素能够用于使用所述信号的第二表示的第二不同部分来重建所述信号的第一表示的第二不同部分；

从较低质量水平的信号的表示中的一个或多个信号元素的第一集合中导出所述第二表示的第一部分；

从所述较低质量水平的信号的表示中的一个或多个信号元素的第二不同集合中导出所述第二表示的第二部分；以及

至少使用所述第一多个残差元素、所述第二多个残差元素、所述第二表示的第一部分、以及所述第二表示的第二部分来生成输出数据，

其中，所述设备被配置为在所述至少一个关联元素被解码之后进行所述至少一个变换操作。

根据本发明的第三方案，提供一种方法，包括：

获得第一多个残差元素，所述第一多个残差元素能够用于使用较高质量水平的信号的第二表示的第一部分来重建所述较高质量水平的信号的第一表示的第一部分，所述第二表示的第一部分能够从较低质量水平的所述信号的表示中的一个或多个信号元素的第一集合导出；

获得第二多个残差元素，所述第二多个残差元素能够用于使用所述信号的第二表示的第二不同部分来重建所述信号的第一表示的第二不同部分，所述第二表示的第二部分能够从所述较低质量水平的信号表示中的一个或多个信号元素的第二不同集合导出；以及

进行涉及所述第一多个残差元素中的至少一个残差元素和所述第二多个残差元素中的至少一个残差元素的至少一个变换操作，以生成至少一个关联元素，所述至少一个关联元素取决于所述第一多个残差元素中的至少一个残差元素与所述第二多个残差元素中的至少一个残差元素之间的关联程度，

其中，所述设备被配置为在所述至少一个关联元素被编码之前进行所述至少一个变换操作。

根据本发明的第四方案，提供一种方法，包括：

进行涉及至少一个关联元素的至少一个变换操作，以生成第一多个残差元素中的至少一个残差元素和第二多个残差元素中的至少一个残差元素，所述至少一个关联元素取决于所述第一多个残差元素中的所述至少一个残差元素与所述第二多个残差元素中的所述至少一个残差元素之间的关联程度，所述第一多个残差元素能够用于使用较高质量水平的信号的第二表示的第一部分来重建所述较高质量水平的信号的第一表示的第一部分，所述第二多个残差元素能够用于使用所述信号的第二表示的第二不同部分来重建所述信号的第一表示的第二不同部分；

从较低质量水平的信号的表示中的一个或多个信号元素的第一集合中导出所述第二表示的第一部分；

从所述较低质量水平的信号的表示中的一个或多个信号元素的第二不同集合导出所述第二表示的第二部分；以及

至少使用所述第一多个残差元素、所述第二多个残差元素、所述第二表示的第一部分、以及所述第二表示的第二部分来生成输出数据，

其中，在所述至少一个关联元素被解码之后进行所述至少一个变换操作。

根据本发明的第五方案，提供了一种包括指令的计算机程序，所述指令在被执行时使得设备进行包括以下的方法：

获得可用于使用较高质量水平的信号的第二表示的第一部分来重建所述较高质量水平的信号的第一表示的第一部分的第一多个残差元素，所述第二表示的第一部分从较低质量水平的信号表示中的一个或多个信号元素的第一集合导出；

获得可用于使用所述信号的第二表示的第二不同部分来重建所述信号的第一表示的第二不同部分的第二多个残差元素，所述第二表示的第二部分从所述较低质量水平的信号表示中的一个或多个信号元素的第二不同集合导出；以及

进行涉及所述第一多个残差元素中的至少一个残差元素和所述第二多个残差元素中的至少一个残差元素的至少一个变换操作，以生成至少一个关联元素，所述至少一个关联元素取决于所述第一多个残差元素中的至少一个残差元素与所述第二多个残差元素中的至少一个残差元素之间的关联程度，

其中，在所述至少一个关联元素被编码之前进行所述至少一个变换操作。

根据本发明的第六方案，提供一种包括指令的计算机程序，所述指令在被执行时使得设备进行包括以下的方法：

进行涉及至少一个关联元素的至少一个变换操作，以生成第一多个残差元素中的至少一个残差元素和第二多个残差元素中的至少一个残差元素，所述至少一个关联元素取决于所述第一多个残差元素中的所述至少一个残差元素与所述第二多个残差元素中的所述至少一个残差元素之间的关联程度，所述第一多个残差元素能够用于使用较高质量水平的信号的第二表示的第一部分来重建所述较高质量水平的信号的第一表示的第一部分，所述第二多个残差元素能够用于使用所述信号的第二表示的第二不同部分来重建所述信号的第一表示的第二不同部分；

从较低质量水平的信号的表示中的一个或多个信号元素的第一集合中导出所述第二表示的第一部分；

从所述较低质量水平的信号的表示中的一个或多个信号元素的第二不同集合导出所述第二表示的第二部分；以及

至少使用所述第一多个残差元素、所述第二多个残差元素、所述第二表示的第一部分、以及所述第二表示的第二部分来生成输出数据，

其中，在所述至少一个关联元素被解码之后进行所述至少一个变换操作。

附图说明

图1示出根据本发明实施例的信号处理系统的示例的示意性方框图；

图2示出根据本发明实施例的信号处理技术的示例的示意图；

图3示出根据本发明实施例的信号处理技术的另一个示例的示意图；以及

图4示出根据本发明实施例的设备的示例的示意性方框图。

具体实施方式

参考图1，示出信号处理系统100的示例。信号处理系统100用于处理信号。信号类型的示例包括但不限于视频信号、图像信号、音频信号、诸如医学、科学或全息成像中使用的体积信号、或其他多维信号。

信号处理系统100包括第一设备102和第二设备104。第一设备102和第二设备104可以具有客户端-服务器关系，第一设备102执行服务器装置的功能，第二设备104执行客户端装置的功能。信号处理系统100可包括至少一个附加设备。第一设备102和/或第二设备104可包括一个或多个组件。组件可以用硬件和/或软件实现。在信号处理系统100中一个或多个组件可以共置或者相互远离。设备类型的示例包括但不限于计算机化装置、路由器、工作站、手持式或膝上型计算机、平板电脑、移动装置、游戏机、智能电视、机顶盒等。

第一设备102经由数据通信网络106可通信地耦接到第二设备104。数据通信网络106的示例包括但不限于互联网、局域网(lan)和广域网(wan)。第一和/或第二设备102、104可具有到数据通信网络106的有线连接和/或无线连接。

第一设备102包括编码器装置108。编码器装置108被配置为对信号数据进行编码。除了将信号数据编码之外，编码器装置108还可以执行一个或多个其他功能。编码器装置108可以通过各种不同方式来具体实施。例如，编码器装置108可以具体实施为硬件和/或软件。

第二设备104包括解码器装置110。解码器装置110被配置为对信号数据进行解码。除了对信号数据进行解码之外，解码器装置110还可以执行一个或多个其他功能。解码器装置110可以按照各种不同方式来具体实施。例如，解码器装置110可以具体实施为硬件和/或软件。

编码器装置108对信号数据进行编码，并经由数据通信网络106将编码信号数据传输到解码器装置110。解码器装置110对所接收的编码信号数据进行解码并生成解码信号数据。解码器装置110可以输出解码信号数据或者输出使用解码信号数据导出的数据。例如，解码器装置110可以输出这样的数据用于在与第二设备104相关的一个或多个显示装置上显示。

在本文所述的一些示例中，编码器装置108向解码器装置110传输给定质量水平的信号的表示以及解码器装置110可用来重建一个或多个更高质量水平的信号的表示的信息。

与一些已知技术相比，本文所述示例涉及传输较少量的用于这种重建的信息。这减少了经由数据通信网络106传输的数据量。在信号数据对应于高质量视频数据的情况下节省可能特别有意义，其中在已知系统中传输的信息量可能特别高。

本文所述示例有助于对解码器装置110用来重建处于一个或多个更高质量水平的信号的表示的信息进行更有选择性的编码。特别地，本文所述示例将这种信息转换为允许对各个数据元素的编码进行细粒度控制的形式。这有助于更有效的编码，例如在编码考虑被编码的数据元素的相对重要性的情况下。

参考图2，示意性示出信号处理技术200的示例。信号处理技术200可通过第一设备102执行。

第一设备102获得输入数据202。例如，第一设备102可以从一个或多个其他实体接收输入数据202。

输入数据202包括较高质量水平的信号的表示。相对于具有多个不同质量水平的分层结构中的一个或多个其他质量水平，较高质量水平为高水平。较高质量水平可以是分层结构中的最高质量水平，也可以是中间质量水平。

在该示例中，输入数据202被布置为包括四行和四列信号元素的4×4信号元素阵列。输入数据202例如可包括图像，并且每个信号元素可以表示图像中包括的像素。

在该示例中，输入数据202包括四个信号元素集合。信号元素iij对应于输入数据202中第i个信号元素集合中的第j个信号元素。不同的信号元素集合可以对应于一部分或全部图像中的不同区域，例如，输入数据202包括图像数据或视频数据。

对输入数据202进行处理，以基于输入数据202生成数据204。在该示例中，通过对输入数据202进行下采样来生成数据204，并因此称之为“下采样数据”。

在该示例中，下采样数据204被布置为包括四个信号元素的2×2阵列。下采样信号元素di对应于输入数据202中的第i个信号元素集合的下采样版本。

下采样数据204是较低质量水平的信号的表示。相对于具有多个不同质量水平的分层结构中的一个或多个其他质量水平，较低质量水平为低水平。较低质量水平可以是分层结构中的最低质量水平，也可以是中间质量水平。

对下采样数据204进行处理，以生成数据206。在该示例中，通过对下采样数据204进行上采样来获得数据206，并因此称之为“上采样数据”。

在该示例中，上采样数据206被布置为包括四行和四列信号元素的4×4信号元素阵列。上采样数据206包括四个信号元素集合。在该示例中，每个信号元素集合是2×2的信号元素阵列。信号元素uij对应于上采样数据206中第i个信号元素集合中的第j个信号元素。上采样数据206基于较低质量水平的信号的表示，即下采样数据204。

输入数据202和上采样数据206用于获得残差元素集合208。残差元素集合208被布置为包括四行和四列信号元素的4×4信号元素阵列。在该示例中，残差元素集合208包括四个残差元素群组。每个残差元素群组包括多个残差元素。在该示例中，每个残差元素群组是2×2的残差元素阵列。残差元素rij对应于残差元素集合208中第i个残差元素群组中的第j个残差元素。

在该示例中，通过将上采样数据206中的信号元素的值与输入数据202中对应信号元素的值进行比较来获得残差元素集合208中的给定残差元素。

这样，第一设备102获得第一多个残差元素，例如残差元素r11、r12、r13、r14。在该示例中，获得第一多个残差元素涉及第一设备102例如使用输入数据202和上采样数据206来生成或导出第一多个残差元素。在其他示例中，获得第一多个残差元素可以涉及第一设备102接收第一多个残差元素或者可用于导出第一多个残差元素的数据。

第一设备102还获得第二多个残差元素，例如残差元素r21、r22、r23、r24。在该示例中，获得第二多个残差元素涉及第一设备102例如使用输入数据202和上采样数据206来生成或导出第二多个残差元素。在其他示例中，获得第二多个残差元素可以涉及第一设备102接收第二多个残差元素或者可用于导出第二多个残差元素的数据。

残差元素集合208可用于与上采样数据206结合以重建输入数据202。例如，输入数据202与用于确定残差元素集合208的上采样数据206之间的比较可以反转，以使得可以通过将上采样数据206与残差元素集合208进行比较来获得输入数据202。

这样，第一多个残差元素可用于使用较高质量水平的信号的第二表示的第一部分来重建较高质量水平的信号的第一表示的第一部分。例如，残差元素r11、r12、r13、r14可用于使用由信号元素u11、u12、u13、u14组成的上采样数据206的一部分来重建由信号元素i11、i12、i13、i14组成的输入数据202的一部分。输入数据202和上采样数据206都处于较高质量水平。重建可以在第一设备102、第二设备104或其他位置进行。第二表示的第一部分可以从较低质量水平的信号表示中的一个或多个信号元素的第一集合导出。例如，由信号元素u11、u12、u13、u14组成的上采样数据206的一部分从下采样数据204中的信号元素d1导出。下采样数据204是较低质量水平的信号的表示。在该示例中，在较低质量水平的信号表示中一个或多个信号元素的第一集合将仅由信号元素d1组成。

第二多个残差元素可用于使用较高质量水平的信号的第二表示的第二不同部分来重建较高质量水平的信号的第一表示的第二部分。例如，残差元素r21、r22、r23、r24可用于使用由信号元素u21、u22、u23、u24组成的上采样数据206的一部分来重建由信号元素i21、i22、i23、i24组成的输入数据202的一部分。重建可以在第一设备102、第二设备104或其他位置进行。第二表示的第二部分可以从较低质量水平的信号表示中的一个或多个信号元素的第二不同集合导出。例如，由信号元素u21、u22、u23、u24组成的上采样数据206的一部分可以从下采样数据204中的信号元素d2导出。下采样数据204是较低质量水平的信号的表示。在该示例中，在较低质量水平的信号表示中一个或多个信号元素的第二集合将仅由信号元素d2组成。

较高质量水平的信号的第二表示的第一部分和第二部分可以不同，因为第一部分和第二部分至少其中之一包括不在另一个中的至少一个信号元素。较高质量水平的信号的第二表示的第一部分和第二部分可以不同，因为第一部分和第二部分不包括任何共同的信号元素。

在较低质量水平的信号表示中的一个或多个信号元素的第一集合和第二集合可以不同，因为第一集合和第二集合至少其中之一包括不在另一个中的至少一个信号元素。在较低质量水平的信号表示中的一个或多个信号元素的第一集合和第二集合可以不同，因为第一集合和第二集合不包括任何共同的信号元素。

可将残差元素集合208传输到第二设备104，以允许第二设备104重建输入数据202。可以在传输之前对残差元素集合208进行编码，以减少将残差元素集合208传输到第二设备104所涉及的数据量。

在本文所述示例中，通过进行涉及残差元素集合208中至少一些残差元素的至少一个变换操作来导出关联元素集合210。读者请参考公开号为wo2013/171173的国际专利申请pct/ep2013/059847。pct/ep2013/059847描述了分层结构中残差数据的分解。pct/ep2013/059847的全部内容通过引用合并于此。

这样，第一设备102进行至少一个变换操作。可以进行多个变换操作，例如串行和/或并行地进行多个变换操作。

该至少一个变换操作涉及第一多个残差元素r11、r12、r13、r14中的至少一个残差元素，以及第二多个残差元素r21、r22、r23、r24中的至少一个残差元素。该至少一个变换操作可以涉及第一多个残差元素r11、r12、r13、r14中的多个残差元素和/或第二多个残差元素r21、r22、r23、r24中的多个残差元素。可将第一多个残差元素r21、r22、r23、r24中的至少一个残差元素和第二多个残差元素r21、r22、r23、r24中的至少一个残差元素输入到至少一个转换操作。

至少一个变换操作可包括至少一个方向分解操作。方向分解操作可以利用关联。例如，方向分解操作可以利用方向(或“空间”)关联。这可以导致更有效的编码，特别是当存在高度的这种关联时。方向分解操作可以产生一组方向分量。可以使用不同的编码参数来编码不同的方向分量，例如根据感知质量方面的不同方向分量的相对重要性。因此，与其他方向分量相比，可以按照不同的方式将一些方向分量编码，而视觉质量没有明显差异。这有助于更有选择性的编码，以例如考虑到各个方向分量的重要性。在一些示例中，与其他方向分量的编码精度相比，例如根据感知重要性的差异，增加了一些方向分量的编码精度。在一些示例中，与其他方向分量相比，一些方向分量经历了更多压缩。在一些示例中，与其他方向分量相比，向一些方向分量分配了更多比特率，例如根据不同方向分量之间的感知重要性的差异。读者请参考国际专利申请pct/ep2013/059847中关于怎样对方向分解分量进行优先级排序和编码的示例。

如下更详细所述，可以进行多个方向分解操作，以进一步利用不同数据元素集合和数据元素类型之间的关联。通过允许使用相同的编码器设置以其他方式全部编码的数据元素的群组能够相互去耦，在对各个数据元素进行编码方面提供更多的灵活性，从而这还可以导致更有效的编码。

在该示例中，关联元素集合210被布置为包括四行和四列信号元素的4×4关联元素阵列。在该示例中，关联元素集合210包括四个关联元素群组。每个关联元素群组包括多个关联元素。在该示例中，每个关联元素群组是2×2关联元素阵列。关联元素aij对应于关联元素集合210中第i个关联元素群组中的第j个关联元素。

可通过将残差元素集合208预乘以第一变换(或“变换的另一表达形式”)矩阵(或“内核”)k1来导出关联元素集合210。这可以写为α＝k1·r，其中α表示关联元素集合210，r表示残差元素集合208。

不是通过将整个残差元素集合208与单个第一变换矩阵预乘，而是将各个较小的第一变换矩阵与残差元素集合208中的较小残差元素群组预乘来导出关联元素集合210。与使用单个较大矩阵相比，使用较小的矩阵可以导致更有效的处理，因为可以进行更少的计算。

这样，至少一个变换操作可包括至少一个数学运算。至少一个变换操作可包括至少一个矩阵乘法运算。至少一个变换操作可包括至少一个线性组合操作。例如，可以使用至少一个线性组合操作而不是至少一个矩阵乘法运算。这样，可以按照能够以更有效和明确定义的方式进行编码的形式来布置要编码的数据。

在一些示例中，关联元素集合210中的一部分或全部关联元素aij是基于来自残差元素集合208中的多个残差元素的仅其中一个残差元素来导出的。这样的关联元素aij可以指示它们所基于的残差元素之间的关联程度。

关联元素集合210可以利用残差元素集合208中的残差元素之间的关联。相比残差元素集合208，可以用较少的数据来传输关联元素集合210，特别是在残差元素集合208中存在强关联的情况下。关联元素集合210可以利用方向关联。关联元素集合210可以利用平均、水平、垂直和/或对角线关联。在一些示例中，关联元素集合210包括基于残差元素集合208中的至少一些值的平均值和下采样数据204中的至少一些值的平均值所导出的至少一个值。这种导出值可以对应于预测平均值或delta平均值δa，如国际专利申请pct/ep2013/059847中所述。

在该示例中，将关联元素集合210变换为变换的关联元素集合212。在该示例中，通过进行涉及关联元素集合210中一部分或全部关联元素的至少一个变换操作来导出变换的关联元素集合212。可通过将关联元素集合210与第二变换矩阵(或“内核”)k2预乘来导出变换的关联元素集合212。这可以写为β＝k2·α，其中β表示变换的关联元素集合212，而α表示关联元素集合210。

不是通过将整个关联元素集合210与单个第二变换矩阵预乘，而是将各个较小的第二变换矩阵与关联元素集合210中较小的关联元素群组预乘来导出变换的关联元素集合212。

在该示例中，将变换的关联元素集合212布置为包括四行和四列信号元素的4×4关联元素阵列。在该示例中，变换的关联元素集合212包括四个关联元素群组。每个关联元素群组包括多个关联元素。在该示例中，每个关联元素群组是2×2关联元素阵列。关联元素βij对应于关联元素集合212中第i个关联元素群组中的第j个关联元素。

与关联元素集合210相比，通过提供其相关编码参数可以单个设置的更多数量的不同类型的关联元素，变换的关联元素集合212有助于更有效的编码。

这样，可通过进行涉及第一多个残差元素(例如r11、r12、r13、r14)的变换(或“变换的另一表达形式”)来进行至少一个变换操作，以生成例如由α11、α12、α13、α14组成的第一关联元素集合。进行至少一个变换操作还可以涉及进行涉及第二多个残差元素(例如r21、r22、r23、r24)的变换，以生成例如由α21、α22、α23、α24组成的第二关联元素集合。第一关联元素集合中的至少一个关联元素(例如α11、α12、α13、α14)取决于至少一些第一多个残差元素(r11、r12、r13、r14)之间的关联程度。第一关联元素集合中的每个关联元素(例如α11、α12、α13、α14)可以取决于第一多个残差元素(r11、r12、r13、r14)中每个残差元素之间的关联程度。第二关联元素集合(例如α21、α22、α23、α24)中的至少一个关联元素取决于至少一些第二多个残差元素的元素(例如r21、r22、r23、r24)之间的关联程度。第二关联元素集合中的每个关联元素(例如α21、α22、α23、α24)可以取决于第二多个残差元素中的每个残差元素(例如r21、r22、r23、r24)之间的关联程度。这样，在第一阶段中，将残差元素变换为一个或多个中间关联元素集合，例如关联元素集合210。可将相关的关联元素分组在一起。例如，可以基于与其相关的残差元素或者基于关联元素类型将关联元素分组。

可通过进行涉及关联元素集合210中的第一关联元素子集中的至少一个关联元素(例如α11、α12、α13、α14)以及关联元素集合210中的第二关联元素子集中的至少一个关联元素(例如α21、α22、α23、α24)的变换来进行至少一个变换操作，以在变换的关联元素集合212中生成第三关联元素集合中的至少一个关联元素，例如β11。例如，在生成关联元素β11的变换操作中可以涉及关联元素α11和α21。在生成关联元素β11的变换操作中也可以涉及一个或多个其他关联元素，例如和α31和α41。第三关联元素集合中的至少一个关联元素(例如β11)取决于第一关联元素集合中的至少一个关联元素(例如α11)与第二关联元素集合中的至少一个关联元素(例如α21)之间的关联程度。这样，在第二阶段中，在向一个或多个最终关联元素集合(例如变换的关联元素集合212)的变换操作中涉及一个或多个中间关联元素集合(例如关联元素集合210)中的关联元素。一个或多个最终关联元素集合中的关联元素可以利用两个关联等级，也就是，一个关联等级在残差元素集合208中的残差元素之间，而另一个关联等级在关联元素集合210的关联元素之间。这可以导致更有效的编码，其中在这两个等级上存在强关联并且还允许编码器设置的细粒度配置。

该至少一个变换操作可通过进行涉及第一关联元素集合中的至少一个关联元素(例如α11)以及第二关联元素集合中的至少一个关联元素(例如α21)的不同变换来进行，以生成第三关联元素集合中的至少一个其他关联元素，例如β21。例如，在使用另一个类型的变换以生成关联元素β21的变换操作中可以涉及关联元素α11和α21。也可以使用一个或多个其他关联元素(例如α31和α41)来生成关联元素β21。在第三关联元素集合中至少一个其他关联元素(例如β21)取决于第一关联元素集合中的至少一个关联元素(例如α11)与第二关联元素集合中的至少一个关联元素(例如α21)之间的关联程度。通过进行涉及中间关联元素αij的不同变换，可以利用多个不同类型的关联。这可以有助于其中多个不同类型的关联显示出强关联特性的编码更有效率。

在该示例中，导出变换的关联元素集合212可包括进行涉及第一多个残差元素r11、r12、r13、r14中的至少一个残差元素(例如r11)以及第二多个残差元素r21、r22、r23、r24中的至少一个残差元素(例如r21)的一个或多个变换操作。在第一多个残差元素r11、r12、r13、r14中的残差元素(例如r11)可用于生成关联元素集合210中的第一关联元素(例如α11)，而在第二多个残差元素r21、r22、r23、r24中的残差元素(例如r21)可用于生成关联元素集合210中的第二关联元素(例如α21)。在关联元素集合210中的第一关联元素和第二关联元素(例如α11和α21)可用于生成变换的关联元素集合212中的至少一个关联元素(例如β11)。

与变换的关联元素集合212中的关联元素不同，在该示例中，通过进行涉及第一多个残差元素r11、r12、r13、r14中的至少一个残差元素以及涉及第二多个残差元素r21、r22、r23、r24中的至少一个残差元素的一个或多个变换操作，不生成关联元素集合210中的关联元素。相反，在该示例中，通过进行仅涉及来自某一多个残差元素的至少一个残差元素，例如仅涉及第一多个残差元素r11、r12、r13、r14中的残差元素的一个或多个变换操作来生成关联元素集合210中的每个关联元素。

在该示例中，至少一个变换操作生成至少一个关联元素，例如变换的关联元素集合212中的关联元素β11。至少一个关联元素取决于第一多个残差元素中的至少一个残差元素与第二多个残差元素中的至少一个残差元素之间的关联程度。至少一个关联元素的值可以和第一多个残差元素中的至少一个残差元素与第二多个残差元素中的至少一个残差元素之间的关联程度成反比。换言之，第一多个残差元素中的至少一个残差元素与第二多个残差元素中的至少一个残差元素之间的关联程度越强，至少一个关联元素的值越接近零。关联程度可以与关联的量或强度有关。

在一些示例中，变换的关联元素集合212中的每个关联元素利用残差元素集合208中的每个残差元素之间的关联。这样，至少一个变换操作可以涉及第一多个残差元素r11、r12、r13、r14中的所有残差元素以及第二多个残差元素r21、r22、r23、r24中的所有残差元素。因此可以利用较大量的残差元素之间的关联。这可以导致其中在较大量的关联元素之间存在强关联的编码更有效率。

可以在进行至少一个变换操作时生成多个关联元素。通过生成多个关联元素，可以利用不同类型的关联。这样，可以获得其中在不同的方向上关联都强的更有效的编码。此外，不同的编码器设置可用于不同的关联元素。这有助于更有选择性的编码，例如考虑到各个关联元素的重要性。

在一些示例中，变换的关联元素集合212用于获得一个或多个其他的变换的关联元素集合(未示出)。可通过对变换的关联元素集合212进行一个或多个变换操作(例如串行进行)来获得一个或多个其他的变换的关联元素集合。如上所述，一个或多个变换操作可以涉及一个或多个方向分解操作。这样，一个或多个其他的变换的关联元素集合可以指示变换的关联元素集合212中或者由其导出的数据元素集合中不同关联元素之间的关联程度，例如方向或空间关联。这可以导致更有效的编码，特别是当存在高度的这种关联时。

第一设备102在至少一个关联元素被编码之前进行至少一个变换操作。第一设备102可以编码至少一个关联元素。可通过除第一设备102之外的一个或多个实体将至少一个关联元素编码。

被编码的至少一个关联元素可包括对至少一个关联元素进行量化。量化有助于减少用于表示至少一个关联元素的数据量。第一设备102可以对至少一个关联元素进行量化。可通过除第一设备102之外的一个或多个实体将至少一个关联元素量化。

各个编码参数可以用于对变换的关联元素集合212中的各个关联元素进行编码。例如，相比于比较重要的关联元素(相对于变换的关联元素集合212中的其他关联元素)，对不太重要的关联元素(相对于变换的关联元素集合212中的其他关联元素)可以进行更高水平的编码(例如量化)。

在该示例中，编码器装置108获得编码参数的集合。多个关联元素中的每个关联元素可以与一个或多个编码参数相关。这允许编码参数的细粒度规定，以例如实现变换的关联元素集合212的总比特率裕度。各个编码参数还可以指示相关的关联元素的重要性。这有助于通过对最重要的关联元素进行优先级排序来进行有效编码。关联元素可以与多个编码参数相关。编码参数可以与多个关联元素相关。

在一些示例中，编码参数或其他数据指示不要被编码的相关的关联元素。例如，可以丢弃相关的关联元素而根本不对其进行编码。在一些示例中，存在预定义的重要性阈值水平，低于该阈值水平，关联元素就不编码。相反，可以使用该关联元素的默认值。因此，可以生成数据来指示多个关联元素中的至少一些关联元素不要被编码。通过不对多个关联元素中的一部分关联元素进行编码，可以使编码更有效。因为编码较少的数据，编码可能更有效。

可以确定多个关联元素中的每个关联元素的编码参数。确定编码参数可以涉及查找编码参数的一部分或全部、计算编码参数的一部分或全部、或通过另一种方式获得编码参数的一部分或全部。

在一些示例中，相对于变换的关联元素集合212中的其他关联元素的重要性，至少部分地基于与其相关的关联元素的重要性来确定编码参数的值。编码参数可以指示相关的关联元素在感知质量方面的重要性。

在一些示例中，变换的关联元素集合212中的至少一些关联元素与彼此相同的编码参数和/或编码参数值相关。这可以指示这些关联元素在感知质量方面都同样重要。可通过为关联元素中的不同关联元素指定相同级别的编码来增强编码，例如，在相关的关联元素的重要性的任何差异不超过阈值水平情况下，因此编码器可以对关联元素中的多个关联元素使用相同的编码器设置。阈值水平可以是零或非零。

在一些示例中，变换的关联元素集合212中的至少一些关联元素与不同的编码参数和/或编码参数值相关。这有助于通过这些关联元素在感知质量方面的相对重要性来进行编码。例如，可以使用不同的量化量，这取决于这些关联元素在感知质量方面的相对重要性。

在一些示例中，变换的关联元素集合中的所有关联元素与不同的编码参数和/或编码参数值相关。

在确定编码参数集合中的编码参数的值时可以考虑各种不同的因素。这些因素的示例包括但不限于频率分析、角频率分析、观看距离分析、以及像素大小分析。考虑这些因素有助于在感知重要性方面对关联元素排序。相应地，这可以用于例如确定应当应用于关联元素的量化的程度。

至少一些编码参数可以表示关联元素中的感知重要性的各个度量。这可以通过允许基于关联元素的重要性的度量对编码进行加权来增强编码。

对于多个关联元素中的不同关联元素，至少一些编码参数可以是相同的。

多个编码参数可包括至少一个量化系数。这样，可将不同的量化水平应用于不同的关联元素，例如基于它们的重要性。这可以提供这样的编码技术，其中针对与量化数据相关的质量的感知对于减少要传输的数据量进行平衡。

在一些示例中，第一设备102将编码参数集合输出到至少一个其他设备，例如第二设备104。第二设备104可以使用编码参数集合来帮助将编码的关联元素解码。这样，可以输出包括编码参数的数据。这还有助于其中编码由另一个实体进行的编码。

可以基于编码参数集合对多个关联元素进行编码。这样，提供了用于编码多个关联元素的可靠机制，以例如反映它们的相对重要性。

在该示例中，第一设备102进行至少一个变换操作，以在对至少一个关联元素进行编码之前，生成变换的关联元素集合中的至少一个关联元素。

在该示例中，第一设备102可能以编码的形式将下采样数据204和变换后的关联元素集合212传输到第二设备104。

参考图3，示意性示出信号处理技术300的示例。信号处理技术300可由第二设备104进行。图3所示的一些项目类似于图2所示的项目。因此，将标记数增加100的对应附图标记用于类似的项目。

在该示例中，第二设备104从第一设备102接收下采样数据304和变换后的关联元素集合312。在其他示例中，第二设备104接收可用于获得下采样数据304和/或变换的关联元素集合312的数据，而不是下采样数据304和/或变换后的关联元素集合312本身。例如，第二设备104可以基于所接收的数据导出下采样数据304和/或变换的关联元素集合312。

将以上等式β＝k2·α的两边预乘以k2的逆矩阵，即k2^-1，得出k2^-1·β＝k2^-1·k2·a.。因为将矩阵预乘以它的逆矩阵得到单位矩阵，所以k2^-1·β＝α。这样，第二设备104可通过将变换的关联元素集合312与第二变换矩阵的逆矩阵(k2^-1)预乘来导出关联元素集合310。

将以上等式α＝k1·r的两边预乘以k1的逆矩阵，即k1^-1，得出k1^-1·α＝k1^-1·k1·r。因为将矩阵预乘以它的逆矩阵得到单位矩阵，所以k1^-1·α＝r。这样，第二设备104可通过将关联元素集合310与第一变换矩阵的逆矩阵(k1^-1)预乘来导出残差元素集合308。

这样，第二设备104恢复残差元素集合308。

处理下采样数据304以生成数据306。在该示例中，通过以与第一设备102对数据204进行上采样相同的方式对下采样数据304进行上采样，来获得数据306。在该具体示例中，数据306称为“上采样数据”，将其理解为在其他示例中可以按照不同的方式来处理数据。

因此，第二设备104可以使用上采样数据306和残差元素集合308来恢复输入数据302，因为所有的值uij和rij对于第二设备104而言是已知的。

第二设备104进行涉及变换的关联元素集合312中的至少一个关联元素(例如β11)的至少一个变换操作。至少一个变换操作可以涉及至少一个变换，这个变换是第一设备102进行的变换的逆变换。至少一个变换操作生成第一多个残差元素(例如r11、r12、r13、r14)中的至少一个残差元素(例如r11)以及第二多个残差元素(例如r21、r22、r23、r24)中的至少一个残差元素(例如r21)。至少一个变换操作可以生成一个或多个其他残差元素。至少一个变换操作可以涉及一个或多个附加的关联元素。

至少一个关联元素(例如β11)取决于第一多个残差元素中的至少一个残差元素(例如r11)与第二多个残差元素中的至少一个残差元素(例如r21)之间的关联程度。第一多个残差元素(例如r11、r12、r13、r14)可用于使用较高质量水平的信号的第二表示的第一部分(例如由信号元素u11、u12、u13、u14组成的上采样数据306的部分)来重建较高质量水平的信号的第一表示的第一部分(例如由信号元素i11、i12、i13、i14组成的输入数据302的部分)。第二多个残差元素(例如r21、r22、r23、r24)可用于使用信号的第二表示的第二不同部分(例如由信号元素u21、u22、u23、u24组成的上采样数据306的部分)来重建信号的第一表示的第二不同部分(例如由信号元素i21、i22、i23、i24组成的输入数据302的部分)。

第二设备104从较低质量水平的信号的表示中的一个或多个信号元素的第一集合(例如下采样数据304中的信号元素d1)导出第二表示的第一部分(例如由信号元素u11、u12、u13、u14组成的上采样数据306的部分)。

第二设备104从较低质量水平的信号的表示中的一个或多个信号元素的第二不同集合(例如下采样数据304中的信号元素d2)导出第二表示的第二不同部分(例如由信号元素u21、u22、u23、u24组成的上采样数据306的部分)。

第二设备104至少使用第一多个残差元素(例如r11、r12、r13、r14)、第二多个残差元素(例如r21、r22、r23、r24)、第二表示的第一部分(例如u11、u12、u13、u14)、以及第二表示的第二部分(例如u21、u22、u23、u24)来生成输出数据。输出数据可包括输入数据302。

第二设备104被配置为在已经对至少一个关联元素(例如β11)进行解码之后进行至少一个变换操作。至少一个关联元素可由第二设备104或一个或多个其他实体来解码。

第二设备104可具有本文所述的至少一些其他特征，例如关于第一设备102所述的特征。可将第二设备104配置为进行本文所述的至少一些其他技术，例如本文关于第一设备102所述的技术。

参考图4，示出设备400的示例的示意性方框图。

在一个示例中，设备400包括解码器装置。在另一示例中，设备400包括编码器装置。

设备400的其他示例包括但不限于移动计算机、个人计算机系统、无线装置、基站、电话装置、台式计算机、膝上型计算机、笔记本、上网本计算机、大型计算机系统、手持计算机、工作站、网络计算机、应用服务器、存储装置、消费电子装置(例如照相机、便携式摄像机、移动装置、视频游戏机、手持视频游戏装置)、外设(例如交换机、调制解调器、路由器等)、或者一般而言任何类型的计算或电子装置。

在该示例中，设备400包括被配置为处理信息和/或指令的一个或多个处理器401。一个或多个处理器401可包括中央处理单元(cpu)。一个或多个处理器401与总线402耦接。通过一个或多个处理器401进行的操作可通过硬件和/或软件来进行。一个或多个处理器401可包括多个共置处理器或多个分离放置的处理器。

在该示例中，设备400包括计算机可用的易失性存储器403，被配置为存储用于一个或多个处理器401的信息和/或指令。计算机可用的易失性存储器403与总线402耦接。计算机可用的易失性存储器403可包括随机存取存储器(ram)。

在该示例中，设备400包括计算机可用的非易失性存储器404，被配置为存储用于一个或多个处理器401的信息和/或指令。计算机可用的非易失性存储器404与总线402耦接。可用的非易失性存储器404可包括只读存储器(rom)。

在该示例中，设备400包括被配置为存储信息和/或指令的一个或多个数据存储单元405。一个或多个数据存储单元405与总线402耦接。一个或多个数据存储单元405例如可包括磁盘或光盘以及磁盘驱动器或固态驱动器(ssd)。

在该示例中，设备400包括一个或多个输入/输出(i/o)装置406，被配置为与一个或多个处理器401之间传递信息。一个或多个i/o装置406与总线402耦接。一个或多个i/o装置406可包括至少一个网络接口。至少一个网络接口使得装置400使得能够经由一个或多个数据通信网络进行通信。数据通信网络的示例包括但不限于互联网和局域网(lan)。一个或多个i/o装置406使得用户能够经由一个或多个输入装置(未示出)向设备400提供输入。一个或多个输入装置例如可包括遥控器、一个或多个物理按钮等。一个或多个i/o装置406使得信息能够经由一个或多个输出装置(未示出)提供给用户。一个或多个输出设备例如可包括显示屏。

针对设备400描述了各种其他实体。例如，如果有的话，操作系统407、信号处理模块408、一个或多个其他模块409、以及数据410被示为驻留在计算机可用的易失性存储器403、计算机可用的非易失性存储器404、以及一个或多个数据存储单元405其中之一或它们的组合中。信号处理模块408可通过存储在计算机可用的非易失性存储器404、一个或多个数据存储单元405内的计算机可读存储介质、和/或其他有形计算机可读存储介质内的存储位置的计算机程序代码来实现。有形计算机可读存储介质的示例包括但不限于光学介质(例如，cd-rom、dvd-rom或蓝光)、闪存卡、软盘、或硬盘、或能够存储计算机可读指令的任何其他介质，例如至少一个rom或ram或可编程rom(prom)芯片或专用集成电路(asic)中的固件或微代码。

因此，设备400可包括信号处理模块408，信号处理模块408可通过一个或多个处理器401来执行。信号处理模块408可以被配置为包括用于实现本文所述的至少一些操作的指令。在操作期间，一个或多个处理器401启动、运行、执行、解释、或以其他方式进行信号处理模块408中的指令。

虽然这里参考附图所述示例的至少一些方案包括在处理系统或处理器中进行的计算机处理，但是本文所述示例还扩展到计算机程序，例如适合于将示例纳入实践的载体上或载体中的计算机程序。载体可以是能够承载程序的任何实体或装置。

应当理解，设备400可包括与图4所示组件相比更多、更少和/或不同的组件。

设备400可以位于单个位置，也可以分布在多个位置。这些位置可以是本地的，也可以是远程的。

本文所述技术可以在软件或硬件中实现，也可以使用软件和硬件的组合来实现。它们可包括配置设备以进行和/或支持本文所述的任何或所有技术。

提供各种措施(例如，设备、方法、计算机程序和计算机可读介质)，其中获得第一多个残差元素。第一多个残差元素能够用于使用较高质量水平的信号的第二表示的第一部分来重建较高质量水平的信号的第一表示的第一部分。第二表示的第一部分能够从较低质量水平的信号表示中的一个或多个信号元素的第一集合导出。获得第二多个残差元素。第二多个残差元素能够用于使用信号的第二表示的第二不同部分来重建信号的第一表示的第二不同部分。第二表示的第二部分能够从较低质量水平的信号表示中的一个或多个信号元素的第二不同集合导出。进行涉及第一多个残差元素中的至少一个残差元素和第二多个残差元素中的至少一个残差元素的至少一个变换操作，以生成至少一个关联元素。至少一个关联元素取决于第一多个残差元素中的至少一个残差元素与第二多个残差元素中的至少一个残差元素之间的关联程度。该设备被配置为在至少一个关联元素被编码之前进行至少一个变换操作。

在上述示例中，至少一个变换操作包括至少一个方向分解操作。

在上述示例中，至少一个变换操作包括至少一个数学运算。

在上述示例中，至少一个变换操作包括至少一个矩阵乘法运算。

在上述示例中，至少一个变换操作包括至少一个线性组合操作。

在上述示例中，在进行至少一个变换操作时生成多个关联元素。

在上述示例中，生成指示多个关联元素中的至少一些不要被编码的数据。

在上述示例中，多个关联元素中的每个关联元素与编码参数相关。

在上述示例中，确定多个关联元素中每个关联元素的编码参数。

在上述示例中，基于多个关联元素中关联元素的位置来确定多个关联元素中的每个关联元素的编码参数。

在上述示例中，多个关联元素中的编码参数的值无关于与编码参数相关的关联元素的值。

在上述示例中，在所述多个关联元素中的不同关联元素的编码参数中，至少一些编码参数是不同的。

在上述示例中，在所述多个关联元素中的不同关联元素的编码参数中，至少一些编码参数是相同的。

在上述示例中，至少一些编码参数表示关联元素中的感知重要性的相应度量。

在上述示例中，多个编码参数包括至少一个量化系数。

在上述示例中，基于编码参数对多个关联元素进行编码。

在上述示例中，输出包括编码参数的数据。

在上述示例中，至少一个关联元素被编码包括对至少一个关联元素进行量化。

在上述示例中，通过以下方式进行至少一个变换操作：进行涉及第一多个残差元素的变换以生成第一关联元素集合，以及进行涉及第二多个残差元素的变换以生成第二关联元素集合。第一关联元素集合中的至少一个关联元素取决于第一多个残差元素中的至少一些残差元素之间的关联程度。第二关联元素集合中的至少一个关联元素取决于第二多个残差元素中的至少一些残差元素之间的关联程度。

在上述示例中，第一关联元素集合和第二关联元素集合中的不同关联元素表示不同类型的关联。将所述第一关联元素集合和所述第二关联元素集合中相同类型的关联元素分组在一起。

在上述示例中，通过进行涉及第一关联元素集合中的至少一个关联元素和第二关联元素集合中的至少一个关联元素的变换来进行至少一个变换操作，以生成关联元素的第三集合中的至少一个关联元素。第三关联元素集合中的至少一个关联元素取决于第一关联元素集合中的至少一个关联元素与第二关联元素集合中的至少一个关联元素之间的关联程度。

在上述示例中，通过进行涉及第一关联元素集合中的至少一个关联元素和第二关联元素集合中的至少一个关联元素的不同变换来进行至少一个变换操作，以生成第三关联元素集合中的至少一个其他关联元素。第三关联元素集合中的至少一个其他关联元素取决于第一关联元素集合中的至少一个关联元素与第二关联元素集合中的至少一个关联元素之间的关联程度。

在上述示例中，至少一个变换操作涉及第一多个残差元素中的所有残差元素和第二多个残差元素中的所有残差元素。

提供各种措施(例如，设备、方法、计算机程序和计算机可读介质)，其中进行涉及至少一个关联元素的至少一个变换操作，以生成第一多个残差元素中的至少一个残差元素和第二多个残差元素中的至少一个残差元素。至少一个关联元素取决于第一多个残差元素中的至少一个残差元素与第二多个残差元素中的至少一个残差元素之间的关联程度。第一多个残差元素可用于使用较高质量水平的信号的第二表示的第一部分来重建较高质量水平的信号的第一表示的第一部分。第二多个残差元素可用于使用信号的第二表示的第二不同部分来重建信号的第一表示的第二不同部分。从较低质量水平的信号的表示中的一个或多个信号元素的第一集合中导出第二表示的第一部分。从较低质量水平的信号的表示中的一个或多个信号元素的第二不同集合中导出第二表示的第二部分。至少使用第一多个残差元素、第二多个残差元素、第二表示的第一部分、以及第二表示的第二部分来生成输出数据。在至少一个关联元素被解码之后进行至少一个变换操作。

提供各种措施(例如，设备，方法，计算机程序和计算机可读介质)来处理信号数据。获得残差元素集合。残差元素集合中的第一多个残差元素可用于生成第一关联元素集合。残差元素集合中的第二多个残差元素可用于生成第二关联元素集合。第一关联元素集合中的至少一个关联元素指示第一多个残差元素中的至少一些残差元素之间的关联程度，例如空间或方向关联。第二关联元素集合中的至少一个关联元素指示第二多个残差元素中的至少一些残差元素之间的关联程度，例如空间或方向关联。第一关联元素集合和第二关联元素集合可变换成第三关联元素集合。第三关联元素集合中的至少一个关联元素指示第一关联元素集合中的至少一个关联元素中的一个或多个关联元素与第二关联元素集合中的至少一个关联元素中的一个或多个关联元素之间的关联程度，例如空间或方向关联。通过进行涉及第一多个残差元素中的至少一个残差元素和第二多个残差元素中的至少一个残差元素的第一变换操作来生成第三关联元素集合中的第一关联元素。通过对第一多个残差元素中的至少一个残差元素和第二多个残差元素中的至少一个残差元素进行第二变换操作来生成第三关联元素集合中的第二关联元素。

以上实施例应理解为说明性示例。构思了其他实施例。

在上述示例中，第二设备104能够完全恢复或重建由第一设备102获得的输入数据。在其他示例中，第二设备104可能无法完全恢复由第一设备102获得的输入数据。例如，恢复原始输入数据可能需要的一些信息可能在量化期间丢失，并且可能无法由第二设备104恢复。

在上述示例中，通过涉及第一和第二变换矩阵k1和k2的两个单独的矩阵乘法，间接地从残差元素集合208获得变换的关联元素集合212。在其他示例中，通过组合涉及上述第一和第二变换矩阵k1和k2的两个矩阵乘法，直接从残差元素集208获得变换的关联元素集合212。在这样的其他示例中，不是进行两个单独的矩阵乘法(一个涉及k1而另一个涉及k2)，而是使用合并两个矩阵变换的单个矩阵乘法运算。将以上等式α＝k1·r的两边预乘以k2，得出k2·α＝k2·k1·r。使用以上等式β＝k2·α，可以看出β＝k2·α＝k2·k1·r。合并矩阵k3可通过k3＝k2·k1以及进行为β＝k3·r的变换获得。合并两个矩阵乘法可能是有利的，因为不用存储器来存储中间矩阵。与进行两次矩阵乘法相比，进行一次矩阵乘法也可以减少处理时间。

在上述示例中，通过将残差元素集合与第一变换矩阵k1预乘，获得关联元素集合，通过将关联元素集合与第二变换矩阵k2预乘，获得变换的关联元素集合。关联元素集合和变换的关联元素集合由对应于4×4信号元素阵列的残差元素导出。这样，k1和k2中的每一个可包括16×16变换矩阵，该矩阵被应用于16×1数据元素集合。在一些示例中，将较小的残差元素群组和/或关联元素群组与各个较小的变换矩阵预乘。例如，k1和k2的其中一个或两个可包括4×4变换矩阵，并且可应用于4×1数据元素集合。

在一个示例中，第一变换矩阵k1包括以下矩阵：

将k1应用于四个4×1残差元素集合(每个集合对应于一个2×2信号元素阵列)，产生四个4×1组关联元素集合。每个集合中的至少一个关联元素是从与来自一行信号元素的信号元素相关的至少两个残差元素以及与来自另一行信号元素的信号元素相关的不同数量的残差元素导出的。例如，由k1的第一行产生的关联元素是从与来自一行信号元素的信号元素相关的两个残差元素导出的，而没有与来自另一行信号元素的信号元素相关的残差元素。另一方面，由k1的第二行产生的关联元素是从与来自一行信号元素的信号元素相关的两个残差元素以及与来自另一行信号元素的信号元素相关的两个残差元素导出的。在该示例中，可将k1称为“1d”关联变换矩阵，因为它强调水平关联甚于垂直关联。

这样，在该示例中，每个关联元素集合中的至少一个关联元素不是从与来自输入数据的第一和第二行信号元素的信号元素相关的相等数量的残差元素的贡献导出的。通过以这种方式获得不均匀的贡献，可以更容易地对与导出关联元素时来自输入数据的不同行信号元素的信号元素相关的残差元素的贡献进行加权。实际上，输入数据的信号元素行可以根据它们对关联元素集合的相对贡献来去耦合。可以选择变换矩阵k1中的元素，以在导出关联元素集合时影响与来自不同行信号元素的信号元素相关的残差元素的相对贡献。

将输入数据的信号元素的行根据它们对关联元素集合的各自贡献而去耦合提供了各种效果。允许不同行的输入信号元素具有不同的加权贡献例如可以在处理隔行扫描视频信号时提供更好的性能。在隔行扫描视频中，给定视频帧、例如包括1920×1080数据元素是两个视频数据字段的排列，每个视频数据字段包括1920×540数据元素，其数据元素行相互交织。两个字段中的每一个都代表不同时间样本的视频。因此，隔行视频信号的帧中相邻信号元素之间的垂直关联(即相邻行的数据元素之间的关联)减小，甚至可以不存在或者是人为的。相邻数据元素之间的水平关联(即相邻列的数据元素之间的关联)比垂直关联更明显。因此，影响来自不同行的数据元素的贡献例如以使得：仅使用来自单个字段的数据元素的能力可能有利于确保不考虑任何错误或不需要的垂直关联。此外，因为两个隔行扫描字段对应于两个不同的时间点，所以在两个维度中下采样和上采样隔行扫描的视频信号可能带来其他考虑。可以在下采样之前将字段去交织，但是这可能在计算上成本高昂并且可能产生不想要的图像伪影或不连续性。因此，可以仅在水平维度上对隔行扫描的视频进行下采样和上采样。隔行扫描的视频字段的示例分辨率是1920x540。例如，隔行扫描的视频字段的水平下采样表达可具有960×540的分辨率。在这种水平下采样操作或对应的水平上采样操作中，不考虑垂直相邻数据元素的贡献。

此外，在逐行扫描视频的情况下，从不同行的信号元素中获得不等的贡献也可能是有利的。在逐行扫描视频中，相机可以水平扫描图像，因此可以具有有效的一维传递函数。因此，任何垂直关联可能是错误的，并且可能希望减少这种人工垂直关联的影响。

四个4×1关联元素集合中的每一个可以预乘以第二4×4变换矩阵k2，以获得四个变换的关联元素集合。在示例中，第二变换矩阵k2包括以下矩阵：

在该示例中，可将k2称为“2d”关联变换矩阵，因为它同等地处理水平和垂直关联。例如，变换的关联元素集合中每个变换的关联元素可以从对应的关联元素集合中的每个关联元素获得相等的贡献。

第一变换矩阵k1和/或第二变换矩阵k2可以与上面示出的不同。在一些示例中，第一变换矩阵k1与第二变换矩阵k2相同。在一些示例中，第一变换矩阵k1是如上所述的“2d”关联变换矩阵。在一些示例中，第二变换矩阵k2是如上所述的“id”关联变换矩阵。

在一些示例中，替代将k1和k2分别应用于四个元素集合，而通过将第一16×16变换矩阵应用于与4×4信号元素阵列相对应的残差元素集合来导出十六个关联元素的集合，然后通过将第二16×16变换矩阵应用于十六个关联元素的集合来导出十六个变换的关联元素的集合。第一16×16变换矩阵可以涉及1d关联变换，第二16×16变换矩阵可以涉及2d相关变换。

应当理解，关于任何一个实施例所述的任何特征可以单独使用，也可以与所述的其他特征组合使用，并且还可以与任何其他实施例或任何其他实施例的任何组合的一个或多个特征组合使用。此外，在不脱离所附权利要求限定的本发明的范围的情况下，也可以采用上面未描述的等同物和修改。