使用广义图形参数执行基于图形的变换的方法和设备与流程

本发明涉及一种基于图形的信号处理方法和装置，并且更加具体地，涉及用于使用优化功能处理用于执行基于图形的预测的信号的方法和装置。

背景技术：

大多数传统的离散-时间信号处理技术已经从处理和滤波模拟信号直接演进，并且因此受到数个常见的假定限制，像仅采样和处理规则组织的数据。视频压缩的领域是基于基本上相同的假定，但是仅被广义化成多维信号。

图形是用于描述各种应用领域中的数据的几何结构的有用类型的数据表示。基于图形表示的信号处理能够使用图形广义化如采样、滤波、傅里叶变换等等的概念，在图形中各个信号采样表示顶点并且通过具有正权的图形边表示信号关系。这将信号与其获取过程分离开，使得像采样率和序列的属性能够被图形的属性替代。因此，在许多的应用领域以及视频压缩的领域中要求有基于图形的更加有效的信号处理方法。

技术实现要素：

技术问题

基于图形的信号处理是广义信号处理的各种技术和模型的新的技术领域，并且在许多的应用领域中已经展现出满意效果。然而，在当压缩信号时应用基于图形的信号处理技术的情况下，为了产生更好的信号变换或者预测，对于编码器和解码器两者来说要求使用相同的图形(例如，顶点、边以及边权)。虽然使用更加复杂的和自适应的图形结构可以达到更加改进的信号压缩，但是对于编译图形的信息的开销变得相对较大。因此，存在开销变成大于其提供的增益的问题。因此，本发明要解决这样的问题。

另外，本发明是要提供一种用于使用传统的谱分解的广义化来计算基于图形的变换的新方法。另外，本发明是要通过这样的广义化更加地控制变换属性，并且要可适用于各种应用。

此外，本发明是要提出用于检测图形中的顶点和边并且用于编码或者解码残差信号的方法。

另外，本发明开发一种用于更好地编译预测残值的集合的基于图形的工具。

技术方案

本发明提供一种用于广义图形参数的定义的方法。

另外，本发明提供一种用于使用顶点参数集和边参数集中的至少一个获得图形信号的方法。

另外，本发明提供用于基于补偿函数和约束函数中的至少一个获得优化的变换核的方法。

另外，本发明提供一种用于通过应用为图形信号预先定义的补偿函数导出特征值函数的方法。

另外，本发明提供一种用于获得优化特征值函数的基于图形的变换核的方法。

另外，本发明提出一种用于检测图形中的顶点和边并且用于编码或者解码残差信号的方法。

技术效果

本发明被应用的基于图形的信号建模可能是强大的工具。实际上，本发明提供一种用于使用传统的谱分解的广义化来计算基于图形的变换的新方法，从而避免用于定义基于图形的变换的向量的明显间断性问题。

另外，本发明可以通过传统的谱分解的广义化来更好地控制变换属性，并且可以适用于各种应用。

另外，本发明可以通过自适应地使用在视频序列的不同部分中的信号的统计特征改进压缩效率。

另外，本发明可以通过传统的谱分解的广义化来避免编码图形信号所要求的比特率的开销。

附图说明

图1示出根据本发明的一个实施例的用于编码视频信号的编码器的示意性的框图。

图2示出根据本发明的一个实施例的用于解码视频信号的解码器的示意性的框图。

图3示出根据本发明被应用的实施例的用于在视频帧内的8×8块中建模统计关系的图形的示例。

图4示出作为本发明被应用的实施例的表示权分布的两个形状的图形。

图5示用于描述作为本发明被应用的实施例的基于1维图形和2维图像获得基于图形的变换矩阵的过程的图。

图6图示作为本发明被应用的实施例的用于处理基于图形的信号的编码器的示意性的框图。

图7图示作为本发明被应用的实施例的处理基于图形的信号的解码器的示意性的框图。

图8图示作为本发明被应用的实施例的基于图形的变换单元的内部框图。

图9是用于描述作为本发明被应用的实施例的基于广义图形参数和补偿函数计算被优化的变换矩阵的过程的流程图。

图10是用于描述作为本发明被应用的实施例的使用广义参数集获得基于图形的变换核的过程的流程图。

具体实施方式

本发明提供一种用于使用基于图形的变换解码视频信号的方法，包括：接收包括图形参数集的广义图形信号；基于图形参数集和预先确定的补偿函数获得变换单元的基于图形的变换核；以及使用基于图形的变换核解码变换单元。

另外，在本发明中，图形参数集包括被表示为v维向量的顶点参数集和被表示为vxv矩阵的边参数集中的至少一个。

另外，在本发明中，基于广义图形信号产生预先确定的补偿函数。

另外，在本发明中，通过基于图形参数集和预先确定的补偿函数的优化函数获得基于图形的变换核。

另外，在本发明中，其中优化函数是由用于顶点参数集的第一补偿函数分量和用于边参数集的第二补偿函数分量的总和组成，并且其中基于图形的变换核指示其中优化函数最小的值。

另外，本发明提供一种基于广义图形信号执行基于图形的变换的方法，包括：确定包括顶点参数集和边参数集中的至少一个的图形参数；基于图形参数产生广义图形信号；基于图形参数生成补偿函数和约束函数中的至少一个；基于补偿函数和约束函数中的至少一个和广义图形信号生成优化函数；获得其中优化函数最小的优化的基于图形的变换核；以及使用优化的基于图形的变换核执行用于变换单元的变换。

另外，本发明提供一种用于使用基于图形的变换解码视频信号的装置，该装置包括：熵解码单元，该熵解码单元被配置成，接收包括图形参数集的广义图形信号；和逆变换单元，该逆变化单元被配置成，基于图形参数集和预先确定的补偿函数获得变换单元的基于图形的变换核，并且使用基于图形的变换核解码变换单元。

另外，本发明提供一种用于使用广义图形信号执行基于图形的变换的装置，包括：图形信号生成单元，该图形信号生成单元被配置成，确定包括顶点参数集和边参数集中的至少一个的图形参数，并且基于图形参数产生广义图形信号；变换矩阵获得单元，该变换矩阵获得单元被配置成，基于图形参数生成补偿函数和约束函数中的至少一个，基于补偿函数和约束函数中的至少一个和广义图形信号生成优化函数，并且获得其中优化函数最小的优化的基于图形的变换核；以及变换执行单元，该变换执行单元被配置成，使用优化的基于图形的变换核执行用于变换单元的变换。

用于发明的模式

在下文中，参考附图描述依照本发明的实施例的示例性元件和操作，然而，应当注意的是，参考附图所描述的本发明的元件和操作仅作为实施例被提供，并且本发明的技术精神及核心配置和操作不限于此。

此外，本说明书中使用的术语是现在被广泛使用的常见术语，但是在特殊情况下，使用由本申请人随机选择的术语。在这种情况下，在对应部分的详细描述中对对应术语的意义进行清楚的描述。因此，应当注意的是，本发明不应该被解释为仅基于在本说明书的对应描述中使用的术语的名称，并且本发明应该通过检查甚至对应术语的意义来解释。

此外，在本说明书中提出的实施例针对视频信号处理，但是本发明不应仅基于视频信号处理来被解释，并且可以适用于处理一般的基于图形的信号的方法。

此外，本说明书中使用的术语是被选择来描述本发明的常见术语，但是如果存在具有类似意义的这些术语，则可以用其他术语替换，以便于进行更合适的分析。例如，可以在每个编译过程中适当地替换和解释信号、数据、样本、图片、帧和块。

通过在视频序列的不同部分中应用自适应修改信号的统计特征的线性变换，压缩效率可以被改进。一般的统计方法已经被尝试这样的目标，但是它们导致限制的结构。本发明介绍作为建模用于视频压缩的视频统计特征的更加有效的方法的基于图形的信号处理技术。

为了简化数学分析并且使用从图形理论已知的结果，为基于图形的信号处理而开发的大多数应用使用不具有自环的无方向图形(即，本身不存在连接结点的边)，并且仅在各个图形边中以非负的边建模。

这样的方案可以成功地应用于用信号发送很好定义的间断性、锐边或者深度图像的图像。图形对应于图像中的n²个像素块，并且视频应用通常要求用于2n²或者4n²非负边权的传输开销。在图形被定义之后，通过计算图形拉普拉斯矩阵的谱分解可以引入用于编译或者预测的正交变换。例如，通过谱分解，本征向量和本征值可以被获得。

本发明提供一种用于修改使用传统的谱分解的新的广义化来计算基于图形的变换的过程的新方法。在此，从图形信号获得的变换可以被定义为基于图形的变换(在下文中，gbt)。例如，当在构造tu的像素之间的关系信息以图形被表示时，从图形获得的变换可以被称为gbt。

可以基于已经描述所期待的属性的图形边参数和图形顶点参数的附加的集合获得本发明被应用的谱分解的一般形式。通过本发明的这样的实施例，可以很好地控制变换属性，并且可以避免定义变换的向量的明显间断性的问题。在下文中，将会详细地描述本发明的实施例。

图1示出根据本发明的一个实施例的对视频信号进行编码的编码器的示意框图。

参考图1，编码器100可以包括图像分段单元110、变换单元120、量化单元130、逆量化单元140、逆变换单元150、滤波单元160、dpb(解码图片缓冲器)170、帧间预测单元180、帧内预测单元185和熵编码单元190。

图像分段单元110可以将输入到编码器100的输入图像(或图片、帧)划分成一个或多个处理单元。例如，处理单元可以是编译树单元(ctu)、编译单元(cu)、预测单元(pu)或变换单元(tu)。

然而，所述术语仅用于本公开的图示的方便。本发明不限于术语的定义。在本说明书中，为了图示的方便，术语“编译单元”被用作在对视频信号进行编码或者解码的过程中使用的单元。然而，本发明不限于此。可以基于本公开的内容适当地选择另一处理单元。

编码器100可以通过从输入图像信号减去从帧间预测单元180或帧内预测单元185输出的预测信号来生成残差信号。可以将所生成的残差信号发送到变换单元120。

变换单元120可以对残差信号应用变换技术以产生变换系数。可以对具有相同大小的正方形的像素块或者对除正方形以外的可变大小的块应用变换处理。

在本发明的实施例中，变换单元120可以使用广义图形参数获得图形信号。

在本发明的实施例中，变换单元120可以使用顶点参数集和边参数集中的至少一个获得图形，并且可以通过将预先定义的补偿函数应用于图形信号导出本征值函数。

在本发明的另一实施例中，变换单元120可以基于补偿函数和约束函数中的至少一个获得被优化的变换核。在这样的情况下，被优化的变换核可以是优化本征值函数的值。

量化单元130可以对变换系数进行量化，并且将量化系数发送到熵编码单元190。熵编码单元190可以对量化信号进行熵编码，然后将熵编码的信号作为比特流输出。

从量化单元130输出的量化信号可以用于生成预测信号。例如，量化信号可以分别经由回路中的逆量化单元140和逆变换单元150经受逆量化和逆变换以重建残差信号。可以将重建的残差信号添加到从帧间预测单元180或帧内预测单元185输出的预测信号以生成重建信号。

另一方面，在压缩过程中，可以通过不同的量化参数来对相邻块进行量化，使得可能发生块边界的劣化。这个现象被称作块伪影。这是用于评估图像质量的重要因素之一。可以执行滤波处理以减小这种劣化。使用滤波处理，可以消除块劣化，并且同时，可以减小当前图片的误差，从而改进图像质量。

滤波单元160可以对重建信号应用滤波，然后将滤波的重建信号输出到再现装置或解码图片缓冲器170。可以将发送到解码图片缓冲器170的滤波的信号用作帧间预测单元180中的参考图片。以这种方式，在图片间预测模式下将滤波的图片用作参考图片，不仅可以改进图片质量，而且可以提升编译效率。

解码图片缓冲器170可以存储滤波的图片以用作帧间预测单元180中的参考图片。

帧间预测单元180可以参考重建图片来执行时间预测和/或空间预测以去除时间冗余和/或空间冗余。在这种情况下，用于预测的参考图片可以是在先前的编码/解码中在基于块经由量化和逆量化而获得的变换的信号。因此，这可以导致块伪影或边缘振荡伪影。

因此，为了解决由于信号的不连续或量化而导致的性能下降，帧间预测单元180可以使用低通滤波器在子像素基础上对像素之间的信号进行插值。在这种情况下，子像素可以意指通过应用插值滤波器生成的虚拟像素。整数像素意指存在于重建图片中的实际像素。插值方法可以包括线性插值、双线性插值和维纳(wiener)滤波器等。

可以对重建图片应用插值滤波器以提升预测的准确性。例如，帧间预测单元180可以对整数像素应用插值滤波器以生成插值像素。帧间预测单元180可以使用由插值像素组成的插值块作为预测块来执行预测。

帧内预测单元185可以通过参考在当前要编码的块附近的样本来预测当前块。帧内预测单元185可以执行以下过程以执行帧内预测。首先，帧内预测单元185可以准备生成预测信号所需的参考样本。然后，帧内预测单元185可以使用所准备的参考样本来生成预测信号。此后，帧内预测单元185可以对预测模式进行编码。这时，可以通过参考样本填充和/或参考样本滤波来准备参考样本。因为参考样本已经历预测和重建过程，所以可能存在量化误差。因此，为了减小这些误差，可以针对用于帧内预测的每个预测模式执行参考样本滤波处理。

经由帧间预测单元180或帧内预测单元185生成的预测信号可以用于生成重建信号或者用于生成残差信号。

图2示出依照本发明的一个实施例的用于对视频信号进行解码的解码器的示意框图。

参考图2，解码器200可以包括熵解码单元210、逆量化单元220、逆变换单元230、滤波单元240、解码图片缓冲器(dpb)250、帧间预测单元260和帧内预测单元265。

可以使用再现装置来再现从解码器200输出的重建视频信号。

解码器200可以接收从如图1中所示的编码器输出的信号。可以经由熵解码单元210对所接收到的信号进行熵解码。

逆量化单元220可以使用量化步长信息来从熵解码的信号获得变换系数。在这种情况下，所获得的变换系数可以与如参考图1在上面所描述的变换单元120的操作相关联。

逆变换单元230可以对变换系数进行逆变换以获得残差信号。

可以通过将所获得的残差信号添加到从帧间预测单元260或帧内预测单元265输出的预测信号来生成重建信号。

滤波单元240可以对重建信号应用滤波并且可以将滤波的重建信号输出到再现装置或解码图片缓冲器单元250。可以将发送到解码图片缓冲器单元250的滤波的信号用作帧间预测单元260中的参考图片。

在此，针对编码器100的滤波单元160、帧间预测单元180和帧内预测单元185的详细描述可以分别同等地应用于解码器200的滤波单元240、帧间预测单元260和帧内预测单元265。

图3示出根据本发明被应用的实施例的被用于在视频帧的8×8块中建模统计关系的图形的示例。

已经从直接处理和滤波模拟信号开发了离散-时间信号处理技术，并且因此，受到诸如仅采样和处理规则组织的数据的少许常见假定的限制。

基本上，视频压缩领域是基于相同的假定，但是已经针对多维信号广义化。基于图形表示的信号处理广义化诸如采样、滤波以及傅里叶变换的概念，使用通过各个信号采样表示顶点的图形，并且从通过具有正权的图形边表示信号关系的传统方案开始。这完全隔离了信号与其获取过程，并且因此，诸如采样率和序列的属性被完全替换成图形的属性。因此，可以通过数个特定的图形模型来定义图形表示。

为了表示在数据值之间的实证连接，通常，本发明仅具有无向简单图形和无向边。在此，无向简单图形可以意指不具有自环或者多边的图形。

当具有为各个边分配的权的无向简单图形被称为g时，可以通过如等式1中表示的三元组描述无向简单图形g。

[等式1]

在此，v表示v个图形顶点集，ε表示图形边集，并且w表示被表示为vxv矩阵的权。在此，权w可以被表示为下面的等式2。

[等式2]

wij＝wj，i≥0

wi，j表示边(i，j)的权，wj，i并且表示边(j，i)的权。当不存在连接顶点(i，j)的边时，wi，j＝0。例如，在假定不存在自环的情况下，始终有wi，i＝0。

对于具有边权的无向简单图形的特定情况，表示被部分地重叠。这是因为矩阵w包括图形的所有类型的信息。因此，在本发明中，在下文中，图形被表示为g(w)。

同时，参考图3，本发明提供可以被用于处理图像或者视频中的8x8个像素块的图形类型的两个实施例。各个像素与图形顶点有关，并且像素值变成图形顶点的值。

图形边可以意指连接图形顶点的线。图形边被用于表示信号内的某个类型的统计依赖关系，并且在这样的情况下，正权可以表示锐度。例如，各个顶点可以被连接到所有其它的顶点，并且0的权可以被分配给连接没有相互耦合或者弱耦合的顶点的边。然而，为了简化表示，具有0的权的边可以被完全去除。

作为本发明的另一实施例，取决于信号属性可以预先配置连接图形顶点的边。例如，对于音频信号顶点可以被排列在1维阵列上、对于图像排列在2维阵列上、以及对于视频帧排列在3维阵列上。在这样的情况下，对于3维阵列，时间轴可以是第三维。例如，在图3(a)中示出的图形中，图形边可以被定义使得各个顶点可以被连接到最近的4个相邻的顶点。然而，块边可以被不同地处理。另外，在图3(b)中示出的图形中，可以定义各个顶点被连接到最近的8个相邻的顶点。

图4示出作为本发明被应用的实施例的表示权分布的两个形状的图形。

图形的顶点值是基于信号测量的独立变量(通常，被建模为任意变量)，但是被要求根据信号的一部分的属性选择边权。图4示出表示用于图形边的不同线的边权的两个示例性图形。例如，粗线可以表示w＝1的权，并且细线可以表示w＝0.2的权。

图4(a)中示出的图形表示沿着直线具有“弱链”的情况，并且表示仅具有两个边权的情况。在此，“弱链”意指具有相对小的边权。

实际上这通常在基于图形的图像处理中使用，并且这样的构造可以表示在图像的边和在不同侧之间的像素统计之间的差异。

图4(b)表示覆盖不规则的区域的边权的分布。本发明是要提供一种用于使用这样的边权的分布图形处理信号的方法。

图5是描述作为本发明被应用的实施例的基于1维图形和2维图形获得基于图形的变换矩阵的过程的图。

作为本发明的实施例，可以使用图5描述可以被用于处理图像中的像素块的图形类型。例如，图5(a)示出对应于像素块中的各条线的1维图形，并且图5(b)示出对应于像素块的2维图形。

图形顶点与像素块的各个像素有关，并且图形顶点的值可以被表示为像素值。并且，图形边可以意指连接图形顶点的线。图形边被用于表示信号中的某个类型的统计依懒性，并且表示其锐度的值可以被称为边权。

例如，图5(a)示出1维图形，0、1、2以及3表示各个顶点的位置，并且w0、w1和w2表示在顶点之间的边权。图5(b)示出2维图形，并且aij(i＝0，1，2，3，j＝0，1，2)和bk1(k＝0，1，2，1＝0，1，2，3)表示在顶点之间的边权。

各个顶点可以被连接到所有其它的顶点，并且0的权可以被分配给连接没有相互耦合或者弱耦合的顶点的边。然而，为了简化表示，具有0的权的边可以被完全去除。

像素之间的关系信息可以被表示为当各个像素被映射到图形的顶点时是否在像素和边权之间存在边。

在这样的情况下，通过下面的过程可以获得gbt。例如，编码器或者解码器可以从视频信号的目标块获得图形信息。从被获得的图形信息，拉普拉斯矩阵l可以被获得，如下面的等式3中所表示。

[等式3]

l＝d-a

在上面的等式3中，d表示度矩阵。例如，度矩阵可以意指包括各个顶点的度信息的对角线矩阵。a表示通过权表示与相邻的像素的互连(边)的相邻矩阵。

并且，关于拉普拉斯矩阵l，可以通过执行特征分解获得gbt核，如下面的等式4中所表示。

[等式4]

l＝uλu^t

在上面的等式4中，l意指拉普拉斯矩阵l，u意指特征矩阵，并且u^t意指u的转置矩阵。在等式4中，特征矩阵u可以提供专用于适合于相对模型的信号的基于图形的傅里叶变换。例如，满足等式4的特征矩阵u可以意指gbt核。

图6图示作为本发明被应用的实施例的用于处理基于图形的信号的编码器的示意性的框图。

傅里叶变换或者离散傅里叶变换是用于信号处理的基本工具。也存在图形傅里叶变换。通常，对于数个特定图形同等地应用这样的变换，但是可以提供可以被应用于本发明的各种应用的更宽地广义形状。在本发明被应用的实施例中，图形可以提供用于信号属性的洞察力。为了定义图形的傅里叶变换，可以通过对应于g(w)的度矩阵来表示本发明。在此，度矩阵是包括各个顶点的度的信息的对角线矩阵，并且可以被定义为下面的等式5。例如，度可以意指被连接到顶点的侧的数目。

[等式5]

图形拉普拉斯矩阵l＝d-w，并且因此，图形拉普拉斯矩阵li，j如下面的等式6所表示。

[等式6]

在这样的情况下，当矩阵t是图形拉普拉斯矩阵变换时，矩阵t如下面的等式7所表示。

[等式7]

t(w)＝u^t

在此，u表示使l对角化的特征矩阵，并且l如下面的等式8中所表示。

[等式8]

l＝uλu^-1＝uu^t

并且，正交矩阵满足下面的等式9。

[等式9]

u^t＝u^-1

基于上面的定义，特征矩阵u的列包括l的特征向量，并且l的特征向量可以如下面的等式10所表示。

[等式10]

λ＝diag(λ)，

通常，特征向量没有被定义为特定的形状。然而，根据本发明的目的，因为l是对称的，所以应考虑所有的特征向量是实值，并且分解中的至少一个可以存在。这可以被应用于满足等式8的所有矩阵。

在本发明被应用的数个应用中，可以从如下面的等式11所表示的归一化的拉普拉斯矩阵的谱分解获得变换矩阵。

[等式11]

为了定义傅里叶变换，图形拉普拉斯矩阵l可以被表示为下面的等式12，并且对于图形拉普拉斯矩阵l的特征向量，本发明可以获得下面的等式13。

[等式12]

[等式13]

在此，λk表示图形拉普拉斯矩阵l的特征值。

在本发明中，在以升序区分特征值的情况下，上面的等式可以意指对应的特征向量定义增加求和的图形顶点值，在该求和中对于方差应用加权。在一般的信号处理中，通过增加的频率的正弦波可以满足这样的属性。另外，这样的属性可以被用于广义化在对应于拉普拉斯特征值的基于图形的变换的频率概念。

通过数个其它的算法，例如，jacobi、givens、householder方法等等，可以有效地计算谱分解。然而，在基于图形的信号处理中，本发明要考虑使用表示优化函数的下面等式15中的瑞利商(rayleighquotient)特征向量从而可以被计算为{u1，u2，...，uv}。

[等式14]

[等式15]

在此，s.t.(经历)以及其后的是表示等式15是在用于优化问题的约束的集合的条件下。

另外，根据本发明，可以基于下面的等式16获得归一化的特征值。

[等式16]

s.t.h^th＝1，

根据本发明，可以使用等式12获得诸如下面的等式17的可替选的形式。

[等式17]

s.t.h^th＝1，

在如上面的等式17中所表示的优化函数的公式化中的主要困难是，其与众所周知的理论和解决方法有关，但是非常限制性的。当考虑找到用于信号的优化的变换的问题时，可以通过改变图形的非负权来获得。例如，当图形建模与信号处理的边检测相耦合时，本发明可以根据良好定义的边而具有大的偏差。然而，在边模糊或者位置不能够被精确确定的情况下，要求更加精细的控制。

在描述本发明被应用的图形变换中，不要求使用通过应用加权的等式12的方差的求和。在根据本发明改变图形参数的一般定义的情况下，在一个方面中众所周知的属性丢失，但是在另一方面中出现能设计更加适合于特定应用的变换的性能。

因此，本发明的另一实施例提供一种用于广义化通过表示优化函数的等式17的序列定义的图形有关的计算的方法。在下面的实施例中，将会通过具体示例描述用于广义化变换等式地方法。

首先，在本发明中，要求广义图形参数的定义。“a”个顶点参数集可以被定义，如等式18中所表示。在这样的情况下，“a”个顶点参数集可以被表示为v维向量。

[等式18]

v⁽¹⁾，v⁽²⁾，...，v^(a)，

并且，“b”个边参数集可以被定义，如下面的等式19中所表示，并且这可以被表示为vxv矩阵。

[等式19]

e⁽¹⁾，e⁽²⁾，...，e^(b)，

基于上面的等式18和等式19，在本发明中，图形信号可以被定义为下面的等式20。

[等式20]

在压缩应用中，为了有效地表示图形参数，编码比特的数目是非常重要的因素，但是在本发明中可以不考虑。

接下来，补偿函数集可以被定义为等式21。在此，补偿函数表示用于解决约束优化问题的一种算法。

[等式21]

在此，当存在其中可变向量x应被满足的某个约束函数时，满足所有约束函数的x被称为可行的，并且在这样的情况下，可行点的集合被称为可行区域。在不具有约束函数的优化问题的情况下，可行区域变成整个

本发明被应用的补偿函数pk可以被表示为下面的等式22。

[等式22]

pk(h；v⁽¹⁾，v⁽²⁾，…，v^(a)；e⁽¹⁾，e⁽²⁾，…，e^(b)).

另外，如等式23中所表示的，其可以是被定义的包括c1，c2，...，cv维的约束函数的v个向量函数集。

[等式23]

使用上面的等式18至23的新定义，用于获得优化的变换矩阵的优化函数可以被定义为下面的等式24。基于等式24的优化函数，优化的变换核可以被获得。

[等式24]

s.t.h^th＝1，

sk(u1，u2，...，uk-1，h；v⁽¹⁾，v⁽²⁾，…，v^(a))≥0.

在此，uk可以表示优化目标函数pk()的优化值，例如，可以意指被应用于本发明的优化的图形变换核。并且，“s.t.”是“经历”的首字母缩略词，并且表示其遵循用于优化函数的约束公式。可以对于k＝1，2，...，v顺序地计算优化的图形变换核的列uk。

虽然本发明被应用的等式24被表示以覆盖大多数一般情况，如下面的实施例中所示，在实践应用中约束函数不是必要的。并且，相同的补偿函数可以被重复地使用。

可以仅针对顶点值定义要计算的补偿函数。并且，可以使用如下面的等式25中表示的补偿函数计算在相同维度中的参数，并且对于边值差，可以使用如等式26中所表示的补偿函数。

[等式25]

[等式26]

基于等式25和等式26，可以导出下面等式27的形状的优化函数。

[等式27]

s.t.h^th＝1，

包括顶点补偿函数和指数α和b的上面的等式27的简单广义化可以是如对应于a＝b＝1的等式28中所表示的特定情况。

[等式28]

s.t.h^th＝1，

同时，参考图6，本发明被应用的编码器600包括基于图形的变换单元610、量化单元620、逆量化单元630、逆变换单元640、缓冲器650、预测单元660以及熵编码单元670。

编码器600接收视频信号，并且通过从视频信号减去从预测单元660输出的预测信号生成预测误差。产生的预测误差被发送到基于图形的变换单元610，并且基于图形的变换单元610将变换方案应用于预测误差，从而生成变换系数。在这样的情况下，基于图形的变换单元610可以计算通过上面的等式24、等式27或者等式28获得的基于图形的变换矩阵，并且可以使用其执行变换。另外，基于图形的变换单元610可以执行在本说明书中描述的实施例。

作为本发明被应用的另一实施例，基于图形的变换单元610可以通过将通过上面的等式24、等式27或者等式28获得的基于图形的变换矩阵与从上面的图1的变换单元120获得的变换矩阵进行比较选择更加适当的变换矩阵。

量化单元620可以通过量化产生的变换系数将量化的系数发送到熵编码单元670。

熵编码单元670执行用于量化的信号的熵编码并且输出熵编码的信号。

从量化单元620输出的量化的信号可以被用于产生预测信号。例如，在编码器600的回路中的逆量化单元630和逆变换单元640可以执行用于量化的信号的逆量化和逆变换使得通过预测误差恢复量化的信号。通过将恢复的预测误差添加到通过预测单元660输出的预测信号可以产生恢复的信号。

缓冲器650可以存储恢复的信号用于未来参考。

预测单元660可以使用存储在缓冲器650中的信号生成预测信号。在这样的情况下，本发明与有效地使用锚图像内的区域预测目标图像内的区域有关。在此，锚图像可以意指参考图像、参考图片或者参考帧。可以通过估计量化率失真成本或者预测误差内的失真的均方差确定效率。

本发明提出用于区分图形内的顶点和边并且编码或者解码残差信号的方法。例如，根据本发明的实施例，通过基于图形的变换单元610可以执行各种实施例。基于图形的变换单元610可以被包括在编码器600或者解码器700中。

图7图示作为本发明被应用的实施例的处理基于图形的信号的解码器的示意性的框图。

在图7中示出的解码器700接收从编码器600输出的信号。

熵解码单元710执行对于接收到的信号的熵解码。逆量化单元720基于量化步长大小的信息从熵检测的信号中获得变换系统。

逆变换单元730通过执行用于变换系统的逆变换获得预测误差。在这样的情况下，逆变换可以意指用于从编码器600获得的基于图形的变换的逆变换。

通过将获得的预测误差添加到从预测单元750输出的预测信号产生恢复的信号，这在恢复单元(未示出)中执行。

缓冲器740存储恢复的信号用于预测单元750的未来参考。

预测单元750基于先前恢复的被存储在缓冲器740中的信号和本发明被应用的预测向量生成预测信号。

在本发明中，基于图形参数获得的基于图形的信息可以在编码器600或者解码器700中被使用。

图8图示作为本发明被应用的实施例的基于图形的变换单元的内部框图。

参考图8，基于图形的变换单元610可以包括图像参数确定单元611、图形信号生成单元613、补偿函数生成单元615、变换矩阵计算单元617以及变换执行单元619。

图形参数确定单元611可以提取对应于视频信号或者残差信号的目标单元的图形内的图形参数。例如，图形参数可以包括顶点参数和边参数中的至少一个。顶点参数可以包括顶点位置和顶点数目中的至少一个，并且边参数可以包括边权值和边权值数目中的至少一个。另外，图形参数可以被定义为预先确定的数目的集合。

根据本发明的实施例，从图形参数确定单元611中提取的图形参数可以被表示为广义形式。例如，“a”个顶点参数集可以被定义，如上面的等式18中所表示的。在这样的情况下，“a”个顶点参数集可以被表示为v维向量。并且，“b”个边参数集可以被定义，如上面的等式19中所表示，并且这可以被表示为vxv矩阵。

图形信号生成单元613可以基于从图形参数确定单元611提取的图形参数生成图形信号。在这样的情况下，图形信号可以被定义为上面的等式20。

基于图形的变换单元610可以定义补偿函数集以便于解决约束优化问题。并且因此，补偿函数生成单元615可以生成用于计算优化变换矩阵的补偿函数。例如，补偿函数生成单元615可以定义如上面的等式21中所表示的补偿函数集。

根据本发明的实施例，可以仅针对顶点值定义要计算的补偿函数。并且，使用如上面的等式25中所表示的补偿函数可以计算相同维度中的参数，并且对于边值差，可以使用如在等式26中所表示的补偿函数。

变换矩阵计算单元617可以基于广义图形参数和补偿函数中的至少一个生成优化函数，并且可以计算满足优化函数的优化的变换矩阵。例如，基于上面的等式25和26，变换矩阵计算单元617可以导出如在上面的等式27中所表示的优化函数。

根据本发明的实施例，通过使用基于广义图形参数和补偿函数的图形信号，可以产生用于获得优化的变换矩阵的优化函数。例如，优化函数可以被定义为上面的等式24。

根据本发明的实施例，基于用于顶点的补偿函数和边值差中的至少一个的补偿函数可以定义优化函数。

变换执行单元619可以使用从变换矩阵计算单元617获得的优化的变换矩阵执行变换。

与上面的图8有关，在本说明书中，将会通过为各个函数进行细分来描述执行基于图形的变换的过程，但是本发明不限于此。例如，基于图形的变换单元610可以主要包括图形信号生成单元和变换单元。在这样的情况下，可以在图形信号生成单元中执行图形参数确定单元611的功能，并且可以在变换单元中执行补偿函数生成单元615、变换矩阵计算单元617以及变换执行单元619的功能。另外，变换单元的功能可以被划分成变换矩阵计算单元和变换执行单元。

图9是用于描述作为本发明被应用的实施例的基于广义图形参数和补偿函数计算优化的矩阵的过程的流程图。

编码器可以从接收到的视频信号生成预测信号，并且可以通过从视频信号中减去预测信号生成残差信号。对残差信号执行变换。在这样的情况下，可以通过应用基于图形的信号处理技术执行基于图形的变换。

编码器可以提取对应于视频信号或者残差信号的目标单元(例如，变换单元)的图形中的图形参数(步骤，s910)。例如，图形参数可以包括顶点参数集和边参数集中的至少一个。在此，图形参数可以被表示为广义形式。例如，“a”个顶点参数集可以被表示为v维向量，如上面的等式18中所表示的。并且，“b”个边参数集可以被表示为vxv矩阵，如上面的等式19中所表示的。在基于图形的变换单元610中，特别地，在图形参数确定单元611中可以执行此。

编码器可以基于广义图形参数生成广义图形信号(步骤，s920)。这可以在基于图形的变换单元610中，特别地，在图形信号生成单元613中执行。

同时，编码器可以生成补偿函数和约束函数中的至少一个以便于解决约束优化问题(步骤，s930)。例如，基于广义图形参数，补偿函数集和约束函数集中的至少一个。这可以在基于图形的变换单元610中，特别地，在补偿函数生成单元615中执行。在此，可以基于广义图形信号生成补偿函数。

并且，补偿函数可以包括用于顶点参数集的第一补偿函数分量和用于边参数集的第二补偿函数分量。在这样的情况下，优化函数可以是由用于顶点参数集的第一补偿函数分量和用于边参数集的第二补偿函数分量的总和组成。在此，顶点参数集可以被表示为v维向量，并且边参数集可以被表示为vxv矩阵。

编码器可以基于补偿函数和约束函数中的至少一个和广义图形信号生成优化函数(步骤，s940)，并且可以获得满足优化函数的优化变换矩阵(例如，优化变换核)(步骤，s950)。这可以在基于图形的变换单元610中，特别地，在变换矩阵计算单元617中执行。

基于计算的被优化的变换矩阵，可以执行用于目标单元的变换(步骤，s960)。

图10是用于描述作为本发明被应用的实施例的使用广义参数集获得基于图形的变换核的过程的流程图。

本发明被应用的解码器可以接收包括图形参数集的广义图形信号(步骤，s1010)。在此，图形参数集可以包括被表示为v维向量的顶点参数集和被表示为vxv矩阵的边参数集中的至少一个。图形参数集可以被发送到语法元素，或者可以从解码器中的其它信息导出。

解码器可以基于图形参数集和预先定义的补偿函数获得变换单元的基于图形的变换核(步骤，s1020)。在此，预先定义的变换函数可以是基于广义图形信号而产生的。并且，可以通过使用优化函数计算基于图形的变换核，并且优化函数是以图形参数集和预先定义的补偿函数为基础。

另外，解码器可以使用获得的基于图形的变换核解码变换单元(步骤，s1030)。在这样的情况下，可以通过基于图形参数集和预先定义的补偿函数的优化函数计算基于图形的变换核。另外，优化函数可以是由用于顶点参数集的第一补偿函数分量和用于边参数集的第二补偿函数分量的总和组成。基于图形的变换核可以指示其中优化函数最小的值。

正因如此，通过提供用于使用图形参数的广义化计算基于图形的变换的新方法，本发明可以避免用于定义基于图形的变换的向量的明显间断性问题，可以更好地控制变换属性，并且可以适用于各种应用。此外，可以避免解码图形信号所要求的比特率的过多的开销。

如上所述，可以在处理器、微处理器、控制器或者芯片上实现在本发明中解释的实施例。例如，可以在计算机、处理器、微处理器、控制器或者芯片上实现和执行在图1、图2、图6、图7以及图8中解释的功能模块。

如上所述，应用本发明的解码器和编码器可以被包括在多媒体广播发送/接收设备、移动通信终端、家庭影院视频设备、数码影院视频设备、监视相机、视频聊天设备、诸如视频通信的实时通信设备、移动流设备、存储介质、录像机、vod服务提供设备、互联网流服务提供设备、三维3d视频设备、电话会议视频设备以及医疗视频设备中并且可以用于对视频信号和数据信号进行编译。

此外，可以以程序的形式产生应用本发明的解码/编码方法，所述程序将由计算机执行并且可以被存储在计算机可读记录介质中。具有根据本发明的数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括可由计算机系统读取的数据被存储在其中的所有类型的存储装置。例如，计算机可读记录介质可以包括bd、usb、rom、ram、cd-rom、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波(例如，通过互联网的传输)的形式实现的介质。此外，通过编码方法所生成的比特流可以被存储在计算机可读记录介质中或者可以通过有线/无线通信网络来发送。

工业适应性

已经出于说明性目的公开了本发明的示例性实施例，并且本领域的技术人员可以在所附权利要求中公开的本发明的技术精神和范围内改进、改变、替换或者添加各种其他实施例。