专利名称：对滤波器系数进行编码的制作方法
技术领域：
本发明一般地涉及视频编码和解码中的自适应帧内和帧间预测。本发明更具体地涉及帧内和帧间预测中对自适应滤波器的自适应滤波器系数进行编码。
背景技术：
通过使用之前的帧，可以使用对当前帧中像素值的预测来利用时间冗余性。像素 预测是诸如H. 261、H. 263、MPEG-4以及H. 264[1]的视频编码标准中的重要部分。在H. 264 中，存在两种像素预测方法，即帧内和帧间预测。帧内预测使用相同帧中之前所重构建的像 素，给出对当前将被编码的帧中的块的空间预测。帧间预测使用之前所重构建的帧中相应 但是发生位移的块(例如参考块)来给出对当前块的时间预测。帧间预测还可以使用两个 帧间预测的加权平均。然后将与原始块进行比较的预测误差进行变换编码和量化。然后可 以通过将预测与编码后的预测误差相加来生成重构建的帧。然后在将该帧存储于参考帧缓 存之前应用循环滤波器来减少编码伪像，以备随后帧间预测的使用。为了增加当前视频编码标准的编码效率，已经提出了用于帧间预测[2]或者循环 或后滤波[6]的自适应滤波器。在帧间预测中，对于每一个帧典型地使用几个子像素运动 特有的自适应滤波器。如果对于每个帧使用很多自适应滤波器系数，则将存在大量的开销 用于自适应滤波器系数的表示。典型地从自适应滤波器系数中减去与Wiener滤波器相对 应的参考自适应滤波器系数，以实现小的差分滤波器系数[2]。然后量化该差分滤波器系 数。在一些情况中[4]利用来自附近的子像素位置的经量化的差分滤波器系数之间的预 测。可以将自适应滤波器系数的上下文中的预测解释为对自适应滤波器系数的估计。对自 适应滤波器系数的预测[3，4，5]可以利用滤波器对称性。由于在编码器中确定自适应滤波器系数并且向解码器提供该自适应滤波器系数， 因此这添加了总比特率的开销。自适应滤波器系数对总比特率的相对开销取决于所使用的 实际比特率。对于低解析度视频来说，该开销可能非常高，大于10%。
发明内容
因此本发明的目标是减少由自适应滤波器系数弓I起的编码开销。在一种根据权利要求1将多个自适应滤波器系数编码为比特流的方法中实现该 目标。所述方法包括下列步骤将自适应滤波器系数熵编码为比特流，基于剩余的自适应滤 波器系数中的至少一个来确定对所述自适应滤波器系数的实例的预测，基于所述自适应滤 波器系数的实例与所述预测之间的差来确定预测误差。对所述多个自适应滤波器系数进行 熵编码的步骤包括对所述自适应滤波器系数的实例的预测误差进行熵编码，并且对剩余的 自适应滤波器系数进行熵编码。可以使用相同滤波器的其他系数的值来预测或者估计一个系数的值。将被用于预 测的特别良好的假设是未量化的自适应滤波器系数典型地应当总和为一，例如没有平均像 素值的放大。换言之，保持DC等级。如引用文献[7]中描述的，滤波器的DC增益等于滤波器系数之和。这通常是根据H. 264[1]的帧内和帧间预测中的情况。在该情况中，对象的像 素值的平均在连续视频帧中是相同的。同样在特定自适应滤波器中，可以利用使用了矩阵 表示的自适应滤波器系数的内部对称性。 在本发明的实施例中，所述方法应用于差分滤波器系数，由此所述方法还包括下 列步骤通过从相应的自适应滤波器系数中减去参考自适应滤波器系数，来确定所述差分 滤波器系数。参考自适应滤波器系数涉及H. 264或者根据标准或者视频编码比特流中定义 的任何其他滤波器，其中该自适应滤波器系数与滤波器相对应，该滤波器与具有共同的自 适应滤波器系数的参考滤波器相似，修改该滤波器以具有自适应特征。在本发明的实施例中，确定所述自适应滤波器系数的实例的预测的步骤包括确 定所述剩余的自适应滤波器系数之和，通过从常数中减去所述和来确定所述预测。所述常 数等于所述自适应滤波器的DC增益，并且所述DC增益等于所有自适应滤波器系数之和。在 差分滤波器系数的情况中，所述常数等于零。特别地，自适应滤波器系数之和典型地等于一这一事实用于预测一个或者几个自 适应滤波器系数。在本发明的实施例中，在具有至少一个对称轴的自适应滤波器系数的矩阵中布置 所述自适应滤波器系数，并且确定至少一个自适应滤波器系数的至少一个预测的步骤包 括将相应自适应滤波器系数绕所述矩阵的所述至少一个对称轴进行镜像的步骤。通过利用自适应滤波器系数之间的相关性，可以减少视频或图像编码中部署自适 应滤波器的开销。对于在具有自适应滤波器系数的相应滤波器矩阵中的垂直或者水平轴上 具有对称性的滤波器来说，对自适应滤波器系数的镜像是用于预测自适应滤波器系数的实 用工具。在本发明的另一个实施例中，在矩阵中布置所述自适应滤波器系数。确定所述自 适应滤波器系数的实例的预测的步骤包括将所述自适应滤波器系数的矩阵划分为多个子 矩阵，所述多个子矩阵的每一个具有自适应滤波器系数的子集合，针对所述子矩阵中的每 一个，使用不在所述子矩阵中的自适应滤波器系数，对在所述子矩阵中的自适应滤波器系 数进行预测；向具有所预测的自适应滤波器系数的子矩阵的每一个及其相关联的不在所述 子矩阵中的自适应滤波器系数应用成本函数，选择具有最低成本的所述子矩阵作为将被编 码的子矩阵，以及对所述选择的子矩阵的索引进行编码。将所述矩阵划分为子矩阵允许对可以一起预测的相关自适应滤波器系数进行最 优选择。通过预定义子矩阵，可以进行子矩阵的最优选择，该最优选择产生将被编码的比特 的最小成本。根据本发明的其他实施例，可以通过从滤波器矩阵中选择中心自适应滤波器系数 来构成子矩阵，所述中心自适应滤波器系数具有最大值。通过预测最大值，可以实现将被编 码的比特的最高节约。确定至少一个自适应滤波器系数的至少一个预测的步骤之前，对所述自适应滤波 器系数进行量化的步骤可以是对自适应滤波器系数进行编码的过程的一部分。本发明可以用于表示帧间和帧内编码中的自适应滤波器。在帧间编码中，可以用 于表示运动补偿的自适应滤波器。在帧内编码中，可以用于表示用于帧内预测的滤波器。在 帧内和帧间编码中，本发明都可以用于表示用于预滤波、后滤波以及循环滤波的自适应滤波器。可以将用于标识例如6个自适应系数的比特潜在地减少17%。使用与针对四分之一通用中间格式(QCIF)相同量的每像素自适应性，可以减少总的比特率大约2%。如 果使用2个自适应滤波器系数，则可以将用于表示所述自适应滤波器的比特数量减少大约 50%。还在一种对自适应滤波器系数进行编码的编码器中实现本发明的目标。所述编码 器包括第一接口装置，用于接收自适应滤波器系数；第二接口装置，用于输出编码后的自 适应滤波器系数的比特流；以及处理装置，分别可操作地连接到所述第一接口装置(401) 和所述第二接口装置。所述处理装置特别适于如上所述的方法及其实施例中的步骤。所述 编码器可以可选地具有第三接口，用于接收参考自适应滤波器系数，其中，使用根据本发明 的预测将差分滤波器系数编码为所述比特流。还在一种将编码的自适应滤波器系数的比特流解码为多个解码的自适应滤波器 系数的方法中实现该目标。所述方法包括下列步骤将所述比特流熵解码为自适应滤波器 系数，由此将所述比特流熵解码为自适应滤波器系数的步骤包括下列步骤对与所述自适 应滤波器系数的实例相对应的预测误差进行熵解码，对来自所述比特流的剩余的自适应滤 波器系数进行熵解码，从所述剩余的自适应滤波器系数的至少一个中确定所述自适应滤波 器系数的所述实例的预测，以及通过将所述预测误差与所述预测相加，恢复所述自适应滤 波器系数的所述实例。对所述比特流进行解码的所述方法使用与将所述自适应滤波器系数编码为所述 比特流的方法相同的预测自适应滤波器系数的方法。然而通过所述解码的预测误差与所述 预测相加以获得所述原始的自适应滤波器系数，所述预测的自适应滤波器系数用于重构建 所述实际自适应滤波器系数。在根据本发明进行解码的方法的另一个实施例中，自适应滤波器系数还可以是差 分滤波器系数，由此所述方法还包括通过将参考自适应滤波器系数与所述相应的差分滤波 器系数相加，来确定多个自适应滤波器系数的步骤。在根据本发明进行解码的方法的另一个实施例中，在具有至少一个对称轴的自适 应滤波器系数矩阵中布置所述自适应滤波器系数。确定至少一个自适应滤波器系数的至少 一个预测的步骤包括通过将相应的自适应滤波器系数绕所述矩阵的所述至少一个对称轴 进行镜像，来预测至少一个自适应滤波器系数的步骤。在本发明的实施例中，从至少一个所述剩余的自适应滤波器系数中确定所述自适 应滤波器系数的所述实例的预测的步骤包括确定所述剩余的自适应滤波器系数之和，通 过从常数中减去所述和来确定所述预测。所述常数等于所述自适应滤波器的DC增益。对 于差分滤波器系数来说，所述常数等于零。在根据本发明进行解码的方法的另一个实施例中，所述比特流包括子矩阵索引。 所述方法还包括对所述子矩阵索引进行解码，对来自与所述子矩阵索引相对应的子矩阵 中的至少一个预测误差进行解码，对不与所述子矩阵中的所述预测误差相对应的所述多个 自适应滤波器系数进行解码，从与所述预测误差相对应的所述多个自适应滤波器系数中确 定自适应滤波器系数的预测，以及从所述自适应滤波器系数的预测与所述相应的预测误差 来重构建自适应滤波器系数。
在根据本发明进行解码的方法的另一个实施例中，所述方法还包括对所述自适应 滤波器系数进行反量化的步骤。还在一种用于将比特流解码为自适应滤波器系数的解码器中实现本发明的目标。 所述解码器包括第一接口装置，用于接收所述比特流；第二接口装置，用于输出解码后的 自适应滤波器系数；以及处理装置，分别可操作地连接到所述第一接口装置和所述第二接 口装置(405)，特别适于执行如上所述的将编码的自适应滤波器系数的比特流解码为自适 应滤波器系数的方法中的步骤。在本发明的实施例中，所述解码器还包括与所述处理装置可操作地相连的第三接 口，用于接收参考自适应滤波器系数，其中使用根据本发明的预测，从所述比特流中解码差 分滤波器系数。
图Ia示出了根据本领域现有技术对自适应滤波器系数进行编码的过程的框图。图Ib示出了与图Ia的框图相对应，根据本领域现有技术对自适应滤波器系数进 行解码的过程的框图。图2a示出了根据本发明的实施例对自适应滤波器系数进行编码的过程的框图。图2b示出了与图2a的框图相对应，根据本发明的实施例对自适应滤波器系数进 行解码的过程的框图。图3a示出了根据本发明的示例实施例的对自适应滤波器系数进行编码的框图。图3b示出了与图3a的框图相对应，根据本发明的示例实施例的使用预测对自适 应滤波器系数进行解码的框图。图4a示出了根据本发明的实施例与图2a和3a相对应的用于执行对自适应滤波 器系数进行编码的过程的编码器的框图。图4b示出了根据本发明的实施例与图2b和3b相对应的用于执行对自适应滤波 器系数进行解码的过程的解码器的框图。
具体实施例方式在视频编码和解码中的帧间和帧内预测中，在帧间预测中将来自于之前的帧或者 在帧内预测中将来自于当前帧的已解码的像素用来建立经预测的像素块形式。将使用向量 代数的滤波或者滤波器算法用来从之前已解码的像素确定所预测的块。可以将自适应滤波 用于使得来取决于将被编码的帧的属性或者取决于帧的内容使用不同的滤波器策略成为 可能。自适应滤波器与标准滤波器的不同之处在于，在对视频帧编码的过程中确定自适应 滤波器的滤波器系数，而标准或者参考滤波器是由标准(例如H.264[l])预先确定的。为 此，视频编码器需要将自适应滤波器系数发送给相应的视频解码器，以使得使用相同的自 适应滤波器来获得正确地重新构建的视频帧成为可能。在自适应滤波中，将滤波器函数f应用于当前帧中像素值的块上，以得到滤波后 的像素值，如公式1中的示例所示，示出了具有半像素插值的滤波器
N-\M-\JJMP(k,l)= Σ Σ公式 1
/=0 y=o2I
其中，P(k，1)是在已滤波的块的第k行和第1列的像素，X是像素值的帧，F(i，j) 是在位置(i，j)处具有N行和M列的二维空间转移函数，Ic1和I1是对与像素值的帧中当前 块的位置相对应的已滤波的块进行定位的偏移量，int是整数截断函数。如[1]中所描述的，在帧间预测和循环滤波中，滤波发生在视频编码的编码循环 内。在帧间预测中，像素值的帧X是从与将被预测的当前块的时刻不同的另一个时刻之前 解码和重新构建的帧。该位置还是根据帧之间的运动的偏移量。在[2]中示出了使用具有 自适应滤波器的帧间预测的示例。在循环滤波中，像素值的帧X是针对帧间预测进行显示 和存储之前的当前重新构建的帧。然后，可以将该已被循环滤波的帧用于显示和帧间预测。在视频编码中的自适应后滤波中[6]，滤波在编码循环之外。在该示例中，像素值 的块X与可以用于帧间预测的重新构建的块相对应。然后优选地，将后滤波后的图像用于 显示视频。 在视频编码中，将涉及将被编码的视频帧的信息以及与如何执行编码和解码有关 的参数编码为比特流，可以解码该比特流以精确地重新构建视频帧。当使用自适应滤波时， 还需要将滤波器类型和自适应滤波器系数编码为比特流。这些自适应滤波器系数向比特流 添加了比特容量开销，从而潜在地降低了总的比特率。因此应当尽可能有效率地执行对自 适应滤波器系数的编码以及后续的解码。下面示出了在帧间预测的背景下自适应滤波器的示例，该示例类似于[5]中给出 的一个滤波器，但是更一般化
7丨 ο ο ο ο /7' ο/2ο ο /8 ο ο ο /3 /9 ο ο/= ο ο /10 Λ ο ο 公式2
0 / 0 0 /5 0 /,2 0 0 0 0 /6_其中f\，· · ·，f12是自适应滤波器系数。在图1中，示出了根据本领域现有技术对自适应滤波器系数进行编码的过程。在 发送至兼容的解码器之前，在编码器中可以将自适应滤波器101的自适应滤波器系数112 进行量化105、预测106以及熵编码109，以在编码视频帧的比特流110中进行发送。在预 测106中，可以基于来自其它自适应滤波器[4]的系数，对一些(量化的)自适应滤波器系 数107进行预测。通过在编码器和解码器中都使用对来自其它源的自适应滤波器系数的预 测或估计，可以省略对相应的实际自适应滤波器系数的发送，从而减少比特流110中的比 特容量开销。在本领域中，熵编码109是众所周知的，熵编码109被用于向符号分配唯一的前缀 或者码，从而通过符号的出现概率来确定该码的比特数量。熵编码的示例是Huffman编码、 依靠可变长度码(VLC)的编码以及上下文算法熵编码(CABAC)。量化步骤105(其中自适应滤波器系数可以假定的值的数量是有限的)是可选的， 然而正常情况下在被量化的系数的域中进行预测106。在公式3中示出了一个自适应滤波器系数fi的量化Ji = Signifi)*intiabsiff)*2B + O,5)公式 3其中，abs(fi)是fi的幅度，SigI^fi) ^fi的符号，B是用于量化&的幅度的比特数量。类似于在现有技术[2]中所进行的，作为附加步骤，可以通过从自适应滤波器系 数112中减去/移除103参考滤波器102的参考自适应滤波器系数，来构建差分滤波器系数 104。该参考滤波器可以是标准的H. 264滤波器[1]。在一般的示例中示出了该减法103， 参见公式4 D = F-R公式 4其中，D是包含差分滤波器系数的差分矩阵，F是自适应滤波器矩阵以及R是差分 滤波器矩阵。在公式5中的完整矩阵表示中
权利要求
一种将多个自适应滤波器系数(104、107、112)编码为比特流(110)的方法，所述方法包括下列步骤a)将自适应滤波器系数(104、107、112)熵编码(109)为比特流(110)；其特征在于，所述方法还包括下列步骤b)基于剩余的自适应滤波器系数(206)中的至少一个来确定(201)对所述自适应滤波器系数的实例(204)的预测(202)；c)基于所述自适应滤波器系数的实例(204)与所述预测(202)之间的差来确定(203)预测误差(205)；d)以及，对所述多个自适应滤波器系数(104、107、112)进行熵编码(109)的步骤包括对所述自适应滤波器系数的实例(204)的预测误差(205)进行熵编码(109)，并且对剩余的自适应滤波器系数(206)进行熵编码(109)。
2.根据权利要求1所述的方法，其中，所述自适应滤波器系数是差分滤波器系数 (104)，所述方法还包括下列步骤通过从相应的自适应滤波器系数(112)中减去参考自适 应滤波器系数(111)，来确定(103)所述差分滤波器系数(104)。
3.根据权利要求1或2所述的方法，其中，确定(201)对所述自适应滤波器系数的实例 (204)的预测(202)的步骤包括a)确定(301)剩余的自适应滤波器系数(206)之和(304)；b)通过从常数(303)中减去所述和(304)来确定所述预测(202)；c)其中，所述常数(303)等于所述自适应滤波器的DC增益，并且所述DC增益等于所有 自适应滤波器系数之和；或者d)对于根据权利要求2所述的差分滤波器系数来说，所述常数(303)等于零。
4.根据权利要求1至3中任一项所述的方法，其中，在矩阵中布置所述自适应滤波器 系数(104、107、112)，并且，确定(201)对所述自适应滤波器系数(104、107、112)的实例 (204)的预测(202)的步骤包括a)将所述自适应滤波器系数的矩阵划分为多个子矩阵，所述多个子矩阵的每一个具有 自适应滤波器系数的子集合；b)针对所述子矩阵中的每一个，使用不在所述子矩阵中的自适应滤波器系数，对在所 述子矩阵中的自适应滤波器系数进行预测；c)向具有所预测的自适应滤波器系数的子矩阵的每一个及其相关联的不在所述子矩 阵中的自适应滤波器系数应用成本函数；d)选择具有最低成本的子矩阵作为将被编码的子矩阵；e)对所选择的子矩阵的索引进行编码。
5.根据权利要求4所述的方法，其中，将所述自适应滤波器系数的矩阵划分为至少两 个子矩阵，所述至少两个子矩阵具有来自所述矩阵的中心部分的系数。
6.根据权利要求1或2所述的方法，其中，在具有至少一个对称轴的自适应滤波器系数 矩阵中布置所述自适应滤波器系数(104、107、112)，并且，确定(201)对所述自适应滤波器 系数的实例(204)的预测(202)的步骤包括绕所述矩阵的所述至少一个对称轴来对相应的 自适应滤波器系数进行镜像的步骤。
7.根据前述权利要求中任一项所述的方法，还包括在预测(106)自适应滤波器系数的步骤之前，对所述自适应滤波器系数(104、112)进行量化(105)的步骤。
8.一种对自适应滤波器系数(104、107、112)进行编码的编码器，所述编码器包括a)第一接口装置(401)，用于接收自适应滤波器系数(104、107、112)；b)第二接口装置(402)，用于输出编码后的自适应滤波器系数的比特流(110)；c)处理装置(403)，分别可操作地连接到所述第一接口装置(401)和所述第二接口装 置(402)，特别适于执行权利要求1-7中任一项所述的方法中的步骤。
9.根据权利要求8所述的编码器，还包括可操作地连接到所述处理装置(403)的第三 接口，用于接收参考自适应滤波器系数。
10.一种将编码后的自适应滤波器系数的比特流(110)解码为多个解码后的自适应滤 波器系数(116、118、120)的方法，所述方法包括下列步骤a)将所述比特流(110)熵解码(113)为自适应滤波器系数(114)；其特征在于，将所述比特流(110)熵解码为自适应滤波器系数的步骤包括下列步骤b)对与所述自适应滤波器系数的实例(212)相对应的预测误差(209)进行熵解码 (113)；c)对来自所述比特流(110)的剩余的自适应滤波器系数(211)进行熵解码；d)从所述剩余的自适应滤波器系数(211)的至少一个中确定(201)对所述自适应滤波 器系数的实例(212)的预测(210)；e)通过将所述预测误差(209)与所述预测(210)相加，恢复所述自适应滤波器系数的 实例(212)。
11.根据权利要求10所述的方法，其中，所述自适应滤波器系数(116、118)是差分滤波 器系数，所述方法还包括以下步骤通过将参考自适应滤波器系数(123)与相应的差分滤 波器系数相加(119)来确定自适应滤波器系数(120)。
12.根据权利要求10或11所述的方法，其中，从所述剩余的自适应滤波器系数(211) 的至少一个中确定(201)对所述自适应滤波器系数的实例(212)的预测(210)的步骤包 括a)确定(305)所述剩余的自适应滤波器系数(211)之和(308)；b)通过从常数(307)中减去(306)所述和(308)来确定所述预测(210)；c)其中，所述常数(307)等于所述自适应滤波器的DC增益；或者d)对于根据权利要求11所述的差分滤波器系数来说，所述常数(307)等于零。
13.根据权利要求10-12中任一项所述的方法，其中，所述比特流(110)包括子矩阵索 弓丨，所述方法还包括a)对所述子矩阵索引进行解码；b)对来自与所述子矩阵索引相对应的子矩阵中的至少一个预测误差进行解码；c)对不在所述子矩阵中的多个自适应滤波器系数进行解码；d)从与所述预测误差相对应的多个自适应滤波器系数中确定对自适应滤波器系数的 预测；e)从对所述自适应滤波器系数的预测与相应的预测误差来恢复自适应滤波器系数。
14.根据权利要求10-13中任一项所述的方法，其中，将所述自适应滤波器系数布置在 具有至少一个对称轴的自适应滤波器系数矩阵中，并且确定至少一个自适应滤波器系数的至少一个预测的步骤包括以下步骤通过绕所述矩阵的所述至少一个对称轴来对相应的自 适应滤波器系数进行镜像，来预测至少一个自适应滤波器系数。
15.根据权利要求10-14中任一项所述的方法，还包括对所述自适应滤波器系数(116) 进行反量化(117)的步骤。
16.一种用于将比特流(110)解码为自适应滤波器系数的解码器，所述解码器包括a)第一接口装置(404)，用于接收所述比特流(110)；b)第二接口装置(405)，用于输出解码后的自适应滤波器系数(120)；c)处理装置(406)，分别可操作地连接到所述第一接口装置(404)和所述第二接口装 置(405)，特别适于执行权利要求10-15中任一项所述的方法中的步骤。
17.根据权利要求16所述的解码器，还包括可操作地连接到所述处理装置(406)的第 三接口，用于接收参考自适应滤波器系数。
全文摘要
本发明提供了一种将多个自适应滤波器系数(104、107、112)编码为比特流(110)的方法。所述方法包括下列步骤将所述自适应滤波器系数(104、107、112)熵编码(109)为所述比特流(110)，由此基于至少一个剩余的自适应滤波器系数(206)来确定(201)所述自适应滤波器系数的实例(204)的预测(202)，基于所述自适应滤波器系数的所述实例(204)以及所述预测(202)之间的差值来确定(203)预测误差(205)，并且其中对所述多个自适应滤波器系数(104、107、112)进行熵编码(109)的所述步骤包括对所述自适应滤波器系数的所述实例(204)的所述预测误差(205)进行熵编码(109)以及对所述剩余的自适应滤波器系数(206)进行熵编码(109)。本发明还提供了一种将编码的自适应滤波器系数的比特流(110)解码为解码的自适应滤波器系数(116、118、120、123)的相应方法。
文档编号H04N7/26GK101939993SQ200980101821
公开日2011年1月5日 申请日期2009年1月8日 优先权日2008年1月8日
发明者乔纳坦·萨缪尔森, 克林顿·普瑞德, 珀·福罗德亨, 理查德·肖伯格, 肯尼思·安德森 申请人:艾利森电话股份有限公司