专利名称：单循环自适应内插滤波器的制作方法
单循环自适应内插滤波器技术领域
本发明有关于自适应内插滤波器，更特别地，有关于一种仅使用单循环编码以执 行滤波处理的自适应内插滤波器。
背景技术：
在运动补偿预测处理中，使用具有分像素(fractional pixel)分辨率(例如1/4 像素或1/8像素)的位移向量，用以改善预测精确度。为了估测和补偿这些分像素位移， 在视频编码与译码中使用内插滤波器。与传统的固定内插滤波器相比，自适应内插滤波器 (Adaptivelnterpolation Filter, AIF)通过对一个序列的不同内部图像提供不同的滤波 器，进一步地增强编码效率。基于维纳滤波器(Wiener filter)的AIF是非常流行的一种， 滤波之后可有效地减少预测误差。这种类型的AIF对视频信号的一些非平稳统计特性(例 如，运动和叠频)进行补偿，并最小化原始像素和预测像素之间的预测误差。
请参考图1，图1为具有自适应内插滤波器的编码器100的示意图。如图1所示， 编码器100包括帧间预测单元110和帧内预测单元105两者，并包括产生用于运动估测/ 补偿和模式决定的分像素的AIF 115。滤波器信息(例如，滤波器切换、滤波器类型和滤波 器系数)通过熵编码单元150在比特流中进行编码。相应的译码器从该比特流中撷取该滤 波器信息，并将其发送至该译码器的一个AIF。
通常，对于自适应内插滤波器，需要双循环(two-pass)编码处理。在第一循环 (pass)中，对于参考图像，使用一个预设内插滤波器用以内插分像素值，并产生预测信号。 然后，滤波器参数估测器通过计算该预测信号的自相关矩阵和原始信号与该预测信号之间 的互相关向量，构建维纳-霍普夫(Wiener-Hopf)方程。之后，对该维纳-霍普夫方程进行 求解，用以为每个子像素(sub-pixel)位置产生最优滤波器系数。第二循环中，在该参考图 像的内插处理中，使用最优滤波器系数，用以为运动估测/补偿和模式决定产生分像素。需 注意的是，可循环执行第二循环，但执行次数的增长增加了系统的延迟和复杂度。
因此，在性能和复杂度之间存在一个折衷。更多循环将产生更精确的运动向量，但 也将增加编码延迟和计算能力。此外，AIF的每个循环须串行执行。对于每个循环，也需要 从片外存储器(off-chip memory)下载参考帧至片上存储器(on-chip memory) 0因此，极 大地增加了功耗和存取时间。发明内容
为改善编码效率，本发明提供一种具有单循环自适应内插滤波器的编码器和译码ο
本发明提供一种执行单循环自适应内插滤波的方法，用以依据本发明的范例实施 例编码比特流，该方法包括接收多个视频帧；对于当前帧的特殊区域，从竞争滤波器集合 选择内插滤波器；对于该当前帧的该特殊区域，使用该内插滤波器执行运动预测；将该当 前帧编码至该比特流；以及更新该竞争滤波器集合。
本发明另提供一种编码器，以单循环方式对已接收的多个视频帧执行自适应内插 滤波，该编码器包括预测单元，用以依据原始数据和已重构数据，对该已接收的多个视频 帧的当前帧执行预测，以产生预测样本；重构单元，耦接该预测单元，用以对该预测样本进 行重构以形成该已重构数据；参考帧缓冲器，用以存储该已重构数据；系数缓冲器，用以存 储竞争滤波器集合；以及自适应内插滤波器，耦接该参考帧缓冲器与该预测单元之间，对于 该当前帧，用以依据选择自该竞争滤波器集合的内插滤波器对该已重构数据进行滤波。
本发明再提供一种译码器，用以将比特流译码至多个视频帧，该译码器包括用以 对该比特流进行解析以产生帧间模式信息、滤波器信息和残差的装置；用以依据预测样本 和该残差产生已重构数据的装置；用以存储该已重构数据的装置；用以利用选择自竞争滤 波器集合的内插滤波器对该已重构数据进行滤波的装置，其中该内插滤波器系依据该滤波 器信息于特殊级选取；以及用以自该熵译码单元接收该帧间模式信息，并自该自适应内插 滤波器接收该已滤波的已重构数据，以产生该预测样本的装置。
任何所属技术领域的技术人员在阅读接下来的优选实施例的细节描述之后，可毫 无疑问地了解本发明的其他目的，其中以多个附图举例说明这些优选实施例。
图1为具有自适应内插滤波器的编码器的示意图2为依据本发明一实施例的具有单循环自适应内插滤波器的编码器的示意图3为依据本发明一实施例的具有单循环自适应内插滤波器的译码器的示意图4为竞争滤波器集合的宏块级滤波器选择的示意图5为依据本发明一实施例的用于单循环2D不可分AIF的子像素内插处理的示 意图6为依据本发明一实施例的用于单循环2D可分AIF的子像素内插处理的示意 图7为依据本发明一实施例的用于单循环定向AIF的子像素内插处理的示意图8为依据本发明一实施例的用于单循环EAIF的子像素内插处理的示意图。
具体实施方式
如上所述，多循环AIF解决方案造成延迟和计算复杂度。在本发明中，提议在视频 编码和译码中使用多个单循环AIF设计。基于维纳滤波器的自适应内插滤波器为单循环 AIF的滤波器类型的示例。
当具有单循环AIF的编码器接收输入帧Ft时，用于帧Ft的特殊区域的竞争滤波器 集合(competitive filter set, CFS)已经可供本地滤波器选择。竞争滤波器集合包括用 于N个不同内插滤波器的滤波器系数。请注意，N可以是固定数目或可变数目，且对于每个 帧在比特流中可自适应地传输。在一些实施例中，在模块级进行滤波器选择，例如，预测分 区(prediction partitions)、宏块或超宏块级。输入帧&的每个模块可执行计算用以自竞 争滤波器集合选择一个最佳滤波器。例如，该计算可以为率失真最优化(rate-distortion optimization, RD0)，且该最佳滤波器与竞争滤波器集合的其他滤波器相比，具有最低率失 真。竞争滤波器集合可以包括最近的先前帧的最优滤波器以及H. 264内插滤波器或其他固定内插滤波器。所选滤波器的信息可被明确地编码至比特流用以通知该译码器。
在一些实施例中，时间延迟单循环AIF产生当前帧Ft的最优滤波器系数，然后将 该已产生的最优滤波器系数包括至竞争滤波器集合，用于下一个帧FT+1。通常，连续的视频 帧非常相似，几乎没有改变，所以，使用当前帧Ft的最优滤波器系数对随后的帧进行滤波是 足够好的。在本实施例中，当前帧Ft的最优滤波器系数在当前帧被完全编码之后获得，且 作为随后帧所使用的竞争滤波器集合的一个滤波器的系数进行存储。例如，用于当前帧Ft 的竞争滤波器集合包括N个滤波器；如果N = 2，竞争滤波器集合中的滤波器为标准H. 264 滤波器和用于先前帧Fp1的最优滤波器；如果N = 3，则竞争滤波器集合中的滤波器为标 准H. 264滤波器、用于帧Fh的最优滤波器和用于帧Ft_2的最优滤波器。为了保持比特流 的写入顺序，一个帧Ft的最优系数可以以编码顺序在其随后的帧Fm的片段标头(slice header)中传输，并作为帧FT+1的候选系数包含于该竞争滤波器集合中。
连续的帧之间不会存在大幅度变化的事实引导出时间延迟单循环AIF设计中的 一个创新性概念，即用于先前帧的最优滤波器也可用于对当前帧进行滤波。利用率失真最 优化局部地选择一个最优滤波器可以最小化任何编码损失，其中，该编码损失于使用时间 延迟自适应内插滤波器时产生。
与时间延迟单循环AIF类似，在另一实施例中，空间延迟单循环AIF依据当前帧FT 的先前已编码模块产生滤波器系数，且为当前帧FT的随后的模块更新该竞争滤波器集合。 例如，用于上半部分帧的最优滤波器可被获得并为了下半部分帧而包括至该竞争滤波器集 合。在此情形下，该上半部分帧的最优滤波器系数也可与该当前帧一起传输。
如上所述，该竞争滤波器集合选择可在特殊级执行，因为不是一个帧的所有区域 都可使用相同的滤波器达到最好的结果。对于先前帧的最优滤波器实际上可为当前帧中大 多数模块的最佳滤波器。请参考图4，图4为特殊帧的宏块级滤波器选择的示意图。请注 意，图4仅用于举例目的的一个示例。如图4所示，每个宏块从该竞争滤波器集合中选择一 个最佳滤波器。在对图4的特殊帧进行编码之后，计算出该帧的一个最优滤波器。对于图4 所示的该帧的下一个帧，将使用该已计算的最优滤波器作为该竞争滤波器集合的一个候选 滤波器。用于竞争滤波器集合选择的模块分区可与用于视频编码的模块分区相同或不同。 滤波器选择信息可在模块级(例如，宏块级)编码或编码至该片段标头，因此，译码器可利 用该信息以正确地对已接收的比特流进行译码。请注意，该竞争滤波器集合的滤波器选择 信息和滤波器系数可在该比特流的相同或不同区段(segment)进行编码。
请参考图2，图2为依据本发明一实施例的编码器200。该编码器包括系数缓冲器 225以对竞争滤波器集合进行缓冲。来自该竞争滤波器集合的滤波器信息，例如用于当前帧 的滤波器系数，可通过放置于片段标头而被编码至比特流。编码器200也可包括选择单元 260，用以自竞争滤波器集合选择一个滤波器。自该竞争滤波器集合选择一个滤波器的示例 为计算率失真最优化并选择具有最低率失真的滤波器。滤波器选择信息也输出至熵编码单 元250，用以编码至该比特流。图2的其他模块与图1所示的相同，为简洁在此不赘述。
请参考图3，图3为依据本发明一实施例的译码器300。如图3所示，该编码 器300包括熵译码单元305、帧内预测单元(intra prediction) 315和帧间预测(inter prediction)单元320、重构单元335、反转换和反量化单元310、解块单元340、参考帧缓冲 器330和AIF 325。在一些实施例中，译码器也包括系数缓冲器，用以存储竞争滤波器集合7的内插滤波器系数。在译码器300中，熵译码单元305将解析(parse)所有对译码处理有 必要的信息，包括直接发送至AIF的滤波器信息。该滤波器信息可包含与每个帧一起传输 的自适应内插滤波器系数和用于每个模块的滤波器选择。如上所述，该滤波器信息可包含 于每个帧、片段或宏块的标头，该滤波器信息在比特流中编码。这促使熵译码单元305首先 对该信息进行译码，因此译码器300可依据编码器200所选择的内插滤波器立即开始进行 译码。
需注意的是，对于许多不同类型的AIF可执行单循环自适应内插滤波，包括(但 不限于)，2D 不可分(non-s 印 arable)、2D 可分(separable) (SAIF)、定向(directional) (DAIF)和增强(enhanced) (EAIF)。对于上述每种AIF类型，使用于其相应单循环AIF的内 插方法和系数计算方法可与其多循环AIF相同。然而，不同类型的AIF的内插方法和系数 计算方法不同。
这些不同方法的示例请参考图5-8。单循环AIF也可应用于增强定向 (enhanceddirectional) AIF (EDAIF)，其为EAIF的低复杂度版本。通过对对角线上的子像 素位置使用一维滤波方法，当维持最大编码增益时，EDAIF比EAIF更简单。该示例并未图7J\ ο
图5为用于单循环2D不可分AIF的子像素内插处理的示意图。AIF系数可通过预 设固定滤波器系数或来自先前帧的AIF滤波器系数进行预测编码。如图5所示，对于每个 子像素位置使用不同数目的系数。
1)对于子像素位置a、c、d和1，使用具有6个系数的6阶滤波器(6_tap filter)。
幻对于子像素位置b和h，使用具有3个系数的6阶对称滤波器(6-tap symmetric filter)ο
3)对于子像素位置e、g、m和0，使用具有21个系数的36阶对称滤波器 (36-tapsymmetric filter)。
4)对于子像素位置f、i、k和n，使用具有18个系数的36阶对称滤波器。
5)对于子像素位置j，使用具有6个系数的36阶对称滤波器。
图6为用于单循环2D可分AIF的子像素内插处理的示意图。滤波器系数的计算 由两个步骤执行首先执行水平滤波器计算，用以为水平位置的分像素计算滤波器系数 例如，对于滤波器计算，由使用像素C1、C2、C3、C4、C5和C6的6阶滤波器计算a、b和c ；然 后使用全像素和已计算的子像素a、b和c执行垂直滤波。例如，对于滤波器计算，由使用像 素A3、B3、C3、D3、E3和F3的6阶滤波器计算d、h和1。
图7为用于单循环定向AIF的子像素内插处理的示意图。与2D不可分AIF相比， 用于中间9个子像素位置e、f、g、i、j、k、m、r^no的内插处理的整像素(integer pixel) 已减少。也就是说，至多在两个对角线方向使用12个整像素(Al F6、F1 A6)。对于e、 ο、g和m，仅使用6个整像素。对于其他的子像素，使用12个整像素。
图8为用于单循环EAIF的子像素内插处理的示意图。使用求和法(summation) 将滤波器偏移(offset)增加至子像素位置。亦增加整像素位置滤波器。然后对于2D子像 素(e ο)位置使用一个修改的12阶滤波器，对于ID子像素(a、b、c、d、h和1)位置使用 一个修改的6阶滤波器。
在一些实作中，上述的单循环AIF实施例可与双循环或多循环AIF —起操作。在此情形下，需传输语法索引(syntax index)用以表示该单循环AIF是开启或关闭例如，如果 比特流承载的信息表示单循环AIF是关闭的，则使用双循环AIF代替单循环AIF。又例如， 可依据比特流中已编码的索引关闭AIF，用以跳过滤波步骤。在宏块、片段或图像级从竞争 滤波器集合选择一个滤波器的单循环AIF皆属于本发明所揭露的范围。此外，竞争滤波器 集合的更新也可是自适应的，也就是说，依据该比特流中已编码的滤波器信息，该更新可在 子像素级、片段级、多片段级或图像级发生。CFS可包括可变数目的滤波器，且该CFS中的滤 波器数目可作为滤波器信息在比特流中编码。对于每个图像，也可传输多于一组的AIF系 数。为了将AIF的阶数和类型告知译码器，在比特流中置放了相应的语法元素。在片段或 多片段级，详细表述AIF系数、CFS信息和AIF滤波器数目的语法元素可放置于片段标头或 图像参数集(Picture Parameter Set，PPS)。在图像级，AIF系数可在片段标头或PPS中传 输，而其他的语法元素在序列参数集Sequence Parameter Set,SPS)或PPS中传输。也可 在独立的封包(package)中传输AIF系数和传讯比特(signaling bit)，例如，AIF系数参 数集(AIF coefficients parameter set，AIFCPQ，其中，传讯比特表示滤波器集合的数目 和CFS信息的语法元素。
综上所述，本发明提出一种单循环自适应内插滤波方法，对于运动预测，允许在竞 争滤波器集合的多个内插滤波器之间进行切换。滤波器系数和滤波器选择信息可编码至比 特流。在一些实施例中，译码器可撷取该滤波器系数、已选择的滤波器或该两者，因此，对于 编码器而言，该滤波器信息也许不必编码至该比特流。依据先前帧的最优滤波器系数的自 适应内插滤波器的使用允许以单循环的方式执行内插滤波和滤波器系数的产生，从而减少 编码单元的编码延迟和存储器存取的间接开销。
任何所属技术领域的技术人员可知晓设备和方法的各种修改和选择，但皆维持本 发明的教导。
权利要求
1.一种执行单循环自适应内插滤波的方法，用以将多个视频帧编码至比特流，该方法 包括接收该多个视频帧；在特殊级，从竞争滤波器集合选择内插滤波器；在该特殊级，使用该已选择内插滤波器对该多个视频帧的当前帧执行运动预测； 将该当前帧编码至该比特流；以及 更新该竞争滤波器集合。
2.如权利要求1所述的方法，其特征在于，该特殊级包括模块级、片段级、帧级或三者 的组合。
3.如权利要求1所述的方法，其特征在于，选择该内插滤波器的步骤进一步包括 计算率失真最优化，并选择具有最低率失真的该内插滤波器。
4.如权利要求1所述的方法，进一步包括对于该当前帧，计算最优内插滤波器的多个系数，对于随后帧，将该当前帧的该最优内 插滤波器包括至该竞争滤波器集合。
5.如权利要求4所述的方法，进一步包括对于该当前帧，将该最优内插滤波器的多个滤波器系数编码至该随后帧的片段标头。
6.如权利要求1所述的方法，进一步包括 将滤波器信息编码至该比特流。
7.如权利要求6所述的方法，其特征在于，该滤波器信息包括该竞争滤波器集合的多 个滤波器系数。
8.如权利要求7所述的方法，其特征在于，将该竞争滤波器集合的该多个滤波器系数 编码至片段标头。
9.如权利要求6所述的方法，其特征在于，该滤波器信息包括滤波器选择信息。
10.如权利要求1所述的方法，其特征在于，依据撷取自该当前帧的先前已编码模块的 多个滤波器系数，为该当前帧的多个随后模块对该竞争滤波器集合进行更新。
11.如权利要求1所述的方法，其特征在于，该自适应内插滤波器为2D不可分自适应内 插滤波器、2D可分自适应内插滤波器、定向自适应内插滤波器、增强自适应内插滤波器或增 强定向自适应内插滤波器。
12.如权利要求1所述的方法，其特征在于，对于随后帧，依据撷取自该当前帧的多个 滤波器系数对该竞争滤波器集合进行更新。
13.—种编码器，以单循环方式对已接收的多个视频帧执行自适应内插滤波，该编码器 包括预测单元，用以依据原始数据和已重构数据，对该已接收的多个视频帧的当前帧执行 预测，以产生预测样本；重构单元，耦接该预测单元，用以对该预测样本进行重构以形成该已重构数据； 参考帧缓冲器，用以存储该已重构数据； 系数缓冲器，用以存储竞争滤波器集合；以及自适应内插滤波器，耦接该参考帧缓冲器与该预测单元之间，对于该当前帧，用以依据 选择自该竞争滤波器集合的内插滤波器对该已重构数据进行滤波。
14.如权利要求13所述的编码器，进一步包括熵编码单元，用以对该已接收的多个视频帧进行编码，其中，滤波器信息已编码至该比 特流。
15.如权利要求14所述的编码器，其特征在于，该滤波器信息包括该竞争滤波器集合 的多个滤波器系数。
16.如权利要求15所述的编码器，其特征在于，该竞争滤波器集合的该多个滤波器系 数编码至片段标头。
17.如权利要求14所述的编码器，其特征在于，该滤波器信息包括滤波器选择信息。
18.如权利要求13所述的编码器，进一步包括；选择单元，对于该当前帧，用以在特殊级自该竞争滤波器集合确定该内插滤波器。
19.如权利要求18所述的编码器，其特征在于，该选择单元计算率失真最优化并选择 具有最低率失真的该内插滤波器。
20.如权利要求13所述的编码器，进一步包括计算单元，对于该当前帧，用以计算最优内插滤波器的多个系数，并对于随后帧，用以 将该多个系数发送至该系数缓冲器以包括至该竞争滤波器集合。
21.如权利要求13所述的编码器，其特征在于，该自适应内插滤波器为2D不可分自适 应内插滤波器、2D可分自适应内插滤波器、定向自适应内插滤波器、增强自适应内插滤波器 或增强定向自适应内插滤波器。
22.—种译码器，用以将比特流译码至多个视频帧，该译码器包括熵译码单元，用以对该比特流进行解析以产生帧间模式信息、滤波器信息和残差；重构单元，用以依据预测样本和该残差产生已重构数据；参考帧缓冲器，用以存储该已重构数据；自适应内插滤波器，用以利用选择自竞争滤波器集合的内插滤波器对该已重构数据进 行滤波，其中该内插滤波器依据该滤波器信息于特殊级选取；以及运动补偿单元，用以自该熵译码单元接收该帧间模式信息，并自该自适应内插滤波器 接收该已滤波的已重构数据，以产生该预测样本。
23.如权利要求22所述的译码器，其特征在于，该滤波器信息包括该竞争滤波器集合 的多个滤波器系数。
24.如权利要求23所述的译码器，其特征在于，该熵译码单元自片段标头对该竞争滤 波器集合的该多个滤波器系数进行解析。
25.如权利要求22所述的译码器，其特征在于，该滤波器信息包括用于特殊区域的滤 波器选择信息。
26.如权利要求22所述的译码器，其特征在于，该自适应内插滤波器依据该滤波器信 息的索引进行关闭，用以跳过该滤波步骤。
27.如权利要求22所述的译码器，其特征在于，该竞争滤波器集合的滤波器数目由该 滤波器信息决定。
28.如权利要求22所述的译码器，其特征在于，该自适应内插滤波器依据该滤波器信 息，于图像级、片段级或多片段级对该竞争滤波器集合进行更新。
29.如权利要求22所述的译码器，其特征在于，该熵译码单元自序列参数集、图像参数集、自适应内插滤波器系数参数集、片段标头或四者的组合对该滤波器信息进行解析。
30.如权利要求22所述的译码器，进一步包括系数缓冲器，用以存储该竞争滤波器集 合的多个系数。
全文摘要
一种执行单循环自适应内插滤波的方法，用以编码比特流，该方法包括接收多个视频帧；从竞争滤波器集合中选择内插滤波器；使用该内插滤波器对于该视频帧的当前帧执行运动预测；将该当前帧编码至该比特流；以及更新该竞争滤波器集合。
文档编号H04N7/46GK102037732SQ201080001570
公开日2011年4月27日 申请日期2010年6月23日 优先权日2009年7月6日
发明者傅智铭, 张凯, 郭峋, 雷少民, 黄毓文 申请人:联发科技(新加坡)私人有限公司