基于分类环路滤波器的方法和装置的制造方法

基于分类环路滤波器的方法和装置的制造方法
【专利摘要】提供了基于分类环路滤波器的方法和装置。编码方法通过变换和量化输入画面的残差以获取量化变换系数来编码输入画面。然后逆量化和逆变换量化变换系数以获取残差的重构版本。通过将至少一个参考画面与残差的重构版本组合来获取输入画面的重构版本(315)。响应局部几何特性，将输入画面的重构版本中的像素分类(330)在多个类别的对应一个内。为响应针对多个类别对像素的相应分类的滤波选择像素(350)。
【专利说明】
基于分类环路滤波器的方法和装置
[0001] 本申请是2011年3月2日提交的申请号为201180013073.9的发明专利申请"基于分 类环路滤波器的方法和装置"的分案申请。
[0002] 相关申请的交叉引用
[000；3]本申请要求2010年3月9日提交的美国临时申请第61/312,063号的权益，在此通过 引用并入其全部内容。
技术领域
[0004] 本原理一般设及视频编码和解码，尤其设及基于分类环路滤波器的方法及装置。
【背景技术】
[0005] 当前视频编码标准应用基于块变换(例如，离散余弦变换(DCT))和运动补偿来实 现压缩效率。由于在运种框架内的有损压缩性质，重构视频的质量将必然下降，决不会完全 恢复成原始图像。运是对于在要取得的效率增益与有损视频压缩之间作出的折衷。
[0006] 在国际标准化组织/国际电工委员会（IS0/IEC)运动图像专家组-4(M阳G-4)第10 部分高级视频编码(AVC)标准/国际电信联盟，电信部口（ITU-T)H.264建议书（下文称为 "MPEG-4AVC标准"）中，为了除去块状伪像的目的，将去块滤波器用于解码画面。在MPEG- 4AVC标准的关键技术领域化TA)中，将维纳(Wiener)滤波器用在内环或外环W提高解码画 面的质量。
[0007] 为了实现时间自适应，通常在编码器上针对每个画面通过使原始画面与解码画面 之间的均方误差最小化来估计维纳滤波器。作为每个画面的额外开销，将滤波器系数发送 给解码器。为了实现时间自适应，根据内容或率失真(RD)成本将一个画面划分成多个区域。 在每个区域中，开关控制滤波过程的打开或关闭。将区域划分信息和开关控制消息发送给 解码器作为辅助信息。
[000引运种途径对基本特性随时间（从帖到帖)变化不是很大的视频图像非常有效。在第 一种现有技术的途径中，区域划分通常是等大小的，而在第二种现有技术的途径中，区域划 分通常是可变大小块。但是，基于块的方法不能有效地表征自然改变(正常)视频内的空间 变化。例如，视频序列的视觉质量高度取决于边缘锐度，而画面内的边缘远不是基于块的。 更重要的是，不同方向的边缘需要不同维纳滤波器组来保持锐度。
[0009]在MPEG-4AVC标准的关键技术领域中，在第Ξ种现有技术的途径中提出了自适应 后置滤波器。其基本概念是在显示之前将维纳滤波器应用于解码画面。在编码器上针对每 个画面通过使原始画面与解码画面之间的均方误差最小化来估计维纳滤波器。在运种情况 下，作为额外开销，将估计滤波器系数发送给解码器。利用估计的滤波器滤波整个画面。在 另一种情况下，离线训练一组维纳滤波器，发送给解码器或存储在解码器中。在解码期间， 逐个像素地滤波画面。在每个像素上，根据周围像素的统计量从滤波器组中选择一个滤波 器。在运种技术中，滤波指示符不花费任何额外开销。滤波指示符可W通过解码画面内容导 出。但是，难W构建滤波指示符与画面内容之间的模型。在第Ξ种现有技术的途径中，离线 训练方案被用于寻找滤波指示符与局部方差之间的对应模型。由于该训练高度取决于训练 组，所W利用有限数据训练出来的模型对于更一般的视频信号将是不精确的。
[0010] 在第一种现有技术的途径中，提出了基于块的自适应环路滤波器。在运种建议中， 通过维纳滤波器朝着原始帖恢复重构帖。在编码器上估计维纳滤波器系数，并将其发送给 解码器作为辅助信息。尽管维纳滤波器可W全局地将重构帖恢复成原始帖，但存在局部降 级像素。由于质量降级区降低了像素的保真度W及未来编码帖的预测效率，所W不滤波运 些区将提高编码性能。在块自适应环路滤波器(BALF)中，将帖划分成等大小块，并将开关标 志用于每个块W便控制是否滤波该块。在第二种现有技术的途径中，引入四叉树自适应环 路滤波器(QALF)来指示是否滤波帖的可变大小块。当使用可变大小块方案时，尽管滤波性 能优于等大小块方案，但编码块的大小和地点的额外开销是高要求的。但是，甚至基于四叉 树的滤波也仍然不能有效地除去压缩伪像，因为无法捕捉二维(2D)数据的空间特征。

【发明内容】

[0011] 现有技术的运些和其他缺陷和缺点通过本原理来解决，本原理针对用于基于分类 环路滤波器的方法及装置。
[0012] 按照本原理的一个方面，提供了一种装置。该装置包括通过如下步骤编码输入画 面的视频编码器:变换和量化输入画面的残差W获取量化变换系数;逆量化和逆变换量化 变换系数W获取残差的重构版本；W及将至少一个参考画面与残差的重构版本组合W获取 输入画面的重构版本。该视频编码器包括滤波器，用于响应局部几何特性，将输入画面的重 构版本中的像素分类在多个类别的对应一个内，并响应针对多个类别对至少一个像素的相 应分类，滤波选择的至少一个像素。
[0013] 按照本原理的另一个方面，提供了一种在视频编码器中的方法。该方法包括编码 输入画面。该编码步骤包括:变换和量化输入画面的残差W获取量化变换系数;逆量化和逆 变换量化变换系数W获取残差的重构版本;将至少一个参考画面与残差的重构版本组合W 获取输入画面的重构版本；响应局部几何特性，将输入画面的重构版本中的像素分类在多 个类别的对应一个内；W及响应针对多个类别对至少一个像素的相应分类，滤波选择的至 少一个像素。
[0014] 按照本原理的又一个方面，提供了一种装置。该装置包括通过如下步骤解码画面 的视频解码器:接收量化变换系数;逆量化和逆变换量化变换系数W获取残差的重构版本； W及将至少一个参考画面与残差的重构版本组合W获取画面的重构版本。该视频解码器包 括滤波器，用于响应局部几何特性，将画面的重构版本中的像素分类在多个类别的对应一 个内，并响应针对多个类别对至少一个像素的相应分类，滤波选择的至少一个像素。
[0015] 按照本原理的再一个方面，提供了一种在视频解码器中的方法。该方法包括解码 画面。该解码步骤包括:接收量化变换系数;逆量化和逆变换量化变换系数W获取残差的重 构版本;将至少一个参考画面与残差的重构版本组合W获取画面的重构版本；响应局部几 何特性，将画面的重构版本中的像素分类在多个类别的对应一个内；W及响应针对多个类 别对至少一个像素的相应分类，滤波选择的至少一个像素。
[0016] 通过结合附图阅读如下示范性实施例的详细描述，本原理的运些和其他方面、特 征和优点将变得显而易见。
【附图说明】
[0017] 本原理可W依照如下示范性图形得到更好理解，在附图中：
[0018] 图1是示出依照本原理的实施例、可W应用本原理的示范性视频编码器的方块图；
[0019] 图2是示出依照本原理的实施例、可W应用本原理的示范性视频解码器的方块图；
[0020] 图3是示出依照本原理的实施例、使用基于分类环路滤波器编码输入画面的画面 数据的一种示范性方法的流程图；
[0021] 图4是示出依照本原理的实施例、使用基于分类环路滤波器解码画面的画面数据 的一种示范性方法的流程图；
[0022] 图5是示出依照本原理的实施例、使用基于分类环路滤波器编码输入画面的画面 数据的另一种示范性方法的流程图；
[0023] 图6是示出依照本原理的实施例、使用基于分类环路滤波器解码画面的画面数据 的另一种示范性方法的流程图；
[0024] 图7是示出依照本原理的实施例、使用基于分类环路滤波器编码输入画面的画面 数据的又一种示范性方法的流程图；W及
[0025] 图8是示出依照本原理的实施例、使用基于分类环路滤波器解码画面的画面数据 的又一种示范性方法的流程图。
【具体实施方式】
[0026] 本原理针对用于基于分类环路滤波器的方法及装置。
[0027] 本描述例示了本原理。因此，将懂得，本领域的技术人员将能够设想出尽管未明确 描述或显示在本文中，但体现本原理和包括在它的精神和范围之内的各种安排。
[0028] 本文列举的所有例子和条件语言旨在教授的目的，W帮助读者理解本原理W及 (多个)本发明人为促进技术进步而贡献的概念，并且应该理解为不局限于运样具体列举的 例子和条件。
[0029] 此外，本文阐述本原理的各个原理、方面和实施例及其特定例子的所有语句旨在 包含其结构和功能等效物两者。另外，运样的等效物旨在包括当前已知的等效物W及未来 开发的等效物，即与结构无关，开发出来执行相同功能的任何元件。
[0030] 因此，例如，本领域的技术人员将懂得，本文所表示的方块图代表体现本原理的例 示性电路的概念图。类似地，将懂得，任何流程图、流图、状态转变图、伪码等代表基本上可 W表示在计算机可读媒体中，因此可W由计算机或处理器执行的各种进程，无论运样的计 算机或处理器是否明确显示出来。
[0031] 显示在附图中的各种元件的功能可W通过使用专用硬件W及能够与适当软件相 关联执行软件的硬件来实现。当由处理器提供时，运些功能可W由单个专用处理器，由单个 共享处理器，或由其中一些可W共享的多个单独处理器提供。此外，术语"处理器"或"控制 器"的显性使用不应该理解为排他地指能够执行软件的硬件，而是可W隐性地包括但不限 于数字信号处理器（"DSP")硬件、存储软件的只读存储器（"ROM")、随机访问存储器（"RAM") 和非易失性存储体。
[0032] 也可W包括传统的和/或定制的其他硬件。类似地，显示在附图中的任何开关都只 是概念性的。它们的功能可w通过程序逻辑的运算，通过专用逻辑，通过程序控制和专用逻 辑的交互，或甚至人工地实现，正如从上下文中更具体了解到的那样，特定的技术可由实现 者选择。
[0033] 在其权利要求书中，表达成执行特定功能的部件的任何元件旨在包含执行那种功 能的任何方式，例如，包括a)执行那种功能的电路元件的组合，或b)任何形式的软件，因此 包括与执行那种软件的适当电路结合执行该功能的固件、微码等。如运样的权利要求书定 义的本原理在于W下事实，W权利要求书要求的方式组合和汇集各种所列举部件提供的功 能。因此，认为可W提供那些功能的任何部件都等效于本文所示的那些部件。
[0034] 在说明书中提到本原理的"一个实施例"或"实施例及它的其他变型意味着结 合该实施例所述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，出现 在整个说明书中的各个地方的措词"在一个实施例中"或"在实施例中及任何其他变型 的出现未必都指同一实施例。
[003引要懂得，如下7"、"和/或"、和"至少一个'的任何一种的使用，例如，在"A/B"、"A 和/或B"、和"A和B的至少一个"的情况下，旨在包含只有第一所列选项(A)的选择，或只有第 二所列选项(B)的选择，或两个选项(A和B)的选择。作为进一步的例子，在"A、B、和/或C"和 "A、B、和C的至少一个"的情况下，运样的措词旨在包含只有第一所列选项(A)的选择，或只 有第二所列选项(B)的选择，或只有第Ξ所列选项(C)的选择，或只有第一和第二所列选项 (A和B)的选择，或只有第一和第Ξ所列选项(A和C)的选择，或只有第二和第Ξ所列选项(B 和C)的选择，或所有Ξ个选项(A、B和C)的选择。本领域和相关领域的普通技术人员容易明 白，对于列出的许多项目，可W对此扩展。
[0036] 此外，如本文所使用，词汇"画面"和"图像'可互换使用，并且指的是来自视频序列 的静止图像或画面。众所周知，画面可W是帖或场。
[0037] 并且，如本文所使用，"高级语法"指的是出现在在分层结构中位于宏块层之上的 位流中的语法。例如，如本文所使用，高级语法可W指但不限于在切片首标级、补充增强信 息（SEI)级、画面参数集(PPS)级、序列参数集(SPS)级和网络抽象层(NAL)单元首标级上的 语法。
[0038] 此外，如本文所使用，措词巧中基于画面地自适应训练滤波器系数"指的是逐个 画面地训练基于分类环路滤波器的滤波器系数。也就是说，在考虑整个画面的特性的同时， W及在考虑不止一个画面的同时训练运样的系数。
[0039] 另外，如本文所使用，措词"离线训练滤波器系数"指的是在与滤波器正应用于特 定画面的特定像素期间的时间不同的时间上训练基于分类环路滤波器的滤波器系数。因 此，离线可W指处理运样的画面所属的特定视频序列之前的时间。
[0040] 为了例示和描述的目的，本文在超过MPEG-4AVC标准的改进的背景下描述运些例 子，将MPEG-4AVC标准用作我们描述的基线，并说明超过MPEG-4AVC标准的改进和扩展。但 是，要懂得，本原理不只局限于MPEG-4AVC标准和/或它的扩展。给定本文提供的本原理的教 导，本领域和相关领域的普通技术人员可W容易地理解，当应用于其他标准的扩展时，或当 应用于还未开发出来的标准和/或并入还未开发出来的标准中时，本原理同样可应用，并至 少可W提供类似的好处。还要懂得，本原理也应用于不遵从运些标准，而是遵从专口的定义 的视频编码器和视频解码器。
[0041] 此外，为了例示和描述的目的，本文在众所周知维纳滤波器的背景下描述运些例 子。但是，要懂得，本原理可应用于能够应用于一个或多个像素和/或像素数据的任何类型 滤波器。例如，要懂得，在本原理的一些实施例中，可W选择一种滤波器类型（例如，维纳滤 波器)并对分类在一个组中的像素确定系数，并且可W选择另一种滤波器类型（例如，非维 纳滤波器)并对分类在另一个组中的像素确定系数。给定本文提供的本原理的教导，本领域 和相关领域的普通技术人员可W容易地确定本文所述的本原理的运些和其他变型。
[0042] 转到图1，可W应用本发明原理的示范性视频编码器用标号100总体表示。视频编 码器100包括具有与组合器185的非反相输入端信号通信的输出端的帖排序缓冲器110。组 合器185的输出端被连接成与变换器和量化器125的第一输入端信号通信。变换器和量化器 125的输出端被连接成与赌编码器145的第一输入端和逆变换器和逆量化器150的第一输入 端信号通信。赌编码器145的输出端被连接成与组合器190的第一非反相输入端信号通信。 组合器190的输出端被连接成与输出缓冲器135的第一输入端信号通信。
[0043] 编码器控制器105的第一输出端被连接成与帖排序缓冲器110的第二输入端、逆变 换器和逆量化器150的第二输入端、画面类型判定模块115的输入端、宏块类型(MB类型）判 定模块120的第一输入端、帖内预测模块160的第二输入端、去块滤波器165的第二输入端、 运动补偿器170的第一输入端、运动估计器175的第一输入端、和参考画面缓冲器180的第二 输入端信号通信。
[0044] 编码器控制器105的第二输出端被连接成与补充增强信息(SEI)插入器130的第一 输入端、变换器和量化器125的第二输入端、赌编码器145的第二输入端、输出缓冲器135的 第二输入端、和序列参数集(SPS)和画面参数集(PPS)插入器140的输入端信号通信。
[0045] SEI插入器130的输出端被连接成与组合器190的第二非反相输入端信号通信。
[0046] 画面类型判定模块115的第一输出端被连接成与帖排序缓冲器110的第Ξ输入端 信号通信。画面类型判定模块115的第二输出端被连接成与宏块类型判定模块120的第二输 入端信号通信。
[0047] 序列参数集(SPS)和画面参数集(PPS)插入器140的输出端被连接成与组合器190 的第Ξ非反相输入端信号通信。
[0048] 逆变换器和逆量化器150的输出端被连接成与组合器119的第一非反相输入端信 号通信。组合器119的输出端被连接成与帖内预测模块160的第一输入端和去块滤波器165 的第一输入端信号通信。去块滤波器165的输出端被连接成与自适应环路滤波器133的输入 端信号通信。自适应环路滤波器133的输出端被连接成与参考画面缓冲器180的第一输入端 信号通信。参考画面缓冲器180的输出端被连接成与运动估计器175的第二输入端和运动补 偿器170的第Ξ输入端信号通信。运动估计器175的第一输出端被连接成与运动补偿170的 第二输入端信号通信。运动估计器175的第二输出端被连接成与赌编码器145的第Ξ输入端 信号通信。
[0049] 运动补偿器170的输出端被连接成与开关197的第一输入端信号通信。帖内预测模 块160的输出端被连接成与开关197的第二输入端信号通信。宏块类型判定模块120的输出 端被连接成与开关197的第Ξ输入端信号通信。开关197的第Ξ输入端确定开关的"数据"输 入(如与控制输入，即，第Ξ输入相比）由运动补偿170提供还是由帖内预测模块160提供。开 关197的输出端被连接成与组合器119的第二非反相输入端和组合器185的反相输入端信号 通信。
[0050] 帖排序缓冲器110的第一输入端和编码器控制器105的输入端可用作为编码器100 的输入端，W接收输入画面。此外，补充增强信息(SEI)插入器130的第二输入端可用作为编 码器100的输入端，W接收元数据。输出缓冲器135的输出端可用作为编码器100的输出端， W输出位流。
[0051] 转到图2,可W应用本原理的示范性视频解码器用标号200总体表示。该视频解码 器200包括具有连接成与赌解码器245的第一输入端信号通信的输出端的输入缓冲器210。 赌解码器245的第一输出端被连接成与逆变换器和逆量化器250的第一输入端信号通信。逆 变换器和逆量化器250的输出端被连接成与组合器225的第二非反相输入端信号通信。组合 器225的输出端被连接成与去块滤波器265的第二输入端和帖内预测模块260的第一输入端 信号通信。去块滤波器265的第二输出端被连接成与自适应环路滤波器233的输入端信号通 信。自适应环路滤波器233的输出端被连接成与参考画面缓冲器280的第一输入端信号通 信。参考画面缓冲器280的输出端被连接成与运动补偿器270的第二输入端信号通信。
[0052] 赌解码器245的第二输出端被连接成与运动补偿器270的第Ξ输入端、去块滤波器 265的第一输入端、和帖内预测器260的第Ξ输入端信号通信。赌解码器245的第Ξ输出端被 连接成与解码器控制器205的输入端信号通信。解码器控制器205的第一输出端被连接成与 赌解码器245的第二输入端信号通信。解码器控制器205的第二输出端被连接成与逆变换器 和逆量化器250的第二输入端信号通信。解码器控制器205的第Ξ输出端被连接成与去块滤 波器265的第Ξ输入端信号通信。解码器控制器205的第四输出端被连接成与帖内预测模块 260的第二输入端、运动补偿器270的第一输入端、和参考画面缓冲器280的第二输入端信号 通信。
[0053] 运动补偿器270的输出端被连接成与开关297的第一输入端信号通信。帖内预测模 块260的输出端被连接成与开关297的第二输入端信号通信。开关297的输出端被连接成与 组合器225的第一非反相输入端信号通信。
[0054] 输入缓冲器210的输入端可用作为解码器200的输入端W接收输入位流。去块滤波 器265的第一输出端可用作为解码器200的输出端W对输出画面进行输出。
[0055] 如上所述，本原理针对用于基于分类环路滤波器的方法及装置。如前所述，现有技 术的滤波途径往往对不变(非自然)视频信号非常有效。此外如前所述，现有技术的方法通 常利用等大小或可变大小块的分区。但是，基于块的方法不能有效地表征自然(正常）图像 和视频内的空间变化。例如，视频序列的视觉质量高度取决于边缘锐度，而画面内的边缘远 不是基于块的。更重要的是，不同方向的边缘需要不同滤波器组来保持锐度。为了解决运些 问题，我们提出了基于分类途径来改进滤波器。
[0056] 依照本原理的实施例，公开和描述了在视频编码器中，用于视频编码的方法和装 置，其中首先将图像的预测误差变换成变换系数。然后量化变换的系数。逆量化和逆变换W 前量化的变换系数，得出重构预测误差图像。通过将重构预测误差图像与预测图像组合生 成重构图像。然后，响应像边缘取向、各向异性/各向同性、方向、幅度(magnitude)、对比度、 梯度等那样的局部几何特性，将像素分类在一个组或类别中。在分类基于，例如，取向的实 施例中，进行重构图像的边缘检测，并根据取向将边缘上的像素分类在一个组或类别中。将 滤波器应用于指定像素，该滤波器是响应一个组或类别内的像素分类来选择的。
[0057] 依照本原理的实施例，公开和描述了在视频解码器中，用于视频解码的方法和装 置，其中接收然后逆量化和逆变换赌编码量化的变换系数，得出重构预测误差图像。通过将 重构预测误差图像与预测图像组合生成重构图像。然后，响应像边缘取向、各向异性/各向 同性、方向、幅度、对比度、梯度等那样的局部几何特性，将像素分类在一个组或类别中。在 分类基于，例如，取向的实施例中，进行重构图像的边缘检测，并根据取向将边缘上的像素 分类在一个组或类别中。将滤波器应用于指定像素，该滤波器是响应一个组或类别内的像 素分类来选择的。
[0058] -个像素由其结构(系数)是为分类在那个组内的所有像素选择的滤波器来滤波。 对于属于不同组/类别的像素不同地构建滤波器。
[0059] 在当前视频编码框架下，滤波技术通常用于除去压缩伪像或用于反混叠(anti? aliasing)。运样的滤波技术可 W 在许多视频压缩应用中用作内环或外环。由于视频信号的 变化性质，期望滤波过程在空间域和时间域两者中是自适应的。已经提出了许多基于块自 适应滤波器，W便当除去压缩伪像时达到空间自适应。依照本原理，我们公开和描述了由于 使用具有基于像素特性自适应性的自适应滤波器而使性能提高的方法和装置。具体地说， 将边缘检测应用于视频帖，并根据某种像素分类将检测的边缘分类成不同组或类别（可W 根据方向、幅度、梯度和/或一些其他可检测性质选择和分组或分类运样的像素）。然后，一 个像素由其结构(系数)是为分类在特定组内的所有像素选择的滤波器来滤波。对于属于不 同组/类别的像素不同地构建滤波器。滤波器系数可W逐帖自适应地选择，并且可W将系数 从编码器传信到解码器。在一个可替代实施例中，可W离线地选择每个类别的滤波器系数， 并将其存储在编码器和解码器两者中。
[0060] 在一个实施例中，在要滤波的输入画面上进行边缘检测。根据边缘取向将确定为 边缘的像素进一步分类成不同类别。对于每个类别，通过针对运个类别内的像素使原始画 面与要处理的输入画面之间的均方误差(MSE)最小化来计算一组维纳滤波器系数(或其他 类型的滤波器系数）。可W逐帖自适应地训练并使用高级语法传信每个类别的滤波器系数。
[0061] 对于未确定为边缘的画面其余部分中的像素，在滤波之前计算另一组滤波器系 数。在解码器上，在按类别滤波边缘像素之前在画面上进行类似边缘检测和分类，并且对像 素的其余部分也是如此。
[0062] 在另一个实施例中，取代在像素级上进行分类，基本单位可W是块，例如，具有块 大小为8X8的块。
[0063] 转到图3,使用基于分类环路滤波器编码输入画面的画面数据的示范性方法用标 号300总体表示。该方法300包括将控制交给功能块310的开始块305。功能块310进行编码设 置，并将控制交给功能块315。功能块315变换和量化输入画面的残差W获取量化变换系数， 逆量化和逆变换量化变换系数W获取残差的重构版本，将至少一个参考画面与残差的重构 版本组合W获取输入画面的重构版本，并将控制交给功能块330。功能块330根据局部几何 特性，将输入画面的重构版本中的边缘像素或块分类成η个类别，并将控制交给循环限制块 340。循环限制块340在每个类别上循环，并将控制交给功能块350。功能块350计算维纳滤波 器系数，将滤波器应用于循环索引所指的特定类内的边缘像素或块，并将控制交给功能块 360。功能块360编码滤波器系数，并将控制交给循环限制块370。循环限制块370结束在每个 类别上的循环，并将控制交给功能块380。功能块380对其他（即，非边缘)像素计算和应用维 纳滤波器系数，并将控制交给功能块390。功能块390编码滤波器系数(针对其他像素），并将 控制交给结束块399。
[0064] 转到图4,使用基于分类环路滤波器解码画面的画面数据的示范性方法用标号400 总体表示。该方法400包括将控制交给功能块415的开始块405。功能块415接收量化变换系 数，逆量化和逆变换量化变换系数W获取残差的重构版本，将至少一个参考画面与残差的 重构版本组合W获取画面的重构版本，并将控制交给功能块420。功能块420根据局部几何 特性，将画面的重构版本中的边缘像素或块分类成η个类别，并将控制交给循环限制块430。 循环限制块430开始在每个类别上的循环，并将控制交给功能块440。功能块440解析维纳滤 波器系数，并将控制交给功能块450。功能块450将维纳滤波器应用于循环索引所指的特定 类内的边缘像素或块，并将控制交给循环限制块460。循环限制块460结束在类别上的循环， 并将控制交给功能块470。功能块470对其他(即，非边缘)像素解析维纳滤波器系数，并将控 制交给功能块480。功能块480应用维纳滤波器(针对其他像素），并将控制交给结束块499。
[0065] 在另一个实施例中，可W避免传信额外开销。在运样的情况下，滤波器利用一组序 列离线训练，并存储在编码器和解码器两者上。
[0066] 转到图5,使用基于分类环路滤波器编码输入画面的画面数据的另一种示范性方 法用标号500总体表示。该方法500包括将控制交给功能块510的开始块505。功能块510进行 编码设置，并将控制交给功能块530。虽然未明确示出，但我们注意到，正如本领域和相关领 域的普通技术人员可容易看出的那样，该方法500在功能块530进行分类之前，也包括与针 对图3的功能块315所示的那些类似的步骤。功能块530根据局部几何特性，将输入画面的重 构版本中的边缘像素或块分类成η个类别，并将控制交给循环限制块540。循环限制块540开 始在每个类别上的循环，并将控制交给功能块550。功能块550利用该类别的预训练系数滤 波边缘像素或块，并将控制交给循环限制块560。循环限制块560结束在类别上的循环，并将 控制交给功能块570。功能块570对其他(即，非边缘)像素计算和应用维纳滤波器系数，并将 控制交给功能块580。功能块580编码滤波器系数，并将控制交给结束块599。
[0067] 转到图6,使用基于分类环路滤波器解码画面的画面数据的另一种示范性方法用 标号600总体表示。该方法600包括将控制交给功能块620的开始块605。虽然未明确示出，但 我们注意到，正如本领域和相关领域的普通技术人员可容易看出的那样，该方法600在功能 块620进行分类之前，也包括与针对图4的功能块415所示的那些类似的步骤。功能块620根 据局部几何特性，将画面的重构版本中的边缘像素或块分类成η个类别，并将控制交给循环 限制块630。循环限制块630开始在每个类别上的循环，并将控制交给功能块640。功能块640 利用该类别的预训练系数滤波边缘像素或块，并将控制交给循环限制块650。循环限制块 650结束在类别上的循环，并将控制交给功能块660。功能块660对其他（即，非边缘)像素解 析维纳滤波器系数，并将控制交给功能块670。功能块670应用维纳滤波器(针对其他像素）， 并将控制交给结束块699。
[0068] 在另一个实施例中，将基于类别维纳滤波与为每个像素判定是否进行滤波的BALF 或QALF组合。如果BALF或QALF判定滤波一个块，则检测为边缘的像素利用它们所属的类别 的特别训练滤波器来滤波。
[0069] 转到图7,使用基于分类环路滤波器编码输入画面的画面数据的又一种示范性方 法用标号700总体表示。该方法700包括将控制交给功能块710的开始块705。功能块710进行 编码设置，并将控制交给功能块720。虽然未明确示出，但我们注意到，正如本领域和相关领 域的普通技术人员可容易看出的那样，该方法700在功能块720进行分类之前，也包括与针 对图3的功能块315所示的那些类似的步骤。功能块720根据局部几何特性，将输入画面的重 构版本中的边缘像素或块分类成η个类别，并将控制交给循环限制块725。循环限制块725在 每个类别上循环，并将控制交给功能块730。功能块730计算每个类别的维纳滤波器系数，并 将控制交给循环限制块735。循环限制块735结束在类别上的循环，并将控制交给功能块 740。功能块740利用块自适应环路滤波器计算滤波器系数和滤波器控制标志，并将控制交 给循环限制块745。循环限制块745开始在每个块上的循环，并将控制交给判定块750。判定 块750确定是否滤波运个（当前)块。如果是，则将控制交给循环限制块755。否则，将控制交 给循环限制块780。循环限制块755开始在当前块中的每个像素上的循环，并将控制交给判 定块760。判定块760确定当前像素是否是边缘像素。如果是，则将控制交给功能块765。否 贝1J，将控制交给功能块770。功能块765应用为该像素所属的类别训练的滤波器，并将控制交 给循环限制块775。功能块770应用通过BALF或QALF训练的滤波器，并将控制交给循环限制 块775。循环限制块755结束在像素上的循环，并将控制交给循环限制块780。循环限制块780 结束在块上的循环，并将控制交给功能块790。功能块790编码滤波器系数和控制标志，并将 控制交给结束块799。
[0070]转到图8,使用基于分类环路滤波器解码画面的画面数据的又一种示范性方法用 标号800总体表示。该方法800包括将控制交给功能块810的开始块805。功能块810解析滤波 器系数和控制标志，并将控制交给功能块820。虽然未明确示出，但我们注意到，正如本领域 和相关领域的普通技术人员可容易看出的那样，该方法800在功能块820进行分类之前，也 包括与针对图4的功能块415所示的那些类似的步骤。功能块820根据局部几何特性，将画面 的重构版本中的边缘像素或块分类成η个类别，并将控制交给循环限制块830。循环限制块 830开始在每个块上的循环，并将控制交给判定块835。判定块835确定是否滤波运个(当前） 块。如果是，则将控制交给循环限制块840。否则，将控制交给循环限制块870。循环限制块 840开始在当前块中的每个像素上的循环，并将控制交给判定块845。判定块845确定当前像 素是否是边缘像素。如果是，则将控制交给功能块850。否则，将控制交给功能块855。功能块 850应用为该像素所属的类别训练的滤波器，并将控制交给循环限制块860。功能块855应用 通过BALF或QALF训练的滤波器，并将控制交给循环限制块860。循环限制块860结束在像素 上的循环，并将控制交给循环限制块870。循环限制块870结束在块上的循环，并将控制交给 结束块899。
[0071 ] 语法
[0072] 表1示出了依照本原理的实施例的示范性切片首标语法。
[0073] 表1中的语法元素的语义如下：
[0074] edge_f ilte;r_f lag等于1规定将基于边缘取向的滤波用于切片。edge_f ilte;r_ flag等于0规定不使用基于边缘取向的滤波，运意味着切片中的所有像素将使用相同滤波 器。
[0075] num_edge_di;r规定边缘方向的总数。
[0076] edge_di;r_used_flag[i]等于 1 规定使用沿着第 i 方向的滤波器，edge_di;r_used_ flag[i]等于0规定不使用沿着第i方向的滤波器。
[0077] filter_coeff[i]规定沿着第i方向的滤波器的系数。
[007引 表1
[0079]
[0080] 现在将对其中一些上面已经提及的本发明的许多附带优点/特征的一些加 W描 述。例如，一个优点/特征是含有视频编码器的装置，该视频编码器用于通过如下步骤编码 输入画面:变换和量化输入画面的残差W获取量化变换系数;逆量化和逆变换量化变换系 数W获取残差的重构版本；W及将至少一个参考画面与残差的重构版本组合W获取输入画 面的重构版本。该视频编码器包括滤波器，用于响应局部几何特性，将输入画面的重构版本 中的像素分类在多个类别的对应一个内，并响应针对多个类别对至少一个像素的相应分 类，滤波选择的至少一个像素。
[0081] 另一个优点/特征是如上所述的含有视频编码器的装置，其中滤波器系数是自适 应的，并且是响应在多个类别的至少一个内提供改进滤波性能选择的。
[0082] 又一个优点/特征是如上所述的其中滤波器系数是自适应的，并且是响应在多个 类别的至少一个内提供改进滤波性能选择的含有视频编码器的装置，其中改进性能是通过 使输入画面与输入画面的重构版本之间的失真度量最小化提供的。
[0083] 再一个优点/特征是如上所述的含有视频编码器的装置，其中至少一个像素的分 类是响应与其相对应的方向、幅度、各向异性/各向同性、对比度、和梯度的至少一个确定 的。
[0084] 此外，另一个优点/特征是如上所述的含有视频编码器的装置，其中滤波器系数是 基于画面自适应训练的，并且是使用一个或多个高级语法元素传信的。
[0085] 并且，另一个优点/特征是如上所述的含有视频编码器的装置，其中滤波器系数是 离线训练的，并且存储在编码器和相应解码器两者中。
[0086] 此外，另一个优点/特征是如上所述的含有视频编码器的装置，其中与块自适应环 路滤波或四叉树自适应环路滤波联合地进行滤波。
[0087] 相关领域的普通技术人员可W根据本文的教导容易地弄清本原理的运些和其它 特征和优点。要明白，本原理的教导可硬件、软件、固件、专用处理器、或它们的组合的 各种形式实现。
[0088] 最优选的是，将本原理的教导实现成硬件和软件的组合。此外，软件可W实现成有 形地具体化在程序存储单元上的应用程序。应用程序可W上载到包含任何适用架构的机器 上并由它执行。优选的是，在含有像一个或多个中央处理单元（"CPU")、随机访问存储器 ("RAM")、和输入/输出（"1/炉般口那样的硬件的计算机平台上实现该机器。该计算机平台 还可W包括操作系统和微指令代码。本文所述的各种过程和功能可W是可由CPU执行的部 分微指令代码或部分应用程序，或它们的任何组合。另外，像附加数据存储单元和打印单元 那样的各种其它外围单元可W与计算机平台连接。
[0089] 还要明白，因为描绘在附图中的一些组成系统组件和方法优选用软件实现，所W 系统组件或过程功能块之间的实际连接可能随编程本原理的方式而不同。给定本文的教 导，相关领域的普通技术人员能够设想出本原理的运些和类似实现或配置。
[0090] 尽管本文参考附图描述了一些例示性实施例，但要明白，本原理不局限于那些精 确实施例，相关领域的普通技术人员可W不偏离本原理的精神或范围地实施各种改变和修 改。所有运样的改变和修改都意欲包括在如所附权利要求书所述的本原理的范围之内。
【主权项】
1. 一种装置，其包含： 通过如下步骤编码输入画面的视频编码器（100):变换和量化输入画面的残差以获取 量化变换系数;逆量化和逆变换量化变换系数以获取残差的重构版本；以及将至少一个参 考画面与残差的重构版本组合以获取输入画面的重构版本，以及其中所述视频编码器包括 滤波器（133)，用于响应局部几何特性，将输入画面的重构版本中的像素分类在多个类别的 对应一个内，并响应针对多个类别对至少一个像素的相应分类，滤波选择的至少一个像素。2. 如权利要求1所述的装置，其中滤波器系数是自适应的，并且是响应在多个类别的至 少一个内提供改进滤波性能选择的。3. 如权利要求2所述的装置，其中改进性能是通过使输入画面与输入画面的重构版本 之间的失真度量最小化提供的。4. 如权利要求1所述的装置，其中至少一个像素的分类是响应与其相对应的方向、幅 度、各向异性/各向同性、对比度、和梯度的至少一个确定的。5. 如权利要求1所述的装置，其中滤波器系数是基于画面自适应训练的，并且是使用一 个或多个高级语法元素传信的。6. 如权利要求1所述的装置，其中滤波器系数是离线训练的，并且存储在编码器和相应 解码器两者中。7. 如权利要求1所述的装置，其中与块自适应环路滤波或四叉树自适应环路滤波联合 地进行滤波。8. -种在视频编码器中的方法，其包含： 编码输入画面， 其中所述编码步骤包含： 变换和量化(315)输入画面的残差以获取量化变换系数； 逆量化和逆变换(315)量化变换系数以获取残差的重构版本； 将至少一个参考画面与残差的重构版本组合(315)以获取输入画面的重构版本； 响应局部几何特性，将输入画面的重构版本中的像素分类(330，530，720)在多个类别 的对应一个内；以及 响应针对多个类别对至少一个像素的相应分类，滤波（350，550,760)选择的至少一个 像素。9. 如权利要求8所述的方法，其中滤波器系数是自适应的，并且是响应在多个类别的至 少一个内提供改进滤波性能选择的。10. 如权利要求9所述的方法，其中改进性能是通过使输入画面与输入画面的重构版本 之间的失真度量最小化提供的。11. 如权利要求8所述的方法，其中至少一个像素的分类是响应与其相对应的方向、幅 度、各向异性/各向同性、对比度、和梯度的至少一个确定的。12. 如权利要求8所述的方法，其中滤波器系数是基于画面自适应训练的，并且是使用 一个或多个高级语法元素传信的。13. 如权利要求8所述的方法，其中滤波器系数是离线训练的，并且存储在编码器和相 应解码器两者中。14. 如权利要求8所述的方法，其中与块自适应环路滤波或四叉树自适应环路滤波联合 地进行滤波(770)。15. -种装置，其包含： 通过如下步骤解码画面的视频解码器(200):接收量化变换系数;逆量化和逆变换量化 变换系数以获取残差的重构版本；以及将至少一个参考画面与残差的重构版本组合以获取 画面的重构版本，其中所述视频解码器包括滤波器(233)，用于响应局部几何特性，将画面 的重构版本中的像素分类在多个类别的对应一个内，并响应针对多个类别对至少一个像素 的相应分类，滤波选择的至少一个像素。16. 如权利要求15所述的装置，其中滤波器系数是自适应的，并且是响应在多个类别的 至少一个内提供改进滤波性能选择的。17. 如权利要求16所述的装置，其中改进性能是通过使画面与画面的重构版本之间的 失真度量最小化提供的。18. 如权利要求15所述的装置，其中至少一个像素的分类是响应与其相对应的方向、幅 度、各向异性/各向同性、对比度、和梯度的至少一个确定的。19. 如权利要求15所述的装置，其中滤波器系数是基于画面自适应训练的，并且是使用 一个或多个高级语法元素传信的。20. 如权利要求15所述的装置，其中滤波器系数是离线训练的，并且存储在编码器和相 应解码器两者中。21. 如权利要求15所述的装置，其中与块自适应环路滤波或四叉树自适应环路滤波联 合地进行滤波。22. -种在视频解码器中的方法，其包含： 解码画面， 其中所述解码步骤包含： 接收(415)量化变换系数； 逆量化和逆变换(415)量化变换系数以获取残差的重构版本； 将至少一个参考画面与残差的重构版本组合(415)以获取画面的重构版本； 响应局部几何特性，将画面的重构版本中的像素分类(420,620,820)在多个类别的对 应一个内；以及 响应针对多个类别对至少一个像素的相应分类，滤波(450，640,850)选择的至少一个 像素。23. 如权利要求22所述的方法，其中滤波器系数是自适应的，并且是响应在多个类别的 至少一个内提供改进滤波性能选择的。24. 如权利要求23所述的方法，其中改进性能是通过使画面与画面的重构版本之间的 失真度量最小化提供的。25. 如权利要求22所述的方法，其中至少一个像素的分类是响应与其相对应的方向、幅 度、各向异性/各向同性、对比度、和梯度的至少一个确定的。26. 如权利要求22所述的方法，其中滤波器系数是基于画面自适应训练的，并且是使用 一个或多个高级语法元素传信的。27. 如权利要求22所述的方法，其中滤波器系数是离线训练的，并且存储在编码器和相 应解码器两者中。28. 如权利要求22所述的方法，其中与块自适应环路滤波或四叉树自适应环路滤波联 合地进行滤波(855)。29. -种含有编码在上面的视频信号数据的计算机可读非临时存储媒体，其包含： 通过如下步骤编码的输入画面:变换和量化输入画面的残差以获取量化变换系数;逆 量化和逆变换量化变换系数以获取残差的重构版本;将至少一个参考画面与残差的重构版 本组合以获取输入画面的重构版本；响应局部几何特性，将输入画面的重构版本中的像素 分类在多个类别的对应一个内；以及响应针对多个类别对至少一个像素的相应分类，滤波 选择的至少一个像素。
【文档编号】H04N19/14GK105872554SQ201610346302
【公开日】2016年8月17日
【申请日】2011年3月2日
【发明人】许茜, 郑云飞, 尹鹏, 吕小安, J.索尔
【申请人】汤姆森特许公司