用于自适应参考滤波的方法和装置的制作方法

专利名称：用于自适应参考滤波的方法和装置的制作方法
技术领域：
本发明总体涉及视频编码和解码，更具体地，涉及用于自适应参 考滤波的方法和装置。
背景技术：
在当前的编码器和/或解码器设计中，运动补偿通过从当前块中减 去预测块来利用时间冗余。然而，存在各种运动补偿预测并不有效的 情况。例如，在待编码的当前帧与参考帧之间存在清晰度/模糊度的差 异的情况。例如，这种情况可能由改变焦点、手持设备的摇镜头、和/ 或由场景改变所引起的特殊效果而导致。当照相机首先聚焦于一个人 物然后转移到另一个人物、并且这两个人物呈现出不同的场景/聚焦深 度时，能够显著地观察到这种现象。第一个人在参考帧中看起来较为 清晰，而第二个人在参考帧中较为模糊。这里，我们将这种常规单视 点视频编码中的焦点改变的示例表示为"示例1"。
在多视点视频序列中，出现降低预测信号质量的另一个差异源。 在多视点视频编码系统中，通过照相机从不同视点同时对场景进行捕 获。逐视点地施加视差补偿，以利用不同视点图像之中的冗余。与单 独对每一个视点进行编码相比，通过执行运动补偿和视差补偿能够获 得更高的编码效率。可以利用不同类型的照相机或尚未完全校准的照 相机来构成多视点视频系统。例如，这就导致了不同视点之中诸如光 照失配、色彩失配和/或焦点失配之类的差异。由于这些差异，可能降 低交叉视图视差补偿的效率。此外，具有不同深度的对象在两个视图之间可能具有不同类型的不协调。例如，在视图1中可能对焦于对象 A，而在视图2中对焦于对象B。为了执行从视图1至辨图2的视差
补偿，对象A在参考帧中较为清晰，而对象B较为模糊。这里，我们 将这种多视点系统中的照相机焦点失配表示为"示例2"。
在产生用于运动补偿的子像素参考时，所关注的是关于自适应参 考帧滤波的大多数先前文献。
例如，在一种传统的自适应内插滤波方法中，已经基于帧提出了
自适应内插滤波器。在利用固定6抽头滤波器使用内插后的参考帧获 得运动矢量之后，其中该6抽头滤波器符合国际标准化组织/国际电工 委员会的(ISO/IEC)运动图像专家组-4 (MPEG-4)第10部分的高级 视频编码(AVC)标准/国际电信联盟电信标准局(ITU-T) H.264标 准(此后为"MPEG-4AVC标准")，通过最小化诸如平方差和(SSD) 或绝对差和(SAD)之类的匹配误差度量来计算自适应内插滤波器的 系数。该自适应滤波器用于产生内插后的参考图像，然后该内插后的 参考图像用于运动补偿。利用最新内插的子像素参考，这一过程不需 要进一步执行运动估计。滤波器设计被限制为在水平和垂直方向上为 可分离的，并且与双线性滤波器进行级联。
在上述自适应内插滤波方法的改进中，另一种方法包括首先利用 标准内插滤波器来获得运动矢量。根据运动矢量的子像素部分，针对 不同子像素位置设计不同的内插滤波器。所采用的滤波器是二维不可 分离的，并且具有一定的对称性约束，以减少所要求解的系数的个数。 利用这些新的滤波器执行第二运动估计/补偿，以产生子像素参考。
在上述涉及自适应内插滤波的现有技术中，参考帧中的整像素保 持不变，因为内插使得原始数据点保持不变。然而，这种方法对于具 有固有差异的预测视频编码而言并不是很有效。
在使用模糊补偿来进行视频压縮的现有方法中，提出了使用模糊 滤波器来产生模糊参考帧。然而，这种方法只针对当前帧是参考帧的 模糊版本的情况，反之则不成立。通过编码器所选择的滤波器的设置 是预定的，与自适应滤波器设计方法相比，这种滤波器的设置极为受 限，并非最理想的。此外，对于待编码的每一帧而言，将基于帧级别率压缩从预定设置中选择唯一的一个滤波器。

发明内容
本发明针对用于自适应参考滤波的方法和装置，解决了现有技术 的上述和其他缺陷以及缺点。
根据本发明的一方面，提供了一种装置。该装置包括用于对至少 一个图像进行编码的编码器。该编码器对至少一个参考图像执行自适 应滤波，以分别获得至少一个滤波后的参考图像，并使用所述至少一 个滤波后的参考图像对所述至少一个图像进行预测编码。所述至少一 个参考图像是其中至少一个采样用于在被应用于环内滤波器之后或在 没有被应用于环内滤波器时进行帧间预测的图像。
根据本发明的另一方面，提供了一种方法。该方法包括对至少一
个图像进行编码。编码步骤包括对至少一个参考图像执行自适应滤波，
以分别获得至少一个滤波后的参考图像，并使用所述至少一个滤波后
的参考图像对所述至少一个图像进行预测编码。所述至少一个参考图 像是其中至少一个釆样用于在被应用于环内滤波器之后或在没有被应
用于环内滤波器时进行帧间预测的图像。
根据本发明的又一方面，提供了一种装置。该装置包括对至少一 个图像进行解码的解码器。该解码器对至少一个参考图像执行自适应 滤波，以分别获得至少一个滤波后的参考图像，并使用所述至少一个 滤波后的参考图像对所述至少一个图像进行预测解码。所述至少一个 参考图像是其中至少一个采样用于在被应用于环内滤波器之后或在没 有被应用于环内滤波器时进行帧间预测的图像。
根据本发明的又一方面，提供了一种方法。该方法对至少一个图 像进行解码。该解码步骤包括对至少一个参考图像执行自适应滤波， 以分别获得至少一个滤波后的参考图像，并使用所述至少一个滤波后 的参考图像对所述至少一个图像进行预测解码。所述至少一个参考图 像是其中至少一个采样用于在被应用于环内滤波器之后或在没有被应 用于环内滤波器时进行帧间预测的图像。
根据以下结合附图加以阅读的示例性实施例的详细描述，本发明的上述和其他方案、特征以及优势将变得更加明显。


根据以下示例性附图，本发明将可以得到更好的理解，附图中
图l是根据本发明的实施例的用于具有自适应参考滤波的示例性 多视点视频编码(MVC)编码器的框图2是根据本发明的实施例的用于具有自适应参考滤波的示例性 多视点视频编码(MVC)编码器的框图；以及
图3是根据本发明的实施例的用于在编码器处估计自适应滤波器
的示例性方法的流程图；以及
图4是根据本发明的实施例的用于在解码器处估计自适应滤波器
的示例性方法的流程图。
具体实施例方式
本发明针对用于自适应参考滤波的方法和装置。
说明书阐释了本发明的原理。因而，应意识到，所属领域技术人 员将能够设计出此处虽未明确说明或示出，但体现了本发明原理，并 处于其精神和范围内的各种配置。
此处叙述的所有示例以及条件式语言均为达到教学目的，旨在帮 助读者理解由发明者提出的改进了现有技术的发明原理以及发明构 思，因而应将其看成不限于那些具体叙述的示例以及条件。
此外，此处叙述的发明原理、方案和实施例的所有说明及其具体 示例均意在涵盖其结构以及功能上的等价物。此外，这些等价物意在 包括现存等价物以及将于未来开发出来的等价物，§卩，不管结构如何， 被开发用于执行同一功能的任意元件。
因而，举例而言，所属领域技术人员应意识到此处所示的方框图 表示体现本发明原理的示意电路的概念视图。同样，应意识到流程图、 状态转移图、伪码等表示可在计算机可读介质中表现，因而无论是否 明确说明了计算机或处理器，均能够用计算机或处理器予以执行的过 程。
i可以通过采用专用硬件以及能够连同适当软件执行有关软件的硬 件实现附图所示的各个元件的功能。如果用处理器来提供功能，则可 以用单独的专用处理器、单独的共享处理器或者若干独立的处理器(其 中一些可以共享)来提供功能。此外，不应将术语"处理器"或"控 制器"的明确使用看成专指能够执行软件的硬件，而可以无限制地隐 含包括，数字信号处理器("DSP")硬件、用于存储软件的只读存储器
("R0M")、随机存取存储器("RAM")以及非易失性存储器。
还可以包括常规的和/或定制的其他硬件。同样，附图中的所有开 关也只是概念上的。可以通过程序逻辑操作、专用逻辑、程序控制以 及专用逻辑的相互作用，或者甚至手动实现它们的功能，其中具体技 术可以根据上下文更加具体的理解后，由实施者加以选择。
在权利要求中，任意被表示为用于执行指定功能的装置都意在包 含执行该功能的任意方式，后者包括比如，a)执行该功能的电路元
件的组合或b)任意形式的软件，因而包括同用于执行该软件以实现
所述功能的适当电路相结合的固件、微代码或类似软件。由这种权利 要求所限定的发明在于以权利要求所请求的方式结合在一起的各种所 述装置所提供的功能。因而，应将能够提供这种功能的任意装置看做 此处说明的装置的等价物。
说明书中对本发明原理"一个实施例"的引用意味着，至少在依 照本发明原理的一个实施例中包含了结合实施例进行说明的特定的特 征、结构、特点等等。因而，在整个说明书中各处出现的短语"在一 个实施例中"未必指同一实施例。
此外，应理解，尽管这里关于MPEG-4AVC标准描述了本发明的 一个或多个实施例，本发明并不仅仅局限于这一标准，因此可以在不 背离本发明精神的前提下，关于其它视频编码标准、规范、以及包括 对MPEG-4 AVC标准的扩展在内的其中施加了运动和/或视差补偿的 扩展来利用本发明。
如这里所使用的，术语"参考图像"指的是在从中获得了采样的 图像，该采样用于在被应用于环内滤波器(例如，解块滤波器)之后 或在根本没有应用环内滤波器时进行帧间预测。下面参考图1，用附图标记100总体指示具有自适应参考滤波的
示例性多视点视频编码(MVC)编码器。编码器100包括合并器105， 合并器105的输出端以信号通信的形式与变换器110的输入端连接。 变换器110的输出端以信号通信的形式与量化器115的输入端连接。 量化器115的输出端以信号通信的形式与熵编码器120的第一输入端 以及逆量化器125的输入端连接。逆量化器125的输出端以信号通信 的形式与逆变换器130的输入端连接。逆变换器130的输出端以信号 通信的形式与合并器135的第一同相输入端连接。合并器135的输出 端以信号通信的形式与解块滤波器150的输入端连接。解块滤波器150 的输出端以信号通信的形式与解码参考图像存储155的输入端连接。 解码参考图像存储155的输出端以信号通信的形式与自适应滤波器估 计器170的第一输入端以及参考图像滤波器165的第一输入端连接。 自适应滤波器估计器170的输出端以信号通信的形式与参考图像滤波 器165的第二输入端以及熵编码器120的第三输入端连接。参考图像 滤波器165的输出端以信号通信的形式与滤波后的参考图像存储160 的输入端连接。滤波后的参考图像存储160的输出端以信号通信的形 式与运动/视差补偿器175的第一输入端以及运动/视差估计器180的 第一输入端连接。运动/视差估计器180的输出端以信号通信的形式与 输出与运动/视差补偿器的第二输入端以及熵编码器120的第二输入 端连接。运动/视差补偿器175的输出端以信号通信的形式与合并器 105的反相输入端以及合并器135的同相输入端连接。合并器105的 同相输入端端、运动/视差估计器180的第二输入端、以及自适应滤波 器估计器170的第二输入端可作为编码器100的输入端。熵编码器120 的输出端可作为编码器100的输出端。
下面参考图2，用附图标记200总体指示具有自适应参考滤波的 示例性多视点视频编码(MVC)解码器。解码器200包括熵解码器 205，熵解码器205的第一输出端以信号通信的形式与逆量化器210 的输入端连接。逆量化器210的输出端以信号通信的形式与逆变换器 215的输入端连接。逆变换器215的输出端以信号通信的形式与合并 器220的同相输入端连接。合并器220的输出端以信号通信的形式与解块滤波器225的输入端连接。解块滤波器225的输出端以信号通信 的形式与解码参考图像存储230的输入端连接。解码参考图像存储230 的输出端以信号通信的形式与参考图像滤波器235的第一输入端连 接。参考图像滤波器235的输出端以信号通信的形式与滤波后的参考 图像存储240的输入端连接。滤波后的参考图像存储240的输出端以 信号通信的形式与运动/视差补偿器245的第一输入端连接。运动/视 差补偿器245的输出端以信号通信的形式与合并器220的第二同相输 入端连接。熵解码器205的第二输出端以信号通信的形式与参考图像 滤波器235的第二输入端连接。熵解码器205的第三输出端以信号通 信的形式与运动/视差补偿器245的第二输入端连接。熵解码器205的 输入端可作为解码器200的输入端。解块滤波器225的输出端可作为 解码器200的输出端。
根据本发明，提供了用于自适应参考滤波的方法和装置。优选地， 这里所公开的方法和装置由于至少下面所阐述的原因提供了比用于自 适应参考滤波的现有技术更好的用于预测视频编码的预测信号。
在实施例中，自适应地设计多个滤波器，以解决图像的不同部分 的各种失配。
在实施例中，根据待编码的当前图像和参考图像，自适应地计算 一组滤波器，以补偿这两个图像之间的差异。在将所计算的滤波器用 于预测之前，将其应用于参考图像。例如，基于原始采样网格将滤波 器操作应用于解码后的参考图像，以产生参考图像的滤波版本。这些 滤波器以下列方式进行操作产生具有滤波后的像素的新参考，以便 为预测视频编码提供更好的预测。
例如，对参考帧本身的滤波将能够对诸如清晰度和模糊度之类的 差异进行更好的补偿。此外，因为将自适应参考滤波应用于原始图像 的分辨率，因此其相对于自适应内插滤波具有计算上的优势。
对于子像素参考，提供了两种示例性方法。 一种方法是利用标准 AVC内插滤波器产生子像素，但是基于来自如上获得的新参考图像的 像素。另一种方法也是使用自适应滤波器来产生子像素参考。
应理解，本发明可以有利地应用于规则单视点视频编码中的运动补偿预测和多视点视频编码(MVC)中的视差补偿预测。作为根据本 发明实施例的一个示例，将该方案应用于多视点视频编码中的交叉视 图预测，其中视差信息用作确定滤波器数目和计算滤波器系数的线索。 该方案还可以用于规则视频编码中对场的深度和/或变化模糊度进行 补偿。
关于根据本发明可以使用的滤波器类型，应理解，这里关于有限 冲击响应(FIR)线性滤波器的使用而描述了本发明的一个或多个实 施例，然而在不背离本发明的精神的前提下，也可以采用其他类型的
滤波器，包括但不局限于无限冲击响应滤波器(IIR)和非线性滤波器。
此外，应理解，在滤波器的设计中可以考虑时间方法，例如，涉及多 个解码参考图像的三维滤波器。
在对自适应滤波器进行估计之后，在运动/视差补偿过程期间可以 实时地局部应用实际的滤波操作，或者可以首先对整个参考图像进行 滤波然后在用于补偿之前将其存储。
在实施例中，在编码过程期间，通过聚类/分段算法自适应地设计 一个或多个滤波器，以对图像中不同部分中的各种失配进行补偿。可 以利用滤波后的参考帧执行运动/视差补偿。将针对每一帧的滤波器系 数和针对指定帧内的每一块的滤波器的选择发送到解码器，以进行正 确的重构。为了获得更高效率，可以对自适应滤波器的滤波器系数进 行差分编码。这里所公开的参考图像管理方法可以用于发信号通知在
块级别的滤波器选择。在针对MPEG-4AVC标准的特定实施例中，可 以使用与之相对应的参考索引机制来发信号通知将哪一个滤波器用于 特定块的编码。对于解码器，利用接收到的滤波器系数产生自适应滤 波器。然后，可以产生相应的新参考，以对视频序列进行正确的解码。
根据本实施例，自适应滤波器估计包括两个步骤，滤波器关联步 骤和滤波器确定步骤。
关于滤波器关联步骤，为了对图像的不同部分中的各种失配进行 建模，针对每一个参考图像使用多个滤波器。为此，将当前的图像分 割为若干个组。可以将每一个组与稍微要估计的一个自适应滤波器进 行关联。可以根据输入的数目来确定分割。示例性输入包括运动信息、视差信息、局部信号特性、以及预测信号特性。用于滤波器关联的块 分割的一个特定实施例将前景与背景进行分离，并分别将前景和背景 与滤波器进行关联。可以应用组划分的可选后处理步骤，以改进滤波 器的关联结果。例如，滤波器关联过程可以对图像进行过度分割，从 而产生过多滤波器，在可选后处理步骤中，可以将上述过多滤波器聚 类成较少数目的滤波器。
关于滤波器的确定，针对从前一步骤(滤波器关联)所获得的每 一个子图像组，可以通过最小化用于预测误差的代价函数来计算滤波 器系数。估计过程中只涉及与当前滤波器相关联的像素。代价函数可 以是绝对像素差的任意非增函数，例如平方和(SSD)或绝对差和
(SAD)。
下面参考图3，附图标记300总体指示用于在编码器处估计自适 应滤波器的示例性方法。
方法300包括将控制传递到功能框310的起始框305。功能框310 执行参考链表构建，并将控制传递到判决框315。判决框315确定是 否启用VRP。如果启用，则将控制传递到功能框320。否则，将控制 传递到功能框335。
功能框320执行滤波器关联，并将控制传递到功能框325。功能 框325执行滤波器确定，并将控制传递到功能框330。功能框330执 行参考图像滤波，并将控制传递到功能框335。
功能框335发信号通知是否启用VRP。如果启用，则发信号通知 用于VRP产生的参数，并将控制传递到功能框340。功能框340对当 前图像进行编码，并将控制传递到结束框399。
例如，功能框320执行的滤波器关联可能涉及通过将当前图像分 割成若干个组(例如，根据运动信息、视差信息、局部信号特性、以 及预测信号特性)而针对每一个参考图像启用多个滤波器，将每一个 组与一个滤波器进行关联，以及可选地执行后处理分组步骤。
例如，功能框325执行的滤波器确定涉及通过最小化用于预测误 差的代价函数(例如SSD和/或SAD)而针对每一个子图像组计算滤 波器系数。下面参考图4，附图标记400总体指示用于在解码器处估计自适 应滤波器的示例性方法。
方法400包括将控制传递到功能框410的起始框405。功能框410 确定是否启用VRP，如果启用，则确定用于VRP产生的参数，然后 将控制传递到功能框415。功能框415执行参考列表构建，然后将控 制传递到判决框420。判决框420确定是否启用VRP。如果启用，则 将控制传递到功能框425。否则，将控制传递到功能框430。
功能框425执行参考图像滤波，并将控制传递到功能框430。 功能框430对当前图像进行解码，并将控制传递到结束框499。
用于MVC中的交叉视图预测的自适应参考滤波
这里所公开的方法和装置可以用于具有运动补偿和/或视差补偿 的任何视频编码系统。在多视点视频编码(MVC)中，视差补偿利用 来自其他视图的编码图像来预测当前视像。多视点视频编码系统 中的不同类型和/或尚未完全校准的照相机潜在地可能在视图之间引 起很大的视差。此外，对于场景的不同部分而言，失配的程度和特性 可能会不同。对于上述示例2所描述的焦点失配问题，不同深度的对 象将出现各种清晰度/模糊度的不协调。在针对多视点视频编码的一个 实施例中，可以利用视差场来自适应地设计多个滤波器。
如之前所描述的，在参考滤波中使用多个滤波器可以对具有不同 场景深度的对象的各种差异进行补偿。针对来自多视点视频编码系统 中的两个视图的一对图像，更接近于照相机(短深度)的对象将具有 更大的视差，而更远的对象(更远的深度)将具有更小的视差。这一 特性可以在实施例中用于将具有不同深度的对象进行关联，这涉及查 看它们的视差并根据它们的相关视差执行关联。
在实施例中，识别不同深度级别内的对象，并计算针对各种深度 级别的滤波器系数。利用视差信息，可以使用各种方法来识别不同深 度级别内的对象，并计算针对各种深度级别的滤波器系数。与计算机 视图中的大多数现有技术不同的是，现有技术中所阐述的方法用于在 像素级别上找到精确/平滑的视差图，这里却是要找到将对象分类为不同深度组的一些视差范围。在实施例中，为了例证的简单起见，基于 从初始视差补偿中获得的逐块视差矢量的X分量来例证聚类方法。该 方法适用于将照相机布置于同一水平线上的多视点系统。对于例如照 相机阵列之类的2维(2D)照相机布置，聚类可以扩展到视差矢量的
x和y方向。
在实施例中，为了使用视差矢量完成块分割，提出了使用高斯混
合模型(GMM)的聚类方法。可以应用期望最大化算法(EM算法) 来实现GMM聚类。这一方法将对具有多个高斯分布的视差矢量的x 分量的柱状图进行建模。其提供了每个高斯分量的均值、方差、以及 先验概率。
使用高斯混合模型具有一些优点。现在将对这些优点中的一些进 行描述。
关于在使用高斯混合模型时的一个优点，通常通过选择与最低率 失真代价的匹配来实现视频编码中的视差估计/补偿。存在所获得的视 差矢量无法反映对象的实际位移的可能性。GMM具有将这些随机噪 声矢量建模为高斯曲线的能力，典型地为具有大的方差和小的先验概 率的高斯曲线。从混合模型中去除这些高斯分量使得该聚类更加能够 抗噪声。
关于在使用高斯混合模型时的另一个优点，利用针对每一个高斯 分量所指定的均值和方差，可以找到将视差矢量映射到具有较高置信 度(例如，均值土一个标准偏差)的不同组的间隔。
关于在使用高斯混合模型时的另一个优点，具有大的方差的高斯 可以涵盖与其他形状更尖锐的高斯重合的视差范围。这可以通过查看 不同高斯分量的均值的位置、将均值与它们的方差和先验概率进行组 合来进行检查。然后，可以相应地调整与每一个组相关联的视差范围。
在视差矢量被聚类成深度组之后，基于与不同组相关联的图像块 来计算多个滤波器。在实施例中，针对每一个深度组"G,，该流程涉 及如下通过最小化平方预测误差来计算系数为^的滤波器
+ dx + i'， _V + tfy + _;')
(1)在方程(1)中，C是待编码的当前帧，^是重构的参考帧。下标 索引表示像素位置。(血，办)是初始视差矢量的整数部分。方程(1) 可以关于每一个^进行求导来求解。
根据实施例，可以使用二维非分离滤波器。然而，应理解，给定 这里所提供的本发明原理的教导，本领域以及相关领域的技术人员将 能够在不背离本发明原理范围的前提下，设想出这些以及根据本发明 可以使用的各种其他类型的滤波器。二维非分离滤波器的大小和形状 可以简单地通过改变值m和"而指定。例如，当111=11=2时，滤波器
将为5X5滤波器，其中它们的中心定位于要进行滤波的像素处。求得 (±2， ±2)窗口内的像素的加权和，以对参考帧进行滤波。应注意 的是，利用对整像素进行滤波以针对视差补偿产生参考的另一版本的 方式，滤波器操作于参考帧。
利用通过应用自适应滤波器而获得的新的参考，执行第二视差补 偿。然后，视差估计在由不同滤波器产生的多个参考之中最佳匹配。 为了更高的编码效率，可以对滤波器系数进行差分编码。给定来自多 视点视频编码系统的两个视图，在时间上无法快速地改变这两个照相 机中的固有失配。可以利用前一时间戳处的系数对当前时间戳处的系 数进行差分编码。关于发信号通知基于块的滤波器选择，可以将参考 索引机制用于基于MPEG-4 AVC标准的本实施例。
单视点视频编码中的自适应滤波器
对于焦点变化的视频，例如之前所描述的'示例r，在实施例中， 可以应用基于局部的设计方法。初始地，可以针对图像的不同部分局 部地计算多个滤波器。因为运动无法提供足够的信息来识别不同对象， 当分割足够地小时，可以捕获周部效应。还可以将这些滤波器聚类在 一起，以形成组，随后每一个组将使用相应的信号块来计算其自身的 滤波器。
现在将对本发明的某些附属优势/特征予以说明，其中某些优势/ 特征在上文己有所提及。例如， 一种优势/特征在于一种装置，该装置 包括对至少一个图像进行编码的编码器，其中该编码器对至少一个参考图像执行自适应滤波，以分别获得至少一个滤波后的参考图像，并 使用所述至少一个滤波后的参考图像对所述至少一个图像进行预测编 码。所述至少一个参考图像是其中至少一个采样用于在被应用于环内 滤波器之后或在没有被应用于环内滤波器时进行帧间预测的图像。
另一个优势/特征是具有上述编码器的装置，其中该编码器基于与 至少一个图像和至少一个参考图像相对应的信息，自适应地确定要应 用于至少一个参考图像的至少一个滤波器系数和滤波器的数目。
另一个优势/特征是具有编码器的装置，该编码器自适应地确定如 上述所要应用的滤波器系数和滤波器的数目，其中该信息包括与至少 一个图像和至少一个参考图像相对应的运动信息和视差信息中的至少
一个o
此外，另一个优势/特征是具有编码器的装置，该编码器自适应地 确定如上述所要应用的滤波器系数和滤波器的数目，其中该信息包括 与至少一个图像和至少一个参考图像相对应的亮度信息和色彩信息中 的至少一个。
此外，另一个优势/特征是具有编码器的装置，该编码器自适应地 确定如上述所要应用的滤波器系数和滤波器的数目，其中该信息是使 用聚类方法和分割方法中的至少一个而获得的。
此外，另一个优势/特征是具有编码器的装置，其中该信息是使用 上述聚类方法和分割方法中的至少一个而获得的，其中聚类方法和分 割方法中的至少一个基于期望最大化方法。
此外，另一个优势/特征是具有编码器的装置，其中该信息是使用 上述聚类方法和分割方法中的至少一个而获得的，其中聚类方法和分 割方法中的至少一个基于高斯混合模型。
此外，另一个优势/特征是具有上述编码器的装置，其中该编码器 将至少一个图像的不同部分与多个滤波器进行关联，以捕获所述至少 一个图像不同部分中的各种差异。
此外，另一个优势/特征是具有上述编码器的装置，其中该编码器 使用至少一个自适应滤波器产生至少一个滤波后的参考图像中的整像 素和子像素中的至少一个。此外，另一个优势/特征是具有上述编码器的装置，其中该编码器 基于编码器的空间结构和时间结构中的至少之一，对滤波器系数进行 差分编码，以对至少一个参考图像进行自适应滤波。
此外，另一个优势/特征是具有上述编码器的装置，其中该编码器 启用多个所述至少一个滤波后的参考图像，并基于图像块自适应地利 用所述至少一个滤波后的参考图像中的一个或多个。
此外，另一个优势/特征是具有上述编码器的装置，其中在自适应 滤波中使用的一个或多个滤波器是一维、二维和三维中的一个。
根据这里的教导，所属领域技术人员易于弄清本发明的上述和其 他特征以及优势。应当理解的是，可以硬件、软件、固件、专用处理 器或其组合的各种形式实现本发明的教导。
优选情况下，用硬件和软件的组合实现本发明的教导。此外，可 以用程序存储单元上有形体现的应用程序实现该软件。该应用程序可 上载至具有任意适当架构的机器，并由后者予以执行。优选情况下， 在具有诸如一个或更多个中央处理单元("CPU")、随机存取存储器
("RAM")以及输入/输入("I/O")接口等硬件的计算机平台上实现该
机器。计算机平台还可以包含操作系统以及微指令代码。此处说明的
各种处理和功能可以是由CPU执行的微指令代码的一部分、应用程序的
一部分或者其任意组合。此外，可以将诸如附加数据存储单元和打印 单元等各种其他外围设备单元连接至计算机平台。
还应当理解的是，由于附图中所描绘的某些构成系统组件以及方 法在优选情况下是用软件来实现的，因而系统组件或处理函数方框之 间的实际连接根据本发明的实现方式可能会有所不同。给定此处的教 导，所属领域技术人员将能够构想出本发明的上述以及类似的实现或 者配置。
尽管参考附图对说明性实施例进行了描述，然而应当理解的是， 本发明不局限于这些具体的实施例，所属领域技术人员可以在不背离 本发明范围或精神的前提下进行各种改进以及修改。正如附属权利要 求所阐释的那样，意图将所有此类修改以及改进包含于本发明的范围之内。
2权利要求
1. 一种装置，包括编码器(100)，用于对至少一个图像进行编码，其中所述编码器对至少一个参考图像执行自适应滤波，以分别获得至少一个滤波后的参考图像，并使用所述至少一个滤波后的参考图像对所述至少一个图像进行预测编码，所述至少一个参考图像是其中至少一个采样用于在被应用于环内滤波器之后或在没有被应用于环内滤波器时进行帧间预测的图像。
2. 根据权利要求l的装置，其中，所述编码器(100)基于与所述 至少一个图像和所述至少一个参考图像相对应的信息，自适应地确定 要应用于所述至少一个参考图像的至少一个滤波器系数和滤波器的数 百。
3. 根据权利要求2的装置，其中，所述信息包括与所述至少一个 图像和所述至少一个参考图像相对应的运动信息和视差信息中的至少 一个。
4. 根据权利要求2的装置，其中，所述信息包括与所述至少一个 图像和所述至少一个参考图像相对应的亮度信息和色彩信息中的至少 一个。
5. 根据权利要求2的装置，其中，所述信息是使用聚类方法和分 割方法中的至少一个而获得的。
6. 根据权利要求5的装置，其中，聚类方法和分割方法中的至少 一个基于期望最大化方法。
7. 根据权利要求1的装置，其中，聚类方法和分割方法中的至少 一个基于高斯混合模型。
8. 根据权利要求1的装置，其中，所述编码器(100)将所述至 少一个图像的不同部分与多个滤波器进行关联，以捕获所述至少一个 图像不同部分中的各种差异。
9. 根据权利要求1的装置，其中，所述编码器(100)使用至少 一个自适应滤波器产生至少一个滤波后的参考图像中的整像素和子像素中的至少一个。
10. 根据权利要求1的装置，其中，所述编码器(100)基于编码 器的空间结构和时间结构中的至少之一，对滤波器系数进行差分编码， 以对所述至少一个参考图像进行自适应滤波。
11. 根据权利要求l的装置，其中，所述编码器(100)启用多个 所述至少一个滤波后的参考图像，并基于图像块自适应地利用所述至 少一个滤波后的参考图像中的一个或多个。
12. 根据权利要求l的装置，其中，在自适应滤波中使用的一个或多个滤波器是一维、二维和三维中的一个。
13. —种方法，包括对至少一个图像进行编码，其中，所述编码步骤包括对至少一个参考图像执行自适应滤波(330)，以分别获得至少一个滤波后的参考 图像，并使用所述至少一个滤波后的参考图像对所述至少一个图像进 行预测编码，所述至少一个参考图像是其中至少一个采样用于在被应 用于环内滤波器之后或在没有被应用于环内滤波器时进行帧间预测的 图像。
14. 根据权利要求13的方法，其中，所述编码步骤包括基于与所述至少一个图像和所述至少一个参考图像相对应的信息，自适应地 确定要应用于所述至少一个参考图像的至少一个滤波器系数和滤波器的数目(325)。
15. 根据权利要求14的方法，其中，所述信息包括与所述至少一 个图像和所述至少一个参考图像相对应的运动信息和视差信息中的至 少一个(320)。
16. 根据权利要求14的方法，其中，所述信息包括与所述至少一 个图像和所述至少一个参考图像相对应的亮度信息和色彩信息中的至 少一个(320)。
17. 根据权利要求14的方法，其中，所述信息是使用聚类方法和 分割方法中的至少一个而获得的(320)。
18. 根据权利要求17的方法，其中，聚类方法和分割方法中的至 少一个基于期望最大化方法(320)。
19. 根据权利要求17的方法，其中，聚类方法和分割方法中的至 少一个基于高斯混合模型(320)。
20. 根据权利要求13的方法，其中，所述编码步骤包括将所述 至少一个图像的不同部分与多个滤波器进行关联(320)，以捕获所述 至少一个图像不同部分中的各种差异。
21. 根据权利要求13的方法，其中，所述编码步骤使用至少一个 自适应滤波器产生至少一个滤波后的参考图像中的整像素和子像素中 的至少一个(330)。
22. 根据权利要求13的方法，其中，所述方法是由编码器执行的， 以及所述编码步骤基于编码器的空间结构和时间结构中的至少之一， 对滤波器系数进行差分编码(340)，以对所述至少一个参考图像进行 自适应滤波。
23. 根据权利要求13的方法，其中，所述编码步骤启用多个所述 至少一个滤波后的参考图像，并基于图像块自适应地利用所述至少一 个滤波后的参考图像中的一个或多个(340)。
24. 根据权利要求13的方法，其中，在自适应滤波中使用的一个 或多个滤波器是一维、二维和三维中的一个(325)。
25. —种装置，包括解码器(200)，用于对至少一个图像进行解码，其中所述解码器 对至少一个参考图像执行自适应滤波，以分别获得至少一个滤波后的 参考图像，并使用所述至少一个滤波后的参考图像对所述至少一个图 像进行预测解码，所述至少一个参考图像是其中至少一个采样用于在 被应用于环内滤波器之后或在没有被应用于环内滤波器时进行帧间预 测的图像。
26. 根据权利要求25的装置，其中，所述解码器(200)基于与所 述至少一个图像和所述至少一个参考图像相对应的信息，确定要应用 于所述至少一个参考图像的至少一个滤波器系数和滤波器的数目。
27. 根据权利要求26的装置，其中，所述信息包括与所述至少一个图像和所述至少一个参考图像相对应的运动信息和视差信息中的至 小一个
28. 根据权利要求26的装置，其中，所述信息包括与所述至少一个图像和所述至少一个参考图像相对应的亮度信息和色彩信息中的至少一个。
29. 根据权利要求25的装置，其中，所述解码器(200)将所述 至少一个图像的不同部分与多个滤波器进行关联，以捕获所述至少一 个图像不同部分中的各种差异。
30. 根据权利要求25的装置，其中，所述解码器(200)使用至 少一个自适应滤波器产生至少一个滤波后的参考图像中的整像素和子 像素中的至少一个。
31. 根据权利要求25的装置，其中，所述解码器(200)基于解码 器的空间结构和时间结构中的至少之一，对滤波器系数进行差分编码， 以对所述至少一个参考图像进行自适应滤波。
32. 根据权利要求25的装置，其中，所述解码器(200)启用多个 所述至少一个滤波后的参考图像，并基于图像块自适应地利用所述至 少一个滤波后的参考图像中的一个或多个。
33. 根据权利要求25的装置，其中，在自适应滤波中使用的一个 或多个滤波器是一维、二维和三维中的一个。
34. —种方法，包括对至少一个图像进行解码，该解码步骤包括对至少一个参考图像 执行自适应滤波，以分别获得至少一个滤波后的参考图像，并使用所 述至少一个滤波后的参考图像对所述至少一个图像进行预测解码，所 述至少一个参考图像是其中至少一个采样用于在被应用于环内滤波器 之后或在没有被应用于环内滤波器时进行帧间预测的图像(425)。
35. 根据权利要求34的方法，其中，所述解码步骤包括基于与 所述至少一个图像和所述至少一个参考图像相对应的信息，确定要应 用于所述至少一个参考图像的至少一个滤波器系数和滤波器的数目(410)。
36. 根据权利要求35的方法，其中，所述信息包括与所述至少一 个图像和所述至少一个参考图像相对应的运动信息和视差信息中的至 少一个(410)。
37. 根据权利要求35的方法，其中，所述信息包括与所述至少一 个图像和所述至少一个参考图像相对应的亮度信息和色彩信息中的至 少一个(410)。
38. 根据权利要求34的方法，其中，所述解码步骤包括将所述 至少一个图像的不同部分与多个滤波器进行关联，以捕获所述至少一 个图像不同部分中的各种差异(410)。
39. 根据权利要求34的方法，其中，所述解码步骤使用至少一个 .自适应滤波器产生至少一个滤波后的参考图像中的整像素和子像素中 的至少一个(425)。
40. 根据权利要求34的方法，其中，所述方法由解码器执行，以 及所述解码步骤包括基于解码器的空间结构和时间结构中的至少之 一，对滤波器系数进行差分编码(410)，以对所述至少一个参考图像 进行自适应滤波。
41. 根据权利要求34的方法，其中，所述解码步骤启用多个所述 至少一个滤波后的参考图像，并基于图像块自适应地利用所述至少一 个滤波后的参考图像中的一个或多个(430)。
42. 根据权利要求34的方法，其中，在自适应滤波中使用的一个 或多个滤波器是一维、二维和三维中的一个(410)。
43. —种用于视频编码的视频信号结构，包括 至少一个图像，通过下列步骤对所述至少一个图像进行编码对至少一个参考图像执行自适应滤波，以分别获得至少一个滤波后的参 考图像，并使用所述至少一个滤波后的参考图像对所述至少一个图像 进行预测编码，所述至少一个参考图像是其中至少一个采样用于在被 应用于环内滤波器之后或在没有被应用于环内滤波器时进行帧间预测 的图像。
44. 一种存储介质，其上编码有视频信号数据，所述存储介质包括至少一个图像，通过下列步骤对所述至少一个图像进行编码对 至少一个参考图像执行自适应滤波，以分别获得至少一个滤波后的参 考图像，并使用所述至少一个滤波后的参考图像对所述至少一个图像进行预测编码，所述至少一个参考图像是其中至少一个采样用于在被 应用于环内滤波器之后或在没有被应用于环内滤波器时进行帧间预测 的图像。
全文摘要
提供了用于自适应参考滤波的方法和装置。该装置包括对至少一个图像进行编码的编码器(100)。编码器(100)对至少一个参考图像执行自适应滤波，以分别获得至少一个滤波后的参考图像，并使用至少一个滤波后的参考图像对所述至少一个图像进行预测编码。所述至少一个参考图像是其中至少一个采样用于在被应用于环内滤波器之后或在没有被应用于环内滤波器时进行帧间预测的图像。
文档编号H04N7/26GK101491101SQ200780027079
公开日2009年7月22日 申请日期2007年7月5日 优先权日2006年7月18日
发明者克里斯蒂娜·戈米拉, 鹏 尹, 波琳·赖, 苏叶平 申请人:汤姆森许可贸易公司