专利名称：用于时间预测的分类滤波的制作方法
技术领域：
本发明涉及视频压縮领域。
背景技术：
时间预测滤波器(temporal prediction filter)在视频压縮过程中被用亍 从一组先前解码的参考图像(reference image)中预测出目标图像(target image)。时间预测过程在去除大量时间冗余时是有效的，其一般产生较 高的编码效率。预测过程使用一组运动向量和对运动向量进行操作的滤波 器来预测目标图像。
例如，预测方法将参考图像110划分成多个固定尺寸的块120，如图 1所示。每个块具有相关的运动向量，用于描述该块相对于目标图像的运 动。运动向量由图像110中的白点示出。时间预测滤波器使用相关的运动 向量来对参考图像中的每个块执行简单的运动补偿技术，以预测该块在目 标图像中的位置。因此，目标图像中的每个块通过使用单个运动向量根据 参考图像中的块被估计出。但是，这种方法独立对待每个运动向量，并且 不适应用于图像特征。
传统的时间滤波器使用单个运动向量来预测相关块的位置或者依赖于 针对规则的运动向量模式(pattern)定义的滤波器，这些传统时间滤波器 需要规则分布的运动向量以执行时间预测。因此，它们无法使得预测过程 适应于不规则的运动向量模式。存在对于可以使得滤波器的抽头(tap)和 滤波器系数局部适应于不规则的运动向量模式的变化的滤波器的需求。还 存在对于具有适应于对象边界(object boundary)和空间纹理(spatial texture)的灵活性的时间滤波器的需求
发明内容
执行时间预测的方法包括使用不规则滤波器抽头产生目标图像的预 测，并将规则滤波器抽头应用到该预测以产生增强预测。
本发明以示例方式示出，并且可以通过结合附图参考以下描述来更好 地理解，其中
图i示出传统的基于块的时间滤波器的示例。 图2示出两级适应性时间滤波过程的示例。
图3示出不规则的运动向量模式的示例以及用在适应性时间滤波过程
中的影响区域单元(area of influence cell)的示例。
图4示出对于不同目标像素形成不同局部邻域(local neighborhood)
的不规则运动向量模式的示例，其被适应性时间滤波过程所处理。 图5示出利用适应性时间滤波器执行的预测的示例。 图6示出用于生成最小二乘分类滤波器(least squared classified filter)
的方法的示例。
图7示出由最小二乘分类滤波过程产生的分类图(classification map)
的示例。
图8示出用于预测目标图像的第一级和第二级滤波器的示例。 图9示出使用适应性时间滤波器的视频压縮编码过程的示例。 图10示出使用适应性时间滤波器的解码过程的示例。 图ll示出使用适应性时间滤波器的系统的示例。
具体实施例方式
在以下描述中，参考构成说明书一部分的附图，附图中以图示方式示 出可用来实施本发明的特定实施例。将会理解，在不脱离本发明的范围的 情况下，其他实施例可被利用，并且结构改变可能发生。例如，本领域技 术人员将会理解，用来描述各个实施例的术语场或帧或图像在参考视频数 据使用时可以互换。
最小二乘分类时间滤波器在预测目标图像时自动适应于不规则的运动向量模式、对象特征和空间纹理。该最小二乘分类滤波器在时域中作用于 经运动补偿的信号，这不同于其他方法，其他方法试图直接对运动向量进 行滤波(例如运动向量域中的三角滤波)。例如，由于该最小二乘分类时 间滤波方法在时域中操作，因此更易修改以适应于对象和空间纹理。在一
个实施例中，最小二乘分类时间滤波器执行两级过程(two stage process)。第一级使得滤波器适应于不规则的运动向量采样模式、对象形 状以及对象边界。第二级使得滤波器适应于图像的空间纹理。
最小二乘分类时间滤波过程的示例如图2所示。在210，针对图像生 成不规则的运动向量采样模式。这种不规则模式的生成可以利用本领域技 术人员已知的方法以各种方式进行。不规则的运动向量模式的示例如图3 的块310所示。图像310中的白点代表运动向量。对于这种适应性采样模 式，运动向量更集中在难以根据参考图像预测的区域中(即具有更复杂运 动的图像区域，例如运动边界附近的区域)。很少的运动向量被置于简单 运动区域(例如图像背景区域)中。
不规则的运动向量模式的另一示例如图4所示。阴影圆圈代表运动向 量，并且每个x代表一个要预测的像素。像素420位于密集填充并且不规 则分布的运动向量的局部邻域中，像素410位于具有准规则分布(quasi-regular distribution) 的运动向量的局部邻域中，像素430位于稀疏填充的 运动向量的局部邻域中。由于要预测的像素具有不同的运动向量局部邻 域，即每个局部邻域具有不同的运动向量分布，因此适应于该变化分布的 滤波器结构被用于预测像素。
返回图2，在220，图像被分成多个单元(称之为影响区域单元 (AOI单元))，其中每个AOI单元具有一个运动向量作为其节点。例 如，图3的图像310被如块320所示划分成多个AOI单元。每个AOI单 元代表这样的区域，该区域受该单元内运动向量的影响比图像中任何其他 运动向量的影响要强。由于针对每个运动向量生成一个AOI单元，因此 AOI单元的尺寸可能与图像中的对象的特征(例如边界区域)相关。例 如，对象之间的边界区域附近的AOI单元可能小于图像背景区域中的 AOI单元。而且，AOI单元的形状可以局部修改以适应于对象边界的形状。用于生成AOI单元的方法的一个实施例是距离最近运动向量划分方 法。其他划分方法可被使用，例如块或三角方法。如下所述，在第二级最小二乘滤波器过程中，AOI单元被用作自然图像分块(segmentation)， 基于该分块限定分类图(即每个AOI单元可以使用不同的滤波器)。返回图2，在230，第一级适应性时间预测滤波器被生成，以用于利 用不规则的运动向量模式和影响区域单元来预测目标图像中的像素。滤波 器级预测滤波器在时域中作用于经运动补偿的信号。具体而言，滤波器通 过使用不同运动补偿信号的加权和来预测目标像素，其中每个运动补偿信 号是通过应用不同运动向量预测目标像素来获得的。滤波器系数和抽头结 构根据变化的运动向量模式而针对每个像素变化。而且，滤波器的支撑 (support)是局部的。这意味着用于补偿目标像素的运动向量是从该像素 的局部邻域中获得的。第一级滤波器具有以下结构。令^^表示N个运动向量的集合，并且 I(x)表示参考图像(先前解码的图像)。令S(x)表示围绕像素x的位置的 运动向量的某个集合。该目标像素x的预测可以按如下方式生成其中{6}是滤波器系数的集合，并且x+vi是当运动向量vi被应用到像素x 时经运动补偿的像素。滤波器的支撑或抽头由集合S(x)定义。抽头支撑 S(x)和滤波器系数(fO—般是像素位置x及其相邻运动向量的函数。就是 说，滤波器系数可以针对每个像素改变，这是因为运动向量分布在整幅图 像中变化。因此，滤波器局部地适应于变化的运动向量模式。在240，第一级预测滤波器被应用到目标图像以执行针对目标图像的 时间预测。该滤波器在时域中被应用，以在给定运动向量值的集合和采样 模式的情况下生成对目标图像的预测结果。滤波器使用由重叠区域的面积 限定的滤波器抽头和滤波器系数来捕获与要预测的像素相邻的运动向量的 相关性(relevance)。这类预测滤波器的示例是在如下专利申请中公开的 影响区域滤波器Marco Paniconi等人的题为"ADAPTIVE AREA OF INFLUENCE FILTER"的未决美国申请No. XX/XXX, XXX (代理案巻号 50U6045)，该申请与本申请同时递交并且通过引用被结合于此；另一示例是用于运动补偿信号的三角滤波器(triangulation filter)。应用第一级滤波器生成时间预测的示例如图5所示。参考图像510中 的像素被用于预测目标图像520中的像素。参考像素由参考图像510中的 实线圆圈代表，要预测的目标像素由目标图像520中的虚线圆圈代表。滤 波器利用局部运动向量vl到v5的抽头结构来形成对于目标图像520中的 像素x的预测。运动向量对于像素x是局部的，因为它们各自的AOI单元 中的每一个与像素x的AOI单元的至少一部分重叠。抽头结构中的每个运 动向量(vj映射到参考图像510中的图像数据{1;}。适应性时间预测滤波器 利用滤波器权重(fj来调整参考数据伙)以预测像素x。在一个实施例中，预测滤波器使用抽头结构和滤波器权重来根据下式 生成预测预测=I, * f, + I2 * f2 + I3 * f3 + I4 * f4 + I5 * f5其中由局部运动向量限定的滤波器抽头和滤波器系数{5}是在滤波器在 230处生成时确定的。返回图2，在250，第二级滤波器被生成，并被应用于来自第一级滤 波器的预测。由于从第一级滤波器输出的预测具有规则模式采样数据的形 式，因此最小二乘(LS)训练滤波器被用于预测，以增强目标图像的预 测的空间纹理。在260，如果需要减小预测误差，则方法返回240。否 则，在270处，方法结束。更详细地参考250，图6示出用于生成第二级滤波器的方法的示例。 第一级滤波器处理不规则的运动向量模式以形成在每个像素处定义的预测 图像尸°。每个运动向量与一个影响区域单元{為，/=1，...5*}相关联，其中S 是影响区域单元的总数。在605，由第一级滤波器生成的预测被输入到第 二级。在610，通过对目标图像执行最小二乘训练， 一组最小二乘滤波器系 数{^°,_/= l...W被初始化，其中N是用在第二级中的滤波器类的数目。例 如，最小二乘训练可以对图3所示目标图像执行。在620，分类图(C。(0,l,...W被生成，以将每个影响区域单元映射 到一个最小二乘滤波器索引(index)。最初，分类将所有单元映射到每个滤波器索引。然后，在给定最小二乘滤波器系数on的情况下，分类图按如下方式生成。对于每个节点单元^，选择使单元A中的预测误差最小化的滤波器。这产生新的分类图Ct+1G)。被生成以映射每个影响区域单元到一个适当的滤波器的分类图的一个 示例如图7所示。目标图像710具有不规则的运动向量分布。在该示例中，每个运动向量具有一个相关联的矩形影响区域单元，如720所示。用 于该示例的滤波器具有四类，并且每个影响区域单元被映射到这四类之 一。在720处，每个滤波器类由影响区域单元的分类图中的特定阴影示出。返回图6，在630， 一组新的最小二乘滤波器系数被生成。这是通过 使用分类图利用来自目标图像的各个影响区域单元重新训练最小二乘滤波 器系数来执行的。就是说，最小二乘训练被用于针对每个单元k = Ct+1(i)， 1,...5产生新的滤波器系数^+1。结果是一组新的最小二乘滤波 器系数/^+1， A=1..JV。在640，最小二乘滤波器系数和分类图被应用到第一级生成的预测图 像严，以形成目标图像的增强预测尸1+1。在650，目标图像和增强预测图像尸w之间的预测误差被计算出。在 660，该方法判断最小二乘预测误差是否饱和。如果没有，方法则设置计 数器f/+1并返回620，其中分类图被修改并且滤波器系数被重新训练。如果最小二乘预测误差饱和，该方法则继续到670，以判断总预测误 差是否饱和。如果没有，在680，增强预测图像被用作反馈以将AOI单元 修改为只包括具有类似空间纹理的那些像素。然后，方法返回605。否 则，方法在685处结束。图8示出用于预测目标图像的第一级和第二级滤波器的示例。第一级 滤波器820在预测每个目标像素x时作用于不规则的运动向量模式和参考 图像810，以生成目标图像830的预测。第一级滤波器820使用不规则的 滤波器抽头结构(如820中方框所示)来生成预测。第二级滤波器840使 用以目标像素为中心的规则滤波器抽头结构来增强预测图像。例如，第二 级滤波器840使用最小二乘滤波器842来预测目标图像850中的目标像素，并使用最小二乘滤波器844来预测目标图像850中的目标像素x，以 形成补偿图像860。在一个实施例中，最小二乘分类滤波器被时间预测滤波过程用于编码 视频数据的图像(或帧，或场)，如图9所示。在910，编码器接收输入 目标图像。(在编码过程期间，编码器可获得一组包含与目标图像相关的 解码图像数据的参考图像，并且在解码过程期间，解码器也可获得这组参 考图像。)在920，编码器生成与目标图像相关联的运动向量的采样或分 布。就是说，在给定7V个运动向量的情况下，这W个运动向量被置于目 标图像中。运动向量的位置一般适应于图像内容中的运动区域，从而产生 不规则的运动向量模式，如图3所示。在930，采样模式信息(例如代表 模式的比特)被发送到解码器。很多方法可被用于生成适应性采样模式。在940，时间预测滤波过程被应用到不规则的运动采样模式。这个带 有最小二乘分类训练的两级适应性滤波过程使用运动向量、不规则的采样 模式和参考图像来生成目标图像的预测。在950，运动向量值被编码并被 发送到解码器。在960，生成残差(residual)，该残差是目标图像的实际 目标数据减去来自适应性滤波过程的预测误差。在970，残差被编码，并 且在980，残差被发送到解码器。在另一实施例中，最小二乘分类滤波器被用于解码视频数据的图像 (或帧，或图像)，如图10所示。在1010，经编码的残差被接收。在 1020，解码器对接收的编码残差进行解码。在1030，解码器接收采样模 式信息，参考图像和运动向量值。然后，在1040，解码器应用两级适应 性时间滤波器过程以生成时间预测。在1050，通过将解码的残差添加到 时间预测生成经解码的目标图像。图11示出使用适应性时间预测滤波器的系统的示例。数字视频照相 机1110捕获电子形式的图像，并利用压縮设备1120对图像进行处理，压 縮设备1120在压縮和编码过程期间使用该适应性时间滤波过程。经编码 的图像通过电子传输介质1130被发送到数字重放设备1140。图像通过解 码设备1150被解码，解码设备1150在解码过程期间使用该滤波器。照相 机1110例如是包括本发明的实施例的各种图像处理装置(例如其他图像捕获设备、图像编辑器、图像处理器、个人和商业计算平台等等)。类似地，解码设备1150例如是解码图像数据的各种设备。虽然就特定系统环境中的实施例描述了本发明，但是本领域技术人员 将会意识到，本发明经过修改可以在其他不同的硬件和软件环境中实施， 它们均落在所附权利要求书的精神和范围内。
权利要求
1.一种在电子数据处理器中执行的方法，包括使用不规则的滤波器抽头来产生目标图像的预测；以及将规则的滤波器抽头应用到所述预测以产生增强预测。
2. 如权利要求1所述的方法，还包括从不规则的运动向量模式和影响区域单元生成所述不规则的滤波器杣头。
3. 如权利要求1所述的方法，还包括 利用最小二乘过程来生成所述规则的滤波器抽头。
4. 如权利要求3所述的方法，其中所述最小二乘过程包括 对所述目标图像的预测执行最小二乘训练，以产生一组最小二乘滤波器系数；生成分类图，该分类图将每个影响区域单元与一个最小二乘滤波器索引相关联；使用所述分类图来重新训练所述最小二乘滤波器系数；并且 使用所述经重新训练的滤波器系数来增强所述目标图像的预测。
5. 如权利要求4所述的方法，还包括通过针对每个影响区域单元选择具有最小预测误差的滤波器来生成所 述分类图。
6. 如权利要求5所述的方法，还包括重新生成所述分类图并且重新训练所述最小二乘滤波器系数，直到最 小二乘预测误差饱和为止。
7. 如权利要求4所述的方法，还包括使用所述增强预测来修改所述影响区域单元，以包括具有类似空间纹 理的像素。
8. —种装置，包括不规则滤波器抽头，其生成目标图像的预测；以及规则滤波器抽头，其被应用到所述预测以产生增强预测。
9. 如权利要求8所述的装置，还包括不规则抽头生成器，其从不规则的运动向量模式和影响区域单元生成 所述不规则滤波器抽头。
10. 如权利要求8所述的装置，还包括规则抽头生成器，其利用最小二乘过程来生成所述规则滤波器抽头。
11. 如权利要求IO所述的装置，其中所述规则抽头生成器包括 最小二乘训练器，其对所述目标图像的预测执行最小二乘训练，以产生一组最小二乘滤波器系数；图生成器，其生成分类图，该分类图将每个影响区域单元与一个最小 二乘滤波器索引相关联；重训练器，其使用所述分类图来重新训练所述最小二乘滤波器系数；以及预测增强器，其使用所述经重新训练的滤波器系数来增强所述目标图
12.如权利要求11所述的装置，其中所述重训练器还包括 最小二乘误差减小器，其重新训练所述最小二乘滤波器系数，直到最 小二乘预测误差饱和为止。
13. 如权利要求11所述的装置，还包括单元修改器，其使用所述增强预测来修改所述影响区域单元，以包括 具有类似空间纹理的像素。
14. 如权利要求13所述的装置，还包括预测误差减小器，其使用经修改的影响区域单元和所述不规则滤波器 抽头来减小所述目标图像的预测的预测误差。
15. —种存储指令程序的计算机可读介质，所述指令程序在被处理系 统执行时致使所述系统执行包括以下步骤的方法使用不规则的滤波器抽头来产生目标图像的预测；以及 将规则的滤波器抽头应用到所述预测以产生增强预测。
16. 如权利要求15所述的计算机可读介质，还包括从不规则的运动向量模式和影响区域单元生成所述不规则的滤波器抽头。
17. 如权利要求15所述的计算机可读介质，还包括 利用最小二乘过程来生成所述规则的滤波器抽头。
18. 如权利要求17所述的计算机可读介质，其中所述最小二乘过程包括对所述目标图像的预测执行最小二乘训练，以产生一组最小二乘滤波 器系数；生成分类图，该分类图将每个影响区域单元与一个最小二乘滤波器索引相关联；使用所述分类图来重新训练所述最小二乘滤波器系数；并且 使用所述经重新训练的滤波器系数来增强所述目标图像的预测。
19. 如权利要求18所述的计算机可读介质，还包括 重新训练所述最小二乘滤波器系数，直到最小二乘预测误差饱和为止。
20. 如权利要求18所述的计算机可读介质，还包括使用所述增强预测来修改所述影响区域单元，以包括具有类似空间纹 理的像素。
21. 如权利要求20所述的计算机可读介质，还包括使用经修改的影响区域单元和所述不规则滤波器抽头来减小所述目标 图像的预测的预测误差。
全文摘要
一种执行时间预测的方法包括使用不规则的滤波器抽头来产生目标图像的预测，以及将规则的滤波器抽头应用到所述预测以产生增强预测。
文档编号G06K9/36GK101268475SQ200680034078
公开日2008年9月17日 申请日期2006年9月14日 优先权日2005年9月16日
发明者苗周荣, 詹姆斯·J·卡里格, 马里奥·帕尼科尼 申请人:索尼电子有限公司