专利名称：自适应影响区域滤波器的制作方法
技术领域：
本发明涉及视频压縮领域。
背景技术：
时间预测滤波器被用在视频压縮过程中，用来根据一组预先解码的参 考图像预测目标图像。时间预测过程能有效地去除大量时间冗余，这一般 会带来更高的编码效率。预测过程使用一组运动向量和一个作用于运动向 量的滤波器来预测目标图像。例如，预测方法将参考图像110划分成多个固定大小的区块(block) 120，如图1所示。每个区块具有一个相关联的运动向量，以描述该区块 相对于目标图像的运动。运动向量由图像110中的白点示出。时间预测滤 波器使用相关联的运动向量来对参考图像中的每个区块执行简单的运动补 偿技术，以预测该区块在目标图像中的位置。从而，利用简单的运动向 量，根据参考图像中的区块估计目标图像中的每个区块。但是，该方法独 立地对待每个运动向量，而不会适应于图像特征。传统的时间滤波器使用单个运动向量来预测相关联的区块的位置，或 者依赖于针对规则的运动向量图样(pattern)定义的滤波器，从而需要规 则的运动向量分布来执行时间预测。因此，它们无法使预测过程适应于运 动向量的非规则图样。需要这样一种滤波器，这种滤波器能够使其抽头和 滤波器系数局部适应于运动向量的非规则图样的变化。还需要这样一种时 间滤波器，这种时间滤波器具有适应于对象边界和空间纹理(spatial texture)的灵活性。发明内容通过以下步骤执行生成自适应时间滤波器的方法在目标图像中的多个运动向量中的每一个周围构造运动向量区域单元，选择目标图像中的像 素，在选定像素周围构造像素区域单元，确定运动向量区域单元与像素区 域单元之间的重叠面积，根据重叠面积生成滤波器权重，以及利用滤波器 权重来对选定像素进行滤波。
通过结合附图参考以下描述，以示例方式说明了本发明，并且能够更 好地理解本发明，附图中图1示出了传统的基于区块的时间滤波器的示例。 图2示出了自适应时间滤波过程的示例。图3示出了运动向量的非规则图样和自适应时间滤波过程中使用的影 响区域单元的示例。图4A和4B示出了生成在自适应时间滤波过程中使用的自适应时间滤波器的方法的示例。图5示出了利用自适应时间滤波器执行的预测的示例。图6示出了可用于自适应时间滤波过程中的误差减小方法的示例。图7示出了使用自适应时间滤波器的视频压縮编程过程的示例。图8示出了使用自适应时间滤波器的解码过程的示例。图9示出了使用自适应影响区域滤波器的系统的示例。
具体实施方式
在下面的描述中，参考了形成说明书的一部分的附图，在附图中以示 例方式示出了可以实现本发明的特定实施例。应当理解，可以采用其他实 施例，并且可以进行结构改变，而不脱离本发明的范围。例如，本领域的 技术人员将会理解，用于描述各种实施例的术语"场"或者"帧"或者 "图像"在参考视频数据使用时是可互换的。自适应影响区域(adaptive area of influence, AAOI)时间滤波器在预 测目标图像时自动地适应于运动向量的非规则图样、对象特征和空间纹 理。AAOI滤波器在时域中作用于经运动补偿的信号，这不同于其他的尝试直接对运动向量进行滤波的方法(例如运动向量域中的三角剖分滤 波)。例如，因为AAOI滤波方法在时域中工作，因此它更容易修正成适应于对象和空间纹理。在一个实施例中，AAOI滤波器在像素预测期间执 行两阶段过程来耦合相邻的运动向量。第一阶段使滤波器适应于运动向量 的非规则采样图样、适应于对象形状并且适应于边界。第二阶段使滤波器 适应于图像的空间纹理。自适应时间滤波过程的示例在图2中示出。在210，为图像生成运动 向量的非规则采样图样。这种非规则图样生成可利用本领域的技术人员已 知的方法以各种方式来完成。运动向量的非规则图样的示例在图3的方块 310中示出。图像310中的白点代表运动向量。利用该自适应采样图样， 在难以从参考图像预测的区域(即具有更复杂的运动的图像区域，例如靠 近运动边界的区域)中，运动向量更集中。在诸如图像背景区域之类的简 单运动区域中放置的运动向量较少。返回图2，在220，图像被分区成多个单元，称为影响区域单元(area of influence cell， AOI单元)，其中每个AOI单元具有一个运动向量作为 其节点。被分区成AOI单元的图像的示例在图3中的方块320处示出。每 个AOI单元代表这样一个区域，单元内的运动向量对该区域的影响比图像 中的任何其他运动向量的影响都要大。因为为每个运动向量生成一个AOI 单元，所以AOI单元的大小可与图像中的对象的特征(例如边界区域)相 关。例如，靠近对象之间的边界区域的AOI单元可以小于图像背景区域中 的AOI单元。另外，AOI单元的形状可被局部修正以适应于对象边界的形 状。用于生成AOI单元的方法的一个实施例是距离最近运动向量分区方法(例如Voronoi单元)。可以使用其他分区方法，例如区块或三角方法。 另外，AOI单元可被局部修正以适应于对象边界。返回图2，在230，执行初始运动估计以确定每个AOI单元中的运动 向量的初始值。初始运动估计将与运动向量相关联的AOI单元映射到参考 图像的相应单元，并且测量两个单元之间的位移。该位移提供了每个运动 向量的初始值。因此，初始值不反映来自周围运动向量的任何影响，因为 它是由这种单元到单元的映射和位移测量结果来确定的。因此，特定运动向量的初始值是独立于其他运动向量的。在240，对影响区域单元应用自适应影响区域(AAOK)滤波器，以 为目标图像执行时间预测。在给定一组运动向量值和采样图样的情况下， 在时域中应用滤波器来为目标图像生成预测结果。AAOI滤波器使用由重 叠区域的面积所定义的滤波器抽头和滤波器系数来捕捉与要预测的像素相 邻的运动向量的相关性。在250，滤波器所产生的预测结果被用于重新估 计运动向量的值，以便提高自适应滤波器的准确度。在260，在一些实施 例中，过程可返回到240以减小由自适应影响区域滤波器生成的预测误 差。否则，过程在270结束。更详细地参考图2所示的240，对影响区域单元应用自适应影响区域滤波器，以从参考图像和设置的运动向量生成目标图像的时间预测。滤波器具有以下结构。令化}表示iV个运动向量的集合，/(x)表示参考图像(预先解码的图像)。令S(x)表示围绕像素x的位置的某个运动向量集合。该目标像素x的预测一般可表达为 /—(x)= Zf(x + Vi)其中{/;}是滤波器系数的集合，并且x+v,是当运动向量v,被应用到像素义时经运动补偿的像素。滤波器的支撑或抽头由集合S(x)表示。抽头支撑和滤波器系数{/;}一般是像素位置x及其邻近的运动向量的函数。也就是 说，滤波器系数对于每个像素可能发生变化，因为在整个图像中运动向量 的分布会发生变化。因此，滤波器局部适应于变化中的运动向量图样。在一个实施例中，滤波器系数(^是利用图4A所示的方法来计算的。在第一阶段，定义自然抽头结构和滤波器权重，在第二阶段，使滤波器适 应于图像的空间纹理。第一阶段生成能够适应于诸如非规则采样图样之类的特征以及对象形状和边界的AAOI滤波器。第二阶段允许AAOI滤波器 在用于视频压縮的基于运动向量的时间预测过程期间适应于图像的空间纹 理。第一阶段开始于410，接收包含要预测的目标像素附近的运动向量的 局部运动向量采样图样。在420，在每个局部运动向量周围构造影响区域 单元。目标像素的局部区域从而被分区成一组AOI单元。在430，为了对像素进行内插，它被视为新的节点，并且在它周围构造像素影响区域单元。然后，在440，确定与像素影响区域单元重叠的每个邻近的AOI单元 的面积。重叠面积定义了自然抽头结构和滤波器权重。换言之，抽头结构由每个这样的运动向量/定义该运动向量/的AOI单元与像素区域单元之间具有非零的重叠面积4。抽头结构中的每个运动向量的滤波器权重由量j^来定义。也就是说，对于某个像素位置X: *) = {/|4>0}厶爿其中《x)是像素X附近的局部运动向量的集合，^是集合《x)中的运动向 量z'的AOI单元与像素影响单元的重叠面积，A是AOI单元和像素影响单元的总重叠面积，y;是滤波器权重。在450，使滤波器适应于图像特征，例如运动对象的对象边界。在一些实施例中，影响区域单元的形状发生变化，以适应于运动对象的边界。 通过限制运动向量区域单元和像素区域单元只包括属于同一对象的像素， 来使区域单元适应于图像中的对象边界。这生成了要预测的像素周围的修正后的AOI单元。因此，在一个实施例中，滤波器支撑和系数被表达为 ,』其中马是由于对象边界而修正后的运动向量Z的AOI单元。每个修正后的 AOI单元包括与将要预测的像素相同的运动层中的像素，并且排除了其他 运动层中的像素。在该第一阶段结束时，滤波器既适应于运动向量的非规 则图样，又适应于运动对象的边界。在为图像中的每个像素生成预测之后，执行滤波过程的第二阶段。在 第二阶段中，在460，使滤波器适应于空间纹理。因为从AAOI滤波器的 第一阶段输出的预测采取的是规则图样的采样数据的形式，因此在一些实 施例中，在第二阶段中使用经最小平方(LS)训练的滤波器，用来使滤波 器适应于空间纹理。在另一实施例中，空间适应过程可直接修正阶段1中 的AOI单元以只包括那些具有相似的空间纹理的像素。图4A所示的自适应滤波过程生成在时域中定义的基于区域的滤波器，该滤波器在时间预测过程期间耦合相邻的运动向量。滤波器自然地适 应于运动图像中的运动向量的非均匀或非规则采样图样、对象形状和边界 以及空间纹理。图4A的过程的第一阶段期间产生的中间结果的示例在图4B中示出。 在417，接收局部节点图样。局部节点图样包括需要被预测的像素x附近 的运动向量的集合(由圆圈表示)。运动向量被从(1)至(6)编号。在 427，在运动向量周围构造影响区域单元。每条虚线代表AOI单元之间的 边界。在437，在要预测的像素x周围构造由实线表示的影响区域单元。在447，确定每个运动向量的AOI单元和像素的AOI单元之间的重叠 面积。例如，运动向量(1)的AOI单元以重叠面积為与像素AOI单元相 重叠。滤波器的抽头和滤波器系数由重叠面积确定。抽头结构由每个这样 的运动向量/定义这种运动向量的AOI单元与像素区域单元之间具有非 零的重叠面积。在该示例中，运动向量(4)的AOI单元不与像素AOI单 元相重叠。因此，像素x的滤波器抽头结构是运动向量(1) 、 (2)、 (3) 、 (5)和(6)。抽头结构中的每个运动向量的滤波器权重由比率j^定义。例如，在该情况下力^4W。在457，使滤波器适应于图像特征，例如运动对象的对象边界451。 运动对象的对象边界451分开运动层453和455。为了对像素x进行内 插，抽头结构被修正以包括与像素x在同一运动层中的运动向量。因为像 素x在运动层455中，所以来自447的抽头结构被修正以去除运动向量(3)和(5)，留下运动向量(1) 、 (2)和(6)作为抽头结构。另外，在457，使滤波器权重适应于对象边界451的形状。在该示例 中，沿着对象边界451的影响区域单元的形状发生变化，以适应于运动对 象的边界。对象边界451分割运动向量(2)的AOI单元。为了对处于运 动层455中的像素x进行内插，运动向量(2)的AOI单元被重新定义， 以只包括其原始单元中处于运动层455中的那些像素。这生成了运动向量(2)周围的修正后的AOI单元。运动向量(6)的AOI单元的形状也适 应于对象边界451。运动向量(6)的AOI单元与对象边界451之间的区 域处于运动层455中。但是，该区域最初被包括在运动向量(5)的AOI12单元中。因为运动向量(5)不再是滤波器的抽头结构的一部分，所以该区域中的像素现在变成了运动向量(6)的AOI单元的一部分。修正后的重叠面积马和马以及重叠面积3被用于生成滤波器权重。由图4A和4B所示的方法产生的滤波器被用于预测目标图像中的像 素。例如，再次更详细地参考图2的240，滤波器被用于预测目标图像中 的像素x，如图5所示。参考图像510中的像素被用于预测目标图像520 中的像素。参考像素由参考图像510中的实线圆圈表示，要预测的目标像 素由目标图像520中的虚线圆圈表示。滤波器利用局部运动向量v,至vs的抽头结构来为目标图像520中的像 素x形成预测。运动向量是像素x局部的，因为它们相应的AOI单元中的 每一个都与像素x的AOI单元的至少一部分相重叠。抽头结构中的每个运 动向量WJ映射到参考图像510中的图像数据{1;}。自适应时间预测滤波器 利用滤波器权重{5}来调整参考数据{1;}以预测像素x。在一个实施例中， 预测滤波器根据以下式子使用抽头结构和滤波器权重来生成预测预测=+ I2*f2 + I3*f3 + I4*f4 + I5*f5 其中由局部运动向量定义的滤波器抽头以及滤波器系数伐}是由图4A和 4B所示的方法确定的。在初始预测之后，该过程重新估计运动向量的值，如图2的方块250 所示，以提高滤波器的准确度。在一个实施例中，重估计是利用图6所示 的方法来执行的。在610，识别出对AAOI滤波器造成最大预测误差的运 动向量。然后，在620，改变所识别出的运动向量的值，直到AAOI滤波 器的预测误差得以减小或最小化为止。在630，利用改变后的值来更新运 动向量的值。在640，如果误差减小已经饱和，则过程结束。否则，过程 返回到610，直到预测误差减小饱和为止。然后，在一些实施例中，对于 图像中的所有运动向量重复图2的过程。在一个实施例中，AAOI滤波器被视频编码系统用于对视频数据的图 像(或帧，或场)进行编码，如图7所示。在710，编码器接收输入目标 图像。(包含与目标图像相关的解码后图像数据的一组参考图像在编码过 程期间可供编码器使用，并且在解码过程期间也可供解码器使用)。在720，编码器生成与目标图像相关联的运动向量的采样或分布。也就是 说，给定7V个运动向量，这7V个运动向量被置于目标图像中。运动向量的位置一般适应于图像内容中的运动区域，从而得出例如图3所示的运动向 量的非规则图样。在730，采样图样信息(例如代表图样的比特)被发送 到解码器。许多方法可用来生成自适应采样图样。在740，对非规则运动采样图样应用时间预测滤波过程。该自适应滤 波过程使用运动向量、非规则采样图样和参考图像来生成目标图像的预 测。在750，运动向量值被编码并被发送到解码器。在760，生成余量 (residual)，该余量是目标图像的实际目标数据减去来自自适应滤波过程 的预测误差。在770，余量被编码，并且在780被发送到解码器。在另一实施例中，AAOI滤波器被用来对视频数据的图像(或帧，或 图像)进行解码，如图8所示。在810，接收编码后的余量。在820，解 码器对接收到的编码后余量进行解码。在830，解码器接收采样图样信 息、参考图像和运动向量值。然后，在840，解码器应用自适应时间滤波 过程以生成时间预测。在850，通过将解码后的余量与时间预测相加来生 成解码后的目标图像。图9示出了使用自适应影响区域滤波器的系统的示例。数字摄像机 910捕捉电子形式的图像，并且利用压縮设备920来处理图像，该压縮设 备920在压縮和编码过程期间使用自适应影响区域滤波器。编码后的图像 通过电子传输介质930被发送到数字重放设备940。图像被解码设备950 解码，该解码设备950在解码过程期间使用该滤波器。相机910是包括本 发明实施例的各种图像处理装置(例如其他图像捕捉设备、图像编辑器、 图像处理器、个人和商业计算平台，等等)的示例。同样，解码设备950 是对图像数据进行解码的各种设备的示例。虽然已经按照特定系统环境中的实施例描述了本发明，但是本领域的 普通技术人员将会认识到，在所附权利要求的精神和范围内，本发明经过 修改可实现在其他的、不同的硬件和软件环境中。
权利要求
1.一种在电子数据处理器中执行的方法，包括在目标图像中的多个运动向量中的每一个周围构造运动向量区域单元；选择所述目标图像中的像素；在选定像素周围构造像素区域单元；确定所述运动向量区域单元与所述像素区域单元之间的重叠面积；根据所述重叠面积生成滤波器权重；以及利用所述滤波器权重来对所述选定像素进行滤波。
2. 如权利要求1所述的方法，还包括 通过修正所述运动向量的值来减小滤波器预测误差。
3. 如权利要求2所述的方法，其中修正步骤还包括 识别造成最大滤波器预测误差的运动向量；以及改变识别出的运动向量的值，直到所述滤波器预测误差得以减小为止。
4. 如权利要求1所述的方法，其中确定重叠面积的歩骤还包括 通过限制所述运动向量区域单元和像素区域单元包括与所述选定像素属于同一对象的像素并且去除其他像素，来使所述运动向量区域单元适应 于所述图像中的对象边界。
5. 如权利要求1所述的方法，其中生成滤波器权重的步骤包括对于每个与所述像素区域单元相重叠的运动向量区域单元，确定, 爿其中/是像素x周围的局部运动向量的集合SW中的运动向量，4是运动向量f的单元与所述像素区域单元的重叠面积，j是所述运动向量单元与 所述像素区域单元的总重叠面积，乂是所述滤波器权重。
6. 如权利要求1所述的方法，其中滤波步骤包括 预测所述目标像素，以使得对于非规则运动向量图样其中x是要预测的像素，/^Vx卩是像素x的预测值，5T3c)是围绕像素:c的运 动向量的集合，v,是运动向量，,是针对集合S(3c)中的运动向量的滤波器权 重，尸化一是所述参考图像中的值，x+v,是当运动向量v,被应用到像素x时 经运动补偿的像素。
7. 如权利要求1所述的方法，还包括 使经滤波的像素适应于所述图像的空间纹理。
8. 如权利要求1所述的方法，其中确定重叠面积的步骤还包括 通过限制所述运动向量区域单元和像素区域单元包括具有所述选定像素的空间纹理的像素并且去除其他像素，来使所述运动向量区域单元适应 于空间纹理。
9. 如权利要求1所述的方法，其中在目标图像中的多个运动向量中的每一个周围构造运动向量区域单元的歩骤包括应用最近邻居距离分区。
10. —种装置，包括运动向量区域单元构造器，该运动向量区域单元构造器在目标图像中 的多个运动向量中的每一个周围构造运动向量区域单元； 选择器，该选择器选择所述目标图像中要滤波的像素；像素区域单元构造器，该像素区域单元构造器在选定像素周围构造像素区域单元；重叠面积确定器，该重叠面积确定器确定所述运动向量区域单元与所 述像素单元之间的重叠面积；滤波器权重生成器，该滤波器权重生成器根据所述重叠面积生成滤波 器权重；以及滤波器，该滤波器利用所述滤波器权重来对所述选定像素进行滤波。
11. 如权利要求10所述的装置，还包括修正器，该修正器修正所述运动向量的值以减小滤波器预测误差。
12. 如权利要求11所述的装置，其中所述修正器识别造成最大滤波器 预测误差的运动向量；并且改变所述运动向量的值，直到所述滤波器预测误差得以减小为止。
13. 如权利要求10所述的装置，其中所述重叠面积确定器通过限制所 述运动向量区域单元和像素区域单元包括与所述选定像素属于同一对象的 像素并且去除其他像素，来使所述运动向量区域单元适应于所述图像中的 对象边界。
14. 如权利要求10所述的装置，其中所述滤波器权重生成器对于每个与所述像素区域单元相重叠的运动向量区域单元，确定 *) = {/|4>。}乂'爿其中Z是像素x周围的局部运动向量的集合^一中的运动向量，^是运动 向量Z的单元与所述像素区域单元的重叠面积，^是所述运动向量单元与 所述像素区域单元的总重叠面积，乂是所述滤波器权重。
15. 如权利要求IO所述的装置，其中所述滤波器预测所述目标像素，以使得对于非规则运动向量图样其中x是要预测的像素，r^^是像素x的预测值，s^是围绕像素x的运动向量的集合，v,是运动向量，/是针对集合S^中的运动向量的滤波器权 重，/，力是所述参考图像中的值，x+v,是当运动向量v,被应用到像素义时经运动补偿的像素。
16. 如权利要求IO所述的装置，其中所述滤波器使所述目标像素适应 于所述图像的空间纹理。
17. 如权利要求10所述的装置，其中所述重叠面积确定器通过限制所 述运动向量区域单元和像素区域单元包括具有所述选定像素的空间纹理的 像素并且去除其他像素，来使所述运动向量区域单元适应于空间纹理。
18. 如权利要求IO所述的装置，其中所述运动向量区域单元构造器应 用最近邻居距离分区。
19. 一种存储指令程序的计算机可读介质，所述指令程序在被处理系 统执行时使该系统执行包括以下步骤的方法在目标图像中的多个运动向量中的每一个周围构造运动向量区域单元；选择所述目标图像中要滤波的像素； 在选定像素周围构造像素区域单元；确定所述运动向量区域单元与所述像素区域单元之间的重叠面积； 根据所述重叠面积生成滤波器权重；以及 利用所述滤波器权重来对所述选定像素进行滤波。
20. 如权利要求19所述的计算机可读介质，还包括 通过修正所述运动向量的值来减小滤波器预测误差。
21. 如权利要求20所述的计算机可读介质，其中修正步骤还包括 识别造成最大滤波器预测误差的运动向量；以及改变识别出的运动向量的值，直到所述滤波器预测误差得以减小为止。
22. 如权利要求19所述的计算机可读介质，其中确定重叠面积的步骤 还包括通过限制所述运动向量区域单元和像素区域单元包括与所述选定像素 属于同一对象的像素并且去除其他像素，来使所述运动向量区域单元适应 于所述图像中的对象边界。
23. 如权利要求19所述的计算机可读介质，其中生成滤波器权重的步 骤包括对于每个与所述像素区域单元相重叠的运动向量区域单元，确定 *) = {/|4>0}其中/是像素x周围的局部运动向量的集合S(x)中的运动向量，A是运动 向量z'的单元与所述像素区域单元的重叠面积，X是所述运动向量单元与 所述像素区域单元的总重叠面积，乂是所述滤波器权重。
24. 如权利要求19所述的计算机可读介质，其中滤波步骤包括预测所述目标像素，以使得对于非规则运动向量图样 /—(x)= Zf " + v')其中x是要预测的像素，,"V力是像素X的预测值，S^是围绕像素x的运动向量的集合，V,是运动向量，乂是针对集合^力中的运动向量的滤波器权 重，/，力是所述参考图像中的值，X+V,是当运动向量R被应用到像素义时 经运动补偿的像素。
25. 如权利要求19所述的计算机可读介质，还包括 使经滤波的像素适应于所述图像的空间纹理。
26. 如权利要求19所述的计算机可读介质，其中确定重叠面积的歩骤还包括通过限制所述运动向量区域单元和像素区域单元包括具有所述选定像 素的空间纹理的像素并且去除其他像素，来使所述运动向量区域单元适应 于空间纹理。
27. 如权利要求19所述的计算机可读介质，其中在目标图像中的多个运动向量中的每一个周围构造运动向量区域单元的步骤包括应用最近邻居距离分区。
全文摘要
通过以下步骤执行生成自适应时间滤波器的方法在目标图像中的多个运动向量中的每一个周围构造运动向量区域单元，选择目标图像中的像素，在选定像素周围构造像素区域单元，确定运动向量区域单元与像素区域单元之间的重叠面积，根据重叠面积生成滤波器权重，以及利用滤波器权重来对选定像素进行滤波。
文档编号H04B1/66GK101263662SQ200680033885
公开日2008年9月10日 申请日期2006年9月12日 优先权日2005年9月16日
发明者苗周荣, 詹姆斯·J·卡里格, 马里奥·帕尼科尼 申请人:索尼电子有限公司