用于编码和解码视频图像的方法和设备的制作方法

专利名称：用于编码和解码视频图像的方法和设备的制作方法
技术领域：
本发明涉及视频图像的编码和解码，且更具体地，涉及用于编码和解码 视频图像的方法和设备，其中使用每个输入图像帧的背景图像，并通过使用 另 一图像帧的背景图像而更新任何一个图像帧缺少的背景区域，因此生成并 存储参考背景图像，并且每个图像帧中的目标(object)图像被存储为参考 目标图像，并然后，通过使用所存储的参考背景图像和参考目标图像，执行 运动估计和补偿。
背景技术：
在ITU-T H.264/MPEG-4高级视频编码(AVC ) ^L频编解码器中，通过 关于块单元中的采样数据执行预测而获得预测块，并变换和量化预测块，从 而压缩视频数据。
存在两种类型的预测方法，帧内预测和帧间预测。在帧内预测的情况中， 通过使用存在于当前片段(slice)中的并已被编码和解码的已恢复相邻块的 数据执行预测。在帧间预测的情况中，从一个或多个先前使用基于块的运动 补偿编码的4见频帧或场而生成预测图#>。具体地，与先前的一见频压缩标准不 同，H.264支持各种块大小(从16 x 16至4 x 4 )和详尽的子采样运动矢量。 主简档(profile)和扩展筒档支持B-片段和加权预测视频数据，其中该加权 预测视频数据通过预测、变换和量化而压缩，进一步通过熵编码处理来压缩， 并生成了位流。
当移动目标存在于图像帧内时，在当前图像帧内可出现在前一 图像帧中 没出现的区域。 一示例是在前一图像帧中由先运动目标隐藏而在当前图像帧 中新出现的背景。在传统MPEG-2或MPEG-4中，当执行P画面的帧间预测
时，仅使用位于紧邻前面的I画面或P画面执行运动预测和补偿。然而，在H.264中，为了增加编码效率，通过使用多个参考图像帧执行运动预测和补 偿。即，根据H.264标准，存储最近编码的多个图像帧，其数量等于或大于 l并等于或小于16,并通过使用所有参考图像帧，执行运动预测。然后，确 定具有最小成本的参考图像帧作为当前期望执行运动估计的块的参考图像 帧。这是因为很可能的是，当使用多个参考图像帧时，移动目标没有隐藏被 隐藏且没有出现在紧邻当前帧之前的图像帧内的某部分背景，而该部分背景 出现在紧邻当前图像帧前面的图像帧之前的其他图像帧内。
然而，当使用多个参考图像帧时，出现的问题在于运动预测单元的计算 量和存储参考图像帧的存储空间与参考图像帧的数量成正比增加。
同时，由于运动估计所需的计算量的原因，在以与当前图像帧的目标区 域的位置对应的参考图像帧的位置为中心的预定大小的搜索区域中执行运 动估计。对该情况中，当移动目标非常突然地移动时，其中出现运动的图像 区域位于参考图像帧的搜索区域之外，以致通过运动估计不能形成预测图 像。在水平方向或垂直方向反复移动目标的情况中，在时间上位于很早的参 考图像的搜索区域范围中可以找到类似于移动目标的区域。然而，因为如上 所述可用的参考图像帧的数量有限，所以存在通过运动估计不能形成预测图 像的一些情况。
此外，当移动目标的形状在预定周期中变化但是该目标的预定形状反复 出现在周期中时，例如，如在行走的人的情况中，当人的形状在每个帧内变 化、但预定的运动在预定周期中重复时，可以通过使用多个参考图像帧执行 移动目标的运动估计，因此增加了编码的效率。然而，由于运动估计所需的 计算量和存储空间的限制，可以使用的参考图像帧的数量很有限。

发明内容
本发明提供编码和解码图像的方法和设备，其中使用每个输入图像帧的 背景图像，并通过使用另 一图像帧的背景图像更新任何一个图像帧缺少的背 景区域，从而生成并存储参考背景图像，存储每个图像帧的目标图像为参考 目标图像，并然后通过使用所存储的参考背景图像和参考目标图像，执行运 动估计和补偿，从而增加编码效率而不需要极大的增加存储器的大小。
根据本发明一方面，提供了一种用于编码图像的方法，包括将当前图像帧划分为背景区域和目标区域；比较当前图像帧和前一图像帧，从而确定
背景区域或目标区域在当前图像帧和前一 图像帧之间是否已改变；根据确定 的结果，通过使用当前图像帧的背景区域，更新从前一图像帧的背景生成的 参考背景图像，并存储所更新的参考背景图像；以及通过使用更新的参考背 景图像而执行当前图像帧之后的图像帧的运动估计。
根据本发明的另一方面，提供了一种用于编码图像的设备，包括区域 分离单元，将当前图像帧划分为背景区域和目标区域；确定单元，比较当前 图像帧和前一 图像帧，从而确定背景区域或目标区域在当前图像帧和前一 图 像帧之间是否改变；更新单元，根据确定的结果，通过使用当前图像帧的背 景区域，更新从前一图像帧的背景生成的参考背景图像，并存储更新的参考 背景图像；以及运动估计单元，通过使用更新的参考背景图像而执行当前图 像帧之后的图像帧的运动估计。
根据本发明的又一方面，提供了一种用于解码图像的方法，包括从包 括第一图像帧和第二图像帧的至少两个图像帧的每个中分离背景区域和目 标区域，该两个图像帧在解码当前图像帧之前被恢复；比较所恢复的第一图 像帧和第二图像帧，并确定背景区域或目标区域在第一图像帧和第二图像帧 之间是否改变；根据确定的结果，通过使用第一图像帧和第二图像帧的背景， 更新从先前恢复的图像帧的背景区域生成的参考背景图像，并存储所更新的 参考背景图像；以及通过使用所更新的参考背景图像，执行当前图像帧的运 动补偿。
根据本发明的又一方面，提供了一种用于解码图像的设备，包括区域 分离单元，从包括第一图像帧和第二图像帧的至少两个图像帧的每个中分离 背景区域和目标区域，该两个图像帧在解码当前图像帧之前被恢复；确定单 元，比较所恢复的第一图像帧和第二图像帧，并确定背景区域或目标区域在 第一图像帧和第二图像帧之间是否改变；更新单元，根据确定的结果，通过 使用第 一图像帧和第二图像帧的背景，更新从先前恢复的图像帧的背景区域 生成的参考背景图像；存储单元，存储所更新的参考背景图像；以及运动补 偿单元，通过使用所更新的参考背景图像，执行当前图像帧的运动补偿。


通过参考附图描述本发明的详细示范实施例，本发明的上面和其他特点和优点将变得更加明显，其中
图1A至图1C是图示了根据本发明实施例的被输入到用于编码图像的 设备中的序列图像帧的示例的示意图2A是图示了根据本发明实施例、通过使用图1A至图1C所示的图像 帧生成的参考背景图像的的示例的示意图2B是图示了根据本发明实施例、从图1A至图1C所示的图像帧提取 的参考目标图像的示例的示意图3是图示了根据本发明实施例、用于编码图像的设备的结构的框图4是图示了根据本发明实施例的参考图像生成单元的结构的详细框
图5是图示了根据本发明实施例被依次输入到用于编码图像的设备中的 两个图像帧的示例的示意图6A和图6B是分别图示了根据本发明实施例、从图5图示的图像帧 的任意时间(t-l)输入的图像帧分离的背景图像和目标图像的示意图6C和图6D是分别图示了根据本发明实施例、从图5图示的图像帧 的时间t输入的图像帧分离的背景图像和目标图像的示意图7是图示了根据本发明实施例的用于编码图像的方法的流程图8是图示了根据本发明实施例的用于解码图像的设备的结构的框以及
图9是图示了根据本发明实施例的用于解码图像的方法的流程图。
具体实施例方式
现在，将参考附图更全面地描述本发明，附图中示出了本发明的示范实 施例。
图1A至图1C是图示了根据本发明实施例的被依次输入到用于编码图 像的设备中的图像帧的示例的示意图。图2A是图示了根据本发明实施例、 通过使用图1A至图1C所示的图像帧生成的参考背景图像的的示例的示意 图，以及图2B是图示了根据本发明实施例、通过使用图1A至图1C所示的 图像帧生成的参考目标图像的示例的示意图。
当目标移动时，可以暴露在任意时间由图像帧中的目标隐藏的背景区 域，并且在另一时间的图像帧中，可以获的先前隐藏的背景区域中的信息。例如，参考图1A至图1C,时间(t-2)的图像帧中的汽车隐藏背景区域11。然而，随着汽车在水平方向移动，可以在下一时间(t-l)的图像帧中获得背景区域ll。类似地，可以在先前时间(t-2)的图像帧中或随后时间t的图像帧 中获得时间(t-l)的图像帧中由汽车隐藏的背景区域12。
根据如上所述的传统技术，当估计由移动目标所隐藏的背景图像的运动 时，使用先前被编码并然后被恢复的多个参考图像帧。即，为了预测与当前 图像帧中的每个块最类似的区域，执行利用多个参考图像帧的运动估计，从 而形成预测的图像。
参考图2A和2B,在根据本发明实施例的用于编码和解码图像的方法和 设备中，当执行与图1A至1C所图示的输入图像帧有关的运动估计和补偿 时，通过使用已经编码的其他先前图像帧的背景来获得由移动目标等隐藏的 背景区域，从而生成仅由背景图像形成的参考背景图像。此外，存储在前一 图像帧中检测的目标图像，作为参考目标图像。然后，通过使用所存储的参 考背景图像和参考目标图像，执行运动估计和补偿，从而增加编码效率。
图3是图示了根据本发明实施例、用于编码图像的设备的结构的框图。
参考图3,根据当前实施例的用于编码图像的设备300包括编码控制单 元310、变换编码单元320、变换解码单元330、参考图像生成单元340、运 动补偿单元350、运动估计单元360和熵编码单元370。
由通过将一个帧或多个帧划分为预定大小的区域而获得的块形成输入 图像，其中以预定的时间间隔从诸如摄像机的预定图像拾取装置输入一个帧 或多个帧。帧包括通过连续扫描方法获得的连续扫描帧以及通过隔行扫描方 法获得的场或隔行扫描帧。下文中将说明的图像数据包括连续扫描帧、隔行 扫描帧、场、块结构的画面、和通过将帧划分为预定大小的区域而获得的分 割单元。
如果输入图像数据，编码控制单元310根据是否执行输入图像的运动补 偿来确定编码类型(帧内编码或帧间编码)，并向第一开关(Sl)输出对应 于该确定的控制信号。当执行运动补偿时，需要在当前输入图像之前或之后 输入的图像数据，并闭合第一开关(S1)。当不执行运动补偿时，不需要之 前或之后输入的图像数据，并断开第一开关(S1)。如果闭合第一开关(S1), 从输入图像和前一或后一图像获得的差别图像数据(残余)被输入到变换编 码单元320。如果断开第一开关(Sl),仅有输入图像被输入到变换编码单元320。变换编码单元320根据预定的量化步骤来量化通过对输入图像数据 进行变换编码获得的变换系数值，并获得作为由量化的变换系数值形成的2-维(2D )数据的N x M数据。所使用的变换的示例是离散余弦变换(DCT )。 根据预定的量化步骤来执行所述量化。
同时，因为所输入的并在变换编码单元320中被编码的图像数据可以用 作后一输入图像数据的运动补偿的参考数据，所以变换解码单元330执行图 像数据的去量化和逆变换编码的处理，然后，将结果输入到参考图像生成单 元340。
参考图像生成单元340存储先前编码并然后恢复的图像帧，作为参考图 像帧。同样，如后面将描述的，参考图像生成单元340将先前编码并然后恢 复的每一个图像帧划分为背景区域和目标区域。参考图像生成单元340通过 利用另 一 图像帧的背景区域而获得任何 一 个图像帧缺少的背景区域来生成 参考背景图像。此外，参考图像生成单元340单独地存储所分离的目标区域 为参考目标图像。
如果从变换解码单元330输出的数据是差别图像数据，则编码控制单元 310闭合第二开关(S2),使得从变换解码单元330输出的差别图像数据可 以被相加到运动补偿单元350的输出，并然后，可以将相加的结果输入并存 储在参考图像生成单元340中，从而可以将该结果用作后一图像帧的参考图 像帧。
运动估计单元360比较输入图像数据和在参考图像生成单元340中存储 的数据，从而寻找最近似于当前输入数据的数据，并然后输出通过比较所找 到的数据和输入图像数据而计算的运动向量(MV)。通过参考至少一个参考 图像帧来获得运动向量。即，可以如传统技术一样通过参考多个过去和/或未 来的图像帧来计算运动向量。具体地，根据当前实施例的运动估计单元360 将当前希望编码的图像帧划分为背景区域和目标区域，并然后可以通过使用 由参考图像生成单元从先前的图像帧生成的参考背景图像和参考目标图像 而执行运动估计。
如果运动估计单元360所生成的运动向量被传输给参考图像生成单元 340,则参考图像生成单元340向运动补偿单元350输出运动向量所指明的 参考图像帧、或者参考背景图像或参考目标图像的对应区域的数据。
基于输入数据，运动补偿单元350生成与当前正被编码的图像数据对应
的运动补偿值，并输出该值。
熵编码单元370接收从变换编码单元320输出的已量化的变换系数值的 输入、和从运动估计单元360输出的与运动向量有关的信息，并且还接收解 码所需的其他信息项的输入，诸如由编码控制单元310提供的编码类型信息、 量化步骤信息等。然后，熵编码单元370通过对输入进行编码而输出由最后 获得的位流。
现在，将说明多个输入图像帧的编码操作。对来自多个图像帧的第一图 像帧进行帧内预测编码，并然后，恢复第一图像帧并将其存储在参考图像生 成单元340中。如后面将描述的，参考图像生成单元340具有存储单元，用 于存储从先前的图像帧生成的参考背景图像和参考目标图像、以及在先前被 编码后恢复的图像帧。
根据第二输入的图像帧，运动估计单元360将输入的图像帧划分为块单 元。然后，通过使用先前被编码、恢复并存储在参考图像生成单元340中的 图像帧，运动估计单元360执行运动估计，借此获得每个块的的运动信息， 诸如运动向量。
参考图像生成单元340通过使用图像帧的运动信息，将块单元中的每个 图像帧划分为背景块和目标块。为了划分存在于图像帧中的背景区域和目标 区域，可以利用多种算法。例如，在参考图像生成单元340中，执行当前图 像帧的运动估计，并计算存在于当前图像帧中的块的运动向量的幅度。然后， 改变量等于或大于预定阈值的块可以被确定为目标块，而改变量小于预定阔 值的块被确定为背景块。此外，参考图像生成单元340可以计算作为一个图 像帧中的块的运动向量的代表值的全局运动向量，并然后，确定其中块的全 局运动向量和运动向量之间的差等于或大于预定阈值的块作为目标块，而确 定其中所述差小于预定阈值的块作为背景块。为了获得全局运动向量，可以 获得一个图像帧中的每个运动向量的直方图，并然后，可以使用代表多个运 动向量的均值作为全局运动向量。
此外，参考图像生成单元340比较当前图像帧和前一 图像帧的背景区域， 并然后，参考图像生成单元340通过使用当前图像帧具有而前一图像帧缺少 的背景区域，来取代前一图像帧的背景区域，并将更新的背景图像存储在存 储单元中作为参考背景图像。在每个输入图像帧中反复执行该处理，借此持 续更新参考背景图像。
如果用于存储目标块的存储空间是有限的，则当存储空间满了时删除已存储 最长时间的目标块，并存储新的目标块。
现在，将参考

参考图像生成单元340的详细结构和操作。
图4是图示了根据本发明实施例的参考图像生成单元的结构的详细框图。
参考图4，根据当前实施例的参考图像生成单元400包括区域分离单元 410、确定单元420、更新单元430和存储单元440。存储单元440存储先前 被编码并然后被恢复的前一图像帧441。此外，存储单元440存储仅仅由通 过利用另 一 图像帧的背景区域更新任何一个图像帧缺少的背景区域生成的 背景图像所形成的参考背景图像442、以及由分离的目标区域形成的参考目 标图像443。
图5是图示了根据本发明实施例被依次输入到用于编码图像的设备中的 两个图像帧的示例的示意图。图6A和图6B是分别图示了根据本发明实施 例、从图5图示的图像帧的任意时间(t-l )输入的图像帧(下文称为"(t-l ) 图像帧")分离的背景图像和目标图像的示意图。图6C和图6D是分别图示 了根据本发明实施例、从图5图示的图像帧的时间t输入的图像帧(下文称 为"t图像帧")分离的背景图像和目标图像的示意图。
区域分离单元410计算关于当前图像帧的块的运动估计结果而生成的每 个块的运动向量的幅度，并比较块的幅度和预定阈值，借此从当前图像帧分 离背景区域和目标区域。例如，参考图5，通过使用t图像帧的运动估计结 果，图像分离单元410计算t图像帧中每个块的运动向量的幅度。以这个方 式，图像分离单元410可以检测运动向量等于或大于预定阈值的块作为包括 移动目标的块53。这是因为具有移动目标的块具有比背景区域的运动向量相 对大的运动向量。类似地，区域分离单元410计算(t-l)图像帧中每个块的 运动向量的幅度，并通过比较块的幅度和预定阈值，区域分离单元410可以 检测包括移动目标的块51 。
为了确定在由于图像拾取设备(诸如摄象机)的运动导致发生的摇镜头 (panning)图像帧中存在的目标，区域分离单元410计算表示存在于图像帧 中的块的运动向量的全局运动向量，并可确定其中全局运动向量和块的运动 向量之间的差等于或大于预定阈值的块作为目标块，以及确定其中所述差小
于预定阈值的块为背景块。即，对于摇镜头图像情形，通过确定图像帧的块 的整体运动，确定摇镜头的方向，并然后，通过考虑所确定的摇镜头方向， 确定具有不同运动的块为目标区域。这里，可以使用图像帧中所有块的运动 向量的均值作为全局运动向量。
参考图6A至6D,区域分离单元410将(t-l)图像帧划分为目标区域 61和背景区域60,并将分离的(t-l)目标区域61存储在存储单元440中为参 考目标图像。此外，区域分离单元410将t图像帧划分为目标区域63和背景 区域64,并将分离的t目标区域63存储在存储单元440中作为另一参考目 标图像。如上所述，在存储单元440中依次存储从每个图像帧提取的目标图 像，并如果存储空间已满，通过取代已存储最长时间的目标图像而存储新的 目标。
确定单元420比较在区域分离单元410中从每个图像帧分离的背景区域 和目标区域，并确定作为在当前图像帧和前一图像帧二者中的背景区域的区 域、从背景区域改变到目标区域的区域、以及从目标区域改变到背景区域的 区域。
再次参考图5，当目标移动时，与(t-l)图像帧的目标区域51对应的t 图像帧中的区域52成为背景区域。此外，t图像帧的目标区域53是前一(t-l ) 图像帧中的背景区域，但当目标移动时，背景区域被改变为目标区域。
更新单元430根据确定单元420的确定结果，通过使用当前图像帧的背 景区域，更新从先前图像帧的背景区域生成的参考背景图像。更具体地，首 先，关于在前一图像帧和当前图像帧二者中都被确定为背景区域的区域，计 算前一图像帧的块的清晰度(clearness)和与前一图像帧的块对应的当前图 像帧的块的清晰度，并用更清楚的块取代参考背景图像中对应于该块的区 域。这是通过使用更清楚的图像生成参考背景图像，因为由于摄象机的微小 摇晃导致的轻微模糊图像可存在于时间上连续的图像帧中。为了检测图像的 清晰度，可使用用于检测图像中的边缘的各种算法。这是因为检测边缘在清 楚图像中比在模糊图像中更容易。
在当前实施例中，作为检测图像清晰度的方法，使用提取图像中的高频 分量的方法。当检测高频分量时，可以使用多种频率变换方法，诸如离散余 弦变换(DCT)或小波变换。更新单元430将在前一图像帧和当前图像帧二 者中都确定为背景的区域变换至频域，并然后，通过比较当前图像帧的高频分量和前一图像帧的高频分量，更新单元430选择具有较高高频分量的图像
帧作为具有更清楚画面质量的图像。然后，通过用具有较高高频分量的图像
帧取代参考背景图像帧的对应区域，更新单元430更新参考背景图像。例如， 参考图6A和6C,更新单元430将在(t-l )图像帧和t图像帧二者中都被确 定为是背景区域的块66a和66b变换至频域，并通过比较块66a和66b的高 频分量，更新单元430选择具有较高高频分量的块。更新单元430用选择的 块取代参考背景图像的区域，借此更新参考背景图像。
此外，更新单元430通过使用在前一图像帧中被确定为目标区域而在当 前图像帧中被确定为背景区域的区域，来取代参考背景图像的对应区域，借 此更新参考背景图像。再参考图6A和6C,附图标记61指明的区域是(t-l) 图像帧中的目标区域，并被改变为t图像帧中的背景区域。因此，从目标区 域改变为背景区域的区域是由前一参考背景图像中的目标隐藏的部分，从而 在前一参考背景图像中被省略。更新单元430用当前图像帧的对应背景区域 取代前一图像帧中被目标隐藏的区域，从而更新参考背景图像。更新单元430 对输入图像帧重复执行该处理，从而持续更新在存储单元440中存储的参考 背景图像442。
同样，在存储单元440中，存储从每个图像帧提取的各个形状的参考目 标图像443。例如，如图6B和6D所示，从每个图像帧分离的各个形状的参 考目标图像51和53被存储为参考目标图像443。由更新单元430生成的参 考背景图像442和从每个图像帧分离的参考目标图像443用于未来图像帧的 运动估计和补偿。以这个方式，当单独存储从每个图像帧分离的目标图像时， 可通过使用参考目标图像来更准确地预测具有改变的运动的目标。
图7是图示了根据本发明实施例的用于编码图像的方法的流程图。 参考图7,在操作710,将当前图像帧划分为背景区域和目标区域。如 上所述，可以通过检测当前图像帧的每个块的运动向量的幅度、并比较每个 块的幅度和预定阈值来识别背景和目标。此外，计算代表当前图像帧中的所 有块的运动向量的全局运动向量，并然后，可以将其中全局运动向量和块运 动向量之间的差等于或大于预定阈值的块确定为目标块，并可以将剩余块确 定为背景块。
在操作720,比较当前图像帧和前一图像帧，从而确定在当前图像帧和 前一图像帧二者中均保持为背景区域的区域、从背景区域改变为目标区域的区域、以及从目标区域改变为背景区域的区域。
在操作730，对于在当前图像帧和前一图像帧二者中均保持为背景区域 的区域的情形，从当前图像帧和前一 图像帧中选择具有更高清晰度的图像， 并通过使用所选择的图像取代参考背景图像，从而更新参考背景图像。此外， 对于从背景区域改变为目标区域的区域的情形，将当前图像帧的目标区域作
为参考目标区域单独存储在存储单元440中。对于从目标区域改变为背景区 域的区域的情形，在前一图像帧的背景区域中省略该区域，并因此通过使用 前一图像帧的背景区域，填充在前一图像帧中省略的背景区域，从而更新参 考背景图像。
在操作740,针对随后的图像帧重复执行上面的处理，持续更新参考背 景图像和参考目标图像。以这个方式，通过在处理当前图像帧之前使用通过 上面的处理生成的参考背景图像和参考目标图像，执行运动估计，从而生成 预测图像，并变换在预测图像和原始图像之间的差别，从而执行量化和熵编 码。
图8是图示了根据本发明实施例的用于解码图像的设备的结构的框图。
参考图8,根据当前实施例的用于解码图像的设备800是接收由图3所 示的编码设备300所编码的位流并解码该位流的设备，并包括用于解复用 (demuxing)位流的解复用单元810、熵解码单元820、以及变换解码单元 850。此外，用于解码图像的设备800包括解释编码类型信息的编码类型信 息解释单元830和解释运动向量的运动向量解释单元840。
通过解复用单元810将位流解复用为熵编码量化变换系数、运动向量信 息、编码类型信息等。熵解码单元820对已熵编码的变换系数进行熵解码， 并输出已量化的变换系数。变换解码单元850对已量化的变换系数进行变换 -解码。恢复的图像数据被存储在参考图像生成单元860中用于运动补偿。
同时，编码类型信息解释单元830发现位流的编码类型，并如果类型是 需要运动补偿的帧间类型，则编码类型信息解释单元830闭合第三开关 (S30 )。相应地，乂人运动补偿单元870输出的运动补偿值被相加到从变换解 码单元850输出的数据，并获得恢复的图像数据。运动向量解释单元840提 供由根据运动向量信息获得的运动向量指明的位置，并且运动补偿单元870 根据由运动向量指明的参考图像数据生成运动补偿值，并输出运动补偿值。
具体地，参考图像生成单元860使用先前恢复的图像帧来生成参考背景图像和参考目标图像，并存储所生成的图像。除了参考图像生成单元860使 用所恢复的图像外，参考图像生成单元860的结构和操作类似于图像编码设 备的图4所示的参考图像生成单元400。
即，参考图像生成单元860从在解码当前图像帧之前恢复的第 一图像帧 和第二图像帧的每一个分离背景区域和目标区域。通过比较第一图像帧和第 二图像帧，参考图像生成单元860确定在第 一 图像帧和第二图像帧二者中保 持为背景区域的区域、从背景区域改变为目标区域的区域、以及从目标区域 改变为背景区域的区域。然后，根据确定结果，参考图像生成单元860使用 第一图像帧和第二图像帧的背景，更新从先前恢复的图像帧的背景区域生成 的参考背景图像。如上所述，对于在第一图像帧和第二图像帧二者中都保持 为背景区域的区域，从第 一 图像帧和第二图像帧中选择具有较高清晰度的图 像，并通过使用所选择的图像，取代参考背景图像，借此更新参考背景图像。 此外，对于从背景区域改变为目标区域的区域，独立地在参考图像生成单元 860的存储单元中存储第二图像帧的目标区域为参考目标区域。对于从目标 区域改变为背景区域的区域，在第一图像帧的背景区域中省略该区域，并通 过使用第二图像帧的背景区域，填充第一图像帧中省略的背景区域，借此更 新参考背景图像。
当编码类型信息解释单元830中确定的并正被解码的图像帧使用从先前 的图像帧生成的参考背景图像或参考目标图像时，运动补偿单元870通过使 用参考图像生成单元840所生成的参考背景图像或参考目标图像来执行运动 补偿，并生成预测图像。
图9是图示了根据本发明实施例的用于解码图像的方法的流程图。 参考图9,在操作910,在包括第一图像帧和第二图像帧的至少两个图 像帧的每个中分离背景区域和目标区域，该两个图像帧在当前图像帧之前恢复。
在操作920,通过比较所恢复的第一图像帧和第二图像帧，确定在第一 图像帧和第二图像帧二者中保持为背景区域的区域、从背景区域改变为目标 区域的区域、以及从目标区域改变为背景区域的区域。
在操作930，根据操作920的确定结果，通过使用第一图像帧和第二图 像帧的背景区域更新从所有图像帧的背景区域生成的参考背景图像，并存储 更新的参考背景图像。
在操作940,通过使用更新的参考背景图像，执行当前图像帧的运动补 偿，借此生成恢复的预测图像，并将所恢复的预测图像相加到位流中的剩余 分量中，借此恢复图像。
根据上述的本发明，不需要增加存储参考图像的存储器的大小，可以减 少当执行运动估计和补偿时所需的计算的复杂性，并且当使用多个参考帧时 可以增加编码效率。
即，通过使用先前的图像帧，可以持续更新并存储参考背景图像和参考 目标图像。然后，通过使用参考背景图像和参考目标图像，可以执行运动估 计和补偿。以这个方式，不需要存储多个参考图像，并通过仅使用更新的参 考背景图像，可以生成预测图像，并增强编码效率。
此外，在目标的情况中，通过使用参考目标图像，可以容易地执行运动 估计和补偿而不增加搜索区域。对于其形状改变的目标，通过使用在存储单元中存储的多个参考目标图像，可生成预测图像，借此增加编码效率。
本发明还可以体现为计算机可读记录介质上的计算机可读代码。计算机 可读记录介质是可以存储计算机系统此后可读取的数据的任何数据存储装置。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器 (RAM)、 CD-ROM、磁带、软盘和光数据存储装置。计算机可读记录介质 还可分布在耦接计算机系统的网络上，以便以分布形式存储并运行计算机可 读代码。
虽然已参考本发明的示范实施例具体表示和描述了本发明，但是本领域 的普通技术人员将理解，在不背离由接下来的权利要求限定的本发明的精神 和范围的情况下，可以在其中进行形式和细节上的各种改变。示范实施例应 该仅仅被认为是描述意义而不用于限制。因此，不由本发明的详细描述而由 附加的权利要求限定本发明的范围，以及范围内的所有差别可以理解为包括 在本发明中。
权利要求
1、一种用于编码图像的方法，包括将当前图像帧划分为背景区域和目标区域；比较当前图像帧和前一图像帧，从而确定背景区域或目标区域在当前图像帧和前一图像帧之间是否已改变；根据确定的结果，通过使用当前图像帧的背景区域，更新从前一图像帧的背景生成的参考背景图像，并存储所更新的参考背景图像；以及通过使用更新的参考背景图像而执行当前图像帧之后的图像帧的运动估计。
2、 如权利要求1所述的方法，其中将当前图像帧划分为背景区域和目 标区域的步骤包括执行当前图像帧的基于块的运动估计，并生成运动向量； 计算当前图像帧的每个运动向量的幅度；以及对于其中块的运动向量的幅度等于或大于预定阔值的块，确定该块包括 在目标区域中，以及对于其中块的运动向量的幅度小于预定阈值的块，确定 该块包括在背景区域中。
3、 如权利要求1所述的方法，其中将当前图像帧划分为背景区域和目 标区域的步骤包括执行当前图像帧的基于块的运动估计，并生成运动向量； 计算表示当前图像帧中的块的所有运动向量的全局运动向量；以及在当前图像帧的块中，将全局运动向量和块的运动向量之间的差等于或 大于预定阈值的块确定为目标区域，将全局运动向量和块的运动向量之间的 差小于预定阈值的块确定为背景区域。
4、 如权利要求l所述的方法，其中更新参考背景图像的步骤包括 计算在当前图像帧和前一图像帧二者中都被确定为背景区域的区域的清晰度；从当前图像帧和前 一 图像帧的背景区域中选择具有较高清晰度的背景 区域；以及用所选择的背景区域取代在参考背景图像中与所选择的背景区域对应 的区域，从而更新参考背景图像。
5、 如权利要求4所述的方法，其中选择具有较高清晰度的背景区域的 步骤包括将当前图像帧和前一图像帧变换至频域；以及比较当前图像帧和前一 图像帧的高频分量，并在当前图像帧和前一 图像 帧之间选择具有较高高频分量的背景区域，作为具有较高清晰度的背景区 域。
6、 如权利要求1所述的方法，其中在更新参考背景图像的步骤中，用 当前图像帧的背景区域取代与当前图像帧的背景区域对应的参考背景图像 的区域，其中所述参考背景图像的区域被确定为在前一 图像帧中的目标区域 和当前图像帧中的背景区域，从而更新参考背景图像。
7、 如权利要求1所述的方法，还包括存储当前图像帧的目标区域作为 参考目标图像，其中所述目标区域在前一图像帧中被确定为背景区域而在当 前图像帧中被确定为目标区域。
8、 一种用于编码图像的设备，包括区域分离单元，将当前图像帧划分为背景区域和目标区域；确定单元，比较当前图像帧和前一图像帧，从而确定背景区域或目标区 域在当前图像帧和前一 图像帧之间是否改变；更新单元，根据确定的结果，通过使用当前图像帧的背景区域，更新从 前一图像帧的背景生成的参考背景图像，并存储更新的参考背景图像；以及运动估计单元，通过使用更新的参考背景图像而执行当前图像帧之后的图像帧的运动估计。
9、 如权利要求8所述的设备，其中区域分离单元包括 运动向量幅度计算单元，使用通过执行当前图像帧的基于块的运动估计而生成的运动向量，来计算当前图像帧的每个块的运动向量的幅度；以及区域确定单元，将其中块的运动向量的幅度等于或大于预定阈值的块确 定为包括在目标区域中的块，并将其中块的运动向量的幅度小于预定阚值的 块确定为包括在背景区域中的块。
10、 如权利要求8所述的设备，其中区域分离单元包括 全局运动向量计算单元，计算表示当前图像帧的所有块的运动向量的全局运动向量；以及区域确定单元，在当前图像帧的块之中，将全局运动向量和块的运动向 量之间的差等于或大于预定阈值的块确定为目标区域，并将全局运动向量和 块的运动向量之间的差小于预定阈值的块确定为背景区域。
11、 如权利要求8所述的设备，其中更新单元包括更新区域选择单元，计算在当前图像帧和前一 图像帧二者中都被确定为 背景区域的区域的清晰度，并从当前图像帧和前一 图像帧的背景区域中选择 具有较高清晰度的背景区域；以及更新单元，用所选择的背景区域取代在参考背景图像中与所选择的背景 区域对应的区域，从而更新参考背景图像。
12、 如权利要求11所述的设备，其中更新区域选择单元将当前图像帧 和前一图像帧变换至频域，比较当前图像帧和前一图像帧的高频分量，并在 当前图像帧和前一 图像帧之间选择具有较高高频分量的背景区域作为具有 较高清晰度的背景区域。
13、 如权利要求8所述的设备，其中更新单元用当前图像帧的背景区域 取代在前一图像帧中被确定为目标区域而在当前图像帧中被确定为背景区 域的、与当前图像帧的背景区域对应的参考背景图像的区域，从而更新参考 背景图像。
14、 如权利要求8所述的设备，其中存储单元存储当前图像帧的目标区 域作为参考目标图像，其中所述目标区域在前 一 图像帧中被确定为背景区域 而在当前图像帧中被确定为目标区域。
15、 一种用于解码图像的方法，包括从包括第一图像帧和第二图像帧的至少两个图像帧的每个中分离背景 区域和目标区域，该两个图像帧在解码当前图像帧之前被恢复；比较所恢复的第 一图像帧和第二图像帧，并确定背景区域或目标区域在 第 一 图像帧和第二图像帧之间是否改变；根据确定的结果，通过使用第一图像帧和第二图像帧的背景，更新从先 前恢复的图像帧的背景区域生成的参考背景图像，并存储所更新的参考背景 图像；以及通过使用所更新的参考背景图像，执行当前图像帧的运动补偿。
16、 如权利要求15所述的方法，其中从第一图像帧和第二图像帧的每 一个中分离背景区域和目标区域的步骤包括通过使用包括在输入位流中的第 一 图像帧和第二图像帧的块的运动向量，确定包括在第一图像帧和第二图像帧中的每个块的运动向量的幅度；以及对于其中块的运动向量的幅度等于或大于预定阈值的块，确定该块包括 在目标区域中，以及对于其中块的运动向量幅度小于预定阈值的块，确定该 块包括在背景区域中。
17、 如权利要求15所述的方法，其中从第一图像帧和第二图像帧的每 一个中分离背景区域和目标区域的步骤包括通过使用包括在输入位流中的第 一图像帧和第二图像帧的运动向量，计 算表示第一图像帧中的块的运动向量的第一全局运动向量，以及表示第二图 像帧中的块的运动向量的第二全局运动向量；以及对于第一图像帧和第二图像帧的每个块，将块的运动向量与第一全局运 动向量和第二全局运动向量中的对应一个进行比较，并将其中全局运动向量 与块的运动向量之间的差等于或大于预定阈值的块确定为目标区域，并将其 中全局运动向量与块的运动向量之间的差小于预定阈值的块确定为背景区 域。
18、 如权利要求15所述的方法，其中更新参考背景图像的步骤包括 计算在第 一 图像帧和第二图像帧二者中都被确定为背景区域的区域的清晰度；从第 一 图像帧和第二图像帧的背景区域中选择具有较高清晰度的背景区域；以及用所选择的背景区域取代在参考背景图像中与所选择的背景区域对应 的区域，从而更新参考背景图像。
19、 如权利要求18所述的方法，其中选择具有较高清晰度的背景区域 的步骤包括将第一图像帧和第二图像帧变换至频域；以及比较第 一 图像帧和第二图像帧的高频分量，并在第 一 图像帧和第二图像 帧之间选择具有较高高频分量的背景区域作为具有较高清晰度的背景区域。
20、 如权利要求15所述的方法，其中在更新参考背景图像的步骤中， 用第二图像帧的背景区域取代与第二图像帧的背景区域对应的参考背景图 像中的区域，所述参考背景图像的区域被确定为第 一 图像帧中的目标区域和 第二图像帧中的背景区域，从而更新参考背景图像。
21、 如权利要求15所述的方法，还包括将第二图像帧的目标区域存储为参考目标图像，其中所述目标区域被确定为第 一 图像帧中的背景区域和第 二图像帧中的目标区域。
22、 一种用于解码图像的设备，包括区域分离单元，从包括第一图像帧和第二图像帧的至少两个图像帧的每 个中分离背景区域和目标区域，该两个图像帧在解码当前图像帧之前被恢复;确定单元，比较所恢复的第一图像帧和第二图像帧，并确定背景区域或 目标区域在第一图像帧和第二图像帧之间是否改变；更新单元，根据确定的结果，通过使用第 一 图像帧和第二图像帧的背景， 更新从先前恢复的图像帧的背景区域生成的参考背景图像；存储单元，存储所更新的参考背景图像；以及运动补偿单元，通过使用所更新的参考背景图像，执行当前图像帧的运 动补偿。
23、 如权利要求22所述的设备，其中区域分离单元包括 运动向量幅度计算单元，通过使用包括在输入位流中的第一图像帧和第二图像帧的每个块的运动向量，计算在第一图像帧和第二图像帧中包括的每 个块的运动向量的幅度；以及区域确定单元，将其中块的运动向量的幅度等于或大于预定阈值的块确 定为包括在目标区域中的块，并将其中块的运动向量的幅度小于预定阈值的 块确定为包括在背景区域中的块。
24、 如权利要求22所述的设备，其中区域分离单元包括全局运动向量计算单元，通过使用包括在输入位流中的第一图像帧和第 二图像帧的每个块的运动向量，计算表示第一图像帧中的块的运动向量的第 一全局运动向量、和表示第二图像帧中的块的运动向量的第二全局运动向 量；以及区域确定单元，针对第一图像帧和第二图像帧的每个块，将每个块的运 动向量与第一全局运动向量和第二全局运动向量的对应一个进行比较，并将 全局运动向量和块的运动向量之间的差等于或大于预定阈值的块确定为目 标区域，而将全局运动向量和块的运动向量之间的差小于预定阈值的块确定 为背景区域。
25、如权利要求22所述的设备，其中更新单元包括更新区域选择单元，计算在第 一 图像帧和第二图像帧二者中都被确定为背景区域的区域的清晰度，并从第一图像帧和第二图像帧的背景区域中选择具有较高清晰度的背景区域；以及更新单元，用所选择的背景区域取代在参考背景图像中与所选择的背景区域对应的区域，从而更新参考背景图像。
全文摘要
提供了一种用于编码和/或解码视频图像的方法和设备，其中通过使用从输入图像帧中提取的参考背景图像和参考目标图像执行运动估计和补偿。在该方法和设备中，使用每个输入图像帧的背景图像，并通过使用另一图像帧的背景图像更新任何一个图像帧缺少的背景区域。以这个方式，生成并存储参考背景图像，并将每个图像帧中的目标图像存储为参考目标图像。然后，通过使用所存储的参考背景图像和参考目标图像，执行运动估计和补偿，从而增加编码效率。
文档编号H04N7/26GK101202913SQ200710186188
公开日2008年6月18日 申请日期2007年11月28日 优先权日2006年11月28日
发明者俞基源, 安泰庆, 李在宪 申请人:三星电子株式会社