专利名称：获得基于块的运动估计中的运动向量的制作方法
技术领域：
本发明涉及获得视频信号压縮的基于块的运动估计中的运动向量 的方法。
背景技术：
诸如MPEG2和H264的视频压縮标准通过根据一个或多个之前编 码的画面的部分来预测一个画面中的宏块，从而实现压縮。对于尺寸 为16X16像素的典型宏块，存在用于找出最佳向量的已知方法，该最 佳向量描述之前的编码画面的部分到当前画面中宏块的变换。例如， 给定x和y向量(二者可以是相关的；搜索区域的形状并不必须是矩 形的)的最大范围，已知的绝对差值之和(SAD)的方法为搜索区域 内的每个可能匹配点计算宏块中的像素与之前编码帧中的相应像素之 间的绝对差值之和，并搜索最小的SAD，其可被认为对应于最优向量。 还已知有诸如搜索最大的互相关系数的其它方法。
诸如H264的一些视频压縮标准允许用更小的块，已知为宏块的划 分(以及子分区)，来预测图像，这些更小的块中的每个都可用不同向 量来预测。理论上，这允许以低得多的残差(residual)来预测宏块内 有多于一个运动的区域。视频压縮标准，包括H264，指定了视频是如 何用语法(例如，块尺寸和向量语法)来描述的。它们并不指定如何 执行编码，例如，在每个点确定最优的块尺寸的方法，或如何从源视 频序列获得向量。根据H264标准存在许多种对图像的任意给定序列进 行编码的方式；视频编码的技术是选择较好的一个。
已经观察到，对于即使尺寸为16X16的块，基于块的搜索有时可 能产生与现实世界的运动不相关且似乎是随机的向量。这通常发生在 诸如由相对于草坪运动场(grass sports pitch)移动的相机所产生的图 像上。尽管块向量计分(block vector score)确保了将残差编码的成本 最小化，但向量自身是随机的，因此它们具有较高的熵和较高的编码
成本。这有效地增加了对于相同视频质量的比特速率。
在块尺寸减小时这个问题变得更加尖锐；通过基于块的搜索方法
找出匹配现实世界的运动的4X4子分区不能可靠地进行。这是因为4 X4的块搜索是仅仅基于16个像素的差值进行的，而与其相比16X16 的块是基于256个像素的。对于更小的块，图像中的随机噪声或其它 细节将更有可能产生"错误"匹配。
发明内容
本发明的目的是至少改善现有技术中的前述缺点。 根据本发明的第一方面，提供了在基于块的运动估计中为宏块分
区获得运动向量的方法，其包括为宏块并且为可得的相邻宏块确定 向量；将宏块划分成分区；为每个分区确定候选运动向量的集合，其 包括来自宏块和在可能时来自至少两个相邻宏块的向量；对于集合中 的每个候选运动向量计算分区的块向量计分，并从具有最好计分的集 合中选择候选运动向量作为每个分区的向量。
方便的是，该方法包括用16X16的块执行块匹配运动搜索；将 16X16的块划分成8X8的分区并从父宏块(parent)或相邻的16X16 宏块选择最好的向量。
替换的，该方法包括将每个8X8分区划分成4X4子分区并从父 分区和相邻分区选择最好的向量。
可选的，该方法包括将每个4X4子分区划分成2X2子分区并从 父子分区和相邻子分区选择最好的向量。
可选的，该方法包括将每个2X2子分区划分成像素，并从父2X2 子分区和相邻2X2子分区选择最好的向量。
方便的是，块向量计分是绝对差值之和。
方便的是，该方法还包括检查是否有足够的宏块分区具有相同的 向量或将能被更有效地编码为更大分区的分区的向量。
方便的是，该方法还包括允许候选向量的扰动(perturbation)以 平滑图像中不同运动的区域之间的过渡。
有益的是，宏块被划分成多个分区，以在预定编码成本内获得对 分区合计的最好计分。
5
根据本发明的第二方面，提供了包括代码装置的计算机程序产品， 该代码装置用于当在一个或多个计算机上运行程序时执行权利要求1 至6中的任一项的方法的所有步骤。
根据本发明的第三方面，提供了如上所述的计算机程序产品，其 包含在计算机存储介质中。
现在，将参考附图通过举例的方式来描述本发明。 图1显示了划分成宏块的源图像；
图2显示了对于图1的源图像的参考图像，利用根据现有技术的 最好匹配宏块向量来从参考图像重构源图像；
图3显示了按照图2的最好匹配宏块向量来移动宏块的结果；
图4显示了对于图1的源图像的参考图像，利用根据本发明的最 好匹配分区的宏块向量来从参考图像重构源图像；
图5显示了按照图4的最好匹配分区的宏块向量移动划分的宏块 的结果；
图6是根据本发明的流程图。
在各图中，相似的附图标记表示相似的部分。
具体实施例方式
参考图1，源图像包括相对于随机星形121的背景12的不规则的 白色前景对象ll。覆盖线13、 14表示源图像被划分成的宏块网格。
图2显示了参考图像，其中白色不规则的对象ll比在源图像中更 靠右。正方形表示对图1中每个宏块的最好匹配的图像区域，还带有 相应的向量，其用间断的带箭头的线21、 22、 25来显示。由于不规则 的对象11在参考图像中比在源图像中更靠右，所以需将不规则的对象 11向左移动以从参考图像产生源图像。中间宏块23和下部中间宏块 24并没匹配好并具有伪运动向量(spurious motion vector) 21、 22。
图3显示了当按图2所示那样预测宏块时的重构。中间顶部宏块 31、中间中部宏块24和中间底部宏块23与图1的源图像相比都在不 同位置。
图4显示了根据本发明划分宏块获得的结果。中间和中间底部宏
块23、 24每个都己经被分成四个分区231—234和241—244。这些分 区的主要部分都采取了附近宏块的向量而不是父宏块23、 24的向量， 使得它们的运动与相邻宏块相一致。
图5显示了根据以上图4产生的预测。预测的图像比使用现有技 术的未划分的宏块的图3中的之前预测更像图1中的源图像。
这样，在本发明的方法中，每个宏块被划分成分区。对于每个分 区，块向量计分被计算，如果使用之前计算的向量从至少一个邻接宏 块以及父宏块预测该分区，则获得该块向量计分，其中各分区是从父 宏块中划分出来的。该处理要求在能够开始该歩骤以前，对于编码序 列中的当前宏块之后的宏块的宏块向量必须是已知的。
来自邻接宏块的候选向量和父宏块的向量当中的最好块向量计分 被找到，并被选择作为这个分区的最好向量。
已经为这种水平的划分找到了 2m乘2n的向量场，该场可用相同 的方法被再次分割，以产生更精细的分辨率图像。
在每个水平上，还可能检査是否有足够的宏块分区具有相同向量 或将被更有效地编码为更大分区的分区的向量。
此外，候选向量的小扰动可被允许，§卩，可在提出的向量周围执 行小搜索，以便提供图像中不同运动区域之间的更平滑的过渡。
以上参考块向量计分搜索描述了本方法。因为可以理解本方法无 论应用什么样的根据其进行最小化的成本函数，在每个水平上应用的 成本函数都不必要与在任何其它水平上应用的成本函数相同。然而， 将理解绝对差值之和(SAD)的计分是用在本发明中的简便的块向量 计分。
图6显示了分散处理的流程图。
图6中的输出1至5表示在不同水平的块划分处的向量场。输出5 表示每个像素的向量。
通常，相邻块被限制为两个最近相邻体。这样，远离特定水平的 块网格边缘的块的左侧顶部分区将具有来自块上方的向量和从块到左 侧的向量作为候选向量，替换匹配是根据候选向量计算的。
这会起作用是因为对于每个分区仅有几个，通称为三或四个，候
选向量，所以由于随机噪声而找出更好的匹配的可能性会非常小。在 实行中，每个宏块被划分，并且来自一个宏块的分区被附加到另一个 宏块上，使得通过为分区分配与相邻宏块相同的向量而使分区与另一 个宏块一起移动到它们被附加的宏块。
将理解的是在图像边缘处，对于根据其选择向量以便与父向量相 比较的宏块，仅有一个或没有相邻宏块。
尽管已经讨论过将宏块等分成四个分区，宏块也可以替换地例如 被竖直或水平划分成两半，或者以其他方式划分。
宏块可以这样的方式划分成分区，以便能在预定可接受的编码成 本内获得对所有分区合计的最好计分。
在流程图的任意点或多个点处可引进一个或多个细化阶段，以便 允许向量在半个或四分之一个像素尺度上。
权利要求
1.一种在基于块的运动估计中为宏块的分区获得运动向量的方法，其包括a.为所述宏块和可得的相邻宏块确定向量；b.将所述宏块划分成分区；c.为每个分区确定候选运动向量的集合，其包括来自所述宏块的以及可得的至少两个相邻宏块的向量；d.为所述集合的每个候选运动向量计算所述分区的块向量计分；e.从所述集合中选出具有最好的计分的候选运动向量作为每个分区的向量；以及f.检查是否有足够的宏块分区具有相同的向量，或者具有将被更有效地编码为更大分区的分区的向量。
2. 如权利要求l所述的方法，其包括a. 使用16X16的块执行块匹配运动搜索；以及b. 将所述16X16的块划分成8X8的分区，并且从所述父宏块和 相邻的16X16的宏块中选择最好的向量。
3. 如权利要求2所述的方法，包括将每个8X8的分区划分成4X4 的子分区，并且从所述父分区和相邻分区选择最好的向量。
4. 如权利要求3所述的方法，其包括将每个4X4的子分区划分成2 X2的子分区，并且从所述父子分区和相邻子分区选择最好的向量。
5. 如权利要求4所述的方法，其包括将每个2X2的子分区划分成像 素，并且从所述父2X2的子分区和相邻2X2的子分区选择最好的向
6.如权利要求l所述的方法，其中所述块向量计分是绝对差值之和。
7. 如权利要求1所述的方法，还包括允许所述候选向量的扰动来平 滑图像中不同运动区域之间的过渡。
8. 如权利要求1所述的方法，其中所述宏块被划分成分区，以在预 定编码成本内获得对所述分区合计的最好计分。
9. 一种包括代码装置的计算机程序产品，其用于在所述程序运行在 一个或多个计算机上时执行权利要求1至8中任一项所述的方法的所 有步骤。
10. 如权利要求9所述的计算机程序产品，其被包含在计算机存储介 质中。
全文摘要
本发明公开了一种在基于块的运动估计中为宏块分区获得运动向量的方法，其通过将各宏块划分成分区并为每个分区确定分区运动向量来实现。最好的向量是从分区的分区运动向量和从相邻宏块的分区的向量中为每个分区选择的。
文档编号H04N7/26GK101179731SQ20071018610
公开日2008年5月14日 申请日期2007年11月12日 优先权日2006年11月10日
发明者A·R·哈盖特, D·王 申请人:泰德广播电视公司