专利名称：检测非刚体物件的方法、集成电路及视频处理装置的制作方法
技术领域：
本发明是关于视频处理，特别是关于检测非刚体物件(non-rigid body)运动的方法、视频解码器与集成电路。
背景技术：
以图块(block)为基础的视频编码标准，例如MPEG 1/2/4与H.26x,通过减少多个^f见频帧间的时间冗余(temporal redundancies)与 一个—见频帧中的空间冗余(spatial redundancies), 达成数据压缩。
每一视频帧包含一个像素阵列。宏区块(macroblock)—般由16x16像素组成，并且一个编码单元可为一个完整的宏区块或多个子分区区块(sub-partitionedblock),例如16x8、 8xi6、 8 x g、 8 x 4、 4 x 8或4 x 4 {象素的子分区区块。一般以图块为基础估计帧间图l象的运动，其净皮称为运动估计(motionestimation)。 一般来说，运动估计会包含比较目前帧中的宏区块与来自参考帧的多个宏区块的相似度。目前#见频帧的宏区块与参考帧中最相似宏区块之间的移动(displacement),由运动向量(motion vector)表示。参考视频帧中最相似的宏区块-故称为最佳匹配图块(best matched block)。
图1为运动估计的过程示意图。其中10为目前^L频帧，并且12为先前(参考)视频帧。运动估计包含，在先前视频帧12的搜寻窗口 124中，寻找目前视频帧10的物件100,以找到最佳匹配物件102。 ^4勿件100至最佳匹配物件102的空间转-移(spatial displacement)为运动向量。
一般地，执行运动估计是为了确定参考帧中的最佳匹配图块，例如具有最小余数值(residue)的宏区块。然而，在一些应用(例如视频追踪与帧速率转换)中，找到"真实运动(true motion)"比找到最佳匹配图块更为重要。例如，当将运动估计应用至烟火或旗巾只等非刚体物件(non-rigidbody)时，受估测的物件与参考一见频帧中的任何物件皆不相关或几乎不相关，由此视频解码器不能产生物件真实运动的准确估测。更进一步地说，对非刚体物件运动向量的不准确估测会引起帧速率转换应用中的插入错误。因此，找出一种能产生对非刚体物件运动的准确估测的方法与集成电路是非常必要的。
发明内容
为解决上述无法准确检测非刚体物件，从而造成对非刚体物件的运动向量估测不准确的问题，本发明提供一种用于视频处理的检测非刚体物件的方法、能够检测非刚体物件的集成电路与视频处理装置，可准确检测出非刚体物件。
本发明提供一种在一见频处理中检测非刚体物件的方法，包含接收目前牙见频帧中的目前图块，并在参考视频帧中执行图块匹配，以决定对应于参考视频帧中最佳匹配图块的初始运动向量；计算对应图块与最佳匹配图块之间的相关值；以及根据相关值，判定目前图块是否包含非刚体物件。
本发明另提供一种能够检测非刚体物件的集成电路，包含最佳匹配图块确定单元、相关值单元与非刚体物件检测单元。最佳匹配图块确定单元接收目前视频帧中的目前图块，并且以图块搜寻法搜寻参考视频帧，以决定对应于参考视频帧中最佳匹配图块的最初运动向量。相关值单元接收最佳匹配图块，并且计算对应图块与最佳匹配图块之间的相关值。非刚体物件检测单元，根据相关值，判定目前图块是否包含非刚体物件。
本发明另提供一种视频处理装置，包含最佳匹配图块确定单元、相关值单元与非刚体物件检测单元。最佳匹配图块确定单元接收目前视频帧中的目前图块，并且在参考视频帧中执行图块搜寻操作，以决定对应于参考视频帧中最佳匹配图块的最初运动向量。相关值单元耦接最佳匹配图块确定单元，接收最佳匹配图块，并且计算对应图块与最佳匹配图块之间的相关值。非刚体物件检测单元耦接相关值单元，根据相关值，判定目前图块是否包含非刚体物件。
上述用于视频处理的检测非刚体物件的方法、能够检测非刚体物件的集成电路及视频处理装置，通过计算对应图块与最佳匹配图块之间的相关值，可准确地判断出目前图块中是否包含非刚体物件。
图1为运动估计的过程示意图。
图2为应用于刚体运动的运动估计方法实施方式的示意图。
图3显示本发明一实施方式的应用于非刚体物件运动的运动估计方法。图4为用于视频编码的检测非刚体物件的范例电路示意图。
具体实施例方式
为让本发明的上述和其它目的、特征、和优点能更明显易懂，下文特举出
较佳实施方式，并配合所附图式，作详细说明如下
图2为应用于刚体物4牛(rigid-body)运动的运动估计(motion estimation)方法 实施方式的示意图。其中，20为具有图块(block)200的参考帧，22为具有图块 202的目前帧，以及24为图块200与图块202的图块平均(block average)。
对应图块平均(corresponding block average)通过计算目前帧22中的一个图 块与其在参考帧20中的对应图块所覆盖(cover)的各^^素的平均值得到。本实施 方式中，图块A的对应图块表示另一帧中与图块A位置相同的图块，也称为位 置相对图块(co-locatedblock)。在另一些实施方式中，图块A的对应图块为另一 帧中，位于从图块A的相对位置(co-located position)偏移预定值的位置的图块。 偏移的预定值的方向与振幅一般根据运动信息(例如运动向量(motion vector))设 定。对于刚体物件运动，最佳匹配图块与对应图块具有高度一致性 (correspondence),由此最佳匹配图块与对应图块之间的差值小。非刚体物件 (non-rigid body)检测包含计算最佳匹配图块与对应图块之间的相关值 (correlation)。在一些实施方式中，计算最佳匹配图块与对应图块平均之间的差 值，以判定非刚体物件的存在。请参考下列范例以进一步地详细说明。
图3显示本发明一实施方式的应用于非刚体物件运动的运动估计方法。其 中30为具有图块300的参考帧，32为具有图块302的目前帧，以及34为参考 帧30与目前帧32的对应图块平均。
对应图块平均通过计算目前帧中的一个图块与其在参考帧中的对应图块所 覆盖的各像素的平均值得到。对于非刚体物件运动，最佳匹配图块与对应图块 的一致性低，因此最佳匹配图块与对应图块平均之间的差值大。
图4为在视频编码中检测非刚体物件的范例电路示意图。范例电路包含最 佳匹配图块确定单元40、对应图块平均单元44、差值单元46与非刚体物件抬， 测单元48。最佳匹配图块确定单元40与对应图块平均单元44耦接差值单元46， 接着耦接非刚体物件检测单元48。
最佳匹配图块确定单元40接收目前视频帧的目前图块D匿与参考视频帧中 的搜寻窗口 Dref，以执行运动估计并且决定对应于参考视频帧中最佳匹配图块的初始运动向量MVp本实施方式中的目前图块D匿是图块大小为M x N的宏区 块。最佳匹配图块确定单元40包含图块匹配单元400与运动向量确定单元402,
两者相互耦接。图块匹配单元400接收目前图块D匿，并且在搜寻窗口 Dref中执
行图块匹配，以根据预定估测算法(例如完全搜索法、三步搜索法或三维递归搜 索法(3-D recursive search)),计算多个运动向量候选值的相关指数(例如，绝对差 值之和《SADi, SAD2, SADn})。运动向量确定单元402得到运动向量候选值及 其相关指数(SADi, SAD2， ...， SADn}，以选择具有最大相关值或最小差值的运动 向量候选值，作为初始运动向量MV"初始运动向量MVi代表转移误差 (displacement error),用以决定参考视频帧中的最佳匹配图块。
对应图块平均单元44接收参考视频帧与目前视频帧，以决定对应图块平均。 对应图块可为参考视频帧中的位置相对图块、整体运动向量位置图块或相邻多 个图块的中位运动向量位置图块。当视频帧中的运动相对较慢时，适用位置相 对图块作为对应图块平均单元44中的对应图块。整体运动向量位置图块为通过 区域/帧的整体运动得到的图块，并且其适用于区域/帧中的大多数物件以大致相 同的速度朝同一方向运动的情况。中位运动向量位置图块为通过相邻图块的位 置运动得到，其适用于目前图块附近的大多数或所有物件以相同速度朝相同方 向运动的情况。
整体运动通过将一个区域或帧中最经常发生的运动向量作为整体运动向量 得到。例如， 一个区域或帧中所有图块的运动向量可绘制为直方图，因此可辨 识出最经常发生的运动向量，作为整体运动向量位置图块的整体运动向量。
在使用位置相对图块作为对应图块的情况下，可通过计算目前图块D匿与 参考视频帧中相对位置图块所覆盖的各像素平均值，来计算相对图块平均。下 面提供一个可在对应图块平均单元44中执行的对应图块平均算法的范例
For挑=0 to MJ
Z5av//w〃"/ = % (X^挑，"J+iY挑，""
其中，C(m,n)与P(m,n)分别为目前图块与对应图块的坐标(m,n)上的像素， 目前图块与对应图块皆包含M x N个像素；并且ZBaVg[m] [n]为对应于目前图块 的对应图块平均。另一些实施方式中，对应图块可为整体运动向量位置图块或多个相邻图块
的中位(median)运动向量位置图块，并且通过计算目前图块与参考帧中图块的像 素平均值，计算对应图块平均，其中参考帧中的图块为，从相对位置移动整体 运动向量的图块或移动相邻图块的中位运动向量的图块。例如，整体运动向量 为(p,q),则对应图块平均单元44利用P(m+p，n+q)来计算图块平均。
整体运动向量位置的图块通过从参考视频帧或参考视频帧的预定区域中的 多个位置取得多个运动向量来估计。例如，假如有9个位置，则计算9个位置 的运动向量，并且辨识出平均或中位运动向量作为整体运动向量。相邻图块的 中位运动向量通过取得参考视频帧中对应图块的所有相邻运动向量，并且从中 找到中位运动向量，作为中位运动向量位置图块的运动向量。
差值单元46接收初始运动向量MVi与目前图块，以产生最佳匹配图块，并 且计算对应图块平均CBavg与最佳匹配图块之间的差值Ddiff。范例算法显示如下
For to 7V-7
其中，C(m,n)与P(m，n)分别为目前视频帧与参考视频帧，各包含MxN个 像素；
ZBavg[m] [n]为对应图块平均；
(i,j)为指向最佳匹配图块的初始运动向量V"以及
差值Ddlff为对应图块平均与最佳匹配图块之间的差值。
差值Ddiff通过将初始运动向量MV《i， j)与参考帧P(m, n)相加，再从对应图 块平均ZBavg[m][n]中减去最佳匹配图块P(m+i, n+j)取得。差值D碰代表最佳匹 配图块P(m+i,n+j)与对应图块平均ZBavg[m][n]之间的相关性(相关值)。两者间的 相关性越高(相关值越大)，则差值D础的值越小。对于刚体物件运动，最佳匹配 图块与对应图块(位置相对图块或从相对位置偏移预定值的图块)极其相关，因此 预期差值D础小。相对地，对于非刚体物件运动，最佳匹配图块与对应图块不 相关，或几乎不相关，因此预期差值D础大。
非刚体物件检测单元48根据差值Ddlff，判定目前块D,是否包含非刚体物 件。例如，非刚体物件检测单元48比较差值D础与差值临界值，并且当差值D础超过差值临界值时，判定目前图块Dc肌包含非刚体物件；当差值D础小于 或等于差值临界值时，判定目前图块D^仅包含刚体物件。非刚体物件检测单 元48在检测到目前图块Dcurr仅包含刚体物件时，输出初始运动向量MV,，作为 输出运动向量MV。；或在判定目前图块D^包含非刚体物件时，输出对应图块 的运动向量或相邻图块的平均(例如中位)运动向量。
虽然本发明已以数个实施方式揭露如上，然其并非用以限定本发明，本领 域的技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因 此本发明的保护范围当视权利要求所界定者为准。
权利要求
1.一种在视频处理中检测非刚体物件的方法，包含接收目前视频帧中的目前图块，并且在参考视频帧中执行图块匹配，以决定对应于该参考视频帧中最佳匹配图块的初始运动向量；计算对应图块与该最佳匹配图块之间的相关值；以及根据该相关值，判定该目前图块是否包含非刚体物件。
2. 如权利要求1所述的在视频处理中检测非刚体物件的方法，其特征在于， 该对应图块是该参考视频帧中的位置相对图块、整体运动向量位置图块或多个 相邻图块的中位运动向量位置图块。
3. 如权利要求1所述的在视频处理中检测非刚体物件的方法，其特征在于， 所述根据该相关值，判定该目前图块是否包含非刚体物件的步骤更包含比较该相关值与临界值；以及当该相关值小于该临界值时，判定该目前图块包含非刚体物件。
4. 如权利要求1所述的在视频处理中检测非刚体物件的方法，其特征在于， 更包含计算该目前图块与该参考视频帧中该对应图块的平均值，以获得对应图块 平均，其中该相关值利用该对应图块平均计算。
5. 如权利要求4所述的在视频处理中检测非刚体物件的方法，其特征在于， 所述计算对应图块与该最佳匹配图块之间的相关值的步骤更包含计算该对应图 块平均与该最佳匹配图块中多个像素之间的像素差值之和。
6. 如权利要求1所述的在视频处理中检测非刚体物件的方法，其特征在于， 更包含，在判定该目前图块包含非刚体物件时，输出指向该对应图块的运动向 量。
7. 如权利要求1所述的在视频处理中检测非刚体物件的方法，其特征在于， 更包含，在判定该目前图块包含非刚体物件时，输出多个相邻图块的平均运动 向量。
8. 如权利要求7所述的在视频处理中检测非刚体物件的方法，其特征在于， 该多个相邻图块的平均运动向量为中位运动向量、平均运动向量、整体运动向 量其中至少之一的组合。
9. 一种能够检测非刚体物件的集成电路，包含最佳匹配图块确定单元，接收目前视频帧中的目前图块，并且以图块搜寻 法搜寻参考视频帧，以决定对应于该参考视频帧中最佳匹配图块的最初运动向量；相关值单元，耦接该最佳匹配图块确定单元，接收该最佳匹配图块，并且计算对应图块与该最佳匹配图块之间的相关值；以及非刚体物件检测单元，耦接该相关值单元，根据该相关值，判定该目前图 块是否包含非刚体物件。
10. 如权利要求9所述的能够检测非刚体物件的集成电路，其特征在于，该 对应图块为该参考视频帧中的位置相对图块、整体运动向量位置图块、或多个 相邻图块的中位运动向量位置图块。
11. 如权利要求9所述的能够检测非刚体物件的集成电路，其特征在于，该 非刚体物件检测单元比较该相关值与临界值，以及当该相关值小于该临界值时，判定该目前图块包含非刚体物件。
12. 如权利要求9所述的能够检测非刚体物件的集成电路，其特征在于，更 包含对应图块平均单元，计算该目前图块与该参考视频帧中的该对应图块的平 均值，以取得对应图块平均，并且该相关值利用该对应图块平均计算。
13. 如权利要求12所述的能够检测非刚体物件的集成电路，其特征在于， 该相关值单元计算该相关图块平均与该最佳匹配图块中多个像素之间的像素差 之和。
14. 如权利要求9所述的能够检测非刚体物件的集成电路，其特征在于，该 非刚体物件检测单元更在判定该目前图块包含非刚体物件时，输出该对应图块 的运动向量。
15. 如权利要求9所述的能够检测非刚体物件的集成电路，其特征在于，该 非刚体物件检测单元更在判定该目前图块包含非刚体物件时，输出多个相邻图 块的平均运动向量。
16. 如权利要求15所述的能够检测非刚体物件的集成电路，其特征在于，该多个相邻图块的平均运动向量为中位运动向量、平均运动向量、整体运动向 量其中至少之一的组合。
17. —种视频处理装置，包含最佳匹配图块确定单元，接收目前视频帧中的目前图块，并且在参考视频帧中执行图块搜寻操作，以决定对应于该参考视频帧中最佳匹配图块的最初运动向量；相关值单元，耦接该最佳匹配图块确定单元，接收该最佳匹配图块，并且 计算对应图块与该最佳匹配图块之间的相关值；以及非刚体物件检测单元，耦接该相关值单元，根据该相关值，判定该目前图 块是否包含非刚体物件。
18. 如权利要求17所述的视频处理装置，其特征在于，该对应图块为该参 考视频帧中的位置相对图块、整体运动向量位置图块、或多个相邻图块的中位 运动向量位置图块。
19. 如权利要求17所述的视频处理装置，其特征在于，该非刚体物件检测 单元比较该相关值与临界值，并且当该相关值小于该临界值时，判定该目前图 块包含非刚体物件。
20. 如权利要求17所述的视频处理装置，其特征在于，更包含对应图块平 均单元，计算该目前图块与该参考视频帧中该对应图块的平均值，以取得对应 图块平均，其中该相关值单元根据该对应图块平均计算该相关值。
21. 如权利要求20所述的视频处理装置，其特征在于，该相关值单元计算 该对应图块平均与该最佳匹配图块中多个像素之间的像素差之和。
22. 如权利要求17所述的视频处理装置，其特征在于，该非刚体物件检测 单元更在判定该目前图块包含非刚体物件时，输出该对应图块的运动向量。
23. 如权利要求17所述的视频处理装置，其特征在于，该非刚体物件检测 单元更在判定该目前图块包含非刚体物件时，输出该多个相邻图块的平均运动 向量。
全文摘要
本发明提供一种能够检测非刚体物件的集成电路，包含最佳匹配图块确定单元、相关值单元与非刚体物件检测单元。最佳匹配图块确定单元接收目前视频帧中的目前图块，并且以图块搜寻法搜寻参考视频帧，以决定对应于参考视频帧中最佳匹配图块的最初运动向量。相关值单元接收最佳匹配图块，并且计算对应图块与最佳匹配图块之间的相关值。非刚体物件检测单元，根据相关值，确定目前图块是否包含非刚体物件。上述能够检测非刚体物件的集成电路可准确地判断出目前图块中是否包含非刚体物件。
文档编号H04N7/26GK101494779SQ20081011071
公开日2009年7月29日 申请日期2008年5月27日 优先权日2008年1月25日
发明者张德浩, 林修身, 梁金权 申请人:联发科技股份有限公司