专利名称：初始化运动目标模板的方法和系统的制作方法
技术领域：
本发明涉及用于初始化运动目标冲莫^反的方法和系统以及相应的计 算机程序产 品。
背景技术：
在图像处理中，模板跟踪用于例如跟踪视频中的面部或者用于卫星 监控。此外，在汽车应用中的前视相机中，模板跟踪用于跟踪自身车辆 前的车辆运动。这些模板通常通过手工或者通过分类来初始化，这是可 行的，因为在前视应用中，视角并没有发生改变。然而，在侧视应用或 者车辆盲点监测中，视角发生改变并且不能进行常用的分类。
发明内容
本发明的目的是提供一种用于初始化运动目标才莫板的改进方法和 改进系统。
这个目的是通过依照权利要求1、 9和12的方法、系统和计算机程 序产品实现的。
在从属权利要求中限定了其他的实施例。
通过考虑附图和随后的描述，本发明的其他细节将变得清楚明白。
图la示出了本发明的一个实施例的主要步骤，其解释了运动估计 和分割步骤；
图lb示出了初始化模板并且之后跟踪该模板的组合的主要步骤； 图2示出了本发明另一个实施例的框图，其可以应用于汽车计算机 牙见觉中；
图3示出了本发明另一个实施例的框图，其中仅当更新有必要时触 发初始化单元；
图4示出了本发明另 一个实施例中所用的示范性模板； 图5示出了一幅示范性图像，其中跟踪图4的模板，图6示出了本发明另一个实施例的框图，其可以用于带任意内容/ 视频序列的消费电子产品中；
图7示出了本发明另 一个实施例中所用的用于消费电子产品的另一 个示范性模板；以及
图8示出了带图7的被跟踪模板的另一个示范性消费电子产品的图像。
具体实施例方式
在下文中，描述了本发明的实施例。值得注意的是，可以以任何方 式组合下文中描述的所有实施例，即不存在某些被描述的实施例不能与 其他实施例组合的限制。
在图la中，在步骤SIOO,将序列的每幅图像划分成分块(block)。 每个分块可以包括8x8或16x16 Y象素，不过，不^f义方形分块而且其他形 状的分块或者具有另外数量的像素的分块也是可能的。图像也可能被称 为"帧，，或者"场，，。这些图像是通过例如数字摄像机摄取的并且按像 素(pixe卜wise)存储在存储器中。
在步骤S10 2,识别出在所述序列的连续图像之间发生运动的分块。 这种分块运动可以通过计算针对可能的分块位移的误差准则来检测。例 如，可以《吏用纟色对差和(sum of absolute difference)、相关积 (correlation product)或者其4也方法4乍为匹配准则。
在步骤S103,例如通过比较连续图像中运动分块的位置来确定运动 的距离和方向。也可以通过计算连续图像的分块之间的运动矢量并且比 较所述运动矢量来确定沿"相似，，方向的"相似"距离的运动。
离区间内的距离的那些邻接分块分组到第一分i。预定方向2间和预定 距离区间用于检测沿基本上同 一方向的基本上同 一距离的运动。这些预 定区间可以是固定的，或者可以适应例如所述运动分块的实际方向或距离。
因此，将基本上沿同 一方向运动同 一距离的运动分块分组在一起。 如果在所述图像序列中存在另外的运动目标并且这些运动目标的 运动不相同，那么可以如上所述通过对沿基本上同一方向和基本上同一在本说明书中，也使用措词"分割"、"分段"或"聚类"，而非 措词"分组"。
如果一个分块是另一个分块的4个(或8个)直接相邻分块中的至 少一个，那么该分块可以视为与所述另一个分块邻接。
在步骤S106，利用所述第一分块分组初始化用于所述运动目标的初 始模板。由于这个第一分块分组"一起"运动，因此将这样的分块分组 看作属于一个运动目标。这样，通过该第一分组定义了这样一个运动目
标，并且通过使用该分块分组建立了用于该运动目标的相应初始才莫板。 所述分块分组的像素值描述了该运动目标的外观。
根据这种方法，使用整个目标的良好匹配的分割轮廓作为初始模 板，而不是使用固定位置处的可能部分覆盖背景的小分块作为初始模 板。
在图lb中，附加地执行步骤S108,其中通过估算例如互相关或者 绝对差和(SAD)在所述图像序列中跟踪所述初始模板。
利用汽车计算机视觉中的本方法，可以检测并随后跟踪障碍物(汽
车、卡车等等)。不需要进行分类。在消费电子产品中，该方法改善了 i者如巾贞率4争才灸或者动态降p桑(temporal noise reduction)之类的基于 运动估计的视频处理应用的性能。
在另一个实施例中，用另外的图像对所述序列进行扩展。识别在所 述序列的所述另外的图像的至少一部分之间发生运动的运动分块，确定 所述运动分块的所述运动的方向和距离，并且将已经针对其确定出预定 方向区间内的方向和预定距离区间内的距离的那些邻接运动分块分组 到第二分块分组。因此，将例如通过估算分块的相应运动矢量而检测到 的在所述另外的图像的至少一部分内沿"相似"方向运动了 "相似距离" 的分块分组到第二分块分组。之后，利用所述第二分块分组对所述运动 目标更新模板。例如，在预定数量的帧之后，可能通过当前匹配即第二 分块分组来更新初始模板。
用于更新模板的本方法能够容易处理目标的尺度变化、形状变化、 旋转和遮挡(occlusion)，所述尺度变化在目标接近或者离开时发生， 所述形状变化在目标变形时发生，所述旋转在目标沿任何方向旋转时发 生，所述遮挡在新的像素^皮遮掩在运动目标之后或者在运动目标前显露 时发生。根据本方法，没有误差随着时间而累积，否则其将导致模板逐渐远离^^皮跟踪目标，直到该跟踪丢失了目标。
在另 一个实施例中，基于绝对差和和/或所述模板与其中应当跟踪 该模板的图像部分之间的互相关来跟踪所述模板。
依照另一个实施例，在某个区域周围设置搜索范围，其中依照目标 在所述序列的在前图像中的运动行为预计目标在所述序列的后继图像
中；并且在所述后继图像中的所述搜索范围内执行所迷跟踪步骤。利用 这种方法，可以容易地减少用于跟踪沖莫板的处理时间，因为不必要在整 幅图像中跟踪模板。
在另 一个实施例中，计算模板与所述序列的所述图像的部分之间的 相关，并且如果所述相关低于预定相关阈值，那么就检测出所述跟踪步
骤是失败的。这样，在所述序列中跟踪正确模板出现这种失败之后，可 能启动模板的更新。
因此，可以基于例如流逝的预定时间间隔或者基于指示可以执行进 一步更新的测量值来连续地更新所述模板，因为所用模板与所述序列的 图像之间的相关性在降低。
在另一个实施例中，为所述图像的相干(coherent)分块(代表汽 车运动目标)确定平均运动矢量，并且也在后继图像中为所迷模板确定 模板运动矢量。比较模板运动矢量和所述平均运动矢量，并且如果所述 平均运动矢量与所述模板运动矢量之间不匹配，那么丢弃(reject)所 述模板。
通过所提出的连续并行使用运动估计，可以使用^t板跟踪进行交叉 验证。通过比较运动估计结果和模板跟踪结果，可以降低随运动估计出 现的虛警。如果这些结果匹配良好，那么可以依照运动估计分割结果更 新模板。否则，这种失配意味着问题的出现并且可能导致丟弃该模板。
在另 一个实施例中，利用全局运动估计和全局运动补偿来预处理所 述序列的所述图像。在全局运动估计和全局运动补偿中，考虑了例如因 为摄像机的摇动等等而影响图像的所有像素的效应。这种方法特别适用 于例如帧率转换、动态降噪、去隔行等等的消费电子产品的应用。全局 运动估计和补偿用于分割所有的局部运动目标。
在另 一个实施例中，所述方法用于检测车辆的盲点区域中的运动目 标，其中所述运动目标在所述盲点区域中相对于所述车辆的运动向后运 动。由于运动估计方法在检测后向运动障碍物方面性能不佳，使用本方法初始化减速车辆的一莫板。这里，减速意味着车辆在开始时速度相对较 快，随后速度下降到负的相对速度。于是，可以改善例如盲点区域检测 的汽车安全应用。
在图2中，绘出了本发明另一个实施例的框图。所绘出的用于跟踪 运动目标的才莫板的系统200包括初始化单元202,该初始化单元202包 括局部运动估计单元204和分割单元206。将由图像序列组成的视频输 入208输入到初始化单元202,并且局部运动估计单元204将所述序列 的所述图像中的每一个划分成分块并且识別出在所述序列的连续图像 之间已经发生运动的运动分块。其后，分割单元206通过将邻接的运动 分块分组来初始化所述运动分块的模板，对于这些邻接的运动分块，如 前所述已经确定出预定方向区间内的方向和预定距离区间内的距离。
跟踪单元210使用该经过初始化的才莫板，所述跟踪单元210;故配置 成在由视频输入2 08给出的所.述图像序列中跟踪所述;f莫板。如果跟踪了 这种才莫板，那么就将其输出到模板跟踪输出212。
在图3中绘出的跟踪运动目标的冲莫板的系统200的另一个实施例 中，决策单元300附加地连接到跟踪单元210的输出。决策单元决定是 否应该执行对所述模板的更新。例如，在预定时间之后或者在估算模板 和该序列的图像之间的相关性为低之后，决策单元可以触发来自初始化 单元202的基于运动的模板更新。
初始化单元202执行运动估计并且将沿"相似"方向运动预定时间、 "相似，，距离的邻接分块分组到第二分组中，如上所述。该第二分组代 表初始;^莫板的"新的，，或者"更新的，，版本，从而使用该第二分组更新 随后由跟踪单元210使用的该模板。
在图4中，绘出了经过初始化的;f莫板400的示例，其显示出大篷车 的前侧，该模板在用安装在车辆后视镜上的照相机摄取图像的同时由本 方法初始化，从而才全测出邻近车道上的运动目标。
在图5中绘出了由该照相机拍摄的整幅图像，其中被跟踪的模板
400用白色正方形标记。利用本方法，可以容易地冲全测出邻近车道上的
运动目标并且在车辆司机打算改变车道时可以使用其向该司机给出警 jM亡自
在图6中绘出的非常适于应用到消费产品应用的另一个实施例中， 全局运动估计/补偿单元被用于预处理由视频输入208给出的图像序列。这个全局运动估计/补偿单元600用于补偿例如因为摄取该序列的图像 的相机的运动而发生的整幅图像的运动。利用这个全局运动估计/补偿 单元600，系统200可以在分割单元208内分割所有的局部运动目标。
如果应该使用所导出的一莫板的更新，那么可以如参照图3所描述的 那样使用决策单元300,不过这个决策单元300只是任选的，这在图6 中以虚线绘出。
在图7中绘出了在图8中绘出的消费电子产品序列的所提取的模板 700的示例。运动估计通常在这种运动方面存在问题，因为运动目标遮 掩背景中的其他运动目标。如图7中所绘出的，目标被很好地分割，并 且在相关中并没有考虑图像的其他部分或者将其用零或平均分布的噪 声填充。
依照另 一个实施例，提供了 一种包括计算机程序代码的计算机程序 产品，所述计算机程序代码当装载到处理器中时执行本方法以便跟踪运 动目标。
利用本方法，在汽车安全应用中可以检测盲点检测设备中的后向运 动目标，这是汽车制造商所希望的。本方法和系统使用基于运动估计的 分割结果以便初始化和/或更新运动目标的模板跟踪。甚至在基于运动 估计的方法例如针对盲点区域片企测中的后向运动目标完全失效的情况 下，也可以4吏用上述方法和系统。
只要找到初始模板，就可以使用互相关或者绝对差和(SAD)在许 多帧上;(艮好地跟踪前向和后向运动目标的才莫板。^t板跟踪效果良好，但 是问题在于找到笫一初始遮掩模板。本方法和系统使用基于运动估计的 分割结果作为初始模板。
通过在检测到模板的地方用同一尺寸的模板替换在前模板，不时地 对所述模板进行更新。模板的大小根据到盲点检测应用中的消失点的距 离而变化。为了方便起见并且为了更好的存储器分配，可以将模板调节 到固定的大小。将互相关/绝对差和的搜索范围限制到最后检测周围的 可行范围并且可以包括预测。这个所提出的更新过程降低了 "漂移"问 题("模板更新问题")。
除了能够跟踪向后緩慢运动车辆之外，模板跟踪还能够增强或者替 换固定不变的(permanent )运动估计。曾经;险测出的才莫板可以^f艮好地 由模板跟踪来跟踪；只有在跟踪失败时才使用运动估计。如果相关峰低于一定(固定或者自适应的)阈值或者如果^^莫板位置跳到其他局部极大， 那么可以检测到跟踪的失败。
这种方法改善了分割结果，降低了分割的"抖动"，并且在车辆检 测过程中不受虚警的影响。
如果仍然并行地连续使用运动估计，那么可以使用才莫板跟踪进行交 叉验证。比较运动估计结果和模板跟踪结果可以减少运动估计期间发生 的虛警。如果这些结果匹配良好，那么可以依照运动估计分割结果来更 新模板。否则，失配意味着出现了问题并且可能导致丢弃该模板。
权利要求
1. 用于初始化用于图像序列中的运动目标的模板的方法，包括将所述序列的所述图像中的每一个划分成分块；识别在所述序列的连续图像之间已经发生运动的运动分块；确定所述运动分块的所述运动的方向和距离；将已经对其确定出预定方向区间内的方向和预定距离区间内的距离的那些邻接运动分块分组到第一分块分组；以及利用所述第一分块分组初始化用于所述运动目标的模板。
2. 依照权利要求l的方法，进一步包括 用另外的图像扩展所述序列；识别在所述序列的所述另外的图像的至少 一 部分之间已经发生运 动的运动分块；确定所述运动分块的所述运动的方向和距离；离的那些邻接运动分块分组到第二分块分组；以及利用所述第二分块分组更新用于所述运动目标的所述模板。
3. 依照权利要求1或2的任一项权利要求的方法，进一步包括基于所述模板与所述图像的部分之间的误差准则在所述序列中跟 踪所述模板。
4. 依照权利要求3的方法，进一步包括在某区域周围设置搜索范围，其中依照目标在所述序列的在前图像 中的运动行为预计目标在所述序列的后继图像中；以及 在所述后继图像的所述搜索范围内执行所述跟踪步骤。
5. 依照权利要求1-4中任一项权利要求的方法，进一步包括 计算所述模板与所述序列的所述图像的部分之间的相关；以及 如果所述相关低于预定相关阈值，那么更新所述模板。
6. 依照权利要求1-5中任一项权利要求的方法，进一步包括 为所述图像的相干分块分组确定平均运动矢量；在后继图像中为所述模板确定模板运动矢量； 比较所述平均运动矢量和所述模板运动矢量；以及 如果所述平均运动矢量与所述模板运动矢量之间不匹配，那么丟弃 所述模板。
7. 依照权利要求1-6中任一项权利要求的方法，进一步包括 利用全局运动估计和全局运动补偿来预处理所述序列的所述图像。
8. 依照权利要求1-7中任一项权利要求的方法，其中所述方法用 于才全测车辆盲点区域中的运动目标，所述运动目标在所述盲点区域中相 对于所述车辆的运动向后运动.
9. 用于初始化用于图像序列中的运动目标的模板的系统，包括 局部运动估计单元，其被配置成将所述序列的所述图像中的每一个划分成分块，识别在所述序列的连续图像之间已经发生运动的运动分块 并且确定所述运动分块的所述运动的方向和距离；以及分割单元，其被配置成通过将邻接的运动分块分组来初始化用于所述运动目标的初始才莫板，对于该邻接的运动分块，已经确定出预定方向 区间内的方向和预定距离区间内的距离。
10. 依照权利要求8的系统，进一步包括决策单元，其被配置成决定是否应该执行对所述模板的更新，所述 决策单元连接到所述局部估计单元。
11. 依照权利要求9-10中任一项权利要求的系统，进一步包括 全局运动估计单元，其被配置成对所述序列的所述图像执行全局运动估计和全局运动补偿。
12. 计算机程序产品，包括计算机程序代码，该计算机程序代码当 装载到处理器中时执行依照权利要求1-9中任一项权利要求的方法。
全文摘要
本发明涉及初始化运动目标模板的方法和系统。提供了用于跟踪图像序列中的运动目标的方法，包括将所述序列的所述图像中的每一个划分成分块；识别出在所述序列的连续图像之间已经发生运动的分块；将沿同一方向运动同一距离的邻接分块分组到第一分块分组；利用所述第一分块分组初始化用于所述运动目标的初始模板并且在所述图像序列中跟踪所述模板。还提供了用于跟踪运动目标的相应系统。
文档编号G06T7/20GK101299272SQ200810092819
公开日2008年11月5日 申请日期2008年5月4日 优先权日2007年5月3日
发明者F·弗里德里克斯, K·齐默曼, M·西迪奎 申请人:索尼德国有限责任公司