专利名称：目标移动对象跟踪设备的制作方法
技术领域：
本发明涉及目标移动对象,设备，更具体地，涉及这样一种用于利用 摄# 可能的入侵者的设备。
背景技术：
存在日益增加的以下需要在门或类似物周围的限制区中，借助于摄像 机跟踪人的活动，并且识别人的活动。为此，现有技术的,设备通常被配 置成通过时间序列监视图像的演变，确定每一个监视图像内的移动对象区 域，并且放大如此确定的移动对象区域。然而，如此确定的移动对象区域随 着移动对象移动加快而变得更小，这致使移动对象区域的放大图像的分辨率 4艮差。为了解决这个问题，在论文"Human Tracking Using Temporal Averaging Silhouette with an Active Camera" ( Transactions of the Institute of Electronics, Information and Communication Engineers ISSN: 09151923， vol. J88-D-II, No.2， pp 291-301， 2005年2月1日出版)中，提出了确定移 动对象区域的另一个方案。该论文提出，基于针对连续监视图像的每一个图 像中的选定点获得的运动矢量(光流(叩ticalflow))，确定移动对象区域。 首先，该方案获得通过背景判别(background differentiation)而检测到的 包围通过图像判别而检测到的移动对象的检测框。然后，该方案进而获得关 于在两个连续图像的每一个图像的检测框的里面和外面分别选择的区域的 运动矢量，基于运动矢量的分析从背景中辨别移动对象区域，并且提取当前 图像中的移动对象的轮廓，以确定该移动对象的形状和中心。尽管发现这个 方案在预期只有一个移动对象的环境中是有效的，但是在摄像机的视野中预 期有多于一个移动对象的情况下，识别移动对象却相当困难。为了緩解这个 缺点，依靠模板可能认为是有效的，通过该模板，可以将目标移动对象与其 它移动对象区别开。由于移动对象的^^廓被定义为具有相同运动矢量的部分 的集合，所以移动对象的精确形状是相当难以提取的。因此，即使添加模板， 上述方案对实现移动对象的可靠确定也无法令人满意。
发明内容
考虑到以上问题，作出了本发明，以便提供能够以提高的精确性来确定 目标移动对象的目标移动对象踏J宗i殳备，用于目标移动对象的识别。
根据本发明的设备包括画面图像存储器(20)，其被配置用来存储摄 崇fcMlO)关于观察区所拍摄的真实画面图像的时间序列，其中，观察区覆 盖可能的目标移动对象；以及显示器(30)，其被配置用来以所需的放大率 显示所述真实画面图像中的可选择的一个或多个真实画面图像。在该设备中 还包括轮廓图像(outlineimage)处理器(40)，其被配置用来分别从所述 真实画面图<緣供轮廓图像；以及模板存储器(60)，其被配置用来存储识 别目标移动对象的模板图像。该i史备进一步包括移动对象定位器(70)，其 被配置用来将所述轮廓图像中的每一个轮廓图像与模板图H4目比较，以检测 每个轮廓图像中与模板图像匹配的局部区域，并且基于被检测到与模板图像 匹配的所述局部区域，获得目标移动对象在观察区内的位置数据。该设备中 包括放大画面生成装置(80)，其用于基于所述位置数据，从真实画面图像 的与轮廓图像的被检测到与模板图像匹配的局部区域相对应的部分提取放 大的图像，并且在显示器上显示放大的画面视图。本发明的特征在于，移动 对象定位器(70)被配置用来从与被检测到与模板图像匹配的局部区域相对 应的轮廓图像中的每一个提取移动对象轮廓图像，并J^于提供了模板更新 装置(62)，用来通过4吏用所述移动对象轮廓图像中当前的一个与所述移动 对^廓图像中先前的一个或多个的结合来替换模板图像，从而更新模板图 像。借助于这种配置，模板图^MC不断地更新， 一旦当前和先前的轮廓图像 被检测到与模板图像匹配，就很好地反映了当前和先前的轮廓图像。因此， 对于人体中形状有些固定不变的部分(亦即与诸如臂或腿等其它部分相比在 人体的运动期间较不易有形状波动的部分)比如头或肩的轮廓，模板图像能 够累积并加权，以便为移动对象的可靠识别提供坚实的基础。另外，所述移 动对象的在移动对象轮廓图像中的一个中的一部分的任何小的遗漏都能够
通过所^动对IM^廓图像中的另一个来补充，从而使得模板图^^可能接 近目标移动对象，这导致基于轮廓图像与模板图像之间的比较而精确确定目 标移动对象。
优选地，所述轮廓图像处理器被配置用来提供由二进制数据定义的轮廓 图像，以便在实现所迷设备时降低存储轮廓图像的存储器需求。
可替选地，所述轮廓图像处理器可以被配置用来提供由离^JL级数据 定义的轮廓图像，以便当以足够的存储器实现所述设备时，使得能够与模板 图像更加精确地比较，并且提供更加精确的模板图像。
在这方面，所述轮廓图像处理器可以被配置用来获得模板图像的对比
度，以便当对比度超过预;t^准时提供由二进制数据定义的轮廓图像，并且 当对比度低于所逸基准时提供由M级数据所定义的所述轮廓图像。因此， 所述设备能够依靠不断更新的模板图像的对比度而最优地操作，从而实现对 目标移动对象的始终如一的检测。
为了确定模板图像的对比度，轮廓图像处理器优选地检测平均像素值，
该平均像素值是分别赋给模板图像的多个分区(division)中的每一个分区内 的像素的像素值的平均值，并且当所述分区中的任何一个被检测到具有低于 阈值的平均像素值时，或者当针对所述分区中的任何一个检测到的平均像素 值比针对所述分区中的另一个检测的平均像素值低的程度大于预定程度时， 就判定对比度低于所述基准。
当提供二进制数据的轮廓图像时，轮廓图像处理器优选是提供可变阈 值，用于将所述真实画面图像转换成二进制数据的轮廓图像，并且获得模板 图像的平均AJL级值，以便当所述平均AJL级值低于 预定限度时降低所述阈 值。因此，即使当模板图^M"比度降低时，也可以提供用于成功检测移动对 象的轮廓图像。
优选地，提供移动对象轮廓图像存储器，以便存储移动对象轮廓图像的 时间序列。在这方面，模板更新装置被配置用来从移动对fJ^廓图像存储器 中读取预定数目的先前的移动对象轮廓图像，将这些轮廓图像与当前的移动 对fj^廓图^^目结合，并且通过用所述结合替换先前的模板图像来更新先前 的模板图像。借助于轮廓图像的这种选择性结合，模板图像能够被适当地加 权，以便成功地检测目标移动对象。
在模板更新装置中实现了一种优选的加权方案，其每当新的连续的一组 移动对象轮廓图像累积达到预定数目时更新模板图像。
在模板更新装置处可以实现另一加权方案，其仅仅结合根据预定准则确 定为有效的移动对象轮廓图像，从而使得移动对l^险测具有提高的精确性。
为此，模板更新装置被配置用来计算像素指数，该像素指数为在移动对 象轮廓图像中的每一个中包括的、并且具有大于零的像素值的像素的数目 i (number)。上述准则被定义成在当前的移动对象轮廓图像的像素指数与先 前的移动对象轮廓图像的像素指数的差异大于预定程度时，确定当前的移动 对象轮廓图像为有效的。
可替选地，以上准则能够具有不同的定义。在这种情况下，模板更新装 置被配置用来计算在当前的移动对象轮廓图像和对应的真实画面图像中的 一个的^象素值的标准偏差。该准则被定义成当该标准偏差与关于先前的移动 对象轮廓图像所计算的标准偏差的差异大于预定程度时，确定当前的移动对 象轮廓图像为有效的。
而且，可以依据构成移动对象轮廓图像中的每一个中的移动对#^廓的 像素的数目来定义上述准则。在这种情况下，模板更新装置被配置用来计算 像素的数目，并且提供以上准则，该准则在关于当前的移动对象轮廓图像的 像素数目与关于先前的移动对象轮廓图像的像素数目的差异大于预定程度 时，确定当前的移动对象轮廓图像为有效的。
本发明还提出使用匹配装置(71 )，以便参考模板图像来成功确定目标 移动对象。匹配装置(71)被配置用来从轮廓图像中收集不同的局部区域， 即单元区域，每个单元区域与模板图像具有相同的尺寸；计算关于每个所述 不同区域的相关性；并且将具有最大相关性的局部区域确定为与模板图像匹 配的移动对象轮廓图像。响应于移动对#^廓图像的确定，模板更新装置进 行操作以获得移动对象轮廓图像中的每个像素的像素值，以便将所述像素值 加到先前的移动对象轮廓图像中的像素中的每一个对应像素上，从而提供更 新的模板图像。匹配装置(71)被配置用来提供以上相关性，该相关性可以有不同的定 义。例如，该相关性可以被定义为关于被选择来与构成轮廓图像的局部区域 中的每一个局部区域内的轮廓的像素相对应的像素、M板图像中获得的像 素值的和或者幂和(powersum)。
而且，相关性能够被适当加权，以提高确定目标移动对象的精确性。在 这种情况下，轮廓图像处理器被配置用来给出二进制数据的轮廓图像，其中， 像素值"l"城给构成轮廓图像的轮廓的像素，而像素值"0"舰给轮廓图像 的其余像素。匹配装置(71)被配置用来从所述模板图像中选择与构成轮廓 图像的局部区域中每一个局部区域内的轮廓的像素相对应的像素，并且获得 每个被选择像素周围的具有大于"O，，的像素值的像素的数目，以便根据如此 获得的像素数目对每个被选择像素的像素值进行加权。所述匹配装置(71) 进一步被配置用来将所述相关性定义为模板图像中所选择像素的如此加权 的像素值之和。
相关性可被赋予不同的权重。例如，匹配装置(71)被配置用来获得 所述局部区域的每一个局部区域的满足以下条件的像素的第一数目，所述条
1
件^J部区域中的像素和模板图像中对应的像素两者都具有像素值"1"或者
更大的像素值；以及模板图像中具有像素值"l，，或者更大的像素值的像素的 第二数目。然后，匹配装置(71)定义用于所述局部区域中的每一个局部区 域的上述相关性，其为第一数目对第二数目的比率。
匹配装置(71)可以被配置用来获得所述局部区域中的每一个局部区 域中满足以下条件的像素的第一数目，所述M是局部区域中的像素和模板 图像中对应的像素两者都具有像素值"l"或更大的像素值；所述局部区域中 的每一个局部区域中满足以下条件的像素的第二数目，所述M是局部区域 中的像素和模板图像中对应的像素两者都具有像素值"O，，；以及模板图像中 具有像素值"l，，或者更大的像素值的像素的第三数目.在这种情况下，对于 所述局部区域中的每一个局部区域，相关性被定义为第一数目加上第二数目 之后对第三数目的比率，
而且，匹配装置(71)可以被配置用来从围绕模板图像中的被选#^象素 布置的像素集合中获得最大的像素值，所述被选择像素对应于构成轮廓图像 的局部区域中每一个局部区域内的轮廓的像素中的每一个像素。在这种情况 下，在匹配装置(71)中，湘关性被定义为分别针对所述局部区域获得的最 大值之和。
更进一步，匹配装置(71)可以被配置用来获得各种^t，用于基于这 样的M定义相关性。所述参数包括第一行指数，其为轮廓图像的每个局 部区域的每个行中布置的、并且具有大于"O"的像素值的像素的数目；第一 列指数，其为轮廓图像的每个局部区域的每个列中布置的、并且具有大于"0" 的像素值的像素的数目；笫二行指数，其为模板图像的每个行中布置的、并 且具有大于"O"的像素值的像素的数目；以及第二列指数，其为模板图像的 每个列中布置的、并且具有大于"O，，的像素值的像素的数目。而且，以第一 行指数和第二行指数之间的差得到行数差，而以第一列指数和第二列指数之 间的差得到列数差。于是，匹配装置(71)获得总行值，其为分别关于行获 得的行数差之和；以及总列值，其为分別关于列获得的列数差之和，以便针 对所述局部区域中的每一个局部区域，将相关性定义为总行值和总列值的倒 数。
本发明进一步提出将轮廓图像限定在有限搜索区域，以便以减少的检测 时间ilb险测目标移动对象。为此，所述设备包括位置估计装置，用于估计轮 廓图像内的用于目标移动对象的检测的有限搜索区域。在这方面，移动对象 提取装置被配置用来基于两个或更多连续的轮廓图像之间的与时间相关的
差，检测至少一个可能的移动对象，并且提供覆盖所述移动对象的尺寸减小
的至少一个遮掩部分。位置估计装置被配置用来每当移动对象定位器给出 位置信息时，就获得存储在位置数据存储器中的位置数据的时间序列数据； 基于位置信息的两个或更多连续时间序列数据，计算目标移动对象的估计位 置；在估计位置的周围设置预定尺寸的探测区；以及提供有限搜索区域，其 为包括与探测区重叠的至少一个遮掩部分的最小区域。结果，移动对象定位 器被配置用来仅在有限的搜索区域内选择局部区域，从而减少了确定目标移 动对象的时间。
位置估计装置可以被配置用来基于位置信息的两个或更多连续时间序 列数据，计算移动对象的估计移动速度；以及提供探测区，所述探测区的尺 寸与移动对象的估计逸变成比例。
在位置估计装置处，探测区可以被确定为具有这样的尺寸，该尺寸是模 板图像尺寸的函数。
为了进一步限定所述有限搜索区域，位置估计装貧战被配置用来获 得行指数，其为沿有限搜索区域的每个行布置、并且具有像，"I"或者更 大的像素值的像素的数目；选择一组连续的行，每个行都具有大于预定行阈 值的行指数；获得列指数，其为沿有限搜索区域的每个列布置、并且具有像 素值"l"或者更大的像素值的像素的数目；选择一组连续的列，每个列都具 有大于预定列阈值的列指数；以及将有限搜索区域限定在由选择的连续行组 和选择的连续列组所P艮制的区域。
在这方面，位置估计装置可以被配置用来当选择了两个或更多连续行 组时，仅仅使所述组中更加接近于目标移动对象的估计位置的一组有效；并 且当选择了两个或更多连续列组时，仅仅使所述组中更加接近于目标移动对 象的估计位置的一组有效。
提出了有限搜索区域的另一种限定，其中，位置估计装置可以被配置用 来获得行指数，其为沿所述有限搜索区域的每个行布置、并且具有像素值 "l，，或者更大的像素值的像素的数目；以及选择至少一个连续行组，每个行 都具有大于预定行阈值的行指数。当选择了两个或更多连续行组时，仅仅使 ^>接近于目标移动对象的所述估计位置的一个连续行组有效。
关于由有效的连续行组所限定的范围进行计算以获得列指数,该列指数为沿 有限搜索区域的每个列布置的并且具有像素值"l"或者更大的像素值的像素 的数目。然后，选择连续列组，每个列都具有大于预定列阈值的列指数，以 便位置估计装置将有限搜索区域进一步限定到由选择的连续列组和有效的
行组所限制的区域。这种方案的有利之处在于进一步减少了用于确定移动对 象的计算的数量。
可替选地，位置估计装置被配置用来首先分析列指数，以使单独的连 续列组中的一组有效；以及仅参考有效的列组来选择连续行组，用于进一步 限制有限搜索区域。
结合附图，根据优选实施例的以下描述，本发明的这些以及其它有利特 征将会变得更加明显。
图1是才Mt本发明优选实施例的目标移动对象,i殳备的框图2是图示如何参考模板图^^移动对象的连续轮廓图像中 该 移动对象的示意图3图示了轮廓图像的时间序列数据；
图4图示了^^板图《象；
图5是图示了所述设备的基本操作的流程图6是图示从轮廓图像中提取的移动对象轮廓图像的示意图7是图示了与图6的移动对象轮廓图^ii行比较的模板图像的示意
图8A至8C是分别说明取决于像素值的布置来对模板图像进行加权 的方案的示意图9A和9B是分别图示轮廓图像的局部区域的一部分和模板图像的 对应部分的示意图10A和10B是分别图示轮廓图像的局部区域的一部分和模板图像 的对应部分的示意图11是图示了针对轮廓图像的用于与模板图像就像素值分布之间的
相关性方面进行比较的局部区域而计算的像素值分布的图形表示； 图12是图示针对模板图像计算的像素值分布的图形表示； 图13至15图示了提供轮廓图像内的有PILfe索区域的各个方案； 图16是图示如何在有限搜索区域内确定移动对象的说明图；以及
图17和18是分别图示了在存在多个移动对象的情况下如何进一步限 定有限搜索区域的说明图.
具体实施例方式
参考图1 ，示出了根据本发明的优选实施例的目标移动对象跟踪设备。 该设备用作入侵者监视系统，以检测入侵者或目标移动对象、]^t其运动、 并且以放大的视图显示入侵者以便识别该入侵者。
该设备包括摄膝Kl0,其覆盖观察区以拍摄连续的画面，所述画面通过 A/D转换器12被转换成覆盖整个视野的真实画面图像P的时间序列数字数 据，如图2所示，并且被存储在画面图傳存储器20中。该设备包括显示器 30，其能够显示当前的画面图像以及当前图像中如稍后将要讨论的那样用于 识别目标移动对象的被选#^分的放大的视图。在该设备中包括轮廓图像处 理器40，用;^f艮据存储器20中的真实画面图像中的每一个来生成轮廓图像， 并且将作为结果的轮廓图像的时间序列数据存储在轮廓图像存储器42中。 轮廓图像或者采用二进制图像数据的形式，或者采用^JL级数据的形式。提 供了移动对象提取装置50，用来为每个轮廓图像提取局部区域、亦即包围移 动对象的单元区域，其细节将在稍后讨论。首先，局部区域被馈送到模板存 储器60并存储在模板存储器60中作为过渡^板图像，其在移动对象定位器 70处与l^的一个轮廓图^^目比较，以便在该轮廓图像的框架中定位目标移 动对象。如稍后将要讨论的那样，在该设备中包括模板更新装置62，用来通 过使用随后在移动对象定位器70处被确定包括目标移动对象的选定数目的 局部区域的组合来替换模板图像T而定期更新模板图像T。轮廓图像中的这 种被确定包括目标移动对象的局部区域在下文中被称为移动对象轮廓图像。 为此，提供了移动对象轮廓图^#储器72，用来储移动对象轮廓图像MOl 至M06的时间序列数据，它们例如在图2中图示，与真实画面图像P和模 板图像T进行比较，并且还在图3中示出。在这方面要注意的是，更新的模 板图像T被定义为具有变化的像素值的灰度级图像。
当移动对象提取装置50在确定初始模板图像的时候提取其中每个都包 括可能的移动对象的两个或更多部分时，4吏得移动对象定位器70将所述部 分中的每个候选部分与预定数目的连续轮廓图像进行比较，以确定在这些轮 廓图像中连续出现的可信的部分，以便模板更新装置62将这种可信的部分 指定为初始模板图像。
移动对象定位器70被配置用来针对位于当前轮廓图像中的每一个轮 廓图像的框架内的移动对象，获得位置数据；并且将位置数据传送到位置数 据存储器74。位置数据不断地由放大画面生成装置80读取，所逸故大画面 生成装置80进行响应以读取当前的画面图像，从其中选择一部分，并且以 预定的放大率生成该部分的放大画面图像，用于在显示器30显示该放大画 面图像，从而以放大的效果向管理员通知目标移动对象。
该设备进一步包括位置估计装置76，其基于位置数据中的两个或更多连 续的时间序列数据，计算目标移动对象的估计位置，并且在该估计位置周围 的轮廓图像内提供有限搜索区域，用于目标移动对象的检测，其细节将在稍 后讨论。
简而言之，该设备重复执行受控制的循环，该循环如图5所示包括以下 步骤拍摄真实画面图像(S1);生成其轮廓图像(S2);计算移动对象的估 计位置(S3);估计有限搜索区域(S4);获得移动对象的位置数据(S5 ); 更新模板图像(S6);以M示移动对象的放大的视图(S7)。
现在，将在下文中说明该设备若干部分的细节。轮廓图像处理器40被 配置用来每当在更新模板图像之后，获得模板图像T的对比度；以及当对 比度超过预U准时，提供由二进制数据所定义的轮廓图像，否则提供由灰 度级定义的轮廓图像。在确定轮廓图像的种类时，轮廓图像处理器40检测 平均像素值，该平均像素值为分别赋给模板图像的多个预定分区中的每一个 分区内的像素的像素值的平均值，并且，当所述分区中任一分区被检测到具 有低于阈值的平均像素值时，或者当针对所述分区中任一分区所检测到的平 均像素值比针对所述分区中另 一分区所检测到的平均像素值低的程度大于 预定程度时，轮廓图像处理器40就判定所述对比度在基准之下。当生成二 进制数据的轮廓图像时，轮廓图像处理器40被配置用来依靠用于将真实画 面图像转换成二进制数据图像的可变阈值，并且获得模板图像的平均A^级 值，以便当所述平均AJL级值比用于在移动对象定位器70处与模板图像进 行成功比较的预定P艮度低时，降低所述阈值。二进制数据的轮廓图像也被称 作边缘图像，其借助于众所周知的Sobel滤波器或对应的技术而获得。
现在就移动对象4^取装置50的提取移动轮廓图像的功能来对移动对象 提取装置50进^i兌明。针对在时间(T)提取的每个轮廓图像，移动轮廓图 像是参考分别在时间(T-AT2)和(T-ATI)提取的两个先前的轮廊图像 以及分别在时间(T + AT1)和(T + AT2)提取的两个随后的轮廓图像获得 的。对分别在时间(T-AT2)和(T + AT2)提取的轮廓图傳进行与操作，
以给出第一逻辑积图像PT1，同时对分别在时间(T-ATI)和(T + AT1) 提取的轮廓图像进行与操作，以给出第二逻辑积图像PT2。第一逻辑积图像 PT1被求逆，并且随后与在时间T提取的轮廓图像进行与搮作，以给出第三 逻辑积图像PT3，其包括在T时在轮廓图像中出现的移动对象的轮廓，在 时间(T-AT2)时隐藏在移动对象后面而在时间(T)时出现的背景轮廓， 以及在时间(T-AT2)时出现而在时间(T + AT2)时隐藏在移动对象后面 的背景轮廓。同样地，第二逻辑积图像PT2被求逆，1^被进行与操作，以 给出第四逻辑积图像(PT4)，其包括在T时在轮廓图像中出现的移动对 象的轮廓，在时间(T-ATI)时隐藏在移动对象后面而在时间(T)时出现 的背景轮_廓，以及在时间(T-AT1)时出现而在时间(T + AT1)时隐藏在 移动对象后面的背景l^廓。最后，对笫三和第四逻辑积图^ii行与操作，以 提取移动对象的轮廓。具有上述功能的移动对象提取装置在本领域中已经是 已知的，例如，如日本专利公布No. 2004-265252中公开的那样，因此不必 要进行进一步的详细说明。在这方面，本发明可以利用各种配置的类似的移 动对象提取装置。
现在说明模板图像T的更新。模板更新装置62被配置用来从移动对象 轮廓图像存储器72中读取预定数目的先前的移动对M廓图像，并且将这 些图像与在移动对象定位器70处被确定与模板图像匹配的当前的移动对象 轮廓图^fe结合，从而通过用如此结合的图像替换先前的模板图像T来更新 先前的模板图像T。如图7中示意性示出的那样，这种模板图像T将较高的 像素值赋给人体中诸如头或肩等特定部分的轮廓，所述特定部分更加固定不 变，亦即与诸如臂或腿等其它部分相比在运动期间较不易产生形状的变动。 利用该结果，模板图像T变得很好地指示了移动对象的主要部分，以便为通 过就模板图像和移动轮廓图像之间的相关性方面与当前的移动对象轮廓图 像的比较而可靠地确定移动对象提供坚实的基础，如稍后将要讨论的那样。 而且，如此更新的模板图像T能够通过一个或多个其它移动对象轮廓图像中 对应的部分来很好地补偿一个移动对象轮廓图像中的移动对象的一部分的 任何小的遗漏.例如，对于一个移动对象图像中隐藏在快速摇摆的手后面的 腹部的一部分，能够用在其它移动对象图像中出现的对应的部分来进行补 充，从而使模板图#^可能接近目标移动对象，这导致基于轮廓图^Mp模板 图像之间的比较，精确地确定目标移动对象。
优选地，每当新的连续的一组移动对象轮廓图像累积达到预定数目时， 就进行更新。而且，模板更新装置62被配置用来仅仅将根据预定准则被确 定为有效的移动对象轮廓图像进行结合。所述准则的一个例子基于像素指
数，该像素指数为计算出的在所述移动对象轮廓图像的每一个中包括的、具 有大于零的像素值的像素的数目。该准则被定义成在当前的移动对象轮廓图 像的像素指数与先前的移动对象轮廓图像的像素指数的差异大于预定程度 时，就确定当前的移动对象轮廓图像为有效的。另一个准则基于当前的移动 对象轮廓图像和对应的真实画面图像中的 一个的像素值的标准偏差，并且被 定义成当该标准偏差与关于先前的移动对象轮廓图^^计算的标准偏差的差 异大于预定程度时，就确定当前的移动对象轮廓图像为有效的。而且，该准 则可以基于计算出的构成所述移动对象轮廓图像中的每一个中的移动对象 的轮廓的《象素的数目，并且被定义成当关于当前移动对象^^廓图《象的所述《象 素数目与关于先前移动对象轮廓图像的所述像素数目的差异大于预定程度 时，就确定当前的移动对象轮廓图像为有效的。
模板更新装置62可以被配置用来使用以下加权方程，与结合的一组先 前的移动轮廓图^bf目关地对当前的移动轮廓图像进行加权
<formula>formula see original document page 20</formula>
其中，T(x,y)表示模板图像的每个像素中的像素值，Vn(x,y)表示当前的 移动对象轮廓图像的每个像素中的像素值，Vp(x, y)表示结合的 一组先前的移 动对象轮廓图像的每个像素中的像素值，而K则是加权系数。
这样，通过适当选择加权系数K,与所述结合的一组先前的移动对^ 廓图像相关，能够使模板图像T更强或者更弱地反映当前的移动对象轮廓图 像。
移动对象定位器70包括匹配装置71，其被配置用来从l^廓图〗象中的 每个当前轮廓图像中收集不同的局部区域，每个局部区域与模板图像具有相 同的尺寸；并且关于不同局部区域中的每一个局部区域计算相对于模板图像 T的相关性。匹配装置71进行操作以便通iti^择不同的局部区域，亦即通过 在行或列的方向上将局部区域移动一个像素，从而连续地扫描轮廓图像的整 个区域，以便将具有最大相关性的局部区域确定为与模板图像T匹配的移动 对f^廓图像。如图6中示意性示出的那样，当二进制数据的移动对象轮廓 图像MO被确定为与当前的模板图像T匹配时，模板更新装置62进行响应 以便获得匹配的移动对象轮廓图像MO中的每个像素的像素值，以便将该像 素值加到先前的移动对象轮廓图像中的每个对应的像素上，从而提供更新的 模板图像T，如图7中示意性示出的那样，更新的模板图像T具有这样的像 素，所述像素具有对应地累积的^j^级数据的像素值。
在本发明中，相关性从以下说明的从各个定义中适当选择。 一个例子是
将相关性定义为对于被选择来与构成轮廓图像的局部区域中的每一个局部 区域内的移动对象的轮廓的像素相对应的像素，>^#板图像1中获得的像素 值的和。另一个例子是将相关性定义为对于与构成l^廓图像的局部区域中 的每一个局部区域内的移动对象的轮廓的像素相对应的像素，从模板图像T
中获得的像素值的幂和。幂和优选地为像素值的平方和。
而且，当轮廓图像处理器40给出二进制数据的轮廓图像(其中，像素 值"l"械给构成轮廓图4綠廓的像素，而像素值"0"则舰给轮廓图像的其 余像素)时，相关性可以被加权。在这种情况下，匹配装置71被配置用来 >^^^板图像1中选择与构成轮廓图像的局部区域中每一个局部区域内的轮廓 的像素相对应的像素，并且获得每个被选择像素周围的具有大于"0"的像素 值的像素的数目，以便根据如此获得的像素数目对每个被选#^象素的像素值 进行加权。例如，当围绕中心像素的全部八(8)个外围像素都具有像素值"0" 时，如图8A所示，则中心像素^C给小的权重"1"。当八个外围像素中的被 选择的一个像素具有大于"O"的像素值时，如图8B所示，则中心像素,给 较大的权重"2"。当八个外围像素中的多于一个的像素具有大于"O"的像素值 时，如图8C所示，则中心像素 给更大的权重"4"。将每个4象素处的4象素 值"a，，乘以如此确定的权重，以便匹配装置71确定作为模板图像T中的被选 择像素的加权像素值之和的相关性，以对轮廓图像和模板图像T进行一致性 匹配。可以从上述值"l"、 "2"和"4"之外适当地选择权重的值。
可以根据特定像素的第 一数目对特定像素的第二数目的比率来不同地 定义相关性。第一数目是在每一个局部区域中计数出的、满A^部区域中的 像素和模板图像中对应的像素两者都具有像素值"l"或更大的像素值的条件 的像素的数目，而第二数目则是在模板图像中计数出的具有像素值"l，，或更 大的像素值的像素的数目。当轮廓图像与模板图像具有的"O，，像素的数目的 比例大于"l"或更大的像素的数目时，如针对轮廓图像的局部区域PA的图 9A和针对模板图像T的图9B (其中，黑方块指示"O"像素，并且白方块指 示像素值"l"或更大的像素值)中示范性示出的那样，如此定义的相关性尤 其有利于将轮廓图像与模板图像精确地进行比较。在图示的情况下，相关性 表达为比率11/14 ( -79%)，其中，第一数目为"ll"，并且第二数目为"14"。 针对轮廓图像中的每一个局部区域PA获得相关性，以便确定表现出最大相 关性的局部区域或移动对象轮廓图像。利用如此定义的相关性，能够使移动 对象的精确检测相对地免受不构成移动对象的轮廓的"O"像素的影响.
可替选地，还可以考虑到在局部区域PA和模板图像T两者中具有像素 值"O"的像素的数目来定义相关性，在这种情况下，匹配装置71被配置用来 获得
1) 针对局部区域中的每一个局部区域计数出的、满足局部区域中的 像素和模板图像中对应的像素两者都具有像素值"l"或更大的像素值的条 件的像素的第一数目；
2) 在局部区域中的每一个局部区域中计数出的、满足局部区域中的 像素和模板图像中对应的像素两者都具有像素值"O"的条件的像素的第二 数目；以及
3 )在模板图像中计数出的、具有像素值"l"或更大的像素值的像素的 第三数目。
匹配装置71针对局部区域中的每一个局部区域定义相关性，该相关性 为第一数目加上第二数目之后对第三数目的比率。当将如此定义的相关性应 用于图9A和9B的示例时，针对图9A的局部区域的相关性为 4.1{=(11+47)/14}。
而且，匹配装置71可以依赖于考虑到模板图像中的每一个特定像素周 围的外围像素而定义的相关性。匹配装置71被配置用来选择一组轮廓像 素，所述一组轮廓像素构成每一个局部区域中的轮廓；从布置在模板图l象中 的特定像素周围的像素集合中获得最大的l象素值，所述特定4象素对应于4^廓 像素中的每一个轮廓像素；以及将相关性定义为分别针对所述局部区域获得 的最大值之和。亦即，如图10A和10B所示，根据围绕模板图像T中的特 定像素(T3)的外围像素、亦即具有最大值"6"的像素(Tmax)，估计局部 区域PA中的轮廓像素中的每一个轮廓像素(P3)。这样，每个局部区域, 给这样的相关性，该相关性为如此获得的最大值之和，每一个最大值是针对 局部区域中的轮廓像素获得的，以便匹配装置71将具有最大相关性的局部 区域确定为移动对象轮廓图像。
更进一步，匹配装置71可以依赖于考虑到分别针对局部区域中的每一 个局部区域PA和模板图像T获得的直方图(Py， Px; Ty， Tx)而定义的相 关性，如图11和12所示。对局部区域中的每一个局部区域PA获得两个直 方图(Py， Px)， 一个沿着Y轴，而另一个沿着X轴。同样地，对模板图像 T获得两个直方图(Tx， Ty)，分别沿着Y轴和X轴。Y轴直方图(Py)是 第一行指数的分布，所述第一行指!8blL布置在轮廓图像的局部区域PA的每
一个行中、并且具有大于"O"的像素值的像素的数目，而X轴直方图(Px) 则是第一列指数的分布，所述第一列指数是布置在轮廓图像的局部区域PA 的每一个列中、并且具有大于"O"的像素值的像素的数目。Y轴直方图(Ty) 是第二行指数的分布，所述第二行指^M:布置在模板图像T的每一个行中、 并且具有大于"O"的像素值的像素的数目，而X轴直方图(Tx )则是第二列 指数的分布，所述第二列指数是布置在模板图像T的每一个列中、并且具有 大于"O"的像素值的像素的数目。基于这些直方图，匹配装置71计算出行 数差，其为第一行指数与第二行指数之间的差；列数差，其为第一列指数和 第二列指数之间的差；总行值，其为分别关于各行获得的行差之和；以及总
列值，其为分别关于各列获得的列差之和。于是，匹配装置71针对局部区 域中的每一个局部区域将相关性定义为总行值和总列值之和的倒数。因此， 相关性随总行值和总列值变得更小而变得更大，即，局部区域中特定的一个 局部区域变得更加接近于模板图像。借助于如此定义的相关性，当利用将局 部区域沿着行或列移位一个像素来扫描轮廓图像的整个区域时，像素值的计 算能够大大减少。例如，当局部区域沿着行移位一个像素时，只有没被先前 的局部区域覆盖的一个新列才需要计算第一列和，而针对剩余列的第 一列和 已可在先前的步骤中得到。这也适用于局部区域沿着列移位一个像素的情 况，在这种情况下，只有新行才需要计算第一行和。
在本发明中，基于检测到的移动对象的移动，对有P艮搜索区域进行轮廓 图像的扫描，以便改善检测移动对象的iiJL为此，位置估计装置76与移 动对象提取装置50联合在轮廓图像内提供有限搜索区域，所^动对象提 取装置50提供覆盖移动对象的至少一个遮掩部分或尺寸减小的局部部分。 图13图示了一个例子，其中移动对象提取装置50在轮廓图像OL内提供了 四(4)个遮掩部分M1、 M2、 M3和M4。位置估计装置76被配置用来 每当移动对象定位器70给出位置数据时，获得位置数据的时间序列数据； 以及基于位置数据的两个或更多连续的时间序列数据，计算目标移动对象的
估计位置PE。然后，位置估计装置76在估计位置PE的周围设置预定尺寸的
探测区Z,并且确定有限搜索区域LSR，该有PIL溲索区域LSR为包括与探 测区Z重叠的遮掩部分M1、 M2和M3、并且排除不与探测区Z重叠的遮掩 部分M4的最小区域。在确定了有限搜索区域LSR之后，位置估计装置76 指示移动对象定位器70仅在有限搜索区域LSR内选择局部区域。
在这种情况下，探测区Z可以具有这样的尺寸，该尺寸与移动对IM^先 前定位的点(1)移动到点(2)的速度成比例变化。非正方形构造的探测区 Z也是可用的，其中，x轴尺寸和y轴尺寸以不同的程度与移动对象的速度
成比例变化。
可替选地，探测区z可以具有这样的尺寸，该尺寸为模板图像尺寸的函
数。例如，将探测区Z限定为具有这样的尺寸，该尺寸是模板图像尺寸的l
倍以上。而且，可以选择该倍数，使其与移动对象的检测到的速度成比例变
化，并且针对x轴和y轴可以不同。
图14图示了借助于过滤区FZ进一步将有限搜索区域LSR限制到FLSR 的另一个方案，所述过滤区FZ形成在估计位置PE的周围，具有这样的尺寸， 该尺寸为移动对象的ii;变的函数。于是，有限搜索区域LSR被进一步限定 到与过滤区FZ共有的区域FLSR。
可替选地，如图15所示，可以借助于模板过滤区TFZ将有限搜索区域 LSR限制到FLSR,所述^^板过滤区TFZ形成在估计位置PE的周围,具有这 样的尺寸，该尺寸为^^板图4象的尺寸的函数。
在这方面，要注意的是过滤区FZ或;j^板过滤区TFZ可以单独用作有限 搜索区域。
而且，考虑到沿着x轴和y轴两者的像素值的直方图(Hy， Hx)，有限 搜索区域LSR可以被进一步限制到XLSR,如图16所示。直方图(Hy)是 行指数的y轴分布，所述行指数是沿着有P艮搜索区域LSR的每一个行布置、 并且具有像素值"l"或更大的像素值的像素的数目。根据图13中的方案获得 有限搜索区域LSR，或者，甚至根据图14或图15中描绘的方案获得限制的 有限搜索区域FLSR,同样，在这种情况下，直方图(Hx)是列指数的分布， 所述列指数是沿着有限搜索区域LSR的每一个列布置、并且具有像素值"l" 或更大的像素值的像素的数目。位置估计装置76以分别与预定的行阈值THR 和预定的列阈值THc相比较的方式分析直方图(Hy， Hx)，以便选择其中每 一个行都具有比行阈值THR大的行指数的连续行組Gy,以及其中每一个列 都具有比列阈值THC大的列指数的连续列组Gx。然后，位置估计装置76将 有限搜索区域LSR限制到由所选择的组Gy和Gx限界的区域XLSR，同时 消除任何可能的噪声，以使着确检测目标移动对象。
如果两个或更多的连续行组由于具有大于行阈值THR的行指数而被选 择，或者如果两或更多的连续列组由于具有大于列阈值THc的列指数而被选 择，如图17和18所示，则位置估计装置仅仅使更加接近于估计位置Pe的一 个组集(Gy2， Gx2)有效，因此将有P艮搜索区域限制到由有效的组所限定 的区域XLSR。
而且，在有限搜索区域LSR中可能有两个或更多的连续行或列组的情 形中，在将有限搜索区域LSR进一步限制到XLSR时，为了减少计算的数 量，位置估计装置76可以被配置用来首先获得行指数和列指数中的一个， 并且基于所述行指数和列指数中的一个的分析，取消用于获得行指数和列指 数中的另一个的不必要的计算。为《更于理解，首先参考图17来说明在计算 列指数之前计算行指数的方案。在对有限搜索区域LSR的界限内的每一个 行获得行指数之后，位置估计装置76选择其中每一个行都具有大于行阈值 THR的行指数的两个连续行组Gyl和Gy2，并且仅仅使得比另一个组Gyl 更加接近于估计位置PE的一个组Gy2有效。随后，位置估计装置76仅在由 有效的组Gy2所限界的范围内获得列指数，选择其中每一个列都具有大于列 阈值THc的列指数的连续列组Gx2,并且将有PIL搜索区域进一步限定到由所 选择的连续列组Gx2和有效的连续行组Gy2所限界的区域XLSR。
可替选地，如图18所示，可以首先关于列指数对有P艮搜索区域LSR进 行分析，以便使连续列组Gxl和Gx2中的一个有效。在使连续列组Gx2因 为比另一个组Gxl更加接近于估奸位置Pe而有效之后，进行计算，以便仅 M有效的连续列组Gx2所限制的范围内获得行指数，并且选择其中每一个 连续行都具有大于行阁值THR的行指数的连续行组Gy2。于是，位置估计装 置76将有限搜索区域LSR进一步限制到由如此选择的连续行组Gy2和有效 的连续列组Gx2所限制的区域XLSR。
在参考图17和18说明的上述方案中，术语"连续行"或"连续列"在本发 明中不以严格的意义解释，而是被定义为这样的一系列的行或列，其中，具 有阈值以下的行指数或列指数的行或列的连续不超过预定数目，容许具有阈 值以下的行指数或列指数的行或列短暂插入，以便消除可能的噪声或误差而 实现移动对象的精确检测。
尽管以上描述仅仅示例性公开并说明了各种特征，以便易于理解本发明 的基^念，但是，这里应当注意的是，所述特征的任何组合也在本发明的 范围内.
权利要求
1.一种目标移动对象跟踪设备，包括画面图像存储器(20)，其被配置用来存储摄像机(10)关于覆盖可能的目标移动对象的观察区所拍摄的真实画面图像的时间序列；显示器(30)，其被配置用来以所需的放大率显示所述真实画面图像中的可选择的一个或多个真实画面图像；轮廓图像处理器(40)，其被配置用来分别根据所述真实画面图像提供轮廓图像；模板存储器(60)，其被配置用来存储用于识别所述目标移动对象的模板图像；移动对象定位器(70)，其被配置用来将所述轮廓图像中的每一个轮廓图像与所述模板图像相比较，以检测每个轮廓图像中与所述模板图像匹配的局部区域，所述移动对象定位器基于被检测到与所述模板图像匹配的所述局部区域，获得所述目标移动对象在所述观察区内的位置数据；放大画面生成装置(80)，其被配置用来基于所述位置数据，从所述真实画面图像的与所述轮廓图像的被检测到与所述模板图像匹配的所述局部区域相对应的一部分提取放大的图像，并且在所述显示器上显示所述放大的画面图像；其中，所述移动对象定位器(70)被配置用来从与被检测到与所述模板图像匹配的所述局部区域相对应的所述轮廓图像中的每一个提取移动对象轮廓图像，并且提供模板更新装置(62)，用来通过使用所述移动对象轮廓图像中的当前的一个移动对象轮廓图像与所述移动对象轮廓图像中先前的一个或多个移动对象轮廓图像的结合来替换所述模板图像，从而更新所述模板图像。
2. 如权利要求1所述的目标移动对象 设备，其中，所述轮廓图像处理器(40 )被配置用来提供由二进制数据定义的所述 轮廓图像。
3. 如权利要求1所述的目标移动对象 设备，其中， 所述轮廓图像处理器(40 )被配置用来提供由离^JL级数据定义的 所述轮廓图像。
4. 如权利要求1所述的目标移动对象i^J宗设备，其中，所述轮廓图像处理器(40)被配置用来获得所述模板图像的对比度， 以便当所述对比度超过预定基准时提供由二进制数据定义的所述轮廓像。
5. 如权利要求4所述的目标移动对象^J宗设备，其中，所述轮廓图像处理器(40)被配置用来检测平均像素值，所述平均像 素值为分别赋给所述模板图像的多个分区中的每一个分区内的像素的像 素值的平均值，并且当所述分区中的任何一个被检测到具有低于阈值的所述平均像素值时，或者当针对所述分区中的任何一个检测到所述平均像素 值比所述分区中的另一个的所述平均〗象素值低的程度大于预定程度时，就 判定所^比度低于所逸基准。
6. 如权利要求2所述的目标移动对象i^设备，其中，所述轮廓图像处理器(40 )被配置用来提供用于将所述真实画面图像 转换成所述二进制数据的轮廓图像的可变阈值，所述轮廓图像处理器(40 ) 被配置用来获得所述模板图像的平均^JL级值，并且当所述平均^JL级值 低于预定限度时降低所述阈值。
7. 如权利要求1所述的目标移动对象g设备，进一步包括移动对象轮廓图像存储器(72),其用来存储所述移动对象轮廓图像 的时间序列；所i^^板更新装置(62)被配置用"所述移动对象轮廓图^^储器 中读取预定数目的先前的移动对象轮廓图像，将这些轮廓图像与当前的移 动对象轮廓图l^目结合，并且通过用所述结合替换先前的模板图像来更新 所述先前的模板图像。
8. 如权利要求7所述的目标移动对象 设备，其中，所述模板更新装置(62)被配置用来每当新的连续的一组所述移动对 象轮廓图像累积达到预定数目时，更新所述模板图像。
9. 如权利要求7或8所述的目标移动对象 设备，其中， 所述模板更新装置(62 )被配置用来仅结合根据预定准则被确定为有 效的所述移动对象轮廓图像。
10. 如权利要求9所述的目标移动对象,设备，其中，所述模板更新装置(62)被配置用来计算像素指数，所述像素指数 为在所述移动对M廓图像中的每一个中包括的、并且具有大于零的像素 值的像素的数目；并且提供所述准则，在当前的移动对象轮廓图像的像素 指数与先前的移动对象轮廓图像的像素指数的差异大于预定程度时，确定 当前的移动对象轮廓图像为有效的。
11. 如权利要求9所述的目标移动对象,设备，其中，所述模板更新装置(62 )被配置用来计算当前的移动对象轮廓图像和 对应的真实画面图像中的一个的像素值的标准偏差，并且提供所述准则， 所述准则在所述标准偏差与关于先前的移动对象轮廓图^^计算的标准偏的差异大于预定程度时，确定当前的移动对IM^廓图像为有效的。
12. 如权利要求9所述的目标移动对象,设备，其中，所述模板更新装置(62 )被配置用来计算构成所述移动对象轮廓图像 中的每一个中的所述移动对象的轮廓的像素的数目，并且提供所述准则， 所述准则在关于当前的移动对象轮廓图像的所述^^素的数目与关于先前 的移动对象轮廓图像的像素的数目的差异大于预定程度时，确定当前的移 动对象轮廓图像为有效的。
13. 如权利要求1所述的目标移动对象,设备，其中，所述移动对象定位器(70 )包括匹配装置(71 )，所述匹配装置(71) 被配置用来从所述轮廓图像当中收集不同的局部区域，每个区域与所述 模板图像具有相同的尺寸；计算关于所述不同区域中的每一个的相关性； 并且将具有最大相关性的所述局部区域确定为与所述模板图像匹配的所 述移动对象轮廓图像，并且所述模板更新装置被配置用来获得所述移动对 象轮廓图像中的每个像素的像素值，以便将所述像素值加到先前的移动对 象轮廓图像中的像素中的每一个对应的像素上。
14. 如权利要求13所述的目标移动对象跟踪设备，其中，所述匹配装置(71)被配置用来将所勤目关性定义为关于被选择来 与构成所述轮廓图像的所述局部区域中的每一个局部区域内的轮廓的像 素相对应的像素，从所述模板图像中获得的像素值之和。
15. 如权利要求13所述的目标移动对象跟踪设备，其中，所述匹配装置(71)被配置用来将所i^目关性定义为关于被选棒来 与构成所述轮廓图像的所述局部区域中的每一个局部区域内的轮廓的像 素相对应的像素，从所述模板图像中获得的像素值的幂和。
16. 如权利要求13所述的目标移动对象,设备，其中，所述轮廓图像处理器(40)被配置用来给出二进制数据的轮廓图像，其中，像素值'T，M给构成轮廓图像的轮廓的像素，而《象素值"0"则,给轮廓图像的其余像素，所述匹配装置(71)被配置用来从所述模板图像 中选择与构成所述轮廊图像的所述局部区域中的每一个局部区域内的轮廓的像素相对应的像素，并且获得在每个被选择像素周围的具有大于"O" 的像素值的像素的数目，以便根据如此获得的像素数目对每个被选择像素 的像素值进行加权，所述匹配装置(71)被配置用来将所述相关性定义为 所述模板图像中被选择像素的如此加权的像素值之和。
17. 如权利要求13所述的目标移动对象跟踪设备，其中，所述轮廓图像处理器(40)被配置用来给出二进制数据的轮廓图像， 其中，像素值"1",给构成轮廓图像的轮廓的像素，而4象素值"0"则*^ 给轮廓图像的其余像素，所述匹配装置(71)被配置用来获得所述局部 区域的每一个局部区域中满足下述M的像素的第一数目，该M是所述 局部区域中的像素和所ii^板图像中对应的像素两者都具有像素值"l"或 更大的像素值；以及所ii^板图像中具有像素值"l"或更大的像素值的像 素的第二数目，所述匹配装置(71)定义用于所述局部区域中的每一个局部区域中的 所i^目关性，其为所述第一数目对所述第二数目的比率。
18. 如权利要求13所述的目标移动对象跟踪设备，其中，所述轮廓图像处理器(40)被配置用来给出二进制数据的轮廓图像， 其中，像素值"1",给构成轮廓图像的轮廓的像素，而4象素值"0"则M 给轮廓图像的其余像素，所述匹配装置(71)被配置用来获得所it^部 区域的每一个局部区域的满足下述条件的像素的第一数目，该*是所述 局部区域中的像素和所述模板图像中对应的像素两者都具有像素值"l"或 更大的像素值；所述局部区域中的每一个局部区域的满足下述条件的像素 的第二数目，该条件是所述局部区域中的像素和所述模板图像中对应的像 素两者都具有像素值"O，，；以及所iM^板图像中具有像素值"l，，或更大的像 素值的像素的第三数目，所述匹配装置(71)定义用于所述局部区域中的每一个局部区域的所 W目关性，其为所述第一数目加上所述第二数目之后对所述第三数目的比 率。
19. 如权利要求13所述的目标移动对象跟踪设备，其中，所述轮廓图像处理器(40)被配置用来给出二进制数据的轮廓图像， 其中，像素值"1，， 给构成轮廓图像的轮廓的像素，而像素值"0，，则 给轮廓图像的其余像素，所述匹配装置(71)被配置用来从围绕所i^ 板图像中的被选择像素布置的像素集合中获得所述像素值中的最大值，所 述被选择像素对应于构成轮廓图像的所述局部区域中每一个局部区域内 的轮廓的像素中的每一个像素；并且将所i^目关性定义为分别针对各局部 区域获得的所述最大值之和。
20. 如权利要求13所述的目标移动对象,设备，其中，所述轮廓图像处理器(40)被配置用来给出二进制数据的轮廓图像， 其中，像素值"1"WC给构成轮廓图像的轮廓的像素，而像素值"0， 给轮廓图像的其余像素，所述匹配装置(71)被配置用来获得第一行指数，其为每个所述局部区域的每个行中布置的、并且具有大 于"O"的像素值的像素的数目；第一列指数，其为轮廓图像的每个所述局部区域的每个列中布置的、 并且具有大于"O"的像素值的像素的数目；第二行指数，其为所述模板图像的每个行中布置的、并且具有大于"0" 的像素值的像素的数目；第二列指数,其为所述模板图像的每个列中布置的、并且具有大于"0" 的《象素值的〗象素的数目；行数差，其为针对每个行的所述第一行指数和所述第二行指数之间的差；列数差，其为针对每个列的所述第 一列指数和所述第二列指数之间的差；总行值，其为分别关于各行获得的所述行数差之和；以及总列值，其为分别关于各列获得的所述列数差之和，所述匹配装置(71)将所i^目关性定义为针对所述局部区域中的每一 个局部区域的所述总行值和所述总列值之和的倒数。
21. 如权利要求1所述的目标移动对象，设备，进一步包括位置估计装置(76)，用于在所述轮廓图像内估计有限搜索区域，用 于所述目标移动对象的检测，以及移动对象提取装置(50)，其被配置用来基于所述连续的轮廓图像中 的两个或更多轮廓图l象之间的与时间相关的差，检测至少一个可能的移动 对象，并且提供覆盖所述移动对象的尺寸减少的至少一个遮掩部分；所述位置估计装置(76)被配置用来每当所述移动对象定位器给出 位置数据时，就获得存储在位置数据存储器(74 )中的所述位置数据的时 间序列数据；基于所述位置数据的两个或更多连续时间序列数据，计算目 标移动对象的估计位置(PE);在所述估计位置的周围设置预定尺寸的探 测区(Z);以及提供所述有限搜索区域(LSR)，其为包括与所述探测区 重叠的至少一个所述遮掩部分的最小区域，所述移动对象定位器被配置用来仅在所述有限搜索区域内选择所述 局部区域。
22. 如权利要求21所述的目标移动对象^J宗设备，其中，所述位置估计装置(76)被配置用来基于所述位置数据的两个或更 多连续时间序列数据，计算移动对象的估计移动itJL;以及提供所述探测 区(Z)，所述探测区(Z)的尺寸与移动对象的所述估计速度成比例。
23. 如权利要求21所述的目标移动对象跟踪设备，其中，所述位置估计装置(76)被配置用来确定所述探测区的尺寸，该尺寸 为所述模板图像的尺寸的函数。
24. 如权利要求22或23所述的目标移动对象,设备，其中， 所述位置估计装置(76)被配置用来获得行指数，其为沿着所述有限搜索区域的每一个行布置的、并且具 有像素值"l，，或更大的像素值的像素的数目；选捧连续行组，其每个行都具有大于预定行阈值的行指数；获得列指数，其为沿着所述有PH^索区域的每一个列布置的、并且具 有像素值"l"或更大的像素值的像素的数目；选择连续列组，其每个列都具有大于预定列阈值的列指数；以及进一步将所述有限搜索区域限定到由选择的连续行组和选择的连续 列组所限制的区域。
25. 如权利要求24所述的目标移动对象跟踪设备，其中，所述位置估计装置(76)被配置用来当选择了两个或更多的连续行 组时，仅仅使所述组中更加接近于目标移动对象的所述估计位置的一个组 有效；并且当选择了两个或更多的连续列组时，仅仅使所i^i且中更加接近 于目标移动对象的所述估计位置的一个组有效。
26. 如权利要求22或23所述的目标移动对象^Jf宗设备，其中， 所述位置估计装置(76)被配置用来获得行指数，其为沿着所述有限搜索区域的每一个行布置的、并且具 有像素值"l"或更大的像素值的像素的数目；选棒至少一个连续行组，其每个行都具有大于预定行阈值的行指数；当选择了两个或更多的连续行组时，仅仅使更加接近于目标移动对象 的所述估计位置的一个连续行组有效；获得列指数，其为仅在由所述有效的连续行组所限制的范围内沿着所 述有限搜索区域的每一个列布置的、并且具有1象素值"1"或更大的〗象素值 的像素的数目；选择连续列组，其每一个列都具有大于预定列阈值的列指数；以及进一步将所述有限搜索区域限定到由选择的连续列组和所述有效的 连续行组所限制的区域，
27. 如权利要求22或23所述的目标移动对象^3宗设备，其中， 所述位置估计装置(76)被配置用来获得列指数，其为沿着所述有限搜索区域的每一个列布置的、并且具 有像素值"l"或更大的像素值的像素的数目；选择至少一个连续列组，其每个列都具有大于预定列阈值的列指数；当选择了两个或更多的连续列组时，仅仅使更加接近于目标移动对象 的所述估计位置的 一个连续列组有效；获得行指数，其为仅在由所述有效的连续列组所限制的范围内沿着所 述有限搜索区域的每一个行布置的、并且像素值"l"或更大的像素值的像 素的数目； 选择连续行组，其每一个列都具有大于预定行阅值的行指数；以及进一步将所述有限搜索区域限定到由选择的连续行组和所述有效的 连续列组所限制的区域。
全文摘要
一种目标移动对象跟踪设备，其拍摄目标移动对象的画面图像的时间序列，并且跟踪画面图像中的移动对象的移动，以便显示移动对象的放大的视图。该设备包括模板存储器，其存储模板图像，所述模板图像与从画面图像中给出的时间序列轮廓图像中的每一个轮廓图像进行比较，以便为所述轮廓图像中的每一个确定与模板图像匹配的局部区域，并且提取该局部区域作为移动对象轮廓图像。通过用先前的移动对象轮廓图像的结合来替换模板图像而不断地更新该模板图像，以便准确反映移动对象。
文档编号H04N7/18GK101170683SQ200710142598
公开日2008年4月30日 申请日期2007年8月29日 优先权日2006年10月27日
发明者古川聪 申请人:松下电工株式会社