自动跟踪设备和自动跟踪方法

专利名称：自动跟踪设备和自动跟踪方法
技术领域：
本发明涉及跟踪移动物体的自动跟踪设备和自动跟踪方法。
背景技术：
通常，作为自动跟踪设备，下述监控系统在本领域是公知的。艮口， 当监控系统配置具有摇摄(panning)、俯仰拍摄(tilting)和变焦(zooming) 功能(即PTZ功能)的摄像机时，监控系统以检测侵入预定区域的物 体的方式，执行自动跟踪操作，此外，放大所检测的物体以便可以拍 摄变大的物体使其具有适当尺寸，因此可以更详细地抓住侵入物体。
一般而言，在上述监控系统中，在初始状态下，已经将摄像机的 变焦倍率设置到广角侧，以便监控广泛的区域。在已经检测到侵入物 体后，如果快速地放大所检测的侵入物体，以便将本操作状态变换成 自动跟踪状态，那么图像的变形量增加，因此，当通过执行块匹配操 作、模板匹配操作等跟踪侵入物体时，操作者可能容易失去对侵入物 体的跟踪。因此，以比较低的速度变焦侵入物体，在这种条件下，几 乎不产生由放大和压縮图像引起的不利影响。
作为传统的自动跟踪设备，从专利公开文献1已知一种自动跟踪 设备。这种自动跟踪设备由第一图像存储器、第二图像存储器、多路 分配器、相关计算器，以及移动物体感测程序构成。该相关计算器由 硬件构成，并且预测其拍摄时间彼此不同的图像中的运动矢量，同时 这些图像存储在图像存储器中。移动物体感测程序控制相关计算器以 便感测移动物体是否存在于由摄像机拍摄的图像内。更具体地说，将 图像划分成多个块，然后，由相关计算器计算每一块的运动矢量。移 动物体感测程序追踪所计算的矢量，以便将人的运动与诸如树的摆动
的干扰区分幵来。当移动物体感测程序区分人的运动与干扰时，利用 下述事实即，诸如人的运动矢量可能以沿恒定的方向，具有基本相 同的尺寸出现，而诸如树的摆动的运动以振动方式产生，因此其运动
矢量不会沿恒定方向连续地出现。因此，在以聚类形态(cluster shape) 检测到运动矢量的情况下，移动物体感测程序开始跟踪操作。
在摄像机本身执行摇摄操作和俯仰拍摄操作的情况下，自动跟踪 装置提取表示摄像机本身的运动的背景运动矢量，并且从相应块的矢 量减去背景运动矢量，由此，提取物体的运动矢量，以便跟踪该物体。 当在物体的跟踪操作期间执行变焦操作时，自动跟踪设备从运动矢量 预测放大图像的变化量和压縮图像的变化量，并且通过从相应块的矢 量减去所预测的变化量来预测物体的运动量，以便减少带给跟踪操作 的、由变焦操作引起的不利影响。
从专利公开文献2已知另一传统的自动跟踪设备。为解决下述问 题，这个自动跟踪设备根据多个任意倍率，放大和压縮从成像数据提 取的移动物体的区域，以便形成多个模板图像。在上述问题中，在通 过变焦这个移动物体，放大和压縮该移动物体的情况下，使模板图像 的尺寸不与包含在相片数据中的移动物体的尺寸一致，因此不能跟踪
该移动物体。当通过变焦该移动物体放大和压縮移动物体时，通过采 用对应于放大图像的尺寸和压縮图像的尺寸的放大比和压缩比的模板 图像执行这些模板匹配操作，因此，在考虑这些模板图像和移动对象 之间的相关性的同时，跟踪移动物体。
专利公开1: JP-A-2000-322581 专利公开2: JP-A-2001-24347
发明内容
本发明要解决的问题
然而，如前所述，在上述自动跟踪设备中，以比较低的速度执行变焦操作，以便能几乎不产生由放大和压縮图像引起的不利影响。在 这种情况下，变焦倍率变化至所想要的值的这种状态持续很长时间。 结果，跟踪过程操作容易变得不稳定，例如，跟踪移动物体可能失败。 另一方面，在已经检测到侵入物体后，如果以高速执行用于将现有状 态变换成自动跟踪状态的放大操作，那么过分增加放大或压縮图像的 变化度，因此操作者可能容易失去对物体的跟踪。
本发明是为了来解决上述问题，因此，本发明的目的是提供自动 跟踪装置和自动跟踪方法，其能够解决与变焦操作有关的在自动跟踪
操作中产生的故障，并且在高速执行放大操作(zoom-up operation)或縮 小操作(zoom-down operation)的同时，能够以稳定方式跟踪物体。
解决问题的手段
根据本发明的自动跟踪设备，其特征在于，用于跟踪移动物体的 自动跟踪设备，包括具有变焦机构的摄像机，用于以预定图像角度 进行拍摄；第一物体检测装置，用于从由摄像机拍摄的图像检测物体； 第一变焦控制装置，用于在所检测的物体的尺寸在图像上不满足预定 条件的情况下改变摄像机的变焦倍率；第二物体检测装置，用于在改 变变焦倍率后，从由摄像机再次拍摄的图像检测物体；跟踪装置，用 于将由第二物体检测装置检测的物体与由摄像机拍摄的图像进行比 较，以便在该图像上确定物体的位置并且跟踪物体；以及第二变焦控 制装置，用于以这样的方式控制摄像机的变焦倍率，使得被跟踪的物 体的尺寸在由摄像机拍摄的图像上变为预定尺寸。
由于采用上述结构，这些操作在时间模式上以这样的方式彼此分 开，使得在执行跟踪操作前，从广角图像执行放大操作，此后，执行 自动跟踪操作。结果，能够避免在执行放大过程操作时容易发生的操 作者失去对跟踪点的跟踪的现象。因此，当以高速执行放大操作或縮 小操作时，能解决与变焦操作有关的在自动跟踪操作中出现的故障， 并且能够在稳定条件下跟踪物体。
根据本发明的上述自动跟踪设备，其特征在于，还包括估计装置
(estimating means),用于当通过第一变焦控制装置改变摄像机的变焦倍 率时，估计物体移向的移动目的地；第一摇摄/俯仰拍摄控制装置，用 于朝着物体的估计移动目的地，控制摄像机的摇摄和俯仰拍摄角度； 以及第二摇摄/俯仰拍摄控制装置，用于结合被跟踪装置跟踪的物体的 移动，以这种方式控制摄像机的摇摄和俯仰拍摄角度，使得物体不偏 离图像。
由于采用上述结构，在开始跟踪操作时，在执行变焦控制操作的 情况下，估计被检测物体的移动目的地，并且根据估计的移动目的地， 控制摇摄角度和俯仰拍摄角度。结果，在执行放大过程操作的同时能 够避免在图像内丢失物体的跟踪的现象。因此，能够在稳定条件下执 行物体的自动跟踪操作。
在本发明的上述自动跟踪设备中，与第一变焦控制装置相比，第 二变焦控制装置以较低的速度控制变焦倍率。由于采用上述设置，能 获得物体并在图像上具有稳定尺寸。
在本发明的上述自动跟踪设备中，与第一摇摄/俯仰拍摄控制装置 的速度相比，第二摇摄/俯仰拍摄控制装置以较低的速度控制摇摄角度 和俯仰拍摄角度。由于采用上述设置，能以比较稳定的方式跟踪物体。
在本发明的上述自动跟踪设备中，在从当通过第一变焦控制装置 完成改变变焦倍率时的时刻，以及当通过第一摇摄/俯仰拍摄控制装置 完成控制摇摄角度和俯仰拍摄角度时的另一时刻所选择的任一稍后时 刻，估计装置估计移动目的地；并且第一摇摄/俯仰拍摄控制装置朝着 物体的估计移动方向，控制摄像机的摇摄角度和俯仰拍摄角度。由于 采用这种设置，当执行变焦过程操作时，能牢固地抓住物体的移动目 的地位置。 根据本发明的自动跟踪方法，其特征在于，用于跟踪移动物体的 自动跟踪方法，包括第一物体检测步骤，用于从由配置有变焦机构 并以预定图像角度拍摄的摄像机拍摄的图像检测物体；第一变焦控制 步骤，用于在所检测的物体的尺寸在图像上不满足预定条件的情况下， 改变摄像机的变焦倍率；第二物体检测步骤，用于在改变变焦倍率后， 从再次由摄像机拍摄的图像检测物体；跟踪步骤，用于将由第二物体
检测步骤检测的物体与由摄像机拍摄的图像进行比较，以便在图像上
确定物体的位置并跟踪物体；以及第二变焦控制步骤，用于以这样的 方式控制摄像机的变焦倍率，使得被跟踪的物体的尺寸在由摄像机拍 摄的图像上变为预定尺寸。
由于采用上述的顺序操作，当以较高的速度执行放大操作或縮小 操作时，能解决与变焦操作有关的、自动跟踪操作中出现的故障，并 且能够在稳定条件下跟踪该物体。
在本发明的上述自动跟踪方法中，该自动跟踪方法包括估计步
骤，用于当通过第一变焦控制步骤改变摄像机的变焦倍率时，估计物
体移向的移动目的地；第一摇摄/俯仰拍摄控制步骤，用于朝着物体的
估计移动目的地，控制摄像机的摇摄和俯仰拍摄角度；以及第二摇摄/ 俯仰拍摄控制步骤，用于结合由跟踪步骤跟踪的物体的移动，以这样 的方式控制摄像机的摇摄和俯仰拍摄角度，使得物体不偏离图像。
由于采用上述自动跟踪方法，此外，在执行放大过程操作的同时 能够避免在图像内丢失物体的跟踪的现象。因此，能够在比较稳定的 条件下执行物体的自动跟踪操作。
本发明提供程序，用于使计算机起在上述发明构思的任何一个中 所述的自动跟踪设备的各装置的作用。
本发明的优点
根据本发明，能够提供自动跟踪装置和自动跟踪方法，其能够解 决与变焦操作相关的在自动跟踪操作中产生的故障，并且在以高速进 行放大操作或缩小操作的同时，以稳定方式跟踪物体。


图1是用于示出根据本发明的实施方式的自动跟踪摄像机的外部 结构视图的示意图。
图2是用于表示根据本实施方式的监控摄像机系统的硬件配置的框图。
图3是用于示出在根据本实施方式的监控摄像机系统中采用的的 控制单元的功能结构的框图。
图4是用于表示包含根据已经产生图像的时间变化检测的运动的 区域的图像的示意图。
图5是用于表示包含放大物体的图像的示意图。
图6是用于表示根据本实施方式的模板匹配操作的示意图。
图7是用于表示相关映射(map)的示意图，其中在二维数组中表
示搜索区内的相应位置的相关值。
图8是用于描述根据本发明的本实施方式的自动跟踪过程顺序的
流程图。
参考数字和符号的描述 8摄像机 11旋转台
10成像单元(自动跟踪摄像机)
20 控制单元
21 CPU
22 ROM
23 RAM
24图像存储器 30监控器
51图像输入单元
52第一物体检测单元
53第一变焦控制单元
54第一摇摄/俯仰拍摄控制单元
55第二物体检测单元
56模板匹配单元
57第二变焦控制单元
58第二摇摄/俯仰拍摄控制单元
59图像输出单元
具体实施例方式
根据本发明的实施方式的自动跟踪装置适用于监控摄像机系统等 等，并且配置有能够自动地检测诸如侵入的人这一类的物体，并且能 自动地跟踪被检测的物体的功能。上述监控摄像机系统在其上安装能
执行摇摄、俯仰拍摄和变焦操作(即PTZ操作)的自动跟踪摄像机。
图1是用于示出根据本发明实施方式的自动跟踪摄像机10的外部 结构视图的示意图。自动跟踪摄像机10具有安装在天花板6上的圆顶 型外壳3。存放在圆顶型外壳3中装有光学变焦机构的摄像机8和旋转 台11 (参见图2)。装有光学变焦机构的摄像机8从以这样的方式形 成的凹槽部3a露出，使得这个摄像机8穿过该凹槽部3a的末端部分的 中心部分。上述旋转台11能沿摇摄方向以360度的角度自由地旋转摄 像机8，此外，能沿俯仰拍摄方向以180度的角度自由地旋转摄像机8。 摄像机8以通过上述光学变焦机构调整的图像角拍摄图像。
图2是用于表示根据本实施方式的监控摄像机系统的硬件结构的 框图。监控摄像机系统主要由成像单元(自动跟踪摄像机)10以及由 操作显示单元15和控制单元20构成的数据处理单元构成。
如前所述，成像单元10包含存放在圆顶型外壳3中的摄像机和旋
转台ll。操作显示单元15具有监控器30、操纵杆33和鼠标34。
控制单元20包含通过采用下面所述的经由总线28彼此连接的结 构元件构成的配置。这些结构元件在本技术领域是熟知的，即，CPU21、 ROM22、RAM23、在其中存储由摄像机8拍摄的图像的图像存储器24、 驱动旋转台11的驱动接口 (I/F) 25、控制摄像机的变焦操作、快门等， 并且输入由摄像机8拍摄的图像的摄像机(I/F) 26、将所拍摄的图像 输出到外部监控器30的监控器(I/F) 27、计数时刻的定时器29以及 输入/输出(I/O)接口 32。
用于将设置的搜索范围存储在其中的的搜索范围存储单元23a已 经设置在RAM23中。模板图像寄存在其中的模板存储单元24a已经设 置在图像存储器24中。操纵杆33和鼠标34均连接到I/0接口 32，其 对于在监控器30上显示的拍摄图像发出输入指令。
图3是示出设置在根据本实施方式的监控摄像机系统中的控制单 元20的功能结构的框图。控制单元20具有如下配置的功能结构图 像输入单元51、第一物体检测单元52、第一变焦控制单元53、第一摇 摄/俯仰拍摄控制单元54、第二物体检测单元55、模板匹配单元56、 第二变焦控制单元57、第二摇摄/俯仰拍摄控制单元58和图像输出单 元59。图像输入单元51输入由设置在拍摄单元10中的摄像机8拍摄 的图像。
在这种情况下，第一物体检测单元52对应于第一物体检测装置的 例子，第一变焦控制单元53对应于第一变焦控制装置的例子，第二物 体检测单元55对应于第二物体检测装置的例子，模板匹配单元56对 应于跟踪装置的例子，以及第二变焦控制单元57对应于第二变焦控制 装置的例子。第一摇摄/俯仰拍摄控制单元54具有估计装置的功能和第 一摇摄/俯仰拍摄控制装置的功能。此外，第二摇摄/俯仰拍摄控制单元
58具有第二摇摄/俯仰拍摄控制装置的功能。
第一物体检测单元52通过检测从图像输入单元51输入的时间变 化，检测侵入在图像中的物体。在这种物体检测操作中，例如，采用
帧间差分方法(inter frame difference method),以便检测物体区域，而帧 间差分方法作为图像内的运动检测手段广泛地熟知。换句话说，相对 于在不同拍摄时刻获得的多个图像中的每个像素，计算差分绝对值， 并且在该计算的差分绝对差值超过阈值的情况下，由此判定相关区域 是运动己经产生的区域。在运动产生的区域被检测为具有大于或等于 预定尺寸(例如，物体的高与图像的高的比率为1/10)的尺寸的聚类 形态，而且，聚类的重心的移动轨迹能满足预定条件(例如，重心沿 预定方向并且以基本恒定的速度移动)的情况下，由此判定物体已经 侵入图像中(即，发现移动物体)。
图4是用于示出包含根据已经产生图像的时间变化而检测到的运 动的区域的图像的示意图。在这个图中，用阴影线示出上述产生运动 的区域。在本实施方式的监控摄像机系统中，已经假定产生运动的区 域对应于人，即，侵入物体是人。
第一变焦控制单元53在物体区的图像的尺寸不能满足预定条件 的情况下，改变摄像机8的变焦倍率。为改变变焦倍率，判断在图像 上由第一物体检测单元52检测的物体的尺寸是否满足预定条件；并且 在检测物体图像的尺寸太小的情况下，放大这个检测物体的图像，直 到能实现目标变焦倍率，以便可以将所检测的物体的太小的尺寸可以 视为这个检测物体的预定尺寸为止。相反，可以想像縮小被检测物体 图像的尺寸。然而，在通用监控摄像机系统中，在异常事件还没有发 生的情况下，存在许多可能性，将变焦透镜设置到其广角侧，而如果 被观察的物体出现侵入，于是将变焦透镜设置成远摄侧，以便放大被 观察的物体。
图5是用于示出包含放大物体的图像的示意图。在本实施方式中， 现在假定被检测物体对应于人，在人的整个高度与图像的高度的比率
小于阈值"TH1"(例如l/5)的情况下，以这样的方式改变变焦倍率， 使得可以观察到其比率为约1/4至1/2的人的图像。
第一摇摄/俯仰拍摄控制单元54朝着物体的估计移动位置，控制 摇摄角度和俯仰拍摄角度。当由第一变焦控制单元53执行变焦控制操 作时，同时执行摇摄角度和俯仰拍摄角度的控制操作。第一摇摄/俯仰 拍摄控制单元54执行定中过程，以便由第一物体检测单元52检测的 物体不偏离图像(拍摄图像)的区域，以便在稳定状态下，在图像的 中心附近执行拍摄操作。
然而，存在这样的情况，即在第一变焦控制单元53已经相对于成 像单元10发出开始变焦控制操作的指令后，直到成像单元10完成变 焦控制操作为止要求从几百毫秒到几毫秒限定的持续时间。在最槽的 情况下，当正好完成摇摄控制操作、俯仰拍摄控制操作和变焦控制操 作时，可以设想下述情形即，移动物体还没有出现图像中心，或可 能偏离该图像。
因此，在本实施方式中，假定通过利用由第一物体检测单元52计 算的物体的移动轨迹，移动物体基本上以人行走的速度移动，而当完 成摇摄、俯仰拍摄和变焦控制操作时，在预定时刻，朝着物体的位置 控制摇摄角度和俯仰拍摄角度时，移动并旋转摄像机8。换句话说，估 计物体可能移向的位置，而不是当前位置，因此，根据估计位置，执 行摇摄控制操作和俯仰拍摄控制操作。作为移动目的地的估计，可以 估计在任何一个稍后时刻的移动目的地，稍后时刻是从当完成变焦倍 率的变化的时刻和当完成摇摄角度和俯仰拍摄角度的控制操作时的另 一时刻选择的。在这种情况下，应当理解，可以响应控制量，预先计 算摇摄、俯仰拍摄和变焦控制操作所需的持续时间。
应当理解，不仅根据物体的移动方向和人的一般行走速度估计物 体的移动目的地，而且可以真正地计算物体的移动速度，然后，通过 采用所计算的移动速度，另外计算摇摄角度和俯仰拍摄角度。结果， 即便当对摇摄控制操作和俯仰拍摄控制操作需要稍微长的时间时，可 以在当完成摇摄控制操作和俯仰拍摄控制操作时的时刻，在图像中心 附近的位置抓住被检测的物体。
第二物体检测单元55再次检测在已经执行摇摄、俯仰拍摄和变焦 (PTZ)控制操作后产生的应当存在于图像内的物体。在这种情况下，
与上述第一物体检测单元52类似，第二物体检测单元55提取根据帧 间差分方法产生运动的区域，并且在诸如物体的尺寸和物体的移动轨 迹的特征量能满足预定条件的情况下，第二物体检测单元55将上述区 域检测为物体。在这个物体检测过程操作中，已经完成摄像机8的所 有PTZ操作，并且暂时变为静止状态。
应当指出，由于以较大和较详细方式拍摄构成拍摄物体的物体， 与由第一物体检测单元52执行的物体检测过程操作的精度相比，可以 可选地改变检测状态的精度，可以相对于第一物体检测单元52的参数， 可选地设置第二物体检测单元52的不同参数，或可以使由第二物体检 测单元55进行的物体检测过程操作可以可选地不同于由第一物体检测 单元52进行的物体检测过程操作。此外，尽管已经预先存储有关由第 一物体检测单元52检测的移动物体的特征量，诸如颜色、亮度模式或 直方图，但是第二物体检测单元55可以通过附加判断相关物体是否是 具有与上述特征量近似的特征量的物体，可选地检测物体。
模板匹配单元56提取由第二物体检测单元55检测的物体的特征 作为模板，并且当计算这种提取模板和搜索范围内的输入图像之间的 相互关系时，跟踪物体区域。应当理解，当在图像上由第一物体检测 单元52检测的物体的尺寸能满足预定条件时，模板匹配单元56提取 由第一物体检测单元52检测的物体的特征作为模板。
图6是用于表示与本实施方式有关的模板匹配操作的示意图。首
先，模板匹配单元56从第二物体检测单元55己经检测到物体的区域 提取初始模板图像(跟踪点)。模板匹配单元56提取一个所需图像，
或相对于相同物体其更新时刻彼此不同的多个图像，然后，将所提取
的图像存储在模板存储单元24a中。在该现有模板图像和输入图像之 间的相关性变低的情况下，模板匹配单元56增加模板图像，其总数变 为其可存储数的上限。当所增加的模板图像达到可存储数的上限时，
根据新模板图像数据，可以更新较旧的模板图像数据。应当理解当连 续地存储过去获得的模板图像的几张到几十张时有效。可选地，在过 去获得的一张这种模板图像可以连续地存储。
然后，在几十毫秒到几百毫秒的每个时间周期，模板匹配单元56 从输入图像"I"反复地搜索相应区域301，其相关性变为关于模板图 像"T"的最高值，以便跟踪物体。在存在多个模板图像的情况下，通 过采用构成被摄体(subject)的所有模板图像，模板匹配单元56搜索 相应区域301。
作为待搜索的范围，模板匹配单元56相对于最新输入图像"I"， 沿水平方向和垂直方向设置几十个像素构成的搜索区域302，而将与在 先前过程操作中的模板图像具有最高相关性的区域定义为参考区域。 模板匹配单元56顺序地获得关于模板图像"T"的相关性，同时扫描 该搜索范围302内的区域。应当理解尽管可以想到根据输入图像的整 个区域定义搜索范围，但一般而言，由于下述原因限制搜索范围。艮P， 过度地增加用于输入图像的整个区域的计算量，易于产生错误的相应 区域等。尽管根据物体的运动可以限制搜索范围的尺寸，但是希望沿 水平方向和垂直方向，将该搜索范围的尺寸限制在从几像素到大约几 十像素。
在本实施方式中，作为相关值的指标，表示已经采用正规化函数说明书第13/18页
的情形。在将模板图像"T"的尺寸定义为K (H) *L (V)像素的情 况下，模板图像"T(p，q)"和由当前帧图像"I (x，y)"内的K(H)*L(V) 像素构成的矩形区之间的正规化相关性"NRM (xv，yv)"可以由下 述公式(1)表示。
公式1
正规化相关值NRML (xv，yv)=
<formula>formula see original document page 17</formula>
注意假定本帧内的矩形区(K化像素)中的亮度的平均值为'
并且模板图像中的亮度的平均值为"T."。
(1)
相对于正规化相关性"NRM (xv，yv)"，两者图像之间的相关性 增加越高，正规化相关值变为越接近近似等于值1.0。当在两者图像之 间没有相关性时，正规化相关值变为值0。
图7是用于示出相关映射的示意图，其中在搜索区内的各个位置 的相关值表示在二维数组中。在相关映射中，其相关值变为峰值的对 应区301对应于物体的移动目的地。应当理解在图7中，相关值以这 样的方式表示，使得相关值变为越高，峰值可能出现在谷侧上。
在本实施方式中，举例说明下述情形即通过采用正规化相关， 计算输入图像和模板图像之间的相关值。可选地，通过采用具有较小
计算量的差分方法，或差分绝对值求和方法，可以计算输入图像和模 板图像之间的相关值。本实施方式已经举例说明通过釆用亮度值，计 算输入图像和模板图像之间的相关值的情形。另外，为计算相关值， 根据情况可以可选地釆用颜色、边缘等。
一般而言，将模板图像的大小设置成包含物体区的整个部分的尺 寸。可选地，可以将物体的一个带特征的部分，例如，可以提取物体 区的头部的周围部分作为模板图像。当开始跟踪操作时形成初始模板 图像时，可以可选地利用由第一物体检测单元52和第二物体检测单元
55检测的物体的上述图像，或由操作者通过诸如操纵杆33、鼠标34 等的指示装置指定的位置的图像。此外，可选地，可以识别具有所希 望的物体存在于图像内的高概率的区域，以便提取。另外，可以想到 另一技术构思，通过该构思，当想要跟踪该物体时，预先准备物体的 模板图像。
第二变焦控制单元57控制摄像机8的变焦倍率，以便在跟踪物体 时可以拍摄物体，使其具有适当的尺寸。第一变焦控制单元53以尽可 能许可的较高速度控制变焦倍率，而第二变焦控制单元57以如下程度 的比较低的速度控制变焦倍率，使得对通过模板匹配单元56的物体的 跟踪操作不产生不利影响，即，以逐渐地放大和压縮图像的方式控制 变焦倍率。原因如下即，由于通过第二变焦控制单元57的变焦控制
操作非常精细，即使当以低速控制变焦倍率时，变焦控制操作所需的 时间非常短。结合到摄像机的测量的距离的变化，改变在跟踪操作下 的物体的尺寸。在物体的尺寸在图像上超出预定范围的情况下，第二 变焦控制单元57控制变焦倍率以便物体的尺寸不偏离预定范围。例如， 在人接近摄像机的情况下，由于在图像上增加物体的尺寸，当物体的 尺寸超出预定范围时，第二变焦控制单元57控制广角侧的变焦倍率， 以便可以将物体存储在预定范围中。
第二摇摄/俯仰拍摄控制单元58结合由模板匹配单元56获得的物 体区的移动控制摇摄角度和俯仰拍摄角度，以便在跟踪操作下的物体 不偏离图像。因此，即使当在跟踪操作下的物体在监控区内移动时， 也可以在屏幕的中心附近的位置连续地拍摄该物体。第一摇摄/俯仰拍 摄控制单元54已经以尽可能允许的较高速度执行摇摄/俯仰拍摄控制 操作，而第二摇摄/俯仰拍摄单元57以如下程度的较低速度控制摇摄角
度和俯仰拍摄角度，使得对通过模板匹配单元56的物体的跟踪过程操 作不产生不利影响。
图像输出单元59将所处理的结果等等叠加在输入图像上，然后， 将叠加的图像输出到外部监控器30。
描述具有上述结构的监控摄像机系统的操作。图8是用于描述与 本实施方式相关的自动跟踪过程顺序的流程图。这种过程程序已经存 储在ROM22中，并由监控摄像机系统中的CPU21执行。
首先，CPU21执行用于捕获由摄像机8拍摄的图像的过程(捕获) 操作(步骤S1) 。 CPU21检测在捕获的图像中的时间变化，以便检测 在捕获的图像中的侵入的物体(步骤S2)。
在本实施方式中，在发生运动的区域被检测为具有大于或等于预 定尺寸(例如，物体相对于图像的高的的高的比率为1/10)的尺寸的 聚类形态，以及聚类重心的移动轨迹能够满足预定条件(例如，沿预 定方向并按基本恒定的速度移动重心)的情况下，CPU21判定物体已 经侵入图像中。在这种情况下，假定侵入物体为作为被跟踪的被摄物 的人(参见图4)。
然后，CPU21判定所检测的物体区域的尺寸在图像上是否能够满 足预定条件(步骤S3)。在这种情况下，CPU21判断相对于图像的高 度的物体区域的高度(整个长度)是否小于阈值"TH1 (例如1/5)"。 在相对于图像的高度的物体的高度的比率小于阈值"TH1"的情况下， 改变摄像机8的变焦倍率(步骤S4)，并且朝着物体的估计移动目的 地，控制摇摄角度和俯仰拍摄角度(步骤S5)。如前所述，在步骤S4 和S5， CPU21控制摄像机8的变焦倍率、摇摄角度和俯仰拍摄角度， 以便物体的尺寸变为预定尺寸，此后，再次检测物体(步骤S6)。
另一方面，在相对于图像的高度的物体的高度的比率大于或等于
阈值"TH1"的情况下，CPU21不执行在上述步骤S4、 S5和S6中定 义的过程操作。
此后，提取被检测的物体的特征作为模板图像，然后，执行模板 匹配操作，通过该操作，在搜索范围内跟踪物体区域，同时计算这个 提取的模板图像和输入图像之间的相关性(步骤S7)。在跟踪操作期 间，以这样的方式控制摄像机8的变焦倍率，使得可以拍摄物体同时 具有适当尺寸(步骤S8)。此外，结合在模板匹配操作中获得的物体 区的移动控制摇摄角度和俯仰拍摄角度，以便在跟踪操作期间物体不 偏离图像(步骤S9)。将从摄像机8产生的图像输出到监控器30，同 时控制摄像机8的变焦倍率、摇摄角度和俯仰拍摄角度(步骤SIO)。 于是，CPU21判断跟踪操作是否完成(步骤Sll)。当跟踪操作完成 时，CPU21完成本过程操作。作为CPU21判断完成跟踪操作的情形， 可以想到下述情形即，例如，物体区域已经移向不能由拍摄单元10 拍摄物体的区域的情形(即，在监控区外)，以及发出用于完成跟踪 操作的指令的另一情形等。另一方面，在还未完成跟踪操作的情况下， 使过程操作返回到在步骤S7中定义的上述过程操作。
如前所述，在本实施方式的监控摄像机系统中，在拍摄图像上观 察到所检测的物体，其尺寸小于预定尺寸的情况下，当未立即开始跟 踪操作时，高速变焦物体，直到物体的尺寸变为预定尺寸为止。此后， 在再次拍摄的图像上，检测该物体，并且开始其跟踪操作。结果，能 够避免由于长时间执行变焦控制操作而引起的不稳定的跟踪过程，因 此能够实现稳定的跟踪操作。
在高速放大物体直到放大物体的尺寸变为预定尺寸的情况下，虽 然这个时间需要约几秒的时间以便执行上述变焦控制操作，但是在该 时间期间估计物体的移动目的地位置，以及朝着该估计的移动目的地 位置，控制摇摄角度和俯仰拍摄角度。因此，通过采用牢牢地抓住在
放大操作后已经检测到的物体的图像，能够再次检测该物体。因此， 能够实现比较稳定的跟踪操作。
应当理解，本发明不是只限于上述实施方式的方案，而是可以可 选地以各种方式变化。例如，尽管上述实施方式举例说明了当将侵入 物体被假定为人类的情形，第一变焦控制单元根据相对于图像的高度 的物体的高度的比率，执行变焦控制操作的情形。可选地，当假定侵 入物体是动物而不是人类时，第一变焦控制单元可以根据物体的宽度 和物体的面积，执行变焦控制操作。
在上述实施方式中，采用具有摇摄角度和俯仰拍摄角度的极坐标 用作三维坐标。可选地，可以采用由X轴、Y轴和Z轴构成的直角坐 标，以便控制摄像机的方向。
在上述实施方式中，单独地设置自动跟踪摄像机IO和数据处理设
备(包含控制单元20和操作显示单元15)。可选地，自动跟踪摄像机 IO和数据处理设备可以存放在相同外壳中。
如前所述，根据本实施方式，当以较高速度执行放大操作或縮小 操作时，能够解决在与变焦操作有关的自动跟踪操作中出现的故障， 并且能够在稳定条件下能跟踪该物体。换句话说，可以避免丢失跟踪 点的现象，而这种现象在放大过程操作期间容易出现。在当开始跟踪 操作时，执行变焦控制操作的情况下，估计被检测的物体的移动目的 地，并且根据估计的移动目的地，控制摇摄角度和俯仰拍摄角度。因 此，在执行放大过程操作的同时能够避免在图像内丢失物体的跟踪的 现象。因此，能够在稳定条件下执行自动跟踪操作。
虽然已经详细地，或参考具体实施方式
描述了本发明，但是对普 通技术工程师来说，在不背离本发明的技术范围和精神的情况下，可 以以各种方式改进、修改和替代。
在要求2006年1月31日提交的日本专利申请(JP-A-2006-022887)
的优先权的基础上提交本专利申请，其内容在此引入以供参考。
工业适用性
本发明适合应用于这样的自动跟踪装置和自动跟踪方法，其能跟 踪移动物体，具有能解决在与变焦控制操作有关的自动跟踪操作中出 现的故障，并且能够在稳定条件下跟踪物体的效果，同时以高速对于 该物体执行放大操作或縮小操作。
权利要求
1. 一种用于跟踪移动物体的自动跟踪设备，包括第一物体检测装置，用于从由配置有变焦机构并以预定图像角度拍摄的摄像机拍摄的图像检测所述物体；第一变焦控制装置，用于在所检测的物体的尺寸在图像上不满足预定条件的情况下，改变所述摄像机的变焦倍率；第二物体检测装置，用于在改变变焦倍率后从再次由所述摄像机拍摄的图像检测所述物体；跟踪装置，用于将由所述第二物体检测装置检测的物体与由所述摄像机拍摄的图像进行比较，以便在所述图像上确定所述物体的位置并跟踪所述物体；以及第二变焦控制装置，用于以这样的方式控制所述摄像机的变焦倍率，使得被跟踪的物体的尺寸在由所述摄像机拍摄的图像上变为预定尺寸。
2. 如权利要求1所述的自动跟踪设备，其中，所述自动跟踪设备 包括估计装置，用于当通过所述第一变焦控制装置改变所述摄像机的 变焦倍率时，估计所述物体移向的移动目的地；第一摇摄/俯仰拍摄控制装置，用于朝着所述物体的估计移动目的 地，控制所述摄像机的摇摄和俯仰拍摄角度；以及第二摇摄/俯仰拍摄控制装置，用于结合由所述跟踪装置跟踪的所 述物体的移动，以这样的方式控制所述摄像机的摇摄和俯仰拍摄角度， 使所述物体不偏离所述图像。
3. 如权利要求1或权利要求2所述的自动跟踪设备，其中，与所 述第一变焦控制装置的速度相比，所述第二变焦控制装置以较低的速 度控制所述变焦倍率。
4. 如权利要求2所述的自动跟踪设备，其中，与所述第一摇摄/ 俯仰拍摄控制装置的速度相比，所述第二摇摄/俯仰拍摄控制装置以较 低的速度控制所述摇摄角度和俯仰拍摄角度。
5. 如权利要求2所述的自动跟踪设备，其中，在从当通过所述第一变焦控制装置完成改变所述变焦倍率时的时 刻，以及当通过所述第一摇摄/俯仰拍摄控制装置完成控制所述摇摄角 度和俯仰拍摄角度时的另一时刻选择的任一稍后时刻，所述估计装置估计所述移动目的地；以及所述第一摇摄/俯仰拍摄控制装置朝着所述物体的估计移动方向， 控制所述摄像机的摇摄角度和俯仰拍摄角度。
6. —种用于跟踪移动物件的自动跟踪设备，包括具有变焦机构的摄像机，用于以预定图像角度拍摄； 第一物体检测装置，用于从由所述摄像机拍摄的图像检测所述物体；第一变焦控制装置，用于在所检测的物体的尺寸在所述图像上不 满足预定条件的情况下改变所述摄像机的变焦倍率；第二物体检测装置，用于在改变变焦倍率后从再次由所述摄像机拍摄的图像检测所述物体；跟踪装置，用于将由所述第二物体检测装置检测的物体与由所述 摄像机拍摄的图像进行比较，以便在所述图像上确定所述物体的位置 并跟踪所述物体；以及第二变焦控制装置，用于以这样的方式控制所述摄像机的变焦倍 率，使得被跟踪的物体的尺寸在由所述摄像机拍摄的图像上变为预定 尺寸。
7. —种用于跟踪移动物体的自动跟踪方法，包括 第一物体检测步骤，从由配置有变焦机构并以预定图像角度拍摄的摄像机拍摄的图像检测所述物体； 第一变焦控制步骤，在所检测的物体的尺寸在所述图像上不满足 预定条件的情况下，改变所述摄像机的变焦倍率；第二物体检测步骤，在改变变焦倍率后，从再次由所述摄像机拍 摄的图像检测所述物体；跟踪步骤，将由所述第二物体检测步骤检测的所述物体与由所述 摄像机拍摄的所述图像进行比较，以便在所述图像上确定所述物体的 位置并跟踪所述物体；以及第二变焦控制步骤，以这样方式控制所述摄像机的变焦倍率，使 得被跟踪的物体的尺寸在由所述摄像机拍摄的图像上变为预定尺寸。
8. 如权利要求7所述的自动跟踪方法，其中，所述自动跟踪方法包括估计步骤，当通过所述第一变焦控制步骤改变所述摄像机的变焦 倍率时，估计所述物体移向的移动目的地；第一摇摄/俯仰拍摄控制步骤，朝着所述物体的估计移动目的地， 控制所述摄像机的摇摄和俯仰拍摄角度；以及第二摇摄/俯仰拍摄控制步骤，结合由所述跟踪步骤跟踪的所述物 体的移动，以这样方式控制所述摄像机的摇摄和俯仰拍摄角度，使所 述物体不偏离所述图像。
9. 一种程序，用于使计算机起在权利要求1至5的任何一个中所 述自动跟踪设备的各装置的作用。
全文摘要
一种自动跟踪设备，能解决与变焦操作有关的自动跟踪操作中出现的故障，并且能以稳定方式跟踪物体，同时高速执行放大操作或缩小操作。一种自动跟踪设备，配置有第一物体检测单元(52)，用于从摄像机拍摄的图像并输入的图像检测物体；第一变焦控制单元(53)，用于在所检测的物体的尺寸在图像上不满足预定尺寸的情况下改变摄像机的变焦倍率；第二物体检测单元(55)，用于在改变变焦倍率后，从再次由摄像机拍摄的图像检测物体；模板匹配单元(56)，用于将由第二物体检测单元检测的物体与由摄像机拍摄的图像进行比较，以便在图像上确定物体的位置并跟踪物体；以及第二变焦控制单元(57)，用于以这样的方式控制摄像机的变焦倍率，使得跟踪的物体的尺寸在由摄像机拍摄的图像上变为预定尺寸。
文档编号G06T1/00GK101379825SQ200780004158
公开日2009年3月4日 申请日期2007年1月30日 优先权日2006年1月31日
发明者大薮觉, 道本泰之 申请人:松下电器产业株式会社