专利名称：自动跟踪移动目标的设备和方法
技术领域：
总的来说，本发明涉及一种跟踪移动目标的设备和方法，具体来说，本发明涉及一种通过对输入图像进行信号处理来自动检测移动目标并跟踪该移动目标，直到该移动目标离开监视区为止的设备和方法背景技术世界上存在各种各样根据输入图像信息自动检测和跟踪移动目标的跟踪系统。
以下是一些在这种通过输入图像信息跟踪移动目标的跟踪系统中使用的跟踪方法的典型例子。
1.根据两帧之间的差信号跟踪2.根据相关性(块匹配算法)跟踪3.根据干扰图跟踪4.根据彩色分布跟踪5.根据光流(optical flow)跟踪尽管有一些优点，但包括了上述方法的目前可用的大多数跟踪方法，由于速度和精确度的问题而难以商业化。
2000年4月28日提交的申请号为10-2000-22818的韩国专利申请公开了一种多移动目标的跟踪和监视系统，它是各种跟踪方法的组合形式。
该多移动目标跟踪和监视系统主要包括总监视设备和局部监视设备。总监视设备具有一个监视大面积的固定摄像机，并且登记和跟踪在一个预定监视范围内的所有移动目标。对于登记的移动目标当中的某个移动目标来说，总监视设备把跟踪命令发送给局部监视设备以跟踪该移动目标，由此，局部监视设备持续跟踪该移动目标，直到该移动目标离开监视区为止。
图1是表示多移动目标的跟踪和监视系统的局部监视设备的框图局部监视设备100包括摄像机10、图像输入单元20，接收对应于来自摄像机10的图像的输入信号；图像补偿单元30，消除输入图像信号的噪声系数；运动检测单元40，根据从补偿的输入图像信号的干扰图检测移动目标的运动；移动目标提取单元50，把输入图像信号与移动目标分开；移动目标跟踪单元60，根据移动目标的提取位置和速度信息跟踪移动目标；以及摄像机运动补偿单元70，根据摄像机10的运动补偿输入图像信号。
下面将参考图2的流程图描述上述的局部监视设备100的操作。
首先，当摄像机10拍摄的图像在操作S1被输入到图像输入单元20中时，图像补偿单元30在操作S2过滤输入图像信号以消除其中的噪声系数，并且，摄像机运动补偿单元70在操作S3根据摄像机10的运动补偿输入图像信号。接着，根据补偿的输入图像信号，运动检测单元40在操作S4利用干扰图算法检测移动目标的运动。在操作S5，移动目标提取单元50通过在干扰图提取的运动区域中的图像的分解和合成来提取移动目标的实际图像。随后，在操作S6，移动目标提取单元50通过把提取的移动目标的位置和速度信息应用于使用卡尔曼滤波器的估计算法来估计移动目标的下一个位置，并在随后跟踪移动目标。当移动目标停止并由此而没有进一步的运动时，或者当许多个目标彼此交叉而难以跟踪移动目标时，在操作S7，该跟踪处理通过使用块匹配处理而继续。由于移动目标的运动被检测到，因此，摄像机10在操作S8根据移动目标的运动而移动。之后，移动目标的跟踪处理重复上述过程。
在这种多移动目标的跟踪和监视系统中，许多算法被使用，在这些算法当中，干扰图算法是一种用于自动获得或提取关于移动目标的信息的典型例子。为了跟踪移动目标，可以使用块匹配算法。
在一种传统的移动目标跟踪系统中，当摄像机处于静态时，基于干扰图算法的提取性能是令人满意的。但是，当摄像机处于运动状态时，则不可避免地需要进行图像补偿。为此，传统的技术使用了摄像机补偿算法，这将使系统处理的数据量增加，并因此引起数据处理的过载。
块匹配算法已经被用于跟踪移动目标，它也会降低数据处理速度，这是因为，块尺寸会随着移动目标的移动而增加，而且尺寸、形状或者亮度会改变。
发明内容
因此，本发明的一个目的就是提供一种自动移动目标跟踪设备及其方法，它提供了一种新的跟踪概念，它不需要摄像机移动的补偿处理，而利用了干扰图算法的优点，即利用固定摄像机对移动目标的优良跟踪性能。通过使用最少的图像处理获得关于移动目标的信息，以及对移动目标的运动和对周围环境的变化的自适应，可以分别提高处理速度和跟踪性能。
本发明的其它目的和优点将会在下面的描述中部分提及，并将通过下面的描述而部分地显见，或者也可通过本发明的实践而了解。
上述及其它目的可通过提供一种根据本发明一个实施例的运动目标跟踪设备来实现。该移动目标跟踪设备包括拍摄监视区域的摄像单元；二进制干扰图像发生单元，通过由摄像单元获得的输入图像信号产生二进制干扰图像信号；运动目标获取单元，通过使用移动窗口，即使用预定尺寸的原始跟踪窗并调节原始跟踪窗的尺寸以使二进制干扰图像信号含有移动目标，可通过二进制干扰图像信号获得有关移动目标的信息；移动目标自动跟踪单元，根据目前获得的信息和以前获得的关于移动目标中心的信息来估计移动目标在下一帧的中心的位置，移动跟踪窗的中心至估计移动目标所移动到的中心位置，并获得跟踪窗中的移动目标的实际中心和跟踪窗的尺寸的信息；以及跟踪状态确定单元，把关于移动目标的实际信息与关于移动目标的估计信息相比较，并根据由此产生的误差范围确定跟踪状态，关于移动目标的实际信息通过下一帧获得。
移动目标跟踪设备包括一个输入图像预处理单元，它将提高通过摄像处理输入的输入图像信号的处理速度，并在随后预处理输入图像信号，以消除输入图像信号的噪声。
移动目标跟踪设备包括一个摄像控制单元，当跟踪窗的中心位于整个输入图像区的预定范围之外时，它用于把摄像单元的拍摄方向移动至所估计的移动目标移动到的估计的方向上。对输入图像的拍摄控制和信号处理均以时分为基础来执行。
以上及其它目的也可通过提供一种根据本发明另一个实施例的移动目标跟踪方法来实现。该移动目标跟踪方法包括拍摄监视区域；通过从摄像单元获得的输入图像信号产生二进制干扰图像信号；通过使用移动窗口，即，使用预定尺寸的原始跟踪窗并调节原始跟踪窗的尺寸以使二进制干扰图像信号包含有移动目标，可通过二进制干扰图像信号获得有关移动目标的信息；根据目前获得的信息和以前获得的有关移动目标中心的信息估计移动目标在下一帧的中心位置，移动跟踪窗的中心至估计的移动目标移动到的中心位置，获得跟踪窗中的有关移动目标的实际中心和移动窗尺寸的信息；而且，把有关移动目标的实际信息与关于移动目标的估计信息相比较，并根据由此产生的误差范围确定跟踪状态，有关移动目标的实际信息通过下一帧获得。
该移动目标跟踪方法包括提高通过摄像处理输入的图像的处理速度，并在随后预处理输入图像以消除噪声。
该移动目标跟踪方法包括一个摄像控制操作，当跟踪窗的中心位于整个输入图像区域的预定范围之外时，它用于把摄像单元的拍摄方向移动(变化)至估计的移动目标所移动到的估计的方向上。对输入图像信号的拍摄控制和信号处理均以时分为基础来执行。
根据基于本发明的移动目标跟踪设备和方法，在跟踪移动目标期间，即使是尺寸最小的图像也可以被处理。相应地，图像的处理速度也会提高。另外，由于拍摄方向的控制和输入图像信号的处理在改变拍摄方向以跟踪运动目标期间是单独以时分为基础处理的，因此并不需要摄像机运动补偿，因而可以降低数据处理操作的负担。
通过结合附图对优选实施例进行以下的描述，本发明的这些和其它目的及优点将会显见，并且更加易于理解。
图1是移动目标跟踪设备的框图；图2是用于解释图1的移动目标跟踪设备的操作的流程图；图3是根据本发明一个实施例的移动目标跟踪设备的框图；图4是表示图3中的移动目标跟踪设备的二进制干扰图像发生单元的详细框图；图5是用于解释图3和4的移动目标跟踪设备中用于跟踪移动目标的方法的流程图；图6是用于解释图3-5中的移动目标跟踪设备和方法中的移动窗的概念的图；
图7是表示图3-5的移动目标跟踪设备和方法中的移动目标获取处理的图；图8是表示图3-5的移动目标跟踪设备和方法中自动跟踪移动目标的处理图；图9是表示在图3-5的移动目标跟踪设备和方法中基于时分的摄像机控制处理和图像信号处理的图；图10是表示图9的摄像机控制处理和图像信号处理的另一个实施例的图；以及图11是表示在图3-5的移动目标跟踪设备和方法中整个图像被分成摄像机扇形/倾斜控制区和非摄像机扇形/倾斜控制区的图；以及图12是表示在图3-5的移动目标跟踪设备和方法中整个图像根据跟踪窗的尺寸被分成摄像机拉近/拉远控制区和非摄像机拉近/拉远控制区的图。
具体实施例方式
现在将参考本发明的优选实施例，其实例在附图中示出，在图中，相似的参考数字表示相似的部分。参考附图描述这些实施例是为了解释本发明。
下面，参考附图将详细描述本发明的优选实施例。
图3是根据本发明一个实施例的移动目标跟踪设备200的框图。
移动目标跟踪设备200包括摄像单元110、输入图像预处理单元120、二进制干扰图像发生单元130、移动目标获取单元140、移动目标自动跟踪单元150、跟踪状态确定单元160和摄像控制单元170。
摄像单元110拍摄监视区并输出与监视区的输入图像相对应的模拟图像信号。
输入图像预处理单元120包括模-数(A/D)转换器121，它把模拟图像信号转换为数字输入图像信号，以在最短的时间周期内通过整个输入图像信号获得希望的信息，如移动目标的中心值和尺寸；分辨率调节单元122，用于调节输入图像信号的分辩率；以及滤波器123，滤除具有所调节的分辩率的输入图像的各种噪声。
二进制干扰图像发生单元130通过干扰图算法把输入图像信号变换为二进制干扰图像信号，以分别把背景图像和移动目标图像与预处理输入图像分开。
图4是二进制干扰图像发生单元130的详细框图。二进制干扰图像发生单元130包括递归滤波器132，它通过当前的输入图像信号和以前的输入图像信号的平均值获得干扰域(field)；以及图像分割单元136，通过比较由递归滤波器132获得的干扰域的绝对值和第一干扰阈值而针对每个像素输出二进制干扰图像信号。二进制干扰图像发生单元130还包括前灯(headlight)防止单元134，它修改每个像素的二进制干扰图像信号的二进制值的确定，以防止特定的周围因素，如防止汽车前灯(headlight)信号引起的对移动目标的不正确的确定。
前灯(headlight)防止单元134包括第一比较器134-1和第二比较器134-2，用于分别把输入图像信号和当前帧的干扰域与第二干扰阈值相比较；以及OR门134-3，用于根据第一和第二比较器134-1、134-2的输出值执行OR操作。
当移动目标获取单元140在第一跟踪操作或者在第一跟踪操作失败之后的重试操作中获得有关移动目标的信息时，移动目标获取单元140通过使用跟踪窗获得移动目标的中心值和尺寸。为此，移动目标获取单元140包括运动干扰函数(MDF)计算单元142，它根据使用具有预定尺寸的原始跟踪窗的移动窗概念，在预定范围内计算每个像素的运动干扰函数(MDF)；以及跟踪窗调节单元141，它通过参考最大MDF的像素计算一个实际跟踪窗内的移动目标的中心和尺寸，来搜索具有最大MDF的像素并调节原始跟踪窗的尺寸。MDF计算单元142还把原始跟踪窗从第一到最后坐标的二进制坐标值相加，并把这些坐标之和确定为用作中心坐标的像素的MDF。关于移动目标的中心的信息用于扇形/倾斜控制信号来控制摄像单元110，而关于移动目标的尺寸的信息被用于拉近/拉远控制信号来控制摄像单元110。
根据目前和以前获得的信息，移动目标自动跟踪单元150估计在下一帧移动目标所移动的中心的下一个位置，把调节尺寸的跟踪窗的中心移动至估计的下一个位置，并获得在下一帧在调节尺寸的跟踪窗中的移动目标的中心的信息以及调节尺寸的跟踪窗的尺寸信息。换言之，只有与调节尺寸的跟踪窗之内的移动目标相对应的图像信号才在下一帧中处理。
跟踪状态确定单元160把从下一帧获得的移动目标的实际图像的信息与移动目标的估计信息相比较以便由此产生一个误差范围，并根据由此产生的误差范围确定移动目标的跟踪状态。另外，跟踪状态确定单元160可通过监视置于调节尺寸的跟踪窗中的像素的一些二进制干扰图像信号来确定跟踪状态。当跟踪状态的误差在预定范围之内时，移动目标自动跟踪单元150通过使用对调节尺寸的跟踪窗的区域的专用信号处理继续跟踪移动目标。当该误差超过预定范围时，移动目标获取单元140重新获得关于整个输入图像的移动目标的信息并重复自动跟踪处理。
当与整个输入图像有关的跟踪窗的中心位于预定范围之外时，摄像控制单元170在移动目标的估计移动方向上控制摄像单元110的拍摄方向。摄像控制单元170还控制摄像单元110的拉近/近远，以使在估计像素的跟踪窗的尺寸和通过下一帧获得的移动目标的尺寸可以保持一定比率。诸如扇形/倾斜控制、拉近/拉远控制的摄像控制以及摄像控制单元170的运动以及输入图像的信号处理均以时分为基础来执行。
参考图5的流程图将在下面描述图3和4的移动目标跟踪设备200中跟踪移动目标的方法。
首先，在操作S10，一个系统通过摄像单元110拍摄监视区来获得模拟图像信号。随后，在操作S20，该系统预处理获得的图像信号，以产生输入图像信号。在操作S20的预处理包括调节输入图像信号的分辩率以在操作S21提高信号处理速度，并过滤具有调节的分辩率的输入图像信号以在操作S22消除输入图像信号的噪声。在操作S20的预处理操作之后，在操作S30，输入图像信号通过干扰图算法被二进制化(变换为)二进制干扰图像信号。
干扰图算法通过使用当前输入图It和背景图像At(以前输入的图像的平均图像At-1)的差产生干扰域Δt，并根据干扰域Δt检测移动目标的运动区域。为此，背景图像At在历史权重(historical weight)ω应用到以前输入图像的平均图像At-1上时产生。二进制干扰图像信号和背景图像根据当前帧通过数学表达式1获得数学表达式1Δt＝It-At-1At＝It-K·LIM(It-At-1)在式中，Δt是当前帧的干扰，At是背景图像或者当前帧的平均图像At-1是背景图像或者以前帧的平均图像It是当前输入图像
K是增益，而且LIM是限制器。
干扰图算法在目标正在移动的运动区域具有值‘1’，并且在非运动区域具有值‘0’。换言之，当每个像素的二进制干扰图像信号的绝对值超过一个预定阈值时，它被确定为运动区域，而且，如果该绝对值低于预定阈值，则被确定为非运动区域。
数学表达式1的二进制干扰图像信号的干扰域的每个信号是根据第一和第二阈值进行图像分割的。图像分割的执行使得运动区域具有值‘1’，而非运动区域具有值‘0’。
变换的二进制干扰图像信号在运动区域以白色显示，而在背景区域(非运动区域)以黑色显示。同时，根据本发明的本实施例，来自前灯(headlight)防止单元136的输出被用作确定各个像素的二进制值的参数，以防止由于汽车前灯(headlight)等原因的影响而产生与运动区域有关的不精确(不正确)的确定。
当输入图像信号被转换为二进制干扰图像信号时，在操作S40，通过预定尺寸的原始跟踪窗，移动目标获取单元140通过二进制干扰图像信号获得关于移动目标的中心和尺寸的信息。换言之，移动目标获取单元140获得关于移动目标的中心和移动目标所处位置的整个图像的区域中的跟踪窗的尺寸的信息。对于关于移动目标的信息来说，各像素的MDF在操作S42根据移动窗的概念在二进制干扰图像信号中计算。
图6表示根据图3中的移动目标跟踪设备200和图5的方法的移动窗的概念。
以预定尺寸形成的移动窗使每个像素作为中心坐标并寻找与输入图像的每个像素对应的MDF。在移动窗中的像素的二进制值之和被确定为一个确定值，即位于中心坐标的像素的MDF。
移动窗与原始跟踪窗尺寸相同，并且产生的数目少于像素的总数。把各个原始跟踪窗内从最初到最后坐标的二进制坐标值相加，求得的和被确定为相应移动窗和位于中心坐标的各个像素的MDF。同时，为了实时处理操作，与每个像素有关的MDF的寻找被同时执行。
通过移动窗口，每个像素的MDF通过数字表达式2来计算数字表达式2MDF(p,q)=Σx∈MWΣy∈MWB(x+p,y+q)]]>在式中，M1xc≤P≤Mnxc，M1yc≤P≤Mnyc，MDF是运动干扰函数，p，q是整个输入图像中的某个像素的坐标，x，y是在移动窗中的某个像素的坐标，MW是移动窗，M1xc，M1yc，是包括整个输入图像的原始坐标的移动窗中的中心坐标，Mnxc，Mnyc，是包括整个输入图像的最后坐标的移动窗中的中心坐标，并且B(二进制)是二进制干扰图像信号。
图7表示获得关于移动目标的信息的处理。
参考图7，各像素的MDF(c)通过与二进制干扰图像(a)有关的多个原始跟踪窗(b)来计算。随后，与移动目标(d)有关的MDF域被检测到。如果最大MDF等于或大于第三阈值，则原始跟踪窗的中心位于具有最大MDF的像素。随后，原始跟踪窗的尺寸被调节以使原始跟踪窗包括移动目标，随后，在调节尺寸的跟踪窗中的移动目标的中心坐标和跟踪窗(e)的尺寸被计算。如果MDF低于第三阈值，则可以确定在图5的操作S43中没有移动目标。在跟踪窗中的移动目标的中心坐标由数学表达式3来计算数学表达式3xe=Σ(x,y)∈TWx·B(x-pL,y-qL)Σ(x,y)∈TWB(x-pL,y-qL)]]>Ye=Σ(x,y)∈TWy·B(x-pL,y-qL)Σ(x,y)∈TWB(x-pL,y-qL)]]>在式中，xe，ye是跟踪窗中的移动目标的中心坐标，TW是跟踪窗，x，y是跟踪窗中的某个坐标，B是二进制干扰图像信号，以及pL，qL是在整个输入图像中MDF是最大值处的点的坐标。
如上所述，移动目标的尺寸可通过计算跟踪窗中的实际移动目标的中心值来计算。跟踪窗的尺寸也可根据移动目标和跟踪窗的尺寸比率来调节。用于调节跟踪窗尺寸的移动目标的占用率通过下面的公式计算数学表达式4占用率＝移动目标尺寸/跟踪窗口尺寸当移动目标被检测到并且跟踪窗的尺寸被调节时，在图5的操作S50，移动目标的位置被估计并且移动目标被自动跟踪。换言之，根据获得的有关移动目标的当前和以前的中心的信息，在操作S51，移动目标的下一个位置在下一帧中被估计，并且具有调节的尺寸的跟踪窗的中心在操作S52被置于估计的位置。图8表示根据以前获得的信息跟踪窗被重新安排在下一帧中的移动目标的估计位置上。接着，关于跟踪窗中下一帧的移动目标的实际中心的信息和关于跟踪窗的尺寸的信息在操作S53中获得。当关于实际移动目标的信息在下一帧获得时，获得的信息与估计的信息进行比较，并且在操作S60，跟踪状态根据比较的误差范围来确定。当误差范围在预定限度之内时，移动目标自动跟踪单元150持续跟踪移动目标，同时执行只与跟踪窗的区域有关的信号处理。如果误差率超过了预定限度，则移动目标获取单元140重新获得关于整个输入图像中的移动目标的信息。
同时，如果跟踪状态的误差范围在预定限度之内时，则可以确定移动目标的跟踪执行良好，因此，该系统在操作S70控制摄像单元110的运动、拉近/拉远和扇形/倾斜。当跟踪窗的中心位于整个输入图像的预定范围之外时，系统把摄像单元110的拍摄方向变换到移动目标的估计方向。另外，当跟踪窗的中心如图11所示位于整个输入图像区B的预定范围A之内时，系统要控制不执行扇形/倾斜控制。系统还自动控制拉近/拉远，这样，根据从跟踪窗下一帧获得的实际移动目标的尺寸，跟踪窗和移动目标的尺寸可以保持一定比率。如图12所示，系统可根据输入图像中的移动目标的位置执行或者忽略拉近/拉远控制的处理。相应地，可以防止由于过量控制而引起的不必要的振动图像，同时，系统跟踪移动目标的可靠性得到了提高。
如图9所示，摄像单元110的控制以及与输入图像有关的信号处理均是以时分为基础来执行的。相应地，摄像单元110(摄像机)的运动不需要图像补偿。图10表示根据本发明另一个实施例的摄像单元110的控制和图像信号处理，它为获得关于移动目标的信息的原始图像信号处理提供了足够的时间。
结果，自动移动目标跟踪设备及其方法通过使用跟踪窗甚至可以处理最小尺寸的图像。
另外，通过使用摄像机控制的时分，如摄像机运动、拉近/拉远和扇形/倾斜，以及图像信号处理，可以避免摄像机的运动的图像补偿。
另外，由于汽车前灯(headlight)的原因而造成的对运动区域的不精确的确定可通过使用前灯(headlight)防止单元134来避免。
另外，精确的扇形/倾斜控制可通过移动目标的中心值来实现，并且移动目标可根据移动目标的尺寸和跟踪窗的尺寸而被自动拉近/拉远。这种拉近/拉远控制在诸如检验停放在停车点的汽车的牌照中的数字和字符时非常有用。
利用基于本发明的自动移动目标跟踪设备及其方法，在跟踪移动目标时处理的图像的量最少。因而，处理速度提高，而由于其它目标的干扰而对移动目标造成的影响可以降至最低。
另外，由于根据本发明可以省去摄像机运动的图像补偿，因此，基于移动目标跟踪的复杂信号处理可以简化。
另外，还可以防止由于诸如汽车前灯(headlight)这样的背景变化引起的移动目标的不精确确定。
另外，由于扇形/倾斜以及拉近/拉远相对于移动目标来说要控制得非常精确，因此，移动目标可以被精楚地识别出，同时对监视区域的监视结果也可被检测到。
尽管已经公开了本发明的优选实施例，但相关领域的技术人员应当理解，本发明并不限于所述的优选实施例，在不背离本发明宗旨和范围的情况下，可以对其进行各种改进和变化，其范围由所附的权利要求及其等效部分来确定。
权利要求
1.一种自动移动目标跟踪设备，包括摄像单元，拍摄监视区域；二进制干扰图像发生单元，通过摄像单元获得的每帧的输入图像信号产生二进制干扰图像信号；运动目标获取单元，通过使用移动窗口作为具有预定尺寸的原始跟踪窗而由二进制干扰图像信号获得关于移动目标的信息，并调节原始跟踪窗的尺寸以使二进制干扰图像信号含有移动目标；移动目标自动跟踪单元，根据目前获得的信息和以前获得的关于移动目标中心的信息来估计移动目标在下一帧的中心的位置，移动跟踪窗的中心至估计移动目标所移动到的中心位置，并获得关于移动窗中的移动目标的实际中心和跟踪窗的尺寸的实际信息；以及跟踪状态确定单元，把关于移动目标的实际信息与关于移动目标的估计信息相比较，并根据由此产生的实际信息和估计信息的误差范围确定移动目标的跟踪状态，关于移动目标的实际信息通过下一帧获得。
2.如权利要求1的自动移动目标跟踪设备，还包括输入图像预处理单元，它将提高通过摄像单元的摄像处理输入的输入图像信号的处理速度，并预处理输入图像信号，以消除输入图像信号的噪声。
3.如权利要求2的自动移动目标跟踪设备，其中，输入图像预处理单元包括分辩率调节单元，降低输入图像信号的分辩率；以及滤波器，消除具有降低的分辩率的输入图像信号的噪声。
4.如权利要求1的自动移动目标跟踪设备，其中，二进制干扰图像发生单元包括干扰域发生单元，通过当前帧的输入图像信号与以前帧的平均值之间的差产生干扰域；前灯防止单元，把相应的输入图像信号和以前帧的平均值分别与一个阈值相比较，并对比较结果执行逻辑操作；以及图像分割单元，根据比较干扰域的每个像素的绝对值与干扰阈值的结果并根据前灯防止单元的逻辑操作的结果来确定每个像素的二进制值。
5.如权利要求4的自动移动目标跟踪设备，其中，移动目标获取单元包括运动干扰函数(MDF)计算单元，它通过把二进制干扰图像信号的原始跟踪窗中从第一到最后坐标的二进制值相加来确定与中心坐标相对应的像素的移动干扰函数(MDF)的值；以及跟踪窗调节单元，它通过计算实际移动目标的中心坐标和与具有最大MDF值的像素有关的移动目标的尺寸调节跟踪窗的尺寸。
6.如权利要求5的自动移动目标跟踪设备，其中，MDF计算单元计算彼此平行的像素的MDF值。
7.如权利要求5的自动移动目标跟踪设备，其中，跟踪窗调节单元调节移动窗以使移动目标包含在与具有最大MDF值的像素的坐标有关的输入图像信号中。
8.如权利要求7的自动移动目标跟踪设备，其中，跟踪窗调节单元在MDF计算单元计算的MDF值的最大值低于MDF阈值时则不存在移动目标，并且跟踪窗调节单元并不根据移动目标的确定来调节移动窗。
9.如权利要求7的自动移动目标跟踪设备，其中，跟踪窗调节单元通过使用移动目标的当前移动窗和下一个移动窗的尺寸比率来调节移动窗的尺寸。
10.如权利要求1的自动移动目标跟踪设备，其中，跟踪状态确定单元在移动目标的估计中心值和测量中心值的误差等于或大于一个预定范围的时候，或者当移动窗中的二进制干扰图像信号的像素数低于一个阈值时确定跟踪失败，并相应地使用移动目标获取单元通过整个图像信号重新获得移动目标的信息。
11.如权利要求1的自动移动目标跟踪设备，还包括摄像控制单元，它以下面的方式控制摄像单元，即当通过移动目标获取单元获得的移动目标的中心和尺寸在一个预定范围之内时，摄像单元继续在一个固定位置拍摄，这不需要改变摄像单元的拍摄方向和拉近/拉远，并且，当移动目标的中心和尺寸超过预定范围时，则改变拍摄方向和拉近/拉远。
12.如权利要求11的自动移动目标跟踪设备，其中，摄像控制单元控制摄像单元的拉近/拉远以使通过下一帧获得的实际移动目标的尺寸与当前帧的移动窗的尺寸保持在一个特定比例。
13.如权利要求12的自动移动目标跟踪设备，其中，摄像单元的控制和输入图像信号的信号处理均以时分为基础执行。
14.一种自动移动目标跟踪方法，包括使用摄像单元拍摄监视区域；通过从摄像单元获得的输入图像信号产生二进制干扰图像信号；通过使用移动窗口作为具有预定尺寸的原始跟踪窗而从二进制干扰图像信号获得关于移动目标的信息；调节原始跟踪窗的尺寸以使二进制干扰图像信号含有移动目标；根据目前获得的信息和以前获得的关于移动目标中心的信息来估计移动目标在下一帧所移动到的中心的位置；把移动窗的中心移动至估计的移动目标所移动到的中心位置；获得关于移动窗中的移动目标的实际中心和移动窗的尺寸的实际信息；以及把关于移动目标的实际信息与关于移动目标的估计信息相比较，并根据由此产生的实际信息和估计信息的误差范围确定移动目标的跟踪状态，关于移动目标的实际信息通过下一帧获得。
15.如权利要求14的自动移动目标跟踪方法，还包括提高通过摄像单元输入的输入图像信号的处理速度，并在随后预处理输入图像信号，以消除输入图像信号的噪声。
16.如权利要求15的自动移动目标跟踪方法，其中，输入图像信号的预处理包括修改输入图像信号的分辩率；以及消除具有降低的分辩率的输入图像信号的噪声。
17.如权利要求14的自动移动目标跟踪方法，其中，二进制干扰图像信号的产生包括通过输入图像信号与以前帧的平均值之间的差产生干扰域；比较输入图像信号与阀值以及平均值与阈值以便根据比较结果执行逻辑操作；以及根据比较干扰域的每个像素的绝对值与干扰阈值的结果并且还根据逻辑操作的结果来确定每个像素的二进制值。
18.如权利要求14的自动移动目标跟踪方法，其中，移动目标的获得包括确定原始跟踪窗的位置以便利用二进制干扰图像信号中的中心坐标可以识别每个像素；通过把移动窗中从最初至最后坐标的二进制值相加来确定像素的移动干扰函数(MDF)值；以及调节移动窗的尺寸以使移动目标包含在与二进制干扰图像信号中具有最大MDF值的像素的坐标有关的输入图像信号中。
19.如权利要求18的自动移动目标跟踪方法，其中，MDF的计算包括计算彼此平行的像素的MDF值。
20.如权利要求18的自动移动目标跟踪方法，其中，移动目标的获得在具有最大MDF值的像素的坐标的二进制值小于MDF阈值时确定不存在移动目标。
21.如权利要求14的自动移动目标跟踪方法，其中，跟踪状态的确定包括在误差范围超过一个预定限度时，通过整个输入图像信号重新获得下一帧的关于移动目标的信息。
22.如权利要求14的自动移动目标跟踪方法，还包括当移动窗的中心位于与监视区的整个输入图像信号有关的预定范围之外时，控制摄像单元，从而把摄像单元的拍摄方向移动至移动目标估计移动到的估计方向上。
23.如权利要求14的自动移动目标跟踪方法，还包括拉近/拉远摄像单元以使位于估计位置的跟踪窗的尺寸和由前一帧获得的移动目标的尺寸保持某一个比率。
24.如权利要求23的自动移动目标跟踪方法，其中，摄像单元的摄像控制和输入图像信号的信号处理均以时分为基础执行。
25.如权利要求23的自动移动目标跟踪方法，其中，摄像单元的控制在跟踪窗位于整个输入图像区域的预定范围之内时不再连续。
26.一种自动移动目标跟踪设备，包括摄像单元，拍摄监视区域，以产生每帧的输入图像信号；二进制干扰图像发生单元，通过当前和以前帧的输入图像信号产生二进制干扰图像信号；运动目标获取单元，产生移动窗，通过使用移动窗由二进制干扰图像获得关于移动目标的信息，并通过响应该信息调节移动窗的尺寸；移动目标自动跟踪单元，根据目前和以前帧中的移动目标的中心估计下一帧中的移动目标的位置，并获得在下一帧中在移动窗中的移动目标的实际中心；跟踪状态确定单元，根据移动目标的实际中心与移动目标的估计中心相比较而产生跟踪状态；以及摄像控制单元，通过响应跟踪状态控制摄像单元。
27.如权利要求26的自动移动目标跟踪设备，其中，移动目标自动跟踪单元把移动窗的中心移动到下一帧的估计位置，以检测下一帧中的移动目标的实际中心。
28.如权利要求26的自动移动目标跟踪设备，其中，移动目标获取单元包括运动干扰函数(MDF)计算单元，它通过把二进制干扰图像信号的移动窗中的二进制坐标值相加来确定与中心坐标相对应的像素的移动干扰函数(MDF)的值；以及跟踪窗调节单元，它通过计算当前帧的移动目标的中心坐标和参考具有最大MDF值的像素的移动目标的尺寸调节移动窗的尺寸。
29.如权利要求26的自动移动目标跟踪设备，其中，MDF值利用下面的公式通过当前帧的干扰来计算Δt＝It-At-1At＝It-K·LIM(It-At-1)在式中，Δt是当前帧的干扰，At是背景图像或者当前帧的平均图像，At-1是背景图像或者以前帧的平均图像，It是当前输入图像，K是增益，而且LIM是限制器。
30.如权利要求26的自动移动目标跟踪设备，其中，二进制干扰图像发生单元包括第一减法器，从当前输入图像信号中减去以前输入图像信号；第二减法器，从当前输入图像信号中减去第一减法器的第一输出；第三减法器，从当前输入图像信号中减去第二减法器的第二输出；以及图像分割单元，把第三减法器的第三输出与一个参考值相比较，以产生二进制干扰图像信号。
31.如权利要求30的自动移动目标跟踪设备，其中，二进制干扰图像发生单元包括限制器，限制第一减法器的第一输出以产生第四输出；以及增益控制器，控制限制器的第四输出的增益，在第二减法器中，以当前输入图像信号减去增益控制的第四输出，以产生第二输出。
32.一种自动移动目标跟踪方法，包括使用摄像单元拍摄监视区域，以产生每帧的输入图像信号；通过当前和以前帧的输入图像信号产生二进制干扰图像信号；产生移动窗，通过使用移动窗由二进制干扰图像获得关于移动目标的信息，并通过响应该信息调节原始跟踪窗的尺寸；根据目前和以前帧中的移动目标的中心估计下一帧中的移动目标的位置；获得在下一帧中在跟踪窗中的移动目标的实际中心；根据移动目标的实际中心与移动目标的估计中心相比较而产生跟踪状态；以及通过响应跟踪状态控制摄像单元。
全文摘要
一种自动移动目标跟踪设备及其方法，能够通过每帧的输入图像信号的信号处理跟踪移动目标。移动目标跟踪设备把预处理的输入图像信号转换为二进制干扰图像信号，并通过原始跟踪窗计算每个像素的运动值。在确定在运动值为最大值的像素处的跟踪窗的位置之后，跟踪窗的尺寸可被调节，以使跟踪窗可包括移动目标于其中。接着，根据获得的关于移动目标和跟踪窗的信息以及关于以前帧的以前获得的信息，在下一帧中的像素被估计为移动目标的下一个位置。跟踪窗位于估计的像素处。如果跟踪结果令人满意，则移动目标的跟踪继续进行。
文档编号H04N5/232GK1402551SQ0214256
公开日2003年3月12日 申请日期2002年8月7日 优先权日2001年8月7日
发明者曹在洙, 饭塚宽, 田中应明 申请人:三星电子株式会社