专利名称：对象识别与跟踪系统的制作方法
技术领域：
本发明涉及一种对象识别与跟踪系统。
背景已建议采用对对象(例如，在一个购物中心的走廊中经过的人)计数的系统，但是，这些系统不适用于识别或区别特定的或不同类型的对象及其位置，并且，不能在一段时间内跟踪这些对象。
本发明的目的是提供一种对象识别与跟踪系统。
发明简述虽然在一种形式中，可能不一定是唯一的或最广泛的形式，但是，本发明可以说是一种对象识别与跟踪系统。该系统包括至少一个检测器阵列，或者，每个检测器阵列包括第一类检测器和第二类检测器。第一类检测器适用于检测一个检测器空间中的对象存在与否并确定该对象的位置，第二类检测器适用于利用该确定的对象位置来识别或认出对象或计数/记录该对象存在与否(如果它是一种被选择的类型)。
由第一类检测器确定的对象的存在可以通过对比边界的变化，或者通过式样的变化或运动来检测，从而检测在检测器空间内移动的对象。
检测器适用于使用从雷达、微波、射频、红外线、微波、毫米波、光中选择的一部分电磁谱或另一部分电磁谱，或者，使用声纳或其他某种检测系统。
第一类检测器和第二类检测器可以是同一类或不同类。因此，第一类检测器可以是一种低清晰度视频系统，第二类检测器可以是一种射频检测系统。
当第一类检测器和第二类检测器实际上是相同的检测器时，第二类检测器可以以比第一类检测器高的清晰度工作，或者可以是一种特殊的识别类型。
在本发明的一个较佳形式中，第一类检测器可以是一种昆虫眼(insect eye)类检测器。也就是说，一种适用于检测一个显示空间中的邻近象素之间的对比度变化，而不是完全识别对象的检测器。在本发明的这种形式中，第二类检测器可以是一个数字信号处理检测器(例如，数字视频检测器)。因此，第一类检测器用于识别一个检测器空间内的一个感兴趣的特殊的区域，然后，该数字信号处理检测器只需要通过观察那个特殊的空间区域，而非通过处理检测器空间的整个视频图像来识别对象。这样，只需小得多的处理能力，可以获得更高的效率。
第一类检测器和第二类检测器可能是一个设备，第二类检测器用于处理过程的第二个阶段。
因此，在本发明的一个替换形式中，第一类和第二类检测器可以由一个单个的视频检测器提供用两种不同的方法来处理的观察到的图像。在第一方法中，观察到的图像可以被数字化并被存储于连续的存储位置中，然后，可以扫描连续的图像，以检测各个连续帧(将表示一个移动的对比度边界)的数字化图像的变化。因此，这确定了检测器空间中的一个移动目标，然后，第二类检测器可以分析那个特殊的检测器空间区域中的相同的数字图像。第二类检测器可以使用后面或前面的各帧来改善相对于有兴趣的对象的识别或结果。
如果识别过程达不到预定的或人工了解的可靠性的阈值水平，那么，进一步存储或下载的算法可以运用于一个重复的过程，直到各个结果被改善。
在使用第一类检测器来鉴别一个有兴趣的对象的同时，第二类检测器用于识别的目的。每个对象具有许多特征，例如，质量、高度、形状、对比度、亮度、颜色、式样、速度、热、反射率、署名和许多其他的特征。每种特征本身不一定是用于识别对象的特征，一些特征与其他特征相比较更容易被识别。本发明的一个较佳部分是首先分析最可辨认的特征，然后，通过及时使用其他的特征和连续的帧，在重复的分析过程的每个步骤中，该系统改善了更精确识别对象的可能性。对首先分析哪些特征和分析它们的顺序的确定是本发明的一个最佳部分。
在本发明的一个替换形式中，可以利用人工智能来建立该系统，以便不用外部干预就可做出这些判定。在这种情况下，系统确定首先将分析哪些特征。随着时间的推移，系统可以识别新的特征或特征的一个新顺序(可以更好地识别有兴趣的对象，所以能够自我改善)。在这种情况下，自我改善的程序或算法被存储起来，放在一个现有的常驻内存的库中，用于将来作为参考。系统将利用人工智能分析来判定哪个算法更有利于其成功和使用概率分析的识别速度。
所以，一般而言，本发明揭示了一种可以分解成许多阶段的系统。该过程的第一个阶段将包括一个对象检测引擎，以便将数字化的图像顺序从硬件捕获和装载成对象识别引擎的一个合适的数字格式。第一类检测器可以当对象移动通过检测器空间时在连续帧上的确定识别对象的边界。第二类检测器(能够形成系统的第二个阶段)将是一个对象识别引擎，它首先用于将某些特定的特征转换成有用的数学图像或算法，其次可以用于执行和记录一段时间内的结果，这是分析正被讨论的对象的特殊特征所必需的。分析的特征可以包括(但不会限制于此)一个或更多的项目(例如，质量、高度、形状、颜色、式样、对比度、质地、热、反射率、频率、速度、信号放射、署名等)。被检测对象的每个特征有机会可能成为一个有兴趣的对象。为了获得更高的准确度，可以使用存储的程序、存储的库、分析算法和重复分析过程(可以管理对实时的多个对象的多个特征的观察)来随时间的推移分析连续的数字化图像。
每个分析重复都增加(或根据情况减少)被检测对象是有兴趣的对象的机会。如果概率水平达到预定的可接受水平或阈值水平，则对象被识别为一个有兴趣的对象。为了改善概率分析，额外类型的第二类检测器可以包括在一个单独的检测器空间内。该检测器空间用于观察一个有兴趣的对象的不同特征，以提高识别对象的概率。
额外类型的检测器可以位于不同的位置，朝向不同的角度，但安装成观察相同的检测器空间，以增加区别对象的机会，将对象安放或定位在一个三维空间中，或为一个若只用一种检测器则会被遮掩的对象定位。
第二类检测器适用于询问与对象有关的一个可询问设备。在这样一种实施例中，第一类检测器可以观察到一个对象正在一个检测空间内移动，然后，第二类检测器的询问设备询问一个rf署名芯片(例如，一个智能卡芯片或发送应答器)，以提供对对象及其通过检测空间的肯定识别。
对象识别与跟踪系统还可以进一步包括多个检测器阵列、多种检测器类型和多重检测器空间。
可以安排检测器阵列与一个多重检测器空间中的邻接检测器阵列通信，以便传递或接收其己接收或了解的信息。该信息传送可以在一个封闭的网络(例如，一个内联网或互联网等开放网络)中进行。判定或信息将被传递到连续的检测器或要求这类信息激发必要的编程活动的其他第三方设备。这些检测器可以做出判定、提供指示或启动其他某种形式的活动，而不用人工干预。
该系统的第三个阶段可以由跟踪引擎来执行。识别一个有兴趣的对象后，跟踪引擎可以在连续检测空间中执行以下任务，例如，格栅初始化、二维或三维制图、标记分配、标记跟踪和标记移交。由于被识别和作标记的对象越过一个检测器空间移到另一个检测器空间，因此，这要求处理能力比对象识别引擎小得多。如果一个对象出现在一个连续的检测器空间(由于另一个对象模糊，所以先前没有被检测)中，则该过程可以向后跟踪通过所有可能的记录图像帧，这些记录可以作相应的调整。整个系统都用该新信息来更新。这大大提高了系统的准确度。从时间向前推移的观点来看，对象可能被跟踪，直到它走出所有的检测空间。识别被要求跟踪的对象的类型后，每个有兴趣的对象的位置随后在一段时间内被映射到一个通用的格栅上。由于在连续的检测器空间中跟踪对象所要求的处理能力大大减小，因此，跟踪多个对象的准确度和可靠性可以很高。
在本发明的一个较佳形式中，在二维或三维空间中可能有多个检测器阵列、多种检测器类型和多重检测器空间，该识别与跟踪系统可以包括与邻近的检测器阵列通信以便将对一个所选对象的跟踪从一个检测器空间移交到一个邻近的检测器空间并记录一段时间内该对象的运动的装置。
通过这种装置，该系统能够跟踪一个比单个的检测器空间大得多的区域内的一种所选类型的移动对象。例如，如果要求跟踪整个购物中心的对象和表示区域等单独的检测器空间，那么，这就能够起到作用。
将注意到，由于不在检测器空间中移动的对象(例如，家具或其他的固定物体)不被第一类检测器(只观察比如一个视频图像的邻近各帧之间的移动的对比度边界或变化)观察，因此，它们不被第二类检测器跟踪或观察。这将节省相当大的处理能力。
将会意识到，如果一幢建筑物的天花板中安装有实质上在走廊中朝下看的检测器阵列，则例如在该检测器正下方的对象将有一个特定的轮廓，但是，当对象移动通过检测器空间时，从一个固定的检测器阵列观察到的轮廓将随观察角度而变化。所以，在本发明的一个较佳形式中，识别检测器空间中的一个移动对象的处理安排可以包括考虑来自检测器阵列的对象的角度或离开该空间内中心的对象的运动的装置。
对象识别与跟踪系统的所有或一些检测器阵列被安装在其各自的检测空间的一侧(例如，确定一个检测空间的边界的一面墙上或一个检测空间的一个角落内)。
本发明的对象识别与跟踪系统可以用于计数超市这类场所的人数，或者用于马路上的交通，还用于安全监督和监视应用，用于确定人们走过一个商店或表示区域时的偏爱或确定有多少人位于一个三维空间(例如，一间屋子或一个区域)内。
本发明的对象识别与跟踪系统可以用于跟踪表面上随意的运动，以确定式样或一段时间内的趋势。
本发明的检测器系统可以用作一个具有人机界面的监视系统，以创建一个检测器正在观察(如同录像机所做的)的对象的可读图像。
应该注意到，检测器阵列可以安装在一个移动设备(例如，一辆摩托车)上，其观察与固定的对象(例如，街道标记或红灯)有关。它可以用于检测行人存在与否。
这对本发明作了一般的描述，但是，现在将结合表示本发明的较佳实施例的附图加助了解。
在这些附图中
图1表示一个其内有一些对象的检测器空间；图2表示由第一类检测器观察的对象和区域；图3表示检测器区域和由第二类检测器执行的检测；图4表示一个具有多个检测器阵列和对象移动通过检测器空间的放大的检测器空间；图5表示由第一类检测器观察的对象在一个检测器空间中的一个更加实际的位置；图6表示由第二类检测器观察的图5中的对象；图7表示一幅根据本发明的一种识别与跟踪系统的示意图；图8表示一幅根据本发明的一个替换实施例的一种检测系统的示意图；图9表示一幅根据本发明的一个替换实施例的一种检测系统的示意图；图10表示一幅根据本发明的一个替换实施例的一种检测系统的示意图；图11表示一幅根据本发明的一个替换实施例的一种检测系统的示意图；图12表示一幅根据本发明一个替换实施例的一种检测系统(使用一种发送应答器署名识别系统)的示意图。
本发明较佳实施例的详细描述现在，更仔细地观察这些附图和图1～3所示的各种排列，会看到在检测器空间1中有许多对象。第一个对象是一个推一辆手推车3的人2，其他对象是两个一起移动的很近的人4和5。
在图2中可见，由第一类检测器7检测的对象的唯一一些部分是人2的边界8、手推车3的边界9和人4、5的边界10、11。
有关确定待详细观察的区域的这些边界的信息被传送到第二类检测器15，所观察的图像(例如，数字化视频图像)只在由点线所示的区域中观察得到。观察区域16，以识别对象2；观察区域17，以识别手推车3；但是，由于手推车3不是被计数的一个对象，因此，跟踪系统的处理安排不理会手推车3，不计算它。通过观察区域18和19来观察两个人4和5，并把他们识别为两个一起行走的人。
所以，本发明在这个被观察的空间中计算了在此空间内移动的3个人并忽略了第四个对象——手推车。
在图4中，将看到有六个检测器空间20、21、22、23、24和25。一个人28进入检测器空间21并通过该空间进入检测器空间23，然后，在检测器空间23与检测器空间25的角落处走出检测器空间23。一个推一辆手推车的人进入检测器空间20，沿对角线进入检测器空间22，再进入检测器空间24。
检测器空间21中的检测器阵列31观察并象征性地紧随这个人进入检测器空间，通过其所在的检测器空间跟踪他，然后，将信息提供给检测器空间23(一个人正从一个确定的位置进入)中的检测器阵列32。检测器阵列32继续跟踪被紧随的这个人，直到他离开那个检测器空间。观察那个人的连续运动，以便遵循记录来确定为什么那个人可能在检测器空间23中转弯，而不继续笔直向前走。通过观察许多人在各种不同的检测器空间中行动，可以观察到能够指出为什么会发生这种动作的一些趋势。但是，推手推车30的人29已经沿直线从一个检测器空间走到下一个检测器空间。但是，这样安排移交，从而即使人28已在两个检测器空间中，他或她也只被计数一次；即使人29已经在三个检测器空间中，他或她也只被计数一次。手推车30根本不被计数，因为检测器排列适用于只观察移动的人。
当然，将会意识到，对于其他的检测器排列，它可能是待观察的移动的手推车，人可能被忽略。
图5和图6表示了一种更加实际的排列在一个检测器空间40内，第一类检测器阵列41观察一个形状不规则的对象42和另一个形状不规则的对象43。这是因为正在被观察的对象不是直接在检测器阵列41的下面，由于只观察移动的对比度边界，因此，在每种情况下确定一个非常不规则的对比边界。如图6所示，那个对象边界的细节被传递到第二个阵列44，只观察一个有限的区域，由此确定根据提供的观察角度，移动对象42实际上是一个人，对象43是一辆手推车。同样，图5中的两个对象47和48的形状有些不规则，但根据它们与检测器41的角度，它们被识别为人49和50。
从图7中可见，一个检测器阵列60包括观察一个检测器空间63的第一类检测器61和第二类检测器62。与检测器阵列关联的一个基本信号处理器64接收和处理来自第一类检测器61的信号并将有关在空间内观察何物的指示发送到第二类检测器62。有关观察的细节被传递到一个中心点65，该中心点也从线66和67上邻接的检测器阵列接收信息并实现对邻近的各个检测器空间之间的对象的跟踪。计数等相关信息被提供给另一个检测器阵列或网络上的设备，或者提供给一个计数排列68。
在图8中，一个检测器阵列70在一个检测空间的一侧并有一个环绕一个检测空间(包含4个区段72、73、74和75)的足迹71。在这个实施例中，检测器阵列70提供了第一类检测器和第二类检测器，并可以在由4个区段72、73、74和75代表的多个检测器空间中进行检测。
图9中的一个检测器阵列76的排列实质上与图8中的相同，具有环绕一个检测空间(包含四个区段72、73、74和75)的一个足迹71。在这个实施例中，检测器阵列70有第一类检测器77和分开的第二类检测器78。因此，第一类检测器77可以检测由四个区段72、73、74和75代表的多重检测器空间中的对象的运动，第二类检测器78能够识别该对象或每个对象。
图10表示一种检测器阵列排列，其中有两个检测器阵列80和81，每个检测器在一个检测空间(包含四个区段72、73、74和75)的侧端。检测器阵列80有一个足迹83，它实现了对检测器空间的区段72和73内的对象进行检测和识别。检测器阵列81有一个足迹84，它实现了对检测器空间的区段74和75内的对象进行检测和识别。
在图11中，检测器阵列80和81的排列实质上与图10中的相同，它们分别具有足迹85和86。但是，这些只允许分别在区段73和75中进行检测，而区段72和74中的检测则分别由移交检测器阵列87和88来提供。
图12表示一个车行道90，沿该车行道正行驶着两辆汽车91和92。汽车91和92正沿该道路朝不同方向行驶。汽车91上安装了一个发送应答器芯片93，汽车92上安装了一个发送应答器芯片94。车行道90的一侧是一个包括第一类检测器(例如，在电磁谱的红外线区域操作的一个视频检测器95)和适用于询问发送应答器93和94的第二微波检测器97的检测器阵列。视频检测器95的足迹96覆盖了马路的两侧，因此能够检测移动的汽车91和92。当检测每辆汽车时，促使第二微波检测器97用聚集的波束99和98分别询问发送应答器93和94。通过这种手段，不仅记录了一特定的汽车已经通过一个给定点的事实，而且可以记录行驶的方向。若没有第一个检测阶段，检测器阵列能够记录一个发送应答器已经通过一个给定点，但不会记录行驶的方向。
在此整个说明书中，已经提供了各种有关本发明范围的表示，但是本发明不局限于这些表示中的任何一项表示，而可能结合在这些表示中的两个或更多的表示中。例子只用于说明，而不用于限制。
在此整个说明书中，除非上下文另有要求，否则，单词“包含”和“包括”及其变化(例如，“包含”和“包括”)将被理解为暗示包括一个规定的整数或一组整数，但不排除任何其他的一个整数或一组整数。
权利要求
1.一种对象识别与跟踪系统，其特征在于它包括至少一个检测器阵列，或者，每个检测器阵列都包括第一类检测器和第二类检测器，第一类检测器适用于检测一个检测器空间中的对象的存在并确定该对象的位置，第二类检测器适用于利用被确定对象的位置来识别或认出对象或对选定类型的对象的存在进行计数或记录。
2.如权利要求1的对象识别与跟踪系统，其特征在于由第一类检测器确定的对象的存在可以通过对比边界的变化，或者通过式样的变化或运动来检测，从而检测在检测器空间内移动的对象。
3.如权利要求1的对象识别与跟踪系统，其特征在于检测器适用于使用从雷达、微波、射频、红外线、微波、毫米波或光中选择的一部分电磁谱，或使用声纳或其他某种检测系统。
4.如权利要求1的对象识别与跟踪系统，其特征在于第一类检测器和第二类检测器为同一种类型或不同的类型。
5.如权利要求1的对象识别与跟踪系统，其特征在于第一类检测器为一种昆虫眼类型，第二类检测器是一种数字信号处理检测器。
6.如权利要求1的对象识别与跟踪系统，其特征在于第一类检测器和第二类检测器是相同的检测器，第二类检测器的聚焦或操作的清晰度比第一类检测器的高。
7.如权利要求1的对象识别与跟踪系统，其特征在于第一类检测器和第二类检测器由一个单个的视频检测器用两种不同的方法来处理观察到的图像。在第一方法中，观察到的图像可以被数字化，扫描连续的图像以检测将表示一个对象存在的各个连续帧的数字化图像的变化；然后，在第二方法中，可以更详细地在检测器空间的一个特殊区域中分析相同的数字图像。
8.如权利要求1的对象识别与跟踪系统，其特征在于第二类检测器适用于使用后面或前面的各帧来改善有关有兴趣的对象的识别或结果。
9.如权利要求1的对象识别与跟踪系统，其特征在于利用质量、高度、形状、对比度、亮度、颜色、式样、速度、热、反射率、署名一类特征中的一个或多个特征来确定和识别一个对象。
10.如权利要求1的对象识别与跟踪系统，其特征在于第二类检测器适用于询问与对象有关的一个可询问设备。
11.如权利要求1的对象识别与跟踪系统，其特征在于还包括有助于确定或识别一个对象的人工智能。
12.如权利要求11的对象识别与跟踪系统，其特征在于人工智能适用于不用外部干预而做出这些判定，其中，人工智能确定首先将分析哪个特征、哪些特征或特征的一个新顺序，这些特征可以更好地识别有兴趣的对象，所以能够自我改善，或者，哪个算法更适合于其使用概率分析成功和加速识别。
13.如权利要求1的对象识别与跟踪系统，其特征在于还包括由一个适用于跟踪一个确定对象的跟踪引擎执行的系统的第三个阶段。
14.如权利要求1的对象识别与跟踪系统，其特征在于还包括多个检测器阵列、多种检测器类型和多重检测器空间。
15.如权利要求9的对象识别与跟踪系统，其特征在于还包括多个检测器阵列、多种检测器类型和多重检测器空间；该识别与跟踪系统包括在检测器阵列之间进行通信以便将对一个所选对象的跟踪从一个检测器空间移交到一个邻近的检测器空间的装置。
16.如权利要求15的对象识别与跟踪系统，其特征在于在检测器阵列之间进行通信的装置包括将信息传递到连续的检测器或要求这类信息激发必要的编程活动的其他第三方设备，而不用人工干预的装置。
17.如权利要求1的对象识别与跟踪系统，其特征在于还包括考虑来自检测器阵列的对象的角度或离开二维或三维空间内中心的对象的运动的装置。
18.如权利要求1的对象识别与跟踪系统，其特征在于或者每个检测器阵列实际上安装在其各自的检测空间上。
19.如权利要求1的对象识别与跟踪系统，其特征在于或者每个检测器阵列安装在其各自的检测空间的一侧。
20.如前述任一权利要求的对象识别与跟踪系统，其特征在于如果识别过程达不到预定的或人工了解的可靠性的阈值水平，那么，在一个重复的过程中进一步运用存储或下载的算法，直到各个结果被改善。
21.如前述任一权利要求的对象识别与跟踪系统，其特征在于它用于计数超市一类场所内的人数，或者用于马路上的交通，还用于安全监督和监视应用，用于根据在一段时间内，诸如，当走过一个商店或表示区域时，表面上随意的运动来确定式样或趋势。
22.如前述任一权利要求的对象识别与跟踪系统，其特征在于它用在一种移动车辆上，来检测对于该车而言相对静止的对象。
全文摘要
一种对象识别与跟踪系统,具有检测器阵列(60,70),每个检测器阵列(60,70)包括第一类检测器(95)和第二类检测器(96)。第一类检测器(95)例如通过改变对比边界来检测一个对象存在与否,从而检测在一个检测器空间(90)中移动的对象(91,92)。第二类检测器(96)聚焦在确定的对象(91,92)上,以认出、识别或记录它。检测器(95,96)可以是视频、雷达、微波、射频、红外线、毫米波或发生应答器询问器或这些的结合物。也可以跟踪邻接的检测器空间(90,90)之间的对象(91,92)。
文档编号G01S7/40GK1339137SQ00803330
公开日2002年3月6日 申请日期2000年2月1日 优先权日1999年2月1日
发明者P·G·科恩 申请人:贝奥尼克控股有限公司