专利名称：视频绊索的制作方法
技术领域：
本发明涉及监视系统。具体地，本发明涉及基于视频的监视系统。
背景技术：
最初，绊索是其中将绳索等横跨道路拉紧的结构，如果某些人或某些东西绊住绳索或拉动绳索，将触发一些响应。例如，这种响应可以是起爆地雷、发出警报或记录事件(例如，触发计数器、摄像机等)。今天，例如，通常将绊索实现为光束(例如，激光、红外线或可见光)；当某些人或某些东西遮蔽光束时，触发响应。
在图1中示意性地示出了使用光束的传统绊索的示例。光源产生光束，横跨道路传输到接收机。如果光束被遮蔽，则接收机不再接收到光束。这将导致一些响应的触发，如上所述。
传统绊索的优势在于其至少在概念上易于使用。而且，一旦进行安装，需要最少的人为干预。
但是，传统绊索具有多种缺点。例如，其不能区分感兴趣的触发物体和不感兴趣的触发物体。作为示例，可能感兴趣的是有多少人而不是狗通过道路；但是，无论是人还是狗都将触发绊索。问题还在于如果一群人一起走，将导致绊索的单次触发，而不是每个人一次。
此外，传统的绊索结构通常涉及专用设备的安装。例如，考虑激光绊索的示例，必须横跨所关心的道路安装激光源和激光检测器。此外，这种专用设备难以按照不易察觉的方式进行安装。
此外，传统的绊索不能提供高度的灵活性。传统的绊索典型地只检测是否有某些人或某些东西穿过，而不涉及穿过的方向。此外，因为只能直线延伸，传统的绊索局限于可以横跨其进行安装的区域。
今天，传统的视频监视系统也得到了普遍使用。例如，普遍安装在商店、银行和多种其他建筑物中。视频监视系统通常涉及一个或多个视频摄像机的使用，并记录从摄像机输出的视频，以便稍后检查，或由人类观察员监视从摄像机输出的视频，或二者兼而有之。这种系统如图2所示，其中将视频摄像机1对准道路。视频摄像机1产生视频信号，通过通信介质进行传输，这里所示为电缆2。电缆2馈入可视显示设备3和记录设备4之一或二者。
与传统的绊索不同，视频监视系统可以区分人和动物(即区分感兴趣的物体和不感兴趣的物体)，并且可以区分在一起行走的一群人中的个体。在能够监视的区域的形状方面，也提供了优于绊索的灵活性。同样，因为视频监视系统得到了广泛的使用，不需要安装其他设备。但是，视频监视系统也存在一些缺点。
传统视频监视系统的最主要的缺点可能在于其需要高度的人为干预，以便从所产生的视频中提取信息。即，必须有人在其产生时观看视频，或者必须有人检查已存储的视频。
现有技术的基于视频的监视系统的示例可以在授予Seeley等人的美国专利No.6,097,429和6,091,771(此后，统称为“Seeley等人”)中找到。Seeley等人涉及一种视频安全系统，包括在检测到入侵时拍摄截图。Seeley等人仅致力于与虚假告警和检测一些入侵/入侵者的需要有关的一些问题。其中使用了图像区分技术和物体识别技术。但是，如稍后所述，在Seeley等人与本发明之间存在多种区别。Seeley等人最严重的缺点在于并未公开如何进行检测和识别。在这些领域所公开的内容与本发明所呈现的内容不同。
在授予Nasburg的美国专利No.5,696,503和5,801,943(以下，统称为“Nasburg”)中讨论了基于视频或其他传感器的监视系统的另一示例。Nasburg处理了利用多种传感器(包括视频传感器)对车辆的跟踪。针对要跟踪的车辆，开发了“指纹”，并随后用于检测各个车辆。尽管Nasburg确实提及了视频绊索的概念，但并未公开如何实现这种视频绊索。Nasburg与本发明的区别还在于仅专注于检测和跟踪车辆。与此相反，如下面所公开以及所附权利要求所要求保护的那样，本发明的目的在于检测任意运动物体，包括刚体(如车辆等)和非刚体(如人类等)。
发明内容
考虑到上述问题，组合了绊索的优点与视频监视系统的优点的视频系统是有利的，这也正是本发明的目标。
本发明实现了一种视频绊索系统，其中利用基于计算机的视频处理技术，在数字视频中放置了任意形状的虚拟绊索。然后，同样利用基于计算机的视频处理技术，监视此虚拟绊索。作为监视的结果，可以对统计数据进行编译、入侵检测、事件记录、响应触发等。例如，在本发明的一个实施例中，人沿着一个方向穿过虚拟绊索的事件可以触发对此人的截图捕获，以便进一步识别。
可以利用现有的视频设备结合计算机设备来实现本发明的系统。因此，具有不需要扩展安装监视设备的优点。本发明的系统可以部分地以包含实现了对应方法的多种步骤的软件的计算机可读介质的形式实现，或者可以实现为执行这种软件的计算机系统(可以包括计算机网络)。
本发明的系统也可以结合除了传统的视频(包括热成像系统或红外摄像机)以外的其他成像设备一起使用。
本发明的一个实施例包括一种用于实现视频绊索系统的方法，包括以下步骤如果不存在，安装传感设备(可以是视频摄像机或其他这种设备)；校准传感设备；建立作为虚拟绊索的边界；以及收集数据。
通过以下的描述、附图和示例，其他目的和优点将变得更加显而易见。
定义在描述本发明的过程中，始终(包括上述部分)应用以下定义。
“计算机”表示能够接受结构化输入、根据指定规则处理结构化输入、并产生处理结果作为输出的任何设备。计算机的示例包括计算机、通用计算机、超级计算机、大型机、超级迷你计算机、迷你计算机、工作站、微型计算机、服务器、交互式电视、计算机和交互式电视的混合组合、以及用于仿真计算机和/或软件的应用专用硬件。计算机可以具有单处理器或多处理器，可以并行和/或非并行操作。计算机还表示通过用于在计算机之间传输或接收信息的网络连接在一起的两个或多个计算机。这种计算机的示例包括用于通过以网络相连的计算机来处理信息的分布式计算机系统。
“计算机可读介质”表示用于存储可由计算机访问的数据的任何存储设备。计算机可读介质的示例包括磁硬盘、软盘、光盘(如CD-ROM或DVD等)、磁带、存储器芯片和用于承载计算机可读电子数据的载波(如用于传输和接收电子邮件或访问网络的载波等)。
“软件”表示操作计算机的指定规则。软件的示例包括软件、代码段、指令、计算机程序和编程逻辑。
“计算机系统”表示具有计算机的系统，其中计算机包括实现了操作计算机的软件的计算机可读介质。
“网络”表示通过通信设施连接的多个计算机和相关设备。网络涉及如电缆等永久连接或如通过电话或其他通信链路构成的临时连接。网络的示例包括互联网(如因特网等)、内联网、局域网(LAN)、广域网(WAN)和网络的组合(如互联网和内联网的组合等)。
“视频”表示以模拟和/或数字形式表示的运动画面。视频的示例包括电视、电影、来自摄像机或其他观察器的图像序列和计算机生成的图像序列。例如，这些可以从现场馈线、存储设备、基于IEEE 1394的接口、视频数字化器、计算机图形引擎或网络连接获得。
“视频处理”表示对视频的任何操作，例如包括压缩和编辑。
“帧”表示视频内的特定图像或其他离散单元。
通过结合附图阅读以下详细描述，本发明将得到更好的理解，在附图中，相似的参考数字始终表示相似的元件，其中图1示出了现有技术的绊索系统；图2示出了现有技术的视频监视系统；图3示出了根据本发明实施例的视频绊索系统；图4示出了根据本发明实施例的分析系统的实施例的方框图；图5示出了用于描述根据本发明实施例的方法的流程图；图6示出了用于描述图5所示的校准步骤的第一实施例的流程图；图7示出了用于描述图5所示的校准步骤的第二实施例的流程图；图8示出了用于描述图5所示的校准步骤的第三实施例的流程图；图9示出了图8所示的柱状图形成步骤的典型实施例；图10示出了用于描述图7和8所示的分割步骤的典型实施例的流程图；图11示出了用于描述检测绊索穿越的步骤的典型实施例的流程图；图12和13示出了用于描述报告格式的典型实施例的“屏幕镜头”；以及图14示出了用于描述本发明的典型应用的流程图。
具体实施例方式
在描述如附图所示的本发明的优选实施例的过程中，为了清楚，采用了特定的术语。但是，本发明并不倾向于被局限于这样选择的特定术语。应当理解，每个特定元件均包括按照类似方式进行操作以实现类似目的的全部技术等价物。将这里所引用的每篇对比文件一并在此作为参考，如同将其单独合并在此作为参考一样。
此外，通常以人的检测来讨论以下所讨论的实施例。但是，不应当将本发明理解为局限于人的检测。相反，可以将下述实施例中的视频绊索系统用于检测各种物体，有生命的或无生命的。示例包括车辆、动物、植物生长(例如用于检测何时修整灌木丛的系统)、下落物体(例如用于检测何时将可回收罐投入垃圾滑槽的系统)、以及微观实体(例如用于检测微生物何时透过细胞壁的系统)。
图3示出了视频绊索系统的实施例的概况。与图2中一样，将传感设备1对准道路，并产生输出信号。传感设备1可以是视频摄像机，如结合图2所讨论的那样；但是，也可以是产生视频型输出的任何其他类型的传感设备，例如基于热的、基于声音(例如，声波图)的或基于红外的设备。通过通信介质2传输传感设备1的输出。例如，通信介质2可以是电缆；但是，也可以是任何其他通信介质，例如，RF、网络(如因特网)或光波。如果通过通信介质2的通信需要调制、编码、压缩或其他通信相关信号处理，可以提供用于执行这些信号处理的装置，作为传感设备1的一部分或者作为与传感设备1相连的分离装置(未示出)。通信介质2将来自传感设备1的输出信号传递给分析系统5。分析系统5从用户接口6接收输入并向用户接口6发送输出。例如，用户接口6可以包括监视器、鼠标、键盘、触摸屏、打印机或其他输入/输出设备。利用用户接口6，用户能够提供对系统的输入，包括初始化(包括创建虚拟绊索，如稍后所述)所需的输入，并提供对分析系统5的命令。用户接口6还可以包括警报或其他报警设备；还可以包括用于实现对触发事件的任何其他响应的装置，或与之相连，如上所述。用户接口6通常还包括类似于图2中的监视设备3的显示设备。
分析系统5执行分析任务，包括实现视频绊索所需的处理。在图4中更为详细地示出了分析系统5的实施例。图4示出了与通信介质2和用户接口6相连的分析系统5，如图3所示。在图4中，所示的分析系统5包括接收机51、计算机系统52和存储器53。接收机51从通信介质2接收传感设备1的输出信号。如果信号被调制、编码等，则接收机51包含用于执行解调、解码等的装置。此外，如果从通信介质2接收到的信号是模拟形式的，则接收机51包括用于将模拟信号转换为适合于计算机系统52处理的数字信号。接收机51可以实现为分离的模块，如图所示，或者在可选实施例中，可以将其集成在计算机系统52中。而且，如果在将来自通信介质2的信号发送到计算机系统52之前不需要执行任何信号处理，则可以完全省略接收机51。
计算机系统52具有存储器53，可以位于计算机系统52的外部，如图所示，或者可以并入计算机系统52中，或二者的组合。存储器53包括计算机系统52所需的全部存储器资源，并且可以包括一个或多个记录设备，用于存储从通信介质2接收到的信号。
在本发明的另一实施例中，可以将传感设备1实现为用于监视相同位置的多个传感设备的形式。在这种情况下，可以在通过通信介质2传输数据之前，对每个传感设备输出的数据进行综合，或者可以将所有传感设备的输出传输给分析系统5，并在分析系统5进行处理。
在本发明的另一实施例中，传感设备1可以包括用于监视不同位置并将其数据发送给单一分析系统5的多个传感设备。按照这种方式，单一系统可以用于监视多个场所。
通过以下对本发明方法的讨论，图3和4所示的组件所执行的处理将变得更加清楚。
图5示出了本发明方法的实施例的概况流程图。如果未安装传感设备1，则必须进行安装71。然而，在大多数情况下，这种传感设备可能已经存在。例如，大多数银行已经使用了视频监视系统，所以不需要安装新的视频摄像机。在本系统的优选实施例中，安装固定的传感设备。理想地，按照“自然”定向进行安装(即图像中的上对应于现实世界中的上)。
在安装了传感设备1时，需要利用分析系统5对其进行校准。大体上讲，可以通过显式校准或隐式校准来执行系统校准，在显式校准中，告知系统(或自动确定)传感设备1所需的校准参数，在隐式校准中，告知系统(或自动确定)感兴趣的物体在传感设备1的视场中的多个位置处的尺寸。校准的目的是提供缩放信息，即使系统知道人或感兴趣的其他物体在不同图像区域中的尺寸。此信息对于数据分析步骤74尤为重要。可以按照以下三种方式之一或其中两种或更多种的组合来执行校准手动数值校准、辅助分割校准和全自动校准。这些方法的实施例的流程图分别如图6、7和8所示。
图6示出了手动校准方法的实施例的流程图，涉及上述显式校准。用户通过用户接口6输入与传感设备1有关的参数721。例如，这些参数可以包括传感设备1的焦距、传感设备1距离地面的高度以及传感设备1相对于地面的角度。然后，分析系统5产生可视反馈722；例如，系统可以将人或感兴趣的其他物体重叠在实际视频帧上。在用户接口6上，将可视反馈呈现给用户。可视反馈提供了缩放信息(例如人或感兴趣的其他物体相对于周围环境的大小)，有助于验证校准是正确的。然后，用户决定可视反馈的外观是否是可接受的，或者是否需要调整参数723。如果可接受，则结束处理；否则，处理循环回到新参数的输入721。
使用隐式校准并可能也至少在一定程度上涉及显式校准的(如下)、辅助分割校准方法的实施例如图7所示。在本实施例中，人步行通过传感设备1的视场(或者所感兴趣的其他物体运动通过传感设备1的视场；以下的讨论将参考人，但应当理解的是，可以等价地应用于感兴趣的其他物体)(步骤721A)。这使得系统能够确定普通人在图像的不同区域中的预期尺寸。在校准期间，走动的人应当是视场中惟一的运动物体。然后，系统分割出运动的人722A。然后，将人在图像的不同区域中的尺寸用于校准(即确定上述参数)723A。与手动校准一样，提供可视反馈724A，然后，用户评估图像的外观是否可接受725A。如果不可接受，则用户可以调整参数726A，或者可选地，完整地重新进行校准，处理循环回到步骤721A(虚线箭头)。采用这些选项中的哪一个可以由用户选择。另一方面，如果外观可接受，则处理完成。
涉及隐式校准的全自动校准方法的实施例如图8所示。首先，在一段较长时间(例如几小时到几天)中，传感设备1收集信息(图8所示的视频信息)721B。在收集数据之后，分割出物体，以便进行分析722B。然后，针对图像多个区域中的多个物体，产生柱状图723B。此步骤的细节在图9中示出。
图9示出了具体实现为两步处理的柱状图形成步骤723B，但是本发明并不局限于这些处理。在步骤1中，系统确定“含混”图像区域，即存在过多混淆物体而不能可靠地跟踪物体的区域。结果，只使用能够以高置信度跟踪的物体；在本发明的一个实施例中，这些是被存储的惟一物体。在步骤2中，系统只利用剩余图像区域，并形成在这些区域中所检测到的物体的柱状图。如步骤2所示，以及如图8所示，然后，系统利用柱状图来确定人在图像的各个区域中的平均尺寸724B。然后，将此信息用于校准系统725B。类似于图7中的步骤723A来实现校准处理。
仅当在给定区域中记录了能够获得有意义的确定的足够多物体时，执行确定人在图像区域中的平均尺寸的步骤724B。可以根据经验确定有意义的柱状图所需的确定数，或者例如，可以取决于暴露绊索的行动的数量和类型。对于这些区域，检测柱状图中的峰值。假设每个图像区域中的最高峰值(即最频繁发生)是单个人。如果确定了此信息，则成功地执行了校准725B，于是系统发出准备好实际操作的信号。
典型地，执行图8所示的处理，而无需人为干预。但是，用户可以提供其中大多数物体预期为个人的时间窗口，以减少试图区分人群的问题。可以在获得信息的步骤721B中或者在其他处理步骤中施加这种时间窗口。
每种自动校准方法(辅助和全自动)均需要将图像分割为前景物体和背景(分别参见图7和8中的步骤722A和722B)。在图10中示出了此处理的实施例。典型实施例由三个步骤组成像素级背景建模7221；前景检测和跟踪7222；和物体分析7223。
像素级背景建模7221的目的是保持图像背景的精确呈现和区分背景(BG)像素和前景(FG)像素。在典型实施例中，此步骤实现了转让给相同受让人的、2001年3月23日递交的题为“VideoSegmentation Using Statistical Pixel Modeling”的美国专利申请No.09/815,385中所公开的处理，将其全部内容一并在此作为参考。典型方法的一般想法是所有像素的历史在几个帧中得到保持，包括像素值及其统计数据。将稳定的、不变化的像素看作BG。如果像素的统计数据发生显著变化，则将其看作FG。如果像素再次稳定，则恢复成将其看作BG像素。此方法用于消除传感器噪声和自动解决背景的变化(例如，在商店中，当人从货架上取下产品时，货架将立刻被看作FG，但将在屏幕重新稳定之后恢复成BG)。
前景检测和跟踪7222的目的是将FG像素组合为FG物体，并在多个帧上进行跟踪，以确保空间-时间一致性。从像素级背景建模7221获得被确定为FG像素的像素集合及其统计属性。在典型实施例中，利用本领域公知的简单形态学和连接组件检测技术，将FG像素空间上融合为较大的FG物体。利用相关方法，在几个帧上跟踪这些物体，以获得可靠的尺寸信息。例如，在转让给相同受让人的、2000年10月24日递交的题为“Interactive Video Manipulation”的美国专利申请No.09/694,712中讨论了典型的跟踪技术，将其全部内容一并在此作为参考。同样，可以参考Wren，C.R.等人的“PfinderReal-TimeTracking of the Human Body”，IEEE Trans.on Pattern Matching andMachine Intelligence，1997年第19卷第780～784页；Grimson，W.E.L等人的“Using Adaptive Tracking to Classify and MonitorActivities in a Site”，CVPR，1998年6月第22～29页；以及Olson，T.J.和Brill，F.Z.的“Moving Object Detection and EventRecognition Algorithm for Smart Cameras”，IUW，1997年5月第159～175页。将每个参考文件的全部内容一并在此作为参考。
第三步骤，物体分析7223，具有多种功能。物体分析7223可以用于分离和计数物体；用于区分感兴趣的物体(例如人)和“混淆物体”(例如购物车)；用于确定物体的运动方向；以及解决物体的遮挡。在所示实施例中，根据以下内容中的一个或多个来进行与物体有关的确定尺寸、内部运动、头状突起的个数(例如如果人是感兴趣的物体)、以及脸部检测(例如，同样，在人是感兴趣的物体的情况下)。用于执行这些功能的技术是现有技术中已知的，例如，在以下参考文件中公开了这些技术的示例Allmen，M.和Dyer，C.的“Long-rangeSpatiotemporal Motion Understanding Using Spatiotemporal FlowCurves”，Proc.IEEE CVPR，1991年Lahaina，Maui，Hawaii，第303～309页；Gavrila，D.M.的“The Visual Analysis of Human MovementA Survey”，CVIU，1999年1月第73卷第1号第82～98页；Collins，Lipton等人的“A System for Video Surveillance and MonitoringVSAM Final Report”，Robotics Institute，Carnegie-MellonUniversity，Tech.Rept.No.CMU-RI-TR-00-12，2000年5月；Lipton，A.J.等人的“Moving Target Classification and Tracking fromReal-Time Video”，1998 DARPA IUW，1998年11月20～23日；以及Haering，N.等人的“Visual Event Detection”，Video ComputingSeries，M.Shah，2001版。将每个参考文件的全部内容一并在此作为参考。
现在，返回到图5，在校准步骤72之后是初始化系统的步骤73。此步骤允许用户输入与系统如何收集、响应和报告数据有关的多种参数。首先，用户可以将感兴趣的一条或多条线重叠在图像上；这些线将用作一个或多个绊索。这些线可以是任意朝向的，并且几乎可以放在图像中的任何位置；例外是这些线不能过于靠近图像边界，因为穿越线的物体(例如人)必须在线的两侧至少部分可视以便检测。在所示实施例中，假设绊索位于图像中的地上；即，当物体的底部(例如人的腿)穿过线时，发生检测。在更为一般的实施例中，用户可以设置每条线距地面的高度。
可以初始化的其他参数包括主动检测的时间间隔、作为事件检测的标准的穿越每条线的方向(例如，为了确定人们何时进入某一地区，与希望确定人们何时进入或离开该地区不同)、以及检测的敏感度。
本发明的实施例可以包括多种不同的绊索。例如，视频绊索不必是直的；可以根据场景中一个或多个区域的轮廓，绘制一条或多条曲线绊索。类似地，视频绊索不必是单一的线段；视频绊索可以包括由多于一个线段组成的多段绊索。另外，视频绊索不必仅包括单一绊索；与此相反，视频绊索可以包括“多条”平行的绊索，例如，需要物体按照特定的顺序或在特定的时间段内穿过所有绊索。其他变体也是可能的，而且本发明并不局限于这些实施例。
本发明的实施例可以包括图形用户接口(GUI)。在这些实施例中，用户可以通过在视频图像或作为来自视频流的截图(例如，这种“截图”可以是视频流的帧或者可以分离地获得)的图像上精确绘制绊索来初始化系统。这可以利用“点取和点击”接口来完成，其中用户可以利用点取设备(如鼠标)选择图像上的点，然后沿着图像拖拽绊索，从而指定绊索。也可以利用“点取和点击”接口来选择绊索规则的其他组件，如方向性(左到右、右到左、二者之一)、物体类型(人、车辆、动物等)、物体速度等。例如，可以利用如鼠标等点取设备选择图形菜单上的选项来选择方向性；例如，可以利用如鼠标等点取设备，从列表或下拉菜单上选择物体类型等。
初始化73的另一功能是使用户选择多种记录选项。这些选项确定收集何种数据，可以包括但不局限于·仅在人(或一般地，感兴趣的物体)穿过时记录；·仅在两个或更多人穿过时记录；·记录所有穿越；·仅在穿越的检测具有高置信度时记录；·仅记录检测统计结果；·拍摄“截图”或创建检测事件周围的整个视频。“截图”表示创建静态图像，可以是简单的特定视频(或其他传感设备)帧，或者可以独立地产生。
可以将这多种选项组合起来看作视频事件规则。视频事件规则可以包括指定动作(如“人”沿指定方向穿过“虚拟绊索”)和指定响应(例如，向数据库中记录具有文本和视频的报警，并向特定的电子邮件地址发送电子邮件)。视频事件规则可以包含涉及其他虚拟视频特征(如感兴趣的区域)的更为复杂的活动和其他种类的活动(如徘徊、遗留袋子或偷盗产品)以及其他响应(如启动数字视频记录器(DVR)或响起可听警报)。
在初始化73之后，系统进行操作以收集和分析数据74。如果用户输入了时间窗口，系统在处于此时间窗口时开始处理。当检测到绊索事件(或由用户规定的特定类型的绊索事件)时，将其与伴随信息一起进行记录；伴随信息的类型通过以下对数据报告的讨论将变得更加清楚。在一些应用的环境中，绊索事件可以触发警报或其他响应76(例如拍摄截图)。
用于执行分析和检测绊索事件的典型技术的实施例如图11所示。首先，利用物体分割740，从视频中确定FG物体。例如，物体分割740可以包括如图10所示的上述步骤7221、7222和7223。然后，测试FG对象的位置741，以确定其是否与表示绊索的线重叠742。如上所述，在总是假设绊索线位于地面上的典型实施例中，如果物体的底部与绊索线重叠，则确定物体穿过绊索。如果确定没有重叠发生，则不存在绊索事件743。如果存在重叠，则如果仅将规定方向的穿越看作绊索事件，测试穿越的方向744，并且将那些未发生在规定方向上的穿越不看作绊索事件745。如果任一方向的穿越均表示绊索事件，则处理跳过步骤744的测试。如果已经执行了步骤744并产生了肯定结果，或者如果未执行步骤744，则还可以执行额外的查询746。例如，这种查询可以包括确定相关物体的特定特性(例如，轿车、卡车、蓝色轿车、蓝色客货两用车、小于特定尺寸的轿车等)或特定物体(例如，特定人的脸、牌照号码等)。如果这种查询746返回肯定结果，或者如果未执行这些查询，则处理确定绊索事件已经发生747。当然，如果进行了这种查询746并返回否定结果，则确定未发生绊索事件。
用于实现穿越方向的确定744的几种方法是可能的。作为第一示例，可以通过对被检测为穿越绊索的物体应用光学流方法来实现；光学流方法的使用也可以用于消除对物体分割的需要。作为第二示例，可以使用来自物体跟踪(图10的步骤7222中)的轨迹信息。作为第三示例，可以通过在用户输入的每条实际绊索的一侧设置辅助(伪)绊索，并确定当穿越实际绊索时穿越辅助绊索的次序来实现。
校准72对于执行步骤74尤为重要，尤其是如果仅对特定类型的物体感兴趣。例如，如果人是感兴趣的物体，则校准72允许步骤74区分人和比人小(如猫和老鼠)或大(如人群和轿车)的物体。
当已经收集了数据时，可以将其报告给用户75。在本发明的典型实施例中，用户可以利用图形用户接口(GUI)向系统查询结果。在本实施例中，可以显示与一个或多个单独检测有关的总结信息和/或详细数据。总结信息可以包括以下内容中的一个或多个检测数、所检测到的人数(或感兴趣的其他物体的个数)、多人(多物体)检测的次数(即当多个人(或感兴趣的其他物体)同时穿越时)、每个方向穿过的人(物体)数、在用户选择的时间窗口内前述内容中的任何一个或全部、以及前述内容中的任何一个或全部的一个或多个时间柱状图。与单次检测有关的细节可以包括以下内容中的一个或多个时间、方向、穿过的人(物体)数、穿过的物体的尺寸、以及在检测时间附近所拍摄的一个或多个截图或视频。
图12和13示出了典型实施例中示例报告显示的样本屏幕镜头。图12示出了与穿越横跨走廊的绊索124有关的总结信息121。在此特定图示中，屏幕示出了包括绊索124在内的区域的现场视频123。还包括给出了进行监视的时间段(即时间窗口)和记录穿越事件的时间段的说明125。总结信息121包括穿越数及其方向。在这种情况下，用户进一步规定应当显示特定的穿越时间和日期122。
图13示出了与特定穿越事件有关的单独信息；这些穿越事件的发生对应于图12中的特定穿越时间和日期122。在图13的显示中，用户已经选择与时间和日期一起显示每个穿越事件的截图。具体地，截图131和132对应于图12的视频123中所示的区域中的穿越事件。在另一实施例中，用户可以点击截图或与截图相关联的按钮，以查看在穿越事件的时间附近所拍摄的对应视频。
本发明的视频绊索的应用示例是检测“跟进”。跟进描述了其中允许特定数量的人(通常是一个人)进入某一区域(等)而一个或多个其他人试图紧紧跟随以便进入。图14示出了用于实现跟进检测系统的方法的流程图。在本实施例中，假设视频监视摄像机安装在能够记录通过入口(例如门或十字转门)的进入的位置处。此外，已经如上所述地对摄像机进行了校准。通过检测正在通过入口进入的人，或即将通过入口进入的人，启动系统141。这可以通过多种方式来实现；例如，可能需要投币、在键盘上输入代码、或通过读卡器刷卡，或者系统可以使用基于视频的检测方法，可视地检测入口的打开(其优点在于不需要与外部设备(读卡器、键盘等)的接口，可以在一些环境中更容易地安装和实现)。当检测到进入时，开始监视142。在此监视期间，系统检测运动通过入口的物体并进行分析，以确定进入了多少人。如果摄像机的位置能够记录脸部，则可能涉及脸部检测，如上所述。然后，系统确定进入的人数是否是允许的143。在所示示例中，每次只允许进入一个人；但是，在更为一般的实施例中，可以是任意选定的数量。如果一个人(允许数量)进入，则不需要任何响应144。另一方面，如果多于一个人(多于允许数量)进入，将触发响应145。例如，这种响应可以包括响起警报、拍摄截图、或记录进入时刻附近的视频。使用后两种响应的系统的附加优点在于在系统具有读卡器的情况下，能够为追踪使用盗窃卡的人提供有用的证据。
本说明书所示出和讨论的实施例仅倾向于教导本领域普通技术人员发明人所知的使用本发明的最佳方式。不应当将本说明书中的任何内容看作对本发明范围的限制。正如本领域普通技术人员根据以上教导所知，在不偏离本发明的前提下，可以修改或改变本发明的上述实施例，以及添加或省略其中的元件。因此，应当理解，在所附权利要求及其等价物的范围内，可以以不同于这里具体描述的其他方式实现本发明。
权利要求
1.一种视频绊索系统，包括传感设备，产生视频输出；以及计算机系统，包括用户接口，用于执行校准，以及用于收集和处理基于从传感设备接收到的视频输出的数据，所述用户接口包括输入装置和输出装置，所述输入装置包括图形用户接口，其中所述计算机系统显示处理后的数据，以及所述图形用户接口适用于使用户能够在所述视频输出的视频图像或从所述视频输出中拍摄的截图中的至少一个上绘制视频绊索。
2.根据权利要求1所述的视频绊索系统，其特征在于所述图形用户接口包括点取和点击接口。
3.根据权利要求2所述的视频绊索系统，其特征在于所述点取和点击接口包括至少一个菜单。
4.根据权利要求1所述的视频绊索系统，其特征在于所述图形用户接口还适用于使用户能够输入至少一条绊索规则。
5.根据权利要求4所述的视频绊索系统，其特征在于所述至少一条绊索规则包括方向性、物体种类和物体速度中的至少一个。
6.根据权利要求4所述的视频绊索系统，其特征在于所述图形用户接口包括适用于使用户能够输入所述至少一条绊索规则的至少一个菜单。
7.一种视频绊索用户接口，包括图形用户接口，适用于使用户能够在视频图像和来自视频流的截图中的至少一个上绘制视频绊索。
8.根据权利要求7所述的用户接口，其特征在于所述图形用户接口包括点取和点击接口。
9.根据权利要求7所述的用户接口，其特征在于所述图形用户接口包括至少一个菜单。
10.根据权利要求7所述的用户接口，其特征在于所述图形用户接口还适用于使用户能够输入至少一条绊索规则。
11.根据权利要求7所述的用户接口，其特征在于所述图形用户接口还适用于使用户能够输入至少一条视频事件规则。
12.一种初始化视频绊索系统的方法，包括输入参数；以及在视频图像和来自视频流的截图中的至少一个上绘制视频绊索。
13.根据权利要求12所述的方法，其特征在于所述绘制视频绊索包括使用图形用户接口。
14.根据权利要求13所述的方法，其特征在于所述图形用户接口包括点取和点击接口。
15.根据权利要求12所述的方法，其特征在于还包括输入至少一条绊索规则。
16.根据权利要求15所述的方法，其特征在于所述绊索规则包括方向性、物体种类和物体速度中的至少一个。
17.根据权利要求15所述的方法，其特征在于所述输入包括使用点取和点击接口。
18.根据权利要求17所述的方法，其特征在于所述点取和点击接口包括至少一个菜单。
19.根据权利要求12所述的方法，其特征在于还包括输入至少一条视频事件规则。
20.一种计算机可读介质，包含当由计算机执行时，使计算机适用于使用户能够执行根据权利要求12所述的方法的指令。
21.根据权利要求20所述的计算机可读介质，其特征在于还包含当由计算机执行时，使计算机创建适用于使用户能够执行所述绘制的图形用户接口的指令。
22.根据权利要求21所述的计算机可读介质，其特征在于所述图形用户接口包括点取和点击接口。
23.根据权利要求22所述的计算机可读介质，其特征在于所述点取和点击接口包括至少一个菜单。
24.一种视频绊索系统，包括计算机系统；以及根据权利要求20所述的计算机可读介质。
25.一种视频绊索系统，包括传感设备，产生视频输出；以及计算机系统，包括用户接口，用于执行校准，以及用于收集和处理基于从传感设备接收到的视频输出的数据，所述用户接口包括输入装置和输出装置，其中所述计算机系统显示处理后的数据，以及所述计算机系统包括允许用户输入至少一条虚拟绊索的软件，所述视频绊索包括曲线视频绊索、多段视频绊索和多条平行视频绊索中的至少一种。
26.一种实现视频绊索系统的方法，包括校准传感设备，以确定由系统使用的传感设备参数；初始化系统，包括输入至少一条虚拟绊索，所述视频绊索包括曲线绊索、多段绊索和多条平行绊索中的至少一种；从传感设备获得数据；分析从传感设备获得的数据，以确定是否已经穿越所述至少一条虚拟绊索；以及触发对虚拟绊索穿越的响应。
27.一种视频绊索系统，包括传感设备，提供输出数据；以及计算机系统，接收所述输出数据，并包括用户接口；至少一个处理器；以及计算机可读介质，包含用于实现根据权利要求26所述的方法的软件。
全文摘要
一种视频绊索系统可以使用户能够通过将视频绊索绘制在视频图像上或来自视频流的截图上来输入视频绊索。此绘制可以通过图形用户接口来实现。
文档编号G06T7/20GK1898960SQ200480038939
公开日2007年1月17日 申请日期2004年11月12日 优先权日2003年11月12日
发明者彼得·L·韦奈蒂阿奈尔, 保罗·C·布鲁尔, 安德鲁·J·肖萨克, 约翰·I·W·克拉克, 尼尔斯·黑林, 艾伦·J·利普顿, 加里·迈耶斯, 尹春城, 普拉莫德·卡拉帕 申请人:实物视频影像公司