专利名称：一种用于在视频监视期间对移动对象进行分类的系统和方法
技术领域：
本发明涉及用于视频监视的系统和方法。更具体地，本发明涉及用于在视频监视期间对移动对象进行分类的系统和方法。
背景技术：
在敏感区域昼夜不停地进行人工监视是很费力的。即使在安全性至关重要的大部分地点安装了摄像机，视频所产生的数据量非常大，以至于它可能要求大得惊人的数据存储需求。对于有效视频监视存在着不断增加的需求。术语监视可应用于借助于诸如CCTV 相机的电子装备从远方进行的观察。监视有益于私人和政府安全性机构以维持社会控制、 辨别和监控威胁、以及阻止/研究非法侵入和犯罪活动。差不多到处都在使用视频监视，包括在敏感区域中以及如机场、核电站、实验室、银行。它还用于交通信号、街道、门户，等等。 负责执行这种监视的组织一般部署多个传感器(例如，闭路电视视频(CCTV)和红外线相机、雷达等)以确保安全性和广域的认知。在现有技术中，在视频监视期间将移动对象分类至像人类、动物(牲畜)和车辆的预定义类别是由不同过程来进行的。尝试解决在监视中进行移动对象分类的一些发明有授权给Harma等的美国专利7639840，其教导了一种用于视频监视的方法和装置。 接收代表视场的景物影像序列。在此景物影像序列内识别一个或更多个移动对象，随后根据一个或更多个提取出的空-时特征通过使用运动检测掩模对其进行分类。然后可将该分类应用于确定移动对象和/或其行为是否符合一个或更多个导致警报的已知事件或行为。在现有技术中，描述移动对象的空-时签名和特征向量用于对该移动对象进行分类。包含移动对象的所有帧被存储并分析以得出关于该移动对象的分类的结论。该系统需要很大的存储器存储和繁重的计算用于计算移动对象和背景的空-时签名和特征向量。Robust Real-Time Periodic Motion Detection，Analysis and Applications (稳健的实时周期性运动检测、分析和应用)，作者:Ross Cutler和Larry S. Davis，来源:IEEE Transactions on Pattern Analysis and Machine Intelligence archive (电气与电子工程师协会模式分析与机器智能档案汇刊)，第22卷第8期(2000年 8月)目录，第781-796页，发行年份2000年，其教导了一种用于移动对象分类的方法。该方法对人类、狗及其他(车辆)进行了分类。在该文描述的方法中，计算了对象随着时间而演化的自相似性。自相似性是周期性的，而时-频分析用于检测和表征周期性运动。并且， 相似性矩阵(绝对相关性)的固有的2D栅格结构用于移动周期性的表征。周期性模式用于在这三种感兴趣的类别之间进行区分。Algorithms for Cooperative Multi Sensor Surveillance (用于协作式多传感器监视的算法)，该论文发表于Proceedings of the IEEE (电气与电子工程师协会会报)， 发行日2001年10月，卷号89，期号10，1456-1477页，作者Robert Τ. Collins，其教导7 Carnegie Mellon University (卡内基美隆大学CMU)的视频监视和监控(VSAM)组已开发了端到端、多相机监视系统，它允许单个人工操作员使用主动式视频传感器的分布式网络来监控杂乱环境中的活动。它自动地收集并散布实时信息以改善安全性提供商和决策制定者的事态认知。在该现有技术中，对象检测是通过分层适应性背景减法来实现的，而分类是通过计算成本也很高的神经网络分类器来实现的。现有技术中使用的用于将移动对象分类到预定类别的各个技术(诸如时间差分、 背景减法、光流、运动检测掩模的使用、周期性运动和图像相关性匹配)计算成本很高且需要更多的存储器空间用于存储并分析包含感兴趣对象的视频中的帧序列。以上讨论的现有技术参考文献中没有任何一篇提出使用计算成本低的更为经济的方法、使用简单逻辑用于在视频监视期间区别对象、利用较少的存储器存储空间来避免帧存储并在计算区别特征时利用较少的存储器存储空间来在视频监视中将移动对象分类到预定类别的系统和方法。因此，很显然需要如下的用于在视频监视中将移动对象分类到预定类别的系统和方法，其 计算成本低·使用简单逻辑用于在视频监视期间区别对象 利用较少存储器存储空间来避免存储包含感兴趣对象的帧。 在分析帧以区别视频中的对象时利用较少的存储器存储空间。发明目的本发明的主要目的是提出一种能在视频监视期间将任何移动对象分类到预定义类别的系统和方法。本发明的另一重要目的是使用较简单的逻辑和计算成本节约的方法在视频监视期间对移动对象进行分类。本发明的另一目的是仅存储从帧序列计算出的一组重心以用于方差计算，由此需要较少存储器空间。本发明的又一目的是提供一种计算成本低廉的、用于在视频监视中对移动对象进行分类的系统和方法。
发明内容
在对本发明的方法、系统和硬件实现进行描述前，应该理解到本发明不局限于所描述的特定系统和方法，因为本发明可有多个没有在本公开中明确说明的可能的实施例。 还应理解到，本说明书中所使用的术语仅是为了描述特定版本或实施例的目的，而不旨在限定仅将由所附权利要求书限定的本发明的范围。本发明提供了一种用于在基于视频的监视期间对移动对象进行分类的系统，包括a)至少一个视频捕获装置，配置为捕获落在该视频捕获装置的工作范围内的移动对象的侧影图像；b)用于存储程序指令的装置，这些程序指令配置为使处理器
i)调整所捕获的侧影图像的大小，其中侧影图像的大小调整比例因子是通过使用所捕获的侧影图像的上半部分的尺寸来计算的；ii)计算大小已调整的侧影图像中的对象的平均高宽比和重心，其中重心是通过仅使用该对象的上半部分来计算的；iii)将所捕获的图像的下半部分以穿过重心的垂直线划分为两部分，并且分析该下半部分之一并计算重心的方差；iv)将该对象的平均高度与平均宽度进行比较，并进一步将重心的方差与预定的阈值进行比较；ν)将所捕获的侧影中的对象分类到预定类别，其中该分类是在所计算出的平均高度、平均宽度和重心的方差的值的基础上进行的。
以上发明内容、以及优选实施例的以下详细描述将在结合附图阅读时更好地得到理解。为了本发明的说明目的，在图中示出本发明的示例性构造；但本发明不局限于所公开的特定方法和系统。在附图中图1示出摄像机的布局及其工作范围。图2示出捕获的侧影图像的左下半部分。图3示出用于在视频监视期间将移动对象分类为人类、牲畜和车辆的系统和方法。图4示出分析视频监视范围中移动的人类的过程。图5示出分析视频监视范围中移动的二轮车的过程。图6示出分析视频监视范围中移动的汽车的过程。
具体实施例方式现在将详细讨论本发明的一些实施例，这些实施例说明本发明的所有特征。术语“由...组成”、“具有”、“包含”以及“包括”、以及它们的其他形式意图是含义上等效的并且是开放式的，跟随在这些术语之中任一术语后的一个或多个事项不旨在成为此类一个或多个事项的穷尽性列举或被仅限定于所列举的一个或多个事项。还必须注意到，如本文以及所附权利要求书中所使用地，单数形式的“一”、“某”以及“该”包括复数引用，除非上下文明确地指出相反情况。尽管描述了优选系统和方法，然而在本发明的实施例的实践或测试中可使用与所描述的系统和方法相类似或等效的任何系统和方法。所公开的实施例仅仅是本发明的示例，其可具体化为各种形式。侧影是对象或景物的侧视图，其包括被取侧影的对象的轮廓和无特征的内部。重心在图像处理的上下中感兴趣的区域或所考虑的二进制图像的平均坐标。监视是对(通常而言人的)行为、活动或者其他变化的信息的监控，常以秘密方式进行。它最通常地指由政府组织对个人或团体所作的观察，而例如疾病监视是对社区中疾病的发展的监控。视频捕获装置是用于捕获视频的装置。它可以是摄像机、闭路电视(CCTV)相机或IP相机。处理系统是根据本发明的系统，其中每个相机具有其相关联的处理系统用于分析捕获的图像并对进入视频监视的工作范围的移动对象进行分类。本发明提供了一种用于在基于视频的监视期间对移动对象进行分类的系统，包括c)至少一个视频捕获装置，配置为捕获落在该视频捕获装置的工作范围内的移动对象的侧影图像；d)用于存储程序指令的装置，这些程序指令配置为使处理器i)调整所捕获的侧影图像的大小，其中侧影图像的大小调整比例因子是通过使用所捕获的侧影图像的上半部分的尺寸来计算的；ii)计算大小已调整的侧影图像中的对象的平均高宽比和重心，其中重心是通过仅使用该对象的上半部分来计算的。iii)将所捕获的图像的下半部分以穿过重心的垂直线划分为两部分，并且分析下半部分之一并计算重心的方差；iv)将该对象的平均高度与平均宽度进行比较，并进一步将重心的方差与预定的阈值进行比较；ν)将所捕获的侧影中的对象分类到预定类别，其中该分类是在所计算出的平均高度、平均宽度和重心的方差的值的基础上进行的。根据示例性实施例，如图1所示在要被覆盖的区域外围放置至少四个以下称作相机的视频捕获装置以保证这四个相机的至少之一捕获移动对象的侧影。处理系统(未示出)附连至每个相机，从而使得每个相机能分析所捕获的侧影图像并对落入图1中所示的视频监视的工作范围中的移动对象进行分类，其中每个相机能独立处理所捕获的帧并辅助作出关于将移动对象分类至预定的类别(诸如，人类、牲畜和车辆)的最终决策。此外，该系统可选地当感兴趣的对象(其为人、车辆或牲畜)进入监视现场时发出警报。该处理系统可以是特定目的的计算机，其中用于存储程序指令的装置配置为使得处理器执行如下任务，例如 调整所捕获的图像的大小， 计算大小已调整的图像中对象的平均高宽比以及重心 将该对象的平均高度与平均宽度进行比较，并进一步将重心的方差与预定的阈值进行比较 将所捕获的侧影中的对象分类到预定类别一般而言，在视频监视系统中需要很大的存储器存储空间。如果对存储器存储空间需求没有限制，则可存储处于监视下的特定区域的完整视频记录。但是，在需要分析视频序列的上下文(例如，调查犯罪)中，彻底审查(分析)整个记录以检索感兴趣的对象被捕获到的有关帧是困难的。本文所展示的发明可在这类情景中使用以从所存储的视频流提取包含感兴趣目标的那些帧。本文所提出的系统和方法旨在对视频流中正在被追踪的移动对象进行分类。根据图3，进入视频监视系统的工作范围的移动对象被追踪。可使用本领域已知的
7任一方法来实现对移动对象的追踪。监视系统中的每个相机将试图捕获移动对象的侧影图像。因为一个处理系统被连接至四个相机的每一个，这四个不同的相机将提取工作范围中移动对象的相同参数集合。对于没能捕获到移动对象的侧影图像的相机，与该特定相机关联的处理系统将自动地从决策过程中退出。如果人或牛进入了视场，在这种情形中，基于侧影的处理系统将参与到决策过程中。如果车辆进入了视场，基于侧影的处理系统和非基于侧影的处理系统两者均将参与到决策过程中。由至少一个相机捕获的移动对象的侧影图像被划分为两个部分，S卩，上半部分和下半部分。调整所捕获的侧影图像的大小，其中所捕获的侧影图像的大小调整比例因子是通过使用所捕获的侧影图像的上半部分的尺寸来计算的。这是为了保证下半部分所反映出的移动不影响大小调整比例。整个图像是基于该比例因子而被调整大小的。在对所捕获的侧影图像调整大小之后，计算大小已调整的侧影图像中对象的平均高宽比。进一步，计算大小已调整的侧影图像中对象的重心，其中重心是通过仅使用该对象的上半部分来计算的。 穿过重心的垂直线将所捕获的图像的下半部分划分为两部分，即，左下半部分和右下半部分。该处理系统还分析下半部分之一并计算重心的方差，其中重心的方差意味着在图像的这一下半部分中的对象部分相对于该对象的重心的位置变化。本文中使用的区别信息是基于对象在左下半部分(LLH)中的重心的振荡这一特性的。一般以一帧每秒的速率来考虑帧是足够的。为特定数目的连续帧计算对象在LLH中的重心(CG)。CG的平均值和方差被计算。由于人步行的特性所展现的腿部摆动，重心方差将非常大。但是，对于车辆，重心方差是不显著的，因为车轮的旋转不影响重心的位置。牲畜的腿部移动的特性导致比车辆大很多的重心方差。在视频监视中对对象进行分类是由以下逻辑实现的将对象的平均高宽比(H/W) 与数值“1”比较，并将重心的方差与预定的阈值比较。在作出关于对侧影图像中捕获的对象的分类的决策时所使用的逻辑如下所述决策逻辑1.如果H/W > 1且CG方差> 阈值决策-人类“侧影”2.如果H/W < 1且CG方差> 阈值决策-牲畜“侧影”3.如果H/W < 1且CG方差< 阈值决策-车辆(“侧影”或“非侧影”)4.如果H/W > 1且CG方差< 阈值三种可能入菜 -非侧影牲畜 -非侧影车辆 -非侧影基于该特定相机的系统从决策过程中退出。其中
H/W=平均高宽比CG方差=重心的方差根据图3，在如步骤104中所示计算平均高宽比之后，将该平均高宽比与数值“1” 相比较，如步骤106所示。在步骤108和110中将重心的方差与预定阈值相比较。如果该平均高宽比大于1，换而言之如果对象的平均高度大于平均宽度，并且重心的方差大于预定阈值，则该对象被分类到人类类别下，如步骤112所示。类似地，如果平均高度小于平均宽度并且重心的方差大于预定阈值，则如步骤116所示该对象被分类为牲畜，如果平均高度小于平均宽度并且重心的方差小于预定阈值，则如步骤118所示，该对象被分类为车辆。如果平均高度大于平均宽度并且重心的方差小于预定阈值，则用于在基于视频的监视时将移动对象分类的系统从对该移动对象分类的决策过程中退出，如步骤114所示。本发明的工作方式为了对本发明进行测试，使用了 MPEG2视频。MPEG2视频的每第三十帧被馈送用于计算。本文所指的第η帧实际上是原始MPEG2视频的第30η帧。本发明已对各种移动对象的重心方差(C.G.方差)的计算进行了测试，如下所述示例1 人类(步行)如图4所示，测试了用于在基于视频的监视期间对移动对象进行分类的系统。允许一个人步行穿过视频监视的工作范围。经由视频捕获装置捕获具有背景的原始帧。从所捕获的帧中对对象进行分割和提取。所提取出的对象被划分为两个部分，即，上半部分和下半部分。考虑图像的上半部分来计算重心(C. G.)，穿过C. G.的垂直线将下半部分划分为两部分，即，左下半部分和右下半部分。考虑所提取出的对象的左下半部分，计算该对象的驻留在从穿过C. G.的垂直线起的左下半部分的那部分的方差。类似地，16个连续的帧被分析以用于计算重心的方差。在该特定示例中，针对连续的16个帧的C. G.方差计算为16. 4000。示例2 移动的二轮车(车辆)如图5所示分析视频监视范围中移动的二轮车(车辆)时，遵循第一个示例中所解释的相同规程，16个连续帧被分析。在该特定情形中，针对连续的16个帧的C. G.方差计算为 1. 6100。示例3 移动的汽车(车辆)如图6所示分析视频监视范围中移动的汽车时，遵循第一个示例中所解释的相同规程，16个连续帧被分析。在该特定情形中，针对连续的16个帧的C. G.方差计算为 0.2400。发明优点1)本发明提供了一种用于在基于视频的监视期间对移动的对象进行分类的系统， 其中只有从帧序列中计算出的重心集合必须被存储用于方差计算。无需存储来自帧序列的对象图像。由此节省了视频监视系统的存储器空间。2)本发明使用较少复杂逻辑用于在视频监视期间对移动对象进行分类。3)本发明的计算成本低。
权利要求
1.一种用于在基于视频的监视期间将移动对象分类的系统，包括a)至少一个视频捕获装置，配置为捕获落在视频捕获装置的工作范围内的移动对象的侧影图像；b)用于存储程序指令的装置，所述程序指令配置为使处理器i)调整所捕获的侧影图像的大小，其中所述侧影图像的大小调整比例因子是通过使用所捕获的侧影图像的上半部分的尺寸来计算的； )计算大小已调整的侧影图像中的所述对象的平均高宽比和重心，其中重心是通过仅使用所述对象的上半部分来计算的；iii)将所捕获的图像的下半部分以穿过所述重心的垂直线划分为两部分，并且分析所述下半部分之一并计算重心的方差；iv)将所述对象的平均高度与平均宽度进行比较，并进一步将重心的方差与预定的阈值进行比较；ν)将所捕获的侧影中的所述对象分类到预定类别，其中所述分类是在所计算出的平均高度、平均宽度和重心的方差的值的基础上进行的。
2.如权利要求1所述的用于在基于视频的监视期间将移动对象分类的系统，其特征在于，视频捕获装置能够是摄像机、闭路电视(CCTV)相机或IP相机。
3.如权利要求1所述的用于在基于视频的监视期间将移动对象分类的系统，其特征在于，每个视频捕获装置各自具有用于在基于视频的监视时将移动对象分类的系统。
4.如权利要求1所述的用于在基于视频的监视期间将移动对象分类的系统，其特征在于，每个视频捕获装置能作出关于将在侧影图像中捕获的移动对象分类的决策。
5.如权利要求1所述的用于在基于视频的监视期间将移动对象分类的系统，其特征在于，如果所述平均高度大于平均宽度并且重心的方差大于预定的阈值，则所述对象分类为人类，如果所述平均高度小于平均宽度并且重心的方差大于预定的阈值，则所述对象分类为牲畜，并且如果所述平均高度小于平均宽度并且重心的方差小于预定的阈值，则所述对象分类为车辆。
6.如权利要求1所述的用于在基于视频的监视期间将移动对象分类的系统，其特征在于，未捕获到所述移动对象的侧影图像的一个或更多个视频捕获装置将从所述移动对象的分类过程中退出。
7.如权利要求1所述的用于在基于视频的监视期间将移动对象分类的系统，其特征在于，如果平均高度大于平均宽度并且重心的方差小于预定阈值，则用于在基于视频的监视时将移动对象分类的系统从对所述移动对象分类的决策过程中退出。
8.如权利要求1所述的用于在基于视频的监视期间将移动对象分类的系统，其特征在于，还能在所述视频捕获装置的工作范围中检测到感兴趣的对象时自动地发出警报。
9.一种用于在基于视频的监视期间将移动对象分类的方法，包括以下步骤a)使用至少一个视频捕获装置捕获视频监视的工作范围中的移动对象的侧影图像；b)调整所捕获的侧影图像的大小，其中所述侧影图像的比例因子是通过使用所捕获的侧影图像的上半部分的尺寸来计算的；c)计算大小已调整的侧影图像中的所述对象的平均高宽比和重心，其中重心是使用所述对象的上半部分计算的，其中穿过重心的垂直线用于将所捕获的图像的下半部分划分为左下半部分和右下半部分两部分；d)分析所述下半部分之一并计算重心的方差；e)将所述对象的平均高度与平均宽度进行比较，并进一步将重心的方差与预定的阈值进行比较；以及f)将所捕获的侧影中的所述对象分类到预定类别，其中，所述分类是在所计算出的平均高度、平均宽度和重心的方差的值的基础上进行的。
10.如权利要求9所述的用于在基于视频的监视期间将移动对象分类的方法，其特征在于，视频捕获装置能够是摄像机、闭路电视(CCTV)相机或IP相机。
11.如权利要求9所述的用于在基于视频的监视期间将移动对象分类的方法，其特征在于，每个视频捕获装置各自具有用于在基于视频的监视时将移动对象分类的系统。
12.如权利要求9所述的用于在基于视频的监视期间将移动对象分类的方法，其特征在于，每个视频捕获装置能作出关于将在侧影图像中捕获的移动对象分类的决策。
13.如权利要求9所述的用于在基于视频的监视期间将移动对象分类的方法，其特征在于，如果所述平均高度大于平均宽度并且重心的方差大于预定的阈值，则所述对象分类为人类，如果所述平均高度小于平均宽度并且重心的方差大于预定的阈值，则所述对象分类为牲畜，并且如果所述平均高度小于平均宽度并且重心的方差小于预定的阈值，则所述对象分类为车辆。
14.如权利要求9所述的用于在基于视频的监视期间将移动对象分类的方法，其特征在于，未捕获到所述移动对象的侧影图像的视频捕获装置将从所述移动对象的分类过程中退出。
15.如权利要求9所述的用于在基于视频的监视期间将移动对象分类的方法，其特征在于，如果平均高度大于平均宽度并且重心的方差小于预定阈值，则用于在基于视频的监视时将移动对象分类的系统从对所述移动对象分类的决策过程中退出。
16.如权利要求9所述的用于在基于视频的监视期间将移动对象分类的方法，其特征在于，还能够在所述视频捕获装置的工作范围中检测到感兴趣的对象时自动地发出警报。
全文摘要
一种用于在基于视频的监视期间将移动对象分类的系统，包括以下步骤捕获移动对象的侧影图像，调整所捕获的图像的大小，计算大小已调整图像中的对象的平均高宽比以及重心，划分大小已调整的图像，将对象的平均高度与平均宽度进行比较并进一步将重心的方差与预定的阈值相比较以将所捕获的侧影中的对象分类到预定类别。
文档编号G06K9/62GK102346855SQ201110184660
公开日2012年2月8日 申请日期2011年6月21日 优先权日2010年7月29日
发明者B·塞斯纳, M·约翰, P·帕拉尼潘, S·加纳帕蒂 申请人:塔塔咨询服务有限公司, 安那大学