球机视频监控的人车结构化描述方法及系统的制作方法
【专利摘要】本发明公开了一种球机视频监控的人车结构化描述方法及系统，本发明通过构建新颖的多视角人车样本的SIFT描述子来表示不同视角情况下的尺度不敏感的人车模型，采用局部特征匹配的方法来实现变场景图像条件下的目标检测；再通过构建检测目标的外观模型来提取目标的空间像素编码特征，并结合在线样本更新机制实现目标多姿态地鲁棒性追踪。本发明通过构建多视角人车样本的SIFT特征，实现在球机条件下的变场景监控视频的结构化描述。
【专利说明】球机视频监控的人车结构化描述方法及系统
【技术领域】
[0001]本发明涉及计算机视觉领域和人工智能领域，具体涉及一种球机视频监控的人车结构化描述技术。
【背景技术】
[0002]目前，面向社会安全的大型公共场所监控和管理，直接关系到人民的生命财产安全、社会稳定和国家的安危。现阶段，中国正进入“突发公共事件的高发期”和“社会高风险期”，如何应对这“两高”，是中国政府的当务之急。尤其是在大型活动和场所中，需要对一系列事件进行自动预警和统一协调，包括团体活动态势、人员危险警戒、个人身份确认、危化品的全程跟踪管理、单兵的有效指挥调度等等。最新的微电子、自动化、机械、计算机等技术为场景目标的感知监控提供了各种解决方案，各种枪机、球机、多摄像头等的关联网络成为公共安全保障的强大支撑。
[0003]球机全称为球型摄像机，是现代电视监控发展的代表。她继承彩色一体化摄像机、云台、解码器、防护罩等多功能与一体，安装方便、使用简单但功能强大。球机具有体积小、外形美观、功能强大、安装方便、使用简单、维护容易等特点，广泛应用于开阔区域的监控，如家庭安全监控、交通安全监控、公共场所安全监控、工厂安全监控等。
[0004]然而，球机的可变视野和可变聚焦等赋予业务应用灵活方便性的同时却带给结构化描述技术巨大难题。视频结构化描述技术是对视频内容按语义关系，采用时空分割、特征提取、对象识别等手段，组织成可供计算机和人理解的文本信息的技术。
[0005]目标提取是视频图像结构化描述的最重要前提，主要包括两种途径:一、通过对关注目标特征进行建模，直接通过图像局部匹配的方法实现目标检测；二、通过对背景进行建模，在视频图像去掉背景来实现前景目标的间接提取。在变场景的视频监控和侦查中，由于背景特征的多样化，导致对背景进行建模是非常困难的。对于球机，由于本身物理参数不断变化，很难用传统的方法对背景进行建模。
【发明内容】
[0006]针对变场景监控条件下的现有人车结构化描述技术所存在的问题，本发明的目的在于提供一种球机平台下变场景监控中的人车结构化描述方法，并能够实现变场景复杂条件下的目标检测和追踪，解决实现变场景监控视频条件下的目标检测的问题。
[0007]同时，本发明的另一目的在于提供一种球机视频监控的人车结构化描述系统。
[0008]为了达到上述目的，本发明采用如下技术方案:
[0009]球机视频监控的人车结构化描述方法，所述描述方法包括:
[0010]步骤I,采集多视角人车图片样本，构建新颖的人车SIFT (scale-1nvariantfeature transform)特征描述子,并采用局部特征匹配的方法来实现变场景图像条件下的目标检测；
[0011]步骤2，构建检测目标的外观特征，并结合在线样本学习机制实现目标鲁棒性追!?示ο
[0012]在描述方法的优选实例中，所述步骤(1)具体包括如下过程:
[0013](1-1)构造人车的多视角模型，计算模型的sift特征；
[0014](1-2)利用局部特征匹配扫描当前图像实现变场景条件下目标检测。
[0015]进一步的，所述步骤(2)具体包括如下过程:
[0016](2-1)提取目标区域的外观空间约束化的像素编码特征，并计算当前视频帧的样本区域的外观空间约束化的像素编码特征；
[0017](2-2)通过相似度量实现给定目标特征和采样目标特征匹配，并引入基于粒子滤波的追踪器对目标进行后续的追踪；
[0018](2-3)构建样本在线学习机制实现目标的多姿态地鲁棒性追踪。
[0019]一种球机视频监控的人车结构化描述系统，所述描述系统包括:
[0020]视频采集模块，所述视频采集模块采集监控视频；
[0021]目标模型数据模块，所述目标模型数据模块存储人和车的多视角模型；
[0022]目标检测分 类模块，所述目标检测分类模块分别与视频采集模块和目标模型数据模块数据相接，调取目标模型数据模块中存储的人和车的多视角模型检测视频采集模块采集的监控视频中的多视角多尺度的人、车目标；
[0023]目标追踪模块，所述目标追踪模块与目标检测分类模块数据相接，跟踪目标检测分类模块中检测到的人、车目标；
[0024]输出模块，所述输出模块与目标追踪模块数据相接，输出人、车目标分类及跟踪的结果。
[0025]在描述系统的优选实例中，所述目标追踪模块通过构建样本在线学习机制实现目标的多姿态地鲁棒性追踪。
[0026]根据上述方案，本发明建立球机下变场景条件下的人车检测，并结合特征的在线学习实现目标的鲁棒性追踪和目标特征的结构化描述。该方法提升了监控系统的灵活性和自动化程度，大大减少了系统对人力的依靠，具有广阔的应用发展空间。
【专利附图】
【附图说明】
[0027]以下结合附图和【具体实施方式】来进一步说明本发明。
[0028]图1为本发明的流程图；
[0029]图2为人车模型示例图；
[0030]图3为本发明在某监控区域的实例图；
[0031]图4为本发明的系统框图。
【具体实施方式】
[0032]为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
[0033]本发明在球机摄像机的系统平台下，通过图像局部特征匹配实现变场景条件下进行目标检测和定位，并借助特征在线学习实现目标的鲁棒性追踪和结构化表述。
[0034]参见图1，其所示为本发明实现球机视频监控的人车结构化描述的流程图。由图可知，整个人车结构化描述过程分为两个大步骤:1.多视角目标检测；2.基于在线更新的目标追踪O
[0035]对于步骤1，本发明在球机摄像机平台下实现变场景条件下多视角人、车目标检测，具体采用如下三个子步骤来完成:
[0036]1.1采集多视角人、车图像样本；1.2构建人、车多视角模型sift特征；1.3通过局部特征匹配实现变场景条件下人、车目标的检测。
[0037]其中，步骤1.1负责收集人、车在不同视角条件下的图像样本。
[0038]步骤1.2中，对于多视角人车特征采用sift特征描述子表示，构建多视角人车sift描述子集合，在图像局部尺度下提取sift描述子特征，对给定目标模板特征与检测样本特征进行匹配，可以实现变场景复杂环境下的尺度不敏感的人车识别。
[0039]步骤1.3，根据多变场景的特点，采用基于局部sift特征匹配的方法实现人车目标的检测。具体方法是通过提取当前帧图像的局部sift特征与系统初始化阶段给定目标的sift特征相匹配，借助相似性测度对匹配结果进行衡量来实现目标的识别和定位。
[0040]该步骤中，基于sift特征的图像特征匹配方法中的相似性度量采用均方差算法(Mean Square Difference),具体公式如下:
[0041]
【权利要求】
1.球机视频监控的人车结构化描述方法，其特征在于，所述描述方法包括: 步骤1，通过提取多视角人车图片样本，构建新颖的多视角人车SIFT描述子，并采用局部特征匹配的方法来实现变场景图像条件下的目标检测； 步骤2，构建检测目标的外观特征，并结合在线样本学习机制实现目标鲁棒性追踪。
2.根据权利要求1所述的球机视频监控的人车结构化描述方法，其特征在于，所述步骤(I)具体包括如下过程: (1-1)构造人车的多视角模型，计算模型的sift特征； (1-2)利用局部特征匹配扫描当前图像实现变场景条件下目标检测。
3.根据权利要求1所述的球机视频监控的人车结构化描述方法，其特征在于，所述步骤(2)具体包括如下过程: (2-1)提取目标区域的外观空间约束化的像素编码特征，并计算当前视频帧的样本区域的外观空间约束化的像素编码特征； (2-2)通过相似度量实现给定特征向量模板和检测样本特征向量的特征匹配，并引入基于粒子滤波的追踪器对目标进行后续的追踪； (2-3)构建样本在线学习机制实现目标的多姿态地鲁棒性追踪。
4.一种球机视频监控的人车结构化描述系统，其特征在于，所述描述系统包括: 视频采集模块，所述视频采集模块采集监控视频； 目标模型数据模块，所述目标模型数据模块存储人和车的多视角模型； 目标检测分类模块，所述目标检测分类模块分别与视频采集模块和目标模型数据模块数据相接，调取目标模型数据模块中存储的人和车的多视角模型检测视频采集模块采集的监控视频中的多视角多尺度的人、车目标； 目标追踪模块，所述目标追踪模块与目标检测分类模块数据相接，跟踪目标检测分类模块中检测到的人、车目标； 输出模块，所述输出模块与目标追踪模块数据相接，输出人、车目标分类及跟踪的结果O
5.根据权利要求4所述的一种球机视频监控的人车结构化描述系统，其特征在于，所述目标追踪模块通过构建样本在线学习机制实现目标的多姿态地鲁棒性追踪。
【文档编号】G06K9/00GK103870815SQ201410110874
【公开日】2014年6月18日 申请日期:2014年3月24日 优先权日:2014年3月24日
【发明者】胡传平, 梅林 , 唐亚哲, 尚岩峰, 谭懿先, 王文斐, 徐磊 申请人:公安部第三研究所