专利名称：一种有效的运动目标行为建模与识别方法
技术领域：
本发明涉及计算机应用技术领域，特别涉及运动目标行为建模与识别方法。
技术背景
国内近几年在城市的重要位置安装了监控摄像头，在多起犯罪案件中，视频监控 录像都提供了很重要的破案线索。但是目前公共场所装有的摄像头大都只能记录当时的场 景，作为事后调查的依据，而不能做到实时自动报警。运动目标行为建模与识别正可以满足 智能监控中自动实时报警的迫切需求。
近几年由于公共安全的需要，智能监控方面的需求迅速增加。1997年美国国防高 级研究项目署设立了以卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项 目VSAM(visual surveillance and monitoring)，主要研究用于战场及普通民用场景监控 的自动视频理解技术。马里兰大学的W4系统不仅能够定位和分割出人的身体部分，而且通 过建立外观模型能实现对多人的跟踪，同时可以检测人是否携带物体等简单行为。最近，欧 洲的VIS0NTRAIN计划将人的行为分析与理解作为一个很重要的方面进行研究。英国伦敦 大学(University of London)的 Queen Mary 视觉实验室的项目 INSIGHT (Video Analysis and Selective Zooming using Semantic Models of Human Presence and Activity), 旨在对公共场合下，人的异常行为以及侵略性行为的检测与识别问题进行研究。美国中 佛罗里达大学(University of central Florida)、澳大利亚Curtin科技大学(Curtin University of Technology)等对室内环境下人的行为进行了分析和识别。新加坡信息通 信研究所(Institute for Infocomm Research)、英国伦敦大学等对人的户外行为进行了 分析与识别。发明内容
为了解决现有技术方案只能记录当时的场景，而不能做到实时自动报警的技术问 题，本发明的目的是提供一种有效的运动目标行为建模与识别方法，亦可用来对公共场所 异常行为进行监控。
为实现本发明的目的，本发明提出有效的运动目标行为建模与识别方法的技术方 案包括步骤如下
步骤Sl 由计算机中的特征提取模块提取运动目标行为的局部特征，再提取运动 目标行为的运动特征；
步骤S2 采用子空间学习的方法，由计算机中的特征融合模块对提取的局部特征 和运动特征进行融合，并对特征空间进行降维；
步骤S3 采用原型学习算法和测度学习算法相结合，由计算机中的行为识别模块 对运动目标行为进行识别，对识别的运动目标行为做出评判。
其中，所述特征提取模块提取运动目标行为的运动特征的步骤包括
步骤Sll 对运动序列图像检测，获得时空兴趣点，将时空兴趣点形成立方体特征，并用协方差描述子对立方体特征进行描述，统计成直方图作为运动目标行为的局部特 征；
步骤S12 利用前后帧的差分图像，对运动序列图像形成运动历史图像；对历史图 像进行分块，分别统计灰度直方图，形成运动目标行为的运动特征。
其中，所述特征融合模块对局部特征和运动特征进行融合是把局部特征和运动特 征表示成一个新的特征矩阵，对这一新矩阵进行子空间学习，形成融合后的特征表达。
其中，所述对运动目标行为进行识别是利用测度学习形成距离矩阵，用原型学习 算法结合学习出的距离测度对运动目标行为进行检测。
本发明的有益效果本发明采用多特征融合的思想，充分利用运动图像序列中局 部信息和运动信息，并采用机器学习方法来进行运动目标行为的识别，增加了运动目标行 为的识别速度和可靠性。本发明可以用来对公共区域的异常行为进行识别。本发明形成的 监控系统可以提高公共区域的安全性。
图1为本发明系统结构框图。
具体实施方式
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便 于对本发明的理解，而对其不起任何限定作用。
本发明的执行环境是由计算机实现以下三个模块组构成一、特征提取模块，该模 块的功能是提取运动目标的局部特征和运动特征。二、特征融合模块，该模块的功能是将局 部特征和运动特征相融合，同时起到降低维度空间的作用。三、行为识别模块，该模块的功 能是对待识别行为进行分类决策。本发明的整体框架见图1。
下面详细给出本发明技术方案中所涉及的各个步骤细节问题的说明。
步骤一运动目标行为的特征提取，此步骤首先由计算机中的特征提取模块提取 运动目标行为的局部特征，然后再提取运动目标行为的运动特征。将视频序列f中的每一 帧用二维坐标到像素点亮度的映射'.R2^R，其中，R表示空间，fsp表示空间映射。使用 空域中的高斯核函数gsp将视频序列f中的每一帧变换到空间，得到‘ A2X^ ^ R，其中 Lsp表示高斯映射，R，R+均表示空间。具体的，有Lsp (X，y，σ 2)*fsp(x，y)，其中
gsp(x,y;a2) = —^ exp(-(x2 + y2) 12σ2)(1)2πσ
其中gsp表示高斯核函数，σ表示方差，χ, y分别表示点的横坐标和纵坐标。接下 来，对经过高斯平滑的视频序列/:i 2 xi Hi ，沿着f的时间轴方向，对每一列元素进行选 定窗口的一维Gabor滤波，其具体运算过程如下式
/ = (/ * (-cos(2^to)e"'2/T2 ))2 + (f*(-sm(2nta)e-'2/v2 ))2(2)
其中τ 2表示滤波器在时域上的尺度，ω为Gabor窗口大小的1/8。I即为该像素 点的强度，计算视频序列f中每一点的空间值，然后选定观测窗口的大小对I进行极大值滤 波，就可以得到时空兴趣点的位置。
当把视频中兴趣点的位置找到以后，在每一个兴趣点位置提取出包含时空窗像素值的立方体。立方体的尺寸按照在兴趣点附近有助于脉冲函数取得最大体积得到。得到立 方体特征后，要对立方体内的点进行描述。
下面将从立方体中提取底层特征。假设s是立方体中的一个像素值，立方体内所 有的点形成一个点集S= {sj，这里i = 1，2，…，N，N表示点的个数。立方体内对于每个 点Si表示成一个8维向量Ii = {x, y，t，fx，fy，ft, vx, vy}，其中x，y，t表示的是位置和时 间信息，fx，fy，ft表示梯度信息，而vx，vy表达的是光流分量。这样，立方体就可以表示成L =Il1, I2,…，1N}这样一个8XN的矩阵，In表示一个8维的列向量。
下面对这一矩阵提取协方差矩阵来描述原始矩阵C，如下式所示
权利要求
1.一种有效的运动目标行为建模与识别方法，其特征在于，包括步骤步骤Sl 由计算机中的特征提取模块提取运动目标行为的局部特征，再提取运动目标 行为的运动特征；步骤S2 采用子空间学习的方法，由计算机中的特征融合模块对提取的局部特征和运 动特征进行融合，并对特征空间进行降维；步骤S3 采用原型学习算法和测度学习算法相结合，由计算机中的行为识别模块对运 动目标行为进行识别，对识别的运动目标行为做出评判。
2.根据权利要求1所述的方法，其特征在于，所述特征提取模块提取运动目标行为的 运动特征的步骤包括步骤Sll 对运动序列图像检测，获得时空兴趣点，将时空兴趣点形成立方体特征，并 用协方差描述子对立方体特征进行描述，统计成直方图作为运动目标行为的局部特征；步骤S12 利用前后帧的差分图像，对运动序列图像形成运动历史图像；对历史图像进 行分块，分别统计灰度直方图，形成运动目标行为的运动特征。
3.根据权利要求1所述的方法，其特征在于，所述特征融合模块对局部特征和运动特 征进行融合是把局部特征和运动特征表示成一个新的特征矩阵，对这一新矩阵进行子空间 学习，形成融合后的特征表达。
4.根据权利要求1所述的方法，其特征在于，所述对运动目标行为进行识别是利用测 度学习形成距离矩阵，用原型学习算法结合学习出的距离测度对运动目标行为进行检测。
全文摘要
本发明是一种有效的运动目标行为建模与识别方法，包括步骤1用特征提取模块提取运动目标行为的局部特征，再提取运动目标行为的运动特征；步骤2采用子空间学习的方法，用特征融合模块对提取的局部特征和运动特征进行融合，并对特征空间进行降维；步骤3采用原型学习算法和测度学习算法相结合，用行为识别模块对运动目标行为进行识别，对识别的运动目标行为做出评判。本发明对局部特征和运动特征进行特征融合处理，降低了特征空间的维度，提高了特征表达的鲁棒性，具有低存储和低计算复杂度的特点，同时具有较好的分类识别性能。本发明可以用来对公共安全领域的异常行为进行智能监控，一旦发现异常行为发生，立刻报警。
文档编号G06K9/46GK102043967SQ20101059289
公开日2011年5月4日 申请日期2010年12月8日 优先权日2010年12月8日
发明者朱鹏飞, 胡卫明 申请人:中国科学院自动化研究所