专利名称：基于加权张量子空间背景建模的视频异常检测方法
技术领域：
本发明涉及视频监控技术领域，特别是一种视频异常检测方法，可用于安防、监控 领域中固定场景、光照缓变条件下的异常事件检测。
背景技术：
在公共安防领域，视频监控发挥着越来越重要的作用。智能化的视频监控体现在 它能通过图像分析，自动识别异常事件，减轻安防监控人员的工作量，减少对异常事件的漏 报和误报。视频异常事件检测融合了计算机视觉、图像处理、模式识别等多学科领域的技 术，具有重要的科学意义和广阔的应用前景。近年来，随着人口的快速增长和城市环境的日 益复杂，各种犯罪、恐怖活动威胁着城市公共安全。在世界各地，恐怖事件、暴力活动也日益 增多，尤其美国“911”事件后，各国政府越来越重视“反恐”、“城市安防”。在我国，大部分城 市在交通道路、银行、超市、ATM取款机、住宅小区等场所安装了视频监控设备，旨在加强城 市安全建设。例如在2010年上海世博会期间，就是利用视频监控系统防止群体騷乱和恐怖 分子的袭击，保障民众的人身和财产安全。视频监控场景画面众多，物体运动行为复杂，安保人员需要长时间监视画面，精神 高度集中地密切关注视频内容，当视频中出现异常事件时，再采取必要的行动，来保证监控 地点的安全，这样监控的能力和有效性还停留在人为识别、手动控制、事后取证的阶段，无 法起到预警、实时监控的作用。由于人的精力有限，安保人员的注意力下降，会引起异常事 件漏报的情况。因此，随着现代社会对视频监控需求的不断增长，监控环境越来越复杂，视 频异常事件也趋于多样性，为了让视频监控具有预警防范和主动监控的功能，在不需要人 为干预的情况下，通过对摄像头拍摄的视频图像序列进行自动处理、分析，实现对场景中的 异常事件进行检测并做出预警。视频监控中的摄像头是固定的，摄像头采集的视频具有背景静止的特点，而大多 数的异常事件多与运动的目标有关，在应用场景基本已知的情况下，我们更加关注于不同 于场景本身的各种行为的发生，将其统称为异常事件。视频监控中的异常事件很多，大多数 的异常事件检测是针对相对固定的参考背景，检测出与背景不相关的物体或者相对背景运 动的物体，从而将感兴趣的目标从背景中提取出来。这里我们将监控场景中引起背景发生 变化的事件定义为异常事件，即原本不存在镜头中的人或物进入并停留在镜头中它就成为 背景的一部分，或者原本存在于镜头背景中的人或物发生运动离开镜头它就不再是背景的 一部分，这些情况都使得参考背景发生了变化，引起了视频中异常事件的发生。背景建模是用来进行异常事件检测的一类重要方法，所以首先需要获得背景图 像，最简单的办法就是从视频图像序列中选取不含任何运动目标的图像用作参考背景。但 是这种方法的实用性较差，因为在现实的监控场景中很难得到完全静止的背景图像，场景 中有突然闯入的物体或树叶摇晃等都会带来干扰，所以需要通过视频图像序列信息剔除场 景中的运动目标来获取背景图像，即背景建模。由于长时间监控中背景不可能一直不变，背 景模型需要适应环境的动态变化，实时地进行更新。当前景目标长时间停留在场景中，就应该成为背景的一部分；反之，背景中静止的物体发生运动或离开场景，就应该被视为前景目 标，不再是背景的一部分。可见，背景建模在视频异常事件检测中扮演着重要的角色，是检 测异常事件、预警等后续工作的基础。背景建模的一些典型方法包括高斯模型、混合高斯模型和特征背景建模，前两种 方法是基于像素的方法，即为每一个像素在时间域上建立一个单独模型进行描述。基于像 素的背景建模计算复杂度较高，而且不利于捕捉复杂的背景内容，例如树木随风摇摆的情 况。特征背景建模的方法是基于整体视频帧，因此能较好的反映复杂的背景信息。这种方 法可以概括为，用一组训练图像计算协方差矩阵并得到几个特征向量，这几个特征向量组 成特征子空间，把当前的图像投影到特征子空间上获得一组特征系数，这样就可以重构当 前的背景图像。其原理是采用特征子空间重构背景图像，例如主成分分析的方法，用少数特 征向量来描述图像的整体特征。然而传统的主成分分析方法仍然存在一些问题，训练图像中如果存在野值点，即 运动的前景目标或者其他的噪声点，它们相对于背景来说就是野值点，这些野值点会导致 计算结果出现很大的偏差，此方法对野值点不具有鲁棒性，会将野值点“吸收”进背景模型， 无法重构出理想的背景图像。通常的处理方法是利用当前图像与重构图像之间的残留误差 构造一个权值矩阵，对每一张图像进行加权，使得权值矩阵对野值点赋予较小的权值，减少 野值点对背景模型的影响，最后通过多次迭代得到最优化的问题的解。例如文献F.De la Torre and M. Black. Aframework for robust subspace learning. International Journal of Computer Vision, 54 (1/2/3) : 117-142，2003.但是这种方法的缺点是迭代求解过程在 计算上开销很大，属于批处理方式，不适用于一次处理大批量的数据，不能满足视频处理的 实时性要求。为了在线地更新模型，可以采用增量学习的方法，利用当前学习的特征向量 和一组待学习的观测向量更新子空间模型，把每一步更新的子空间模型当作模型原型，增 量地解决子空间鲁棒性的问题而又不增加额外的计算量，避免了不能一次性存储并计算大 批量数据的问题，并且能反映动态系统的状态变化。例如文献Y.Li. On incremental and robust subspace learning. Pattern recognition, 37 :1509-1518, 2004 但是这禾中方法是 基于向量处理的，即把图像看作高维向量，忽略了图像的空间结构信息，导致不能正确判断 图像中的部分野值点，无法滤除这些野值点，这些野值点被学习到背景模型中，造成背景模 型的较大变化，影响背景模型的重构质量。
发明内容
本发明的目的在于克服上述不足，提出一种基于加权张量子空间背景建模的视频 异常检测方法，此方法采用张量分析，保留图像的空间结构信息，正确判断图像中的野值点 并将其滤除，重构出高质量的背景模型，从而有效地检测视频场景中的异常事件。实现本发明的技术方案是选定参考背景，把训练数据集的每一幅图像及后续的 观测图像都看作是二阶张量，采用张量分析的方法，将训练数据在每一维也就是每一个模 式上进行矩阵展开，计算均值和协方差，对协方差进行奇异值分解得到初始的投影矩阵和 能量矩阵，初始化张量子空间。对每次新的观测数据进行鲁棒分析，判断图像中的野值点， 对观测数据的每一个元素进行加权，利用加权后的观测数据更新均值和协方差，从而更新 张量子空间，再将加权后的观测数据投影到张量子空间上，重构出背景模型。最后对参考背景和重构背景进行相似性度量，检测视频场景中是否发生异常事件，具体步骤包括如下A.划分实验数据步骤将实验数据分为训练数据和观测数据，根据应用需求在训 练数据中选定一帧初始参考背景图像，训练数据包含N帧图像，20 ^N^ 200，将每帧图像 表示成二阶张量形式AVeRMxA，1 < i < Nj1和N2分别为二阶张量模式1和模式2的维 数；B.初始化张量子空间步骤计算训练数据的均值龙I，并将其作为观测数据的初始 均值无，将训练数据在张量的模式d上进行矩阵展开计算相应的协方差矩阵Cd，d = 1，2，对 协方差矩阵进行奇异值分解，得到模式d上的投影矩阵Ud和能量矩阵Sd，初始化张量子空 间；C.加权观测数据步骤将观测数据表示成二阶张量形式Y，并将观测数据在张量 子空间上进行投影，得到重构图像，将重构图像与观测数据作差，得到残留误差尺，利用残 留误差尺通过由鲁棒函数求导得到的权值函数计算出观测数据每一个元素的权值，利用权 值对观测数据的每一个元素进行加权，得到加权后的观测数据义’；D.更新张量子空间步骤利用加权的观测数据，更新均值和协方差矩阵，对协方 差矩阵进行奇异值分解，更新张量子空间；Ε.重构背景图像步骤利用更新后的张量子空间，将加权的观测数据投影到子空 间重构出背景图像Y;F.图像相似性度量步骤利用结构相似性图像质量评价算法，将每一帧重构背景 图像与参考背景图像进行相似性度量，计算它们的相似性度量值；G.检测异常事件步骤比较相邻两帧重构背景图像的度量值，将前一帧的度量值 与当前帧的度量值作差，若差值大于报警阈值T，0. 01 < T < 0. 1，表示当前背景发生了变 化，视频场景中出现了异常事件；随着张量子空间的不断更新，建立新的背景模型，在连续 的80帧内，若相邻两帧度量值的差值都小于报警阈值，则表明异常事件结束，更新参考背 景，将当前重构背景图像作为新的参考背景，重复进行上述步骤C 步骤G，直至将所有观 测图像都重构出背景图像进行检测。本发明的上述技术方案通过系统的形式描述如下一种基于加权张量子空间背景建模的视频异常检测系统，包括划分实验数据装置用于将实验数据分为训练数据和观测数据，根据应用需求在 训练数据中选定一帧初始参考背景图像，训练数据包含N帧图像，20 < NS 200，将每帧图 像表示成二阶张量形式，1 < i < Nj1和N2分别为二阶张量模式1和模式2的 维数；初始化张量子空间装置用于计算训练数据的均值龙'，并将其作为观测数据的初 始均值龙，将训练数据在张量的模式d上进行矩阵展开计算相应的协方差矩阵Cd，d = 1，2， 对协方差矩阵进行奇异值分解，得到模式d上的投影矩阵Ud和能量矩阵Sd，初始化张量子 空间；加权观测数据装置用于将观测数据表示成二阶张量形式Y，并将观测数据在张 量子空间上进行投影，得到重构图像，将重构图像与观测数据作差，得到残留误差π，利用 残留误差π通过由鲁棒函数求导得到的权值函数计算出观测数据每一个元素的权值，利用 权值对观测数据的每一个元素进行加权，得到加权后的观测数据;T ；
更新张量子空间装置用于利用加权的观测数据，更新均值和协方差矩阵，对协方 差矩阵进行奇异值分解，更新张量子空间；重构背景图像装置用于利用更新后的张量子空间，将加权的观测数据投影到子 空间重构出背景图像图像相似性度量装置用于利用结构相似性图像质量评价算法，将每一帧重构背 景图像y与参考背景图像进行相似性度量，计算它们的相似性度量值；检测异常事件装置用于比较相邻两帧重构背景图像的度量值，将前一帧的度量 值与当前帧的度量值作差，若差值大于报警阈值T，0. 01 0.1，表示当前背景发生了变 化，视频场景中出现了异常事件；随着张量子空间的不断更新，建立新的背景模型，在连续 的80帧内，若相邻两帧度量值的差值都小于报警阈值，则表明异常事件结束，更新参考背 景，将当前重构背景图像作为新的参考背景，重复利用加权观测数据装置、更新张量子空间 装置、重构背景图像装置、图像相似性度量装置、检测异常事件装置，直至将所有观测图像 都重构出背景图像进行检测。本发明由于采用增量学习的方法，因而能在线地更新背景模型，反映出背景模型 的变化，具有实时性；同时由于本发明采用张量分析的方法，故能保留图像的空间结构信 息，正确判断图像中的野值点；此外由于本发明对观测数据进行加权将野值点滤除，重构出 背景图像，具有鲁棒性。
图1是本发明的总体流程图；图2是本发明使用的现有张量的矩阵展开示意图；图3是本发明的虚拟系统框图；图4是本发明对实验数据中异常事件的检测结果；图5是分别采用本发明和现有基于向量的背景建模方法，画出的相似性度量曲 线。
具体实施例方式参照图1，本发明的实现步骤如下第一步，划分实验数据。将实验数据分为训练数据和观测数据，根据应用需求在训练数据中选定一帧初始 参考背景图像，训练数据包含N帧图像，20 ≤ N ≤ 200，将每帧图像表示成二阶张量形式x' ∈ RN1xN2，1 < i < N，N1和N2分别为二阶张量模式1和模式2的维数。第二步，初始化张量子空间。计算训练数据的均值龙|，并将其作为观测数据的初始均值龙，将训练数据在张量 的模式d上进行矩阵展开计算相应的协方差矩阵Cd，d = 1，2，对协方差矩阵进行奇异值分 解，得到模式d上的投影矩阵Ud和能量矩阵Sd，初始化张量子空间，具体过程如下2A)计算训练数据的均值X' :
权利要求
1.一种基于加权张量子空间背景建模的视频异常检测方法，包括A.划分实验数据步骤将实验数据分为训练数据和观测数据，根据应用需求在训练数 据中选定一帧初始参考背景图像，训练数据包含N帧图像，20 ^N^ 200，将每帧图像表示 成二阶张量形式A； ‘ e ，1 < i < N，N1和N2分别为二阶张量模式1和模式2的维数；B.初始化张量子空间步骤计算训练数据的均值，并将其作为观测数据的初始均值龙，将训练数据在张量的模式d上进行矩阵展开计算相应的协方差矩阵Cd，d = 1，2，对协方 差矩阵进行奇异值分解，得到模式d上的投影矩阵Ud和能量矩阵Sd，初始化张量子空间；C.加权观测数据步骤将观测数据表示成二阶张量形式Y，并将观测数据在张量子空 间上进行投影，得到重构图像，将重构图像与观测数据作差，得到残留误差π，利用残留误 差π通过由鲁棒函数求导得到的权值函数计算出观测数据每一个元素的权值，利用权值对 观测数据的每一个元素进行加权，得到加权后的观测数据;T;D.更新张量子空间步骤利用加权的观测数据，更新均值和协方差矩阵，对协方差矩 阵进行奇异值分解，更新张量子空间；Ε.重构背景图像步骤利用更新后的张量子空间，将加权的观测数据投影到子空间重 构出背景图像Y;F.图像相似性度量步骤利用结构相似性图像质量评价算法，将每一帧重构背景图像 与参考背景图像进行相似性度量，计算它们的相似性度量值；G.检测异常事件步骤比较相邻两帧重构背景图像的度量值，将前一帧的度量值与当 前帧的度量值作差，若差值大于报警阈值T，0.01 ^ T^O. 1，表示当前背景发生了变化，视 频场景中出现了异常事件；随着张量子空间的不断更新，建立新的背景模型，在连续的80 帧内，若相邻两帧度量值的差值都小于报警阈值，则表明异常事件结束，更新参考背景，将 当前重构背景图像作为新的参考背景，重复进行上述步骤C 步骤G，直至将所有观测图像 都重构出背景图像进行检测。
2.根据权利要求1所述的加权观测数据的方法，其特征在于步骤C所述的“利用残留 误差见通过由鲁棒函数求导得到的权值函数计算出观测数据每一个元素的权值”，按如下 步骤进行(Cl)将观测数据1投影到当前的张量子空间，得到重构图像，将其与观测数据作差，得 到残留误差π
3.根据权利要求1所述的加权观测数据的方法，其特征在于步骤C所述的“利用权值 对观测数据的每一个元素进行加权”，利用如下公式进行
4.根据权利要求1所述的更新张量子空间的方法，其特征在于步骤D所述的“更新均 值和协方差矩阵”，按如下步骤进行(Dl)计算更新后的均值其中^是加权的观测数据，龙是当前的均值，α是更新速率，O ≤ a ≤1 ；(D2)将加权的观测数据在模式d上进行矩阵展开得到X)，计算在模式d上更新后的 协方差矩阵C_(d)Cnewid)=aCd + (l-a)X'dX7(12)其中c d= UdSdutd(13)其中，Cd为模式d上的协方差矩阵，Ud为模式d上的投影矩阵，Sd为模式d上的能量矩阵。
5. 一种基于加权张量子空间背景建模的视频异常检测系统，包括 划分实验数据装置用于将实验数据分为训练数据和观测数据，根据应用需求在训练 数据中选定一帧初始参考背景图像，训练数据包含N帧图像，20 < 200，将每帧图像表 示成二阶张量形式R ，1 < i < N，N1和N2分别为二阶张量模式1和模式2的维 数；初始化张量子空间装置用于计算训练数据的均值龙ι，并将其作为观测数据的初始均 值龙，将训练数据在张量的模式d上进行矩阵展开计算相应的协方差矩阵Cd，d = 1，2，对协 方差矩阵进行奇异值分解，得到模式d上的投影矩阵Ud和能量矩阵Sd，初始化张量子空间； 加权观测数据装置用于将观测数据表示成二阶张量形式Y，并将观测数据在张量子 空间上进行投影，得到重构图像，将重构图像与观测数据作差，得到残留误差尺，利用残留 误差尺通过由鲁棒函数求导得到的权值函数计算出观测数据每一个元素的权值，利用权值 对观测数据的每一个元素进行加权，得到加权后的观测数据Yi ；更新张量子空间装置用于利用加权的观测数据，更新均值和协方差矩阵，对协方差矩 阵进行奇异值分解，更新张量子空间；重构背景图像装置用于利用更新后的张量子空间，将加权的观测数据投影到子空间 重构出背景图像3Λ图像相似性度量装置用于利用结构相似性图像质量评价算法，将每一帧重构背景图 像;V与参考背景图像进行相似性度量，计算它们的相似性度量值；检测异常事件装置用于比较相邻两帧重构背景图像的度量值，将前一帧的度量值与 当前帧的度量值作差，若差值大于报警阈值T，0. 01 < T < 0. 1，表示当前背景发生了变化， 视频场景中出现了异常事件；随着张量子空间的不断更新，建立新的背景模型，在连续的 80帧内，若相邻两帧度量值的差值都小于报警阈值，则表明异常事件结束，更新参考背景， 将当前重构背景图像作为新的参考背景，重复利用加权观测数据装置、更新张量子空间装 置、重构背景图像装置、图像相似性度量装置、检测异常事件装置，直至将所有观测图像都 重构出背景图像进行检测。
全文摘要
本发明公开了一种基于加权张量子空间背景建模的视频异常检测方法，主要解决现有方法中由于忽略图像空间结构信息，不能滤除图像中野值点的问题。其实现过程是首先将训练数据及观测数据都看作二阶张量，采用张量分析的方法，计算每个模式上的投影矩阵，构造张量子空间；然后对观测数据进行鲁棒分析，对观测数据的每个元素进行加权，并更新张量子空间，再将加权的观测数据投影到子空间上，重构出背景图像；最后对参考背景和重构背景进行相似性度量，检测视频场景中是否发生异常事件。与现有方法相比，本方法能保持图像的空间结构信息，滤除图像中的野值点，具有鲁棒性。可用于安防、监控领域中固定场景、光照缓变条件下的异常事件检测。
文档编号G06T7/00GK101996327SQ20101027152
公开日2011年3月30日 申请日期2010年9月2日 优先权日2010年9月2日
发明者唐文剑, 李洁, 沐广武, 温静, 赵林, 韩冠, 高新波, 高飞 申请人:西安电子科技大学