专利名称：用计算机对运动目标的场景图像建立语义场景模型的方法
技术领域：
本发明属于图像处理技术领域，涉及一种用于对视频监控中的事件进行分析的语 义场景模型学习方法。
背景技术：
随着城市的发展和摄像头的普及，基于视频分析的智能交通管理系统越来越受到 重视。这种智能交通管理系统能够通过对视频数据处理分析，得到交通场景的运动模式，从 而对一些违反交通规则等异常事件进行自动报警，避免大量人工处理。然而由于交通场景 中运动目标种类较多和运动模式的复杂，自动的学习一个鲁棒的语义场景模型仍然是一个 很有挑战的问题。传统的语义场景模型的学习方法都是基于轨迹分析。一种是用目标分类的方法进 行轨迹分析；这种方法利用场景上下文信息，如目标的位置，目标的面积大小，目标的运动 速度等，但是，在视频监控的场景中，由于低分辨率，阴影，遮挡，不同视角等的影响，仅仅用 这些信息得到的目标分类效果仍然不好。另外一种是用轨迹聚类的方法；这种方法可以总 结为两类，一类是基于空间距离的方法，另外一种是基于空间分布的方法。基于空间距离的 方法仅仅考虑了轨迹间的相似度，这种方法有以下缺点对异常事件缺少概率解释，需要知 道聚类个数，计算量大和这些相似度可能并不能反应真实的度量。为解决这些问题，提出了 基于空间分布的方法，但是存在的方法没有考虑轨迹的完整性。
发明内容
为了解决公开技术方案存在的目标跟踪存在的误差、计算量大、相似度并不能反 应真实的度量等技术问题，本发明的目的是能够避免目标跟踪带来的误差、计算速度快、能 提高视频监控系统在交通场景中管理的智能性的语义场景模型学习方法，为此本发明提供 一种基于目标分类和轨迹聚类的语义场景模型学习方法。为达成所述目的，本发明提供的用计算机对运动目标的场景图像建立语义场景模 型的方法，该方法包括以下步骤步骤Sl 利用图像处理设备输入的视频数据，得到待处理的运动目标图像数据， 对目标进行检测和跟踪；步骤S2 基于协同训练方法学习行人和车的分类器，减少训练标注样本和充分利 用目标的多种特征；根据学习得到的分类器，将目标分为行人和车辆；步骤S3 对于每类目标的轨迹进行轨迹聚类，得到目标的轨迹聚类结果；步骤S4:根据目标的轨迹聚类，得到每种轨迹的分布区域，并且利用均值漂移算 法得到每种轨迹分布区域的主要轨迹和轨迹的入点和出点，从而得到有一定语义的区域和 实现应用。其中，所述目标的多种特征是场景上下文信息和目标的表象信息。其中，所述场景上下文信息为目标的大小，面积，长宽比。
其中，所述目标的表象信息为局部二值模型特征。其中，根据分类器的分类结果，将目标分为行人和车辆。其中，所述的分类器是利用基于线性判别分析的分类器和基于提升算法的分类器 的协同学习得到最终的分类器；该分类器利用输入的样本Xt，分别用线性判别分析的分类 器和提升算法的分类器给标签yt，λ ；然后，基于这些标注的训练样本更新分类器。其中，所述轨迹聚类的步骤是步骤S31 利用二次曲线参数化描述轨迹的完整性，基于轨迹的完整性特征，利用 高斯混合模型学习每类目标的所有运动模式；步骤S32 通过采取在线更新的方式，根据高斯的权重滤除掉异常的轨迹，并且学 习得到交通场景中的运动模式；步骤S33 利用图切割算法，对学习得到的运动模式进行聚类。其中，所述的协同学习(Co-training)算法能利用特征1的分类器和特征2的分类器对样本\进行自动标注类标yt，，从而减少人工标注样本的数量，并且能利用多种特 征的性能提升分类器的分类性能。本发明的有益效果本发明通过学习一个鲁棒的语义场景模型来进行视频监控系 统中的事件分析。在智能监控系统中，事件分析是一个基本的任务，由于运动目标有不同的 类别和不同的运动模式，因此，通过学习一个有效的语义场景模型对事件进行分析仍然是 一个很困难的问题。基于这些困难，本发明为事件分析提出了一个新颖的基于语义场景模 型学习的框架。在这个框架里，检测得到的运动目标首先通过协同训练的分类器分为行人 和车辆；这种分类器考虑了目标的多种特征，并且训练时需要的标签样本数量较少。基于这 个分类结果，本发明能够自动的分别学习行人和车辆的运动模式。为了有效的学习和聚类 这些运动模式，本发明提出了基于图的方法。首先，目标的轨迹被参数化，监控场景的图片 被分为多个方块，每个方块被认为是图的一个节点。基于轨迹的这些参数，高斯混合模型被 采用来学习每个方块的运动模式。最后，通过图切割算法，这些相同的运动模式被聚类，从 而，相同的轨迹被聚类然后得到语义场景模型。在交通场景中，实验结果表明本发明提出的 方法是有效的。基于协同训练学习分类器，能利用运动目标的多种特征，能减少标签样本的 数量，从而减少了大量的人力获取训练样本。基于协同训练方法学习行人和车的分类器，其特点之一在于能利用目标的多种特 征。其特点之二在于能减少标签样本的数量，从而减少了大量的人力获取训练样本。利用二次曲线参数化描述的轨迹特征，这种轨迹特征描述了轨迹的完整性，在一 定程度上能够避免目标跟踪带来的误差；高斯混合模型能有效的描述多种运动模式，通 过在线的更新方式并根据高斯混合模型的权重滤除掉异常的轨迹，另外每个高斯的权重 可以看着是每种运动模式的重要性度量，并且计算速度快。图切割方法与基本聚类算法 (K-means)相比能够利用运动模式的领域信息，从而得到更好的聚类结果。基于学习得到的语义场景模型，可以用于交通场景中异常违规事件检测和混叠目 标分割，从而能提高视频监控系统在交通场景中管理的智能性。
图IA是本发明的语义场景模型学习框图
图IB是本发明图IA中的分类器的流程图；图IC是本发明图IA中的轨迹聚类的流程图；图2是协同学习(Co-training)算法框图；图3a、图北是图切割算法原理；图4是场景Sl中运动模式聚类结果；图5是场景S2中运动模式聚类结果；图6是在场景S2中，方法I、II、III的轨迹聚类结果；图7是场景Sl中语义模型学习结果；图8是场景S2中语义模型学习结果；图9a至图9f是基于学习得到的语义场景模型；
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。专利通过学习一个鲁棒的语义场景模型来进行视频监控系统中的事件分析。在智 能监控系统中，事件分析是一个基本的任务，并且变成一个热点研究领域。但是，运动目标 由于有不同的类别和不同的运动模式，因此，通过学习一个有效的语义场景模型来进行事 件分析仍然是一个很困难的问题。基于这些困难，我们为事件分析提出了一个新颖的基于 语义场景模型学习的框架。在这个框架里，检测得到的运动目标首先通过协同训练的分类 器分为行人和车辆；这种分类器考虑了目标的多种特征，并且训练时需要的标签样本数量 较少。基于这个分类结果，我们的系统能够自动的分别学习行人和车辆的运动模式。为了 有效的学习和聚类这些运动模式，我们提出了基于图的方法。首先，目标的轨迹被参数化， 监控场景的图片被分为多个方块，每个方块被认为是图的一个节点。基于轨迹的这些参数， 高斯混合模型被采用来学习每个方块的运动模式。最后，通过图切割算法，这些相同的运动 模式被聚类，从而，相同的轨迹被聚类然后得到语义场景模型。在交通场景中，实验结果表 明我们提出的算法是有效的。技术方案包括(1)基于协同训练方法学习分类器；( 轨迹聚类；C3)语义场景 模型的学习和应用。利用图像处理设备检测输入的视频数据，得到待处理的运动目标图像 数据；然后基于协同训练方法学习行人和车的分类器，其特点之一在于能利用目标的多种 特征，如场景上下文信息和目标的表象信息。其中场景上下文信息为目标的大小，面积，长 宽比等，目标的表象信息为局部二值模型特征。其特点之二在于能减少标签样本的数量，从 而减少了大量的人力获取训练样本。根据分类器的分类结果，可以将目标分为行人和车辆。 然后对于每类目标的轨迹进行轨迹聚类。轨迹聚类主要分为三个步骤首先利用二次曲线 参数化描述轨迹的完整性，基于轨迹的完整性特征，利用高斯混合模型学习每类目标的所 有运动模式；通过采取在线更新的方式，根据高斯的权重滤除掉异常的轨迹。最后利用图切 割算法，对学习得到的运动模式进行聚类。根据轨迹聚类的结果，可以得到每种轨迹的分布 区域，并且利用均值漂移算法得到每种轨迹分布区域的主要轨迹和轨迹的入点和出点，从 而得到有一定语义的区域。本发明是利用计算机实现了目标分类和轨迹聚类，提出了一个鲁棒的对运动目标的场景图像建立语义场景模型学习方法，从而能方便智能交通监控系统的管理。本发明的 系统框架如图IA示出本发明语义场景模型学习框图，包括步骤如下步骤Sl 利用图像处理设备输入的视频数据，得到待处理的运动目标图像数据， 对目标进行检测和跟踪；步骤S2 基于协同训练方法学习行人和车的分类器，减少训练标注样本和充分利 用目标的多种特征；根据学习得到的分类器，将目标分为行人和车辆；步骤S3 对于每类目标的轨迹进行轨迹聚类，得到目标的轨迹聚类；步骤S4:根据目标的轨迹聚类，得到每种轨迹的分布区域，并且利用均值漂移算 法得到每种轨迹分布区域的主要轨迹和轨迹的入点和出点，从而得到有一定语义的区域和 实现应用。(一)、如图IB示出分类器的子流程图目标分类部分我们利用协同训练的方法得到行人和车辆的分类器。图2描述了协 同训练算法的思想，这种方法考虑了第t个目标^的多种特征，对于每种特征，根据初始标 签样本，训练一个分类器，然后每个分类器给无标签样本标签yt，j)f，将分数高的无标签样 本加入训练集中，然后训练新的分类器。通过两个分类器互相反复推荐的学习过程，从而可 以利用目标的多种特征和无标签样本训练分类器。这种训练方法训练时需要的标签样本数 量较少，从而减少了大量的人力，通过反复训练，分类器的分类性能大大提高，超出了原有 方法的分类结果。本发明中，采用基于线性判别分析的分类器(LDA-Based Classifier)和基于提升 算法的分类器(AdaBoost Classifier)相互协同学习训练分类器。线性判别分析的分类器 采用场景上下文信息，如目标的位置坐标，目标的大小，目标的运动速度，运动方向，长宽 比等。然后利用线性判别分析(LDA)得到一个最优的投影方向来分开正样本和负样本。线 性判别分析(LDA)个g定义为g = w' r(1)w = (S^S2)-HU1-U2)是投影方向，r是新的样本特征，U1和U2分别是行人和车辆 的均值，Si和S2是协方差矩阵；其中
权利要求
1.用计算机对运动目标的场景图像建立语义场景模型的方法，其特征在于，该方法包 括以下步骤步骤Sl 利用图像处理设备输入的视频数据，得到待处理的运动目标图像数据，对目 标进行目标检测和跟踪；步骤S2 基于协同训练方法学习行人和车的分类器，减少训练标注样本和充分利用目 标的多种特征；根据学习得到的分类器，将目标分为行人和车辆；步骤S3 对于每类目标的轨迹进行轨迹聚类，得到目标的轨迹聚类结果；步骤S4 根据目标的轨迹聚类，得到每种轨迹的分布区域，并且利用均值漂移算法得 到每种轨迹分布区域的主要轨迹和轨迹的入点和出点，从而得到有一定语义的区域和实现 应用。
2.如权利要求1所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其 特征在于，所述目标的多种特征是场景上下文信息和目标的表象信息。
3.如权利要求2所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其 特征在于，所述场景上下文信息为目标的大小，面积，长宽比。
4.如权利要求2所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其 特征在于，所述目标的表象信息为局部二值模型特征。
5.如权利要求2所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其 特征在于，根据分类器的分类结果，将目标分为行人和车辆。
6.如权利要求1所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其 特征在于，所述的分类器是利用基于线性判别分析的分类器和基于提升算法的分类器的协 同学习得到最终的分类器；该分类器利用输入的第t个样本Xt，分别用线性判别分析的分 类器和提升算法的分类器给标签yt，λ ；然后，基于这些标注的训练样本更新分类器。
7.如权利要求1所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其 特征在于，所述轨迹聚类的步骤如下步骤S31 利用二次曲线参数化描述轨迹的完整性，基于轨迹的完整性特征，利用高斯 混合模型学习每类目标的所有运动模式；步骤S32 通过采取在线更新的方式，根据高斯的权重滤除掉异常的轨迹，并且学习得 到交通场景中的运动模式；步骤S33 利用图切割算法，对学习得到的运动模式进行聚类。
8.如权利要求1所述的用计算机对运动目标的场景图像建立语义场景模型的方法，其 特征在于，所述的协同学习(Co-training)算法能利用特征1的分类器和特征2的分类器对样本Xt进行自动标注类标yt，λ，从而减少人工标注样本的数量，并且能利用多种特征的性能提升分类器的分类性能。
全文摘要
本发明用计算机对运动目标的场景图像建立语义场景模型的方法，包括步骤S1利用图像处理设备输入的视频数据，得到待处理的运动目标图像数据，进行目标检测和跟踪；步骤S2基于协同训练方法学习行人和车的分类器，减少训练标注样本和充分利用目标的多种特征；根据学习得到的分类器，将目标分为行人和车辆；步骤S3对于每类目标的轨迹进行轨迹聚类，得到目标的轨迹聚类；步骤S4根据目标的轨迹聚类，得到每种轨迹的分布区域，并且利用均值漂移算法得到每种轨迹分布区域的主要轨迹和轨迹的入点和出点，从而得到有一定语义的区域和实现应用。
文档编号G06K9/00GK102054176SQ201010603240
公开日2011年5月11日 申请日期2010年12月23日 优先权日2010年12月23日
发明者卢汉清, 张天柱, 王金桥 申请人:中国科学院自动化研究所