一种基于时空信息约束的密集群体分割方法
【技术领域】
[0001] 本发明属于视频监控中的人群行为分析方向，具体涉及一种密集场景下将人群分 割为子群体的方法，对人群交互行为的研宄具有重要的研宄意义。
【背景技术】
[0002] 随着世界人口的日益增加和城市化进程的加快，公共场所的人群安全问题也日渐 突出。大规模的人群活动频频引发了各种交通、治安等群体性事件。为了维护公共安全，预 防公共突发事件，在商场，体育馆，以及地铁站等人群密集的场所，对人群进行智能监控显 得尤为重要。而智能监控的基础是对视频中的人群行为进行分析。虽然人们对群体中具体 个体运动的研宄由来已久，但群体并不是简单的个体运动的叠加。研宄发现，在人群运动较 密集的场景中，人们往往不是自由地单独行动，而是更加倾向于三五成群地共同运动，越是 密集的人群，这种现象越是明显。这些子群体中，运动个体会调整自己的运动状态使之和旁 人保持一致，形成具有运动一致性的组群。因此，我们可以从这些小的组群的角度去看待密 集群体，而非将人群视作一个个单独的个体。然而目前的研宄还集中在对运动个体的行为 研宄和全局运动的整体分析。从个体的角度进行群体行为分析存在一定的局限性，比如视 频场景较密集时，人体之间的遮挡对行人的识别影响较大，而且行人之间复杂的行为交互 也为分析增加了难度。而宏观的群体划分会忽略人与人之间的局部特征，使得局部的行为 分析变得比较困难。虽然从子群体的角度去分析群体行为的研宄还比较少，但是国内外都 在积极进行探索，并且取得了一定的成就。比如国外的哈佛大学、康奈尔大学、日本先进科 技研宄所和国内的北京理工大学、中科院、东南大学等，他们的研宄推动了群体行为分析的 研宄。但由于目前该领域还处于初级阶段，因此对群体分割技术的研宄有着重要的理论意 义和研宄价值。
[0003] 现在很多的群体分割算法的结果粒度较大，每个子群体一般大于五到十人，这就 不符合人们自发组成的群体的实际情况，因而不利于进一步的人群行为的研宄。
【发明内容】
[0004] 本发明的目的是解决如何把密集场景的人群分割为三到五人的子群体的问题。
[0005] 为便于研宄监控视频场景中的群体交互行为，本发明提出一种在监控视频中，通 过时空信息约束将密集人群划分为子群体的方法。该方法至少包括以下步骤：
[0006] 步骤1)、对监控视频中的每帧视频图像进行运动特征点信息提取；
[0007] 步骤2)、对每帧视频图像的前景点的运动进行二值化的斑块提取；
[0008] 步骤3)、利用所述斑块的边界信息对前景点的特征点进行空间上的约束划分；
[0009] 步骤4)、利用特征点时间上的连续位置信息，获得特征点的运动趋势信息，从而对 子群体进行进一步的划分。
[0010] 优选地，该方法进一步包括步骤5)，对划分结果中的异常点进行修正和剔除，最终 完成子群体的划分。
[0011] 优选地，所述步骤1)具体包括如下步骤：
[0012] (1)运动特征点跟踪及轨迹提取：利用KLT算法对运动特征点进行匹配跟踪，基于 最优估计的KLT匹配算法，利用帧间的灰度差平方和SSD作为度量，在待跟踪窗口W内找到 匹配特征点，因此获得连续帧中特征点的轨迹= {Pi.Pm.Pm.....pluij，即点P从时间t到t-d内的轨迹，其中，pt代表点p在时刻t时的位置；
[0013] (2)运动特征点的信息提取：根据特征点的轨迹，求出特征点在帧间的偏移 量d= (AX，Ay)，将其看作是特征点的移动速度，记为f= (Ax，Ay)。
[0014] 优选地，所述步骤2)具体包括如下步骤：
[0015] (1)获取前景点的运动斑块：采用混合高斯背景建模GMM的方法，获得二值化的前 景掩膜；其中，混合高斯模型使用K个高斯模型来表征图像中各个像素点的特征，在新一帧 图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果成 功则判定该点为背景点，否则为前景点；
[0016] (2)获取连通斑块的区域：将前景掩膜中的连通斑块标记为不同的ID值，得到若 干连通斑块，记斑块的集合BI={BB2,B3,. . .，Bk}，表示图像帧I中包含k个连通的斑块。
[0017] 优选地，所述步骤3)具体包括如下步骤：
[0018] (1)计算斑块的矩形区域：找到斑块的边界像素的位置后，将该斑块区域依照边 界像素的位置划分出一个矩形区域，并且获得该斑块的边界属性BR和TL，分别为矩形的右 下角点坐标和右上角点坐标；
[0019] (2)利用斑块的空间信息对特征点进行约束划分：若特征点p的坐标为（px，py)，对 所有pGI，若有TLX<PX<BRX，且BRy彡py<TLy，那么则有pGBk。若pGBk，则将p加 入斑块Bk中；反之，则进行下一个斑块匹配；若p不属于任何一个斑块，则将其剔除；经过约 束后，图像帧I中的斑块集合BI={Bi，B2,B3,. . .，BJ中的斑块，均包含若干特征点；假设图 像帧I中所有特征点构成集合31，那么此时的分割结果可以表示为SI= {BdFJ，其中&为 图像帧I中包含经过空间约束的特征点的斑块，&为图像帧I中不在前景运动斑块上的点 集；接下来要对&进行进一步的划分。
[0020] 优选地，所述步骤4)具体包括如下步骤：
[0021] (1)计算特征点p的其速度向量$ = (Ax，Ay)与X轴形成的方向余弦cos9，进而获 得其方向夹角9 (〇彡9彡2JT);计算方法如下：
[0023] (2)将方向夹角从0到2 31划分为12等份，每个区间分别标记为Di，其中i= 1，2, 3,. . .，12 ;为每个特征点添加属性值Pdirc，代表每个特征点的运动趋势；为Pdirc赋 值，具体做法如下：
[0025] 将同一个斑块中属性值Pdirc相同的特征点点聚合为一个点集Ck，经过方向夹角 约束后，原来的斑块集合&集合进一步划分为B {C}，其中C={CuC2,C3, . . .，Ck}。
[0026] 优选地，所述步骤5)具体包括如下步骤：
[0027] (1)修正异常点：对于头部和脚部方向的细微角度差导致的划分错误，将特征点p 的代表运动趋势的属性Pdirc的划分间隔放大，减小因速度方向划分过细引起的误差；具 体做法如下：
[0028] 计算特征点p的K个临近点中，各临近点的属性值Pdirc出现频率最大的标记值， 假设为Di，特征点p的Pdirc值假设为h，那么对于所有的特征点p，若i+1 =j或者i-1 = j，那么就将P的Pdirc值修正为Dp
[0029] 优选地，所述步骤5)还包括如下步骤：
[0030] (2)剔除异常点：计算特征点p的L个临近点中与其运动趋势相同的点的个数N; 设定一个临界值M(M<L)，若N〈M，则将p点认为是异常点，从子群体Ck中剔除。
[0031] 本发明利用前景检测方法获得人群运动的空间关系，利用特征点跟踪的方法获得 人群运动在时间上的运动关系，通过两种运动关系进行相互辅助的方法，提高了子群体划 分的精度，且划分结果满足现实生活中人群自发组成的团体，即由3到5人构成的团体。划 分的结果为人群交互行为的研宄提供了重要的分析素材，在公共场所中的人群管理，突发 情况监控等领域中有着广泛的应用。
【附图说明】
[0032] 图1显示为本发明时空信息约束将密集人群划分为子群体的方法具体步骤流程 图。
[0033] 图2显示为本发明时空信息约束将密集人群划分为子群体的方法步骤示意图。
【具体实施方式】
[0034] 以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书 所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实 施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离 本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施 例中的特征可以相互组合。
[0035] 需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构 想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸 绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也 可能更为复杂。
[0036] 请参阅图1至图2所示，本发明的子群体分割方法包含如下步骤：
[0037] 1、对监控视频中的每帧图像进行特征点运动信息提取：
[0038] (1)运动特征点跟踪及轨迹提取。利用KLT(Kanade,Lucas,andTomasi)算法 对特征点进行匹配跟踪。基于最优估计的KLT匹配算法利用帧间的灰度差平方和（SSD) 作为度量，在待跟踪窗口W内找到匹配特征点，因此可以获得连续帧中特征点的轨迹 ^(1={?1，1)1: +1.1)1+2，...,？1+<1}，即点？从时间1^到1： - (1内的轨迹^代表点？在时刻1：时的 位置。
[0039] (2)特征点的运动信息提取。根据特征点的轨迹，将相邻两帧图像中特征点的 坐标位置相减，可以求出特征点在帧间的偏移量d=(△X，△y)，可以看作是特征点的移动 速度，记为f= (Ax，Ay；)。如图2中（A)所示，箭头代表特征点的速度向量。
[0040]2、对视频图像帧中的运动前景进行二值化斑块提取：
[0041] (1)获取前景运动斑块。采用混合高斯背景建模的方法，获得二值化的前景掩膜。 混合高斯模型使用K( 一般为3到5个）个高斯模型来表征图像中各个像素点的特征，在新 一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如 果成功则判定该点为背景点，否则为前景点。
[0042] (2)获取连通斑块的区域。将前景掩膜中的连通斑块标记为不同的ID值，得到若 干连通斑块，记斑块的集合BI={BB2,B3,. . .，Bk}，表示图像帧I中包含k个连通的斑块。 连通的斑块说明该空间内的行人距离比较相近，如图2中（B)所示，不同矩形区域代表不同 的斑块。
[0043] 3、利用连通斑块