基于局部二值模式的视频中人群运动模式识别定位方法
【专利摘要】本发明公开了一种基于局部二值模式的视频中人群运动模式识别定位方法，主要解决了现有技术中存在的缺少一种对人群密集地不同局部区域内人群的运动模式进行分析识别的定位方法，使得不能对人群密集地的突发事件进行及时处理，不能满足实际需求的问题。该基于局部二值模式的视频中人群运动模式识别定位方法，通过将局部二值模式和光流法相结合，采用从下往上的思路，逐级识别人群视频中各局部区域的运动模式，并确定其空间位置及相关信息。通过上述方案，本发明达到了有效地描述具有一致运动模式的场景和多种运动模式并存的场景，进而更加细致和完善地分辨和提取复杂场景中人群的运动特征目的，具有很高的实用价值和推广价值。
【专利说明】基于局部二值模式的视频中人群运动模式识别定位方法
【技术领域】
[0001]本发明涉及一种识别定位方法，具体地说，是涉及一种基于局部二值模式的视频中人群运动模式识别定位方法。
【背景技术】
[0002]随着社会的发展，全球各地的人口数量飞速增长，据不完全统计，截止2013年全球人口数量已超过70亿，人口数量的剧增也伴随着人口密度的加大，各商圈、景区等地已成为高密度人群聚集地，同时也成为突发性事件的高发地。
[0003]人群聚集流动模式的突变往往是突发性公共安全事件发生的先兆，当局部的群体聚集密度、流动速度及加速度超过一定极限时，微小的外力就会破坏群流平衡，造成碰撞、阻塞、拥挤等失控场面，进而导致群体性踩踏伤亡事件的发生。因而，如何对公共场合的密集人群进行有效管制，不仅涉及到人群个体安全，也将影响到社会的和谐稳定。
[0004]现今，为避免群体活动中由于人群过分集中或运动模式突变而造成伤亡事件发生，相应的处置预案多以静态风险评估方法为主，从先期的主观预判出发，对预期的瓶颈区域进行事先改造、布置警力进行人工协调等。但当出现突发情况，如密集人群中个体摔倒，人群或人群中个体因惊吓发生恐慌，因激动出现骚乱等情况时，由于突发事件的不确定性，发生地并非总是在静态预期瓶颈区，预先的警力部署及资源配置反而会对遏制行动产生负作用，可见，先验性的静态评估手段已远远落后于社会的现实需求。视频监控技术的出现使动态风险评估方法逐步用于人群的管理和控制。利用摄像头实拍场景中的活动群体，通过人工实时观察监控场景中各区域人群的密集程度和运动模式，判断是否存在人群过分集中或人群运动模式的突变。与静态风险评估方法相比，监控系统+人工判断的人群监控模式能更快速合理地部署警力，分配资源，避免事故发生或控制事态扩大。然而，对监控场景的人工观察判断方式劳动强度大，主观随意性强，漏判和误判的几率较高，更重要的是无法对运动速度、运动模式等反映人群动态行为特点的参量给出量化分析与实时记录，不利于事故的客观调查分析。因此，如何利用图像/视频处理和模式识别技术自动准确的分类标记复杂场景中具有时空不确定性的人群运动模式及其随时空的演变就成为智能人群监控和管理领域的一个关键问题。
[0005]但是迄今为止，相对于视频监控系统的迅速发展和普及，相应的人群视频中运动模式的自动准确分类定位技术却相对滞后，远不能满足智能视频监控领域对人群视频中人群运动模式进行自动分类与空间定位的要求。目前仅有的人群视频中运动模式分类识别技术是将整个监控场景作为一个整体，通过提取全局特征来识别整个场景属于哪种运动模式，尽管这种全局分析方法具有简单、直观等优点，但是将其用于复杂场景的人群视频时却存在严重的弊端，即这种基于整体的分析方法只能描述整个场景的平均运动模式，其判别结果包含位于各局部空间位置的所有运动模式的共同贡献，却忽略了场景中不同局部区域可能出现不同运动模式的现象，更无法准确定位各运动模式的具体空间位置，从而难以捕捉场景中的高危敏感点。从根本上来说，产生这些弊端的主要原因在于这种基于整体的分析方法缺乏人群运动的空间位置分辨能力，不具备局部人群运动的辨识优势。
【发明内容】
[0006]本发明的目的在于提供一种基于局部二值模式的视频中人群运动模式识别定位方法，主要解决现有技术中存在的缺少一种对人群密集地不同局部区域内人群的运动模式进行分析识别的定位方法，使得不能对人群密集地的突发事件进行及时处理，不能满足实际需求的问题。
[0007]为了实现上述目的，本发明采用的技术方案如下:
基于局部二值模式的视频中人群运动模式识别定位方法，包括以下步骤:
(1)使用摄像头获取一段人群场景视频；
(2)利用光流法计算视频中每帧图像，即每一副静止的图像的密集光流图像；
(3)将每帧密集光流图像划分为一个以上NXN大小的不重叠单元；
(4)基于全局运动和局部相对运动计算每一NXN大小的单元中心点的局部二值模式
LBP ；
(5)根据所得的局部二值模式LBP将各单元识别为无运动、同方向运动、反方向运动、从中心散开、汇聚至中心、绕中心转动六种不同的运动模式；
(6)以步骤(5)的结果为基础，对步骤(2)中的密集光流图像做下采样，即将一个单元看做一个像素点，构建一幅宽和高分别为原始图像N分之一的新光流图像；
(7)重复步骤(3)?步骤(6)—次以上，获得最终的运动图；
(8)使用区域增长算法分割运动光流场中的各运动模式所占区域，并获取各运动模式的位置和面积信息。
[0008]所述步骤(2)中的光流法为Horn&Schunck算法、Lucas&Kanade算法、GunnarFarneback算法和Simple Flow算法中的任意一种。
[0009]考虑到实际情况，所述步骤(3)中，若密集光流图像的高或宽不是N的整数倍，则采用补零、反折或边界拷贝法将光流场的宽或高扩展到N的整数倍。
[0010]进一步地，所述步骤(4)中，全局运动采用单元中各点的光流值，局部相对运动采用单元中各点的速度在该点与中心点连线方向的投影，并采用旋转不变均匀模式作为最终的局部二值模式LBP的计算方法。
[0011]更进一步地，所述步骤(5)中，采用分类器对各单元的运动模式进行分类，所述分类器采用的分类方法为近邻法、K-近邻法、贝叶斯决策法、神经网络算法和支撑向量机算法中的任意一种。
[0012]作为优选，所述步骤(7)中，步骤(3)?步骤(6)的重复次数为广8次。
[0013]所述步骤(7)中，步骤(3)?步骤(6)的重复次数为3?4次。
[0014]具体地说，所述步骤(8)中，各运动模式的处理原则为:两个相邻的无运动单元划归为同一区域；两个相邻的同方向运动单元若运动方向一致，则划归为同一区域；两个相邻的反方向运动单元若运动方向一致或相反，则归并至同一区域；其他模式不执行归并操作。
[0015]与现有技术相比，本发明具有以下有益效果:
(I)本发明克服了目前人群运动行为模式分类技术的缺点与不足，通过自下而上的方式对人群在场景中多种运动模式进行更为细致的分析与描述，精细地揭示了人群在局部空间位置的运动状况，从而为自动化、客观化的人群安全管理与监控系统提供更有力的技术支持。
【专利附图】
【附图说明】
[0016]图1为本发明的流程示意图。
【具体实施方式】
[0017]下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
实施例
[0018]为了解决现有技术中存在的缺少一种对人群密集地不同局部区域内人群的运动模式进行分析识别的定位方法，使得不能对人群密集地的突发事件进行及时处理，不能满足实际需求的问题，如图1所示，本发明公开了一种基于局部二值模式的视频中人群运动模式识别定位方法，通过将局部二值模式和光流法相结合，采用从下往上的思路，逐级识别人群视频中各局部区域的运动模式，并确定其空间位置及相关信息，其具体实现步骤如下:
步骤一
使用摄像头获取一段人群场景视频，在视频的获取过程中，帧率、帧分辨率以及场景中行人的尺寸由摄像头的技术参数和安装位置确定；
步骤二
利用光流法(如 Horn&Schunck 算法、Lucas&Kanade 算法、Gunnar Farneback 算法或Simple Flow算法等)计算视频中每巾贞图像的运动光流场,这里也称之为密集光流场；
步骤三
将步骤二中获得的运动光流场划分为NXN大小的不重叠单元，单元划分过程中，单元的大小由原始帧的分辨率、摄像头的拍摄焦距及摄像头和拍摄场景的距离决定(一般为3-7)，如果图像的高或宽不是N的整数倍，则用边界拓展法(如补零、反折或边界拷贝)将光流场的宽或高扩展到N的整数倍；
步骤四
基于全局运动和局部相对运动计算每一 NXN大小的单元中心点的局部二值模式(Local Binary Pattern),其中,全局运动速度直接采用单元中各点的光流值,实施时可优选首先计算所有邻域点速度的平均值作为中心点的速度，然后通过对比各邻域点与中心点的运动方向是否一致来确定相应的LBP特征值；局部相对运动则通过计算单元中各点的速度在该点与中心点连线方向的投影获得，然后根据投影值的正负来确定相应的LBP特征值；
步骤五
根据步骤四获得的局部二值模式值将单元分类为无运动、同方向运动、反方向运动、从中心散开、汇聚至中心和绕中心转动六种不同的运动模式，并确定各运动模式的运动速率，分类过程中，以步骤四提取的两个二值局部模式值作为特征，采用分类方法(如近邻法，K-近邻法，贝叶斯决策法、神经网络、支撑向量机等)来执行分类，由此便可以将每一单元分类为六种不同运行模式中的一种，单元运动速率(即幅值)优选由单元中各点运动幅值的平均值确定； 步骤六 以步骤五的结果为基础，将一个单元看做一个像素点，构建一幅大尺度的、宽和高分别为上一级运动光流场N分之一的新运动光流场，在本级运动光流场的构建过程中，若上级单元的运动模式为同方向运动，则本级运动光流场中对应点的运动速度为上级单元各点运动速度的平均；若上级块的运动模式为反方向运动，则先计算单元中同方向运动点的平均运动幅度，并设本级运动光流场中对应点的运动方向为平均运动幅度较大的那个运动方向；若上级单元的运动模式为其他模式，则本级运动光流场中对应点的运动方向暂时用来描述其类别，运动幅值为步骤五中得到的运动幅值；
若设原始运动光流场为第O层，则在当前运动光流场的层数达到3-4时，跳至步骤九；
步骤七
将步骤六获得的当前运动光流场划分为NXN大小的不重叠单元，并更新各点的运动方向，运动方向的更新主要依据其对应上级单元的运动模式，即该点的当前运动方向和其在当前NXN单元中的位置。若上级单元的运动模式为从中心点散开模式，则更新其运动方向为从当前中心点指向该点的方向；若上级单元的运动模式为向中心点汇聚模式，则更新其运动方向为从该点指向当前中心点的方向；若上级单元的运动模式为绕中心转动模式，则更新其运动方向为从该点到当前中心点的法向方向；
步骤八
重复步骤四至步骤七；
步骤九
采用区域增长法确定当前运动光流场中各运动行为模式所占区域，并获取其位置、面积等相关信息并将其映射回原始视频帧大小，在采用区域增长法执行区域分割过程中，对运动模式的处理原则为:两个相邻的无运动单元划归为同一区域，两个相邻的同方向运动单元若其运动方向一致，则划归为同一区域；两个相邻的反方向运动单元若其运动方向一致或相反，则归并至同一区域；其他模式不执行归并操作。
[0019]为了更好地阐述本发明，以下提供一种实际应用方案:
(O使用型号Axis 223M，分辨率768x576，，帧率:3-7，扫描方式为逐行扫描，总帧数378，摄像头覆盖场景大小约为100m x 30m的摄像头拍摄一段校园视频；
(2)利用光流法计算视频中每帧图像的密集运动光流场，密集运动光流场中每一点的数据由原始视频中该点沿X轴方向的位移和沿Y轴方向的位移两部分组成，由这两部分数据可以计算运动光流场中任一点的运动幅度和运动方向，因此，光流场中每一点可以用一个带箭头的矢量来描述，也可以采用不同的颜色描述；
(3)将光流场划分为3X3大小的不重叠单元，由此，当前运动光流场便被划分成256X 192个3X3大小的不重叠单元；
(4)基于全局运动和局部相对运动计算每一3X3大小的单元中心点的局部二值模式(Local Binary Pattern)。计算基于全局运动的局部二值模式时,首先计算整块的平均速度作为中心点的速度，其余点的速度保持不变，然后逐一比较邻域点与中心点的运动方向是否一致，若一致则取值为“ 1”，否则取值为“O”，从而得到邻域点方向差异矩阵；计算基于局部相对运动的局部二值模式时，首先计算邻域各点的运动速度在其与中心点连线方向的投影，若投影值为非负值则取值为“ I ”，否则取值为“O”，从而得到邻域点局部相对运动方向差异矩阵。然后计算邻域点方向差异矩阵和邻域点局部相对运动方向差异矩阵的旋转不变均匀模式LBP值，根据LBP的计算原理，LBP值得取值范围为0_9，其中前9个代表9种均匀模式，最后一个代表其余所有非均匀模式；
(5)使用分类器根据获得的两个LBP值将单元分类为无运动、同方向运动、反方向运动、从中心散开、汇聚至中心和绕中心转动六种不同的运动行为模式，并确定各运动模式的运动速率，分类器优选的是近邻法，单元运动速率(即幅值)由单元中各点运动幅值的平均值确定；
(6)将一个单元看做一个像素点，构建一幅大尺度的、宽和高分别为上一级运动光流场三分之一的新运动光流场。
[0020]在本级运动光流场的构建过程中，若上级单元的运动模式为同方向运动，则本级运动光流场中对应点的运动速度为上级单元各点运动速度的平均；若上级单元的运动模式为反方向运动，则先计算单元中两种相反方向的平均运动幅度，并设本级运动光流场中对应点的运动方向为平均运动幅度较大的那个运动方向；若上级单元的运动模式为其他模式，则本级运动光流场中对应点的运动方向暂时用来描述其类别，运动幅值为单元中各点运动幅值的平均值；
设原始运动光流场为第O层，则在当前运动光流场的层数达到3时，跳转至步骤(8)；
(7)更新各点的运动方向，并划分当前运动光流场为3X3大小的不重叠块。各点运动方向的更新依据其对应上级单元的运动模式，即该点的当前运动方向值(代表其运动类别)和其在当前NXN块中的位置，若上级单元的运动模式为从中心点散开模式，则更新其运动方向为从当前中心点指向该点的方向；若上级单元的运动模式为向中心点汇聚模式，则更新其运动方向为从该点指向当前中心点的方向；若上级单元的运动模式为绕中心转动模式，则更新其运动方向为从该点到当前中心点的法向方向；
重复步骤(4)?步骤(7)；
(8)以各点的运动模式为特征，采用区域增长法确定当前运动光流场中各运动行为模式所占区域，并获取其位置、面积等相关信息，在采用区域增长法执行区域分割过程中，对各运动模式的处理原则为:两个相邻的无运动块划归为同一区域，两个相邻的同方向运动块若其运动方向一致，则划归为同一区域；两个相邻反方向运动块若其运动方向一致或相反，则归并至同一区域；其他模式不执行增长归并操作，由此得到当前帧的人群运动状态。
[0021]为了与现有技术中基于整体进行定位的方法作比较，也对上述实验视频采用基于整体的方法对各帧的运动运动模式进行了分析，结果发现，基于整体的方法只能分析具有一致运动模式的场景，其对于存在同时并发的不同运动模式的场景不能进行很好地描述，而本发明中的方法能有效地描述具有一致运动模式的场景和多种运动模式并存的场景，进而更加细致和完善地分辨和提取复杂场景中人群的运动特征。
[0022]按照上述实施例，便可很好地实现本发明。
【权利要求】
1.基于局部二值模式的视频中人群运动模式识别定位方法，其特征在于，包括以下步骤: (1)使用摄像头获取一段人群场景视频； (2)利用光流法计算视频中每帧图像，即每一副静止的图像的密集光流图像； (3)将每帧密集光流图像划分为一个以上NXN大小的不重叠单元； (4)基于全局运动和局部相对运动计算每一NXN大小的单元中心点的局部二值模式LBP ； (5)根据所得的局部二值模式LBP将各单元识别为无运动、同方向运动、反方向运动、从中心散开、汇聚至中心、绕中心转动六种不同的运动模式； (6)以步骤(5)的结果为基础，对步骤(2)中的密集光流图像做下采样，即将一个单元看做一个像素点，构建一幅宽和高分别为原始图像N分之一的新光流图像； (7 )重复步骤(3 )?步骤(6 ) —次以上，获得最终的运动图； (8)使用区域增长算法分割运动光流场中的各运动模式所占区域，并获取各运动模式的位置和面积信息。
2.根据权利要求1所述的基于局部二值模式的视频中人群运动模式识别定位方法，其特征在于，所述步骤(2)中的光流法为Horn&Schunck算法、Lucas&Kanade算法、GunnarFarneback算法和Simple Flow算法中的任意一种。
3.根据权利要求1所述的基于局部二值模式的视频中人群运动模式识别定位方法，其特征在于，所述步骤(3)中，若密集光流图像的高或宽不是N的整数倍，则采用补零、反折或边界拷贝法将光流场的宽或高扩展到N的整数倍。
4.根据权利要求1所述的基于局部二值模式的视频中人群运动模式识别定位方法，其特征在于，所述步骤(4)中，全局运动采用单元中各点的光流值，局部相对运动采用单元中各点的速度在该点与中心点连线方向的投影，并采用旋转不变均匀模式作为最终的局部二值模式LBP的计算方法。
5.根据权利要求1所述的基于局部二值模式的视频中人群运动模式识别定位方法，其特征在于，所述步骤(5)中，采用分类器对各单元的运动模式进行分类，所述分类器采用的分类方法为近邻法、K-近邻法、贝叶斯决策法、神经网络算法和支撑向量机算法中的任意一种。
6.根据权利要求1所述的基于局部二值模式的视频中人群运动模式识别定位方法，其特征在于，所述步骤(7)中，步骤(3)?步骤(6)的重复次数为广8次。
7.根据权利要求6所述的基于局部二值模式的视频中人群运动模式识别定位方法，其特征在于，所述步骤(7 )中，步骤(3 )?步骤(6 )的重复次数为3?4次。
8.根据权利要求1所述的基于局部二值模式的视频中人群运动模式识别定位方法，其特征在于，所述步骤(8)中，各运动模式的处理原则为:两个相邻的无运动单元划归为同一区域；两个相邻的同方向运动单元若运动方向一致，则划归为同一区域；两个相邻的反方向运动单元若运动方向一致或相反，则归并至同一区域；其他模式不执行归并操作。
【文档编号】G06K9/62GK103593656SQ201310591950
【公开日】2014年2月19日 申请日期:2013年11月22日 优先权日:2013年11月22日
【发明者】李晓华, 张卫华, 周激流 申请人:四川大学