一种复杂环境的个体行为识别的方法及系统与流程

1.本发明涉及图像识别及深度学习技术领域，尤其涉及一种复杂环境的个体行为识别的方法及系统。


背景技术：

2.近年来世界各地发生的多起大型恐怖事件都发生在人群密集的公共场所。特别是大型公共场所，如广场、街道、体育场馆的出入口处的人群监控日益成为公共安全管理的重要方面。在火车站、公园以及人流量比较大的场所，持刀伤人、人群冲突及恐怖袭击等问题时刻威胁着人民群众的生命安全。虽然多数的公众场合都安装有监控系统，能为调查取证提供重要线索，但还无法智能报警。由于监控视频数据量庞大，通过人工查看监控视频的方式效率低下，随着智能监控技术的发展，监控视频下的人群异常行为的检测技术将有助于解决上述问题。
3.正常情况下，人群中的个体在广场的运动呈现随机游走的状态，同时受周边环境的吸引，呈现小规模聚集的现象。例如，在重要观景点、花坛周围会有较多的群众聚集，但人群整体仍呈现较为松散形态。而当异常事件发生时，人群的运动呈现群体效应。当人群处于高度密集状态时，发生的异常事件会造成整个群体的整体运动呈现出一种波动状态。因此对人群密度的高度关注和对异常事件的实时监控与识别是公共场所人群管理的当务之急。
4.现有的人群异常行为的检测方法，一是通过跟踪算法跟踪视频中的目标，获得目标在视频中的运动轨迹，分析运动轨迹从而来判断场景中是否存在异常事件。但是该方法只适用于人群密度低的场景，对于高密度人群场景，运动目标较多，且容易发生遮挡，很难获得精准的运动轨迹；二是通过光流法来提取视频中的运动速度大小，设置固定阈值，大于阈值的运动速度被判断为异常事件。由于现实场景容易受到背景和光照变化干扰，并且由于监控摄像头的视频角度问题，同一场景中距离摄像头远近不同但运动速度相同的人群在检测中获得的运动速度却不同，固定阈值无法准确地将人群异常事件监测出来。
5.然而，现有的人群行为的行为识别方法计算量巨大，导致运算过程很慢，即使追踪至像素点进行轨迹分析，为了定位相关像素点及相关像素运动同样需要复杂运算，不利于在大型公共场所，如广场、街道、体育场馆的出入口处的推广和使用。


技术实现要素：

6.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开了一种复杂环境的个体行为识别的方法，所述识别的方法包括：
7.步骤1，获取复杂环境的图像信息，设置图像信息分类器，用于根据所述获取的图像信息的纹理信息对所述选取的图像进行分类，确定复杂环境的图像的个体的密集度等级，其中，图像信息包括视频信息及视频信息的固定帧图像；
8.步骤2，可以将所述图像信息按照时间顺序和/或相关性顺序分为n段，其中，对每段视频信息提取像素点的移动轨迹，根据所述复杂环境的图像的个体的密集度等级对视频
信息进行选段，若所述密集度等级越高则选段内容越小，若所述密集度等级越小，则选择分段的内容越多，其中，所述选段内容包括时间间隔和/或复杂环境变化率；
9.步骤3，对复杂环境中的个体运动轨迹进行分解，得到正对于复杂环境的个体运动的数据点集合，构建个体行为分析模型并进行训练，将所述检测运动模式分解为轨迹点集的形式，作为测试集输入到所述分析模型；
10.步骤4，对于相同的分类标记的像素点，具有相同分析模型返回测试集与预设特定行为动作的匹配结果，若匹配成功则认定为预定义行为以此完成特定行为动作的识别。
11.更进一步地，所述步骤1进一步包括：将纹理信息于个体密集度的对应关系进行映射，所述图像信息分类器根据训练图像的纹理信息与训练图像的已知个体密集度得到当前复杂环境的图像的个体的密集度。
12.更进一步地，所述步骤2进一步包括：根据相关性顺序分为n段包括对视频帧进行检测，预先定义一个目标帧，利用领域窗口以预设步长对所述视频信息中的多帧图像中的每帧图像进行遍历，对包含目标帧的多帧图像分别进行检测，以得到一个或多个候选目标及相似度，将相似度大于阈值的多帧图像进行合并，生成高相关性图像分段。
13.更进一步地，所述步骤3进一步包括：所述对复杂环境中的个体运动轨迹进行分解包括使用图像分割算法在所述多个像素空间对图像进行像素图像分割，得到多个图像分割结果，每个图像分割结果中包含所述待分割图像所有像素在每个像素空间中分类的分类标记。
14.更进一步地，所述步骤4进一步包括：损失函数如下：
[0015][0016]
其中，y∈{1，
…
，k}，p(y)＝[p(1)，
…
，p(k)]表示每个像素空间中分类的分类标记，pt为预测概率，λ为权值系数，t为相关度等级，dkl(qt||pt)为相关散度。
[0017]
本发明进一步公开了一种复杂环境的个体行为识别的系统，所述识别的系统包括：
[0018]
图像获取及分类单元，通过所述图像获取及分类单元获取复杂环境的图像信息，设置图像信息分类器，用于根据所述获取的图像信息的纹理信息对所述选取的图像进行分类，确定复杂环境的图像的个体的密集度等级，其中，图像信息包括视频信息及视频信息的固定帧图像；图像信息处理单元，通过所述图像信息处理单元将所述图像信息按照时间顺序和/或相关性顺序分为n段，其中，对每段视频信息提取像素点的移动轨迹，根据所述复杂环境的图像的个体的密集度等级对视频信息进行选段，若所述密集度等级越高则选段内容越小，若所述密集度等级越小，则选择分段的内容越多，其中，所述选段内容包括时间间隔和/或复杂环境变化率；图像运动分解单元，通过所述图像运动分解单元对复杂环境中的个体运动轨迹进行分解，得到正对于复杂环境的个体运动的数据点集合，构建个体行为分析模型并进行训练，将所述检测运动模式分解为轨迹点集的形式，作为测试集输入到所述分析模型；匹配与识别单元，通过所述匹配与识别单元对于相同的分类标记的像素点，具有相同分析模型返回测试集与预设特定行为动作的匹配结果，若匹配成功则认定为预定义行为以此完成特定行为动作的识别。
[0019]
更进一步地，所述图像获取及分类单元进一步包括：将纹理信息于个体密集度的对应关系进行映射，所述图像信息分类器根据训练图像的纹理信息与训练图像的已知个体
密集度得到当前复杂环境的图像的个体的密集度。
[0020]
更进一步地，所述图像信息处理单元进一步包括：根据相关性顺序分为n段包括对视频帧进行检测，预先定义一个目标帧，利用领域窗口以预设步长对所述视频信息中的多帧图像中的每帧图像进行遍历，对包含目标帧的多帧图像分别进行检测，以得到一个或多个候选目标及相似度，将相似度大于阈值的多帧图像进行合并，生成高相关性图像分段。
[0021]
更进一步地，所述图像运动分解单元进一步包括：所述对复杂环境中的个体运动轨迹进行分解包括使用图像分割算法在所述多个像素空间对图像进行像素图像分割，得到多个图像分割结果，每个图像分割结果中包含所述待分割图像所有像素在每个像素空间中分类的分类标记。
[0022]
更进一步地，所述匹配与识别单元进一步包括：损失函数如下：
[0023][0024]
其中，y∈{1，
…
，k}，p(y)＝[p(1)，
…
，p(k)]表示每个像素空间中分类的分类标记，pt为预测概率，λ为权值系数，t为相关度等级，dkl(qt||pt)为相关散度。
[0025]
本发明与现有技术相比，有益效果为：通过对采集的图像进行分类和相关性标记，对在对像素点的运动估计进行模型训练识别前进行预先分类及标记，以此解决现有技术中存在的计算量过大，运算速度较慢的问题。
附图说明
[0026]
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。
[0027]
图1是本发明的基于复杂环境的个体行为识别的方法的流程图。
具体实施方式
[0028]
实施例一
[0029]
如图1所示的一种复杂环境的个体行为识别的方法，所述识别的方法包括：
[0030]
步骤1，获取复杂环境的图像信息，设置图像信息分类器，用于根据所述获取的图像信息的纹理信息对所述选取的图像进行分类，确定复杂环境的图像的个体的密集度等级，其中，图像信息包括视频信息及视频信息的固定帧图像；
[0031]
步骤2，可以将所述图像信息按照时间顺序和/或相关性顺序分为n段，其中，对每段视频信息提取像素点的移动轨迹，根据所述复杂环境的图像的个体的密集度等级对视频信息进行选段，若所述密集度等级越高则选段内容越小，若所述密集度等级越小，则选择分段的内容越多，其中，所述选段内容包括时间间隔和/或复杂环境变化率；
[0032]
步骤3，对复杂环境中的个体运动轨迹进行分解，得到正对于复杂环境的个体运动的数据点集合，构建个体行为分析模型并进行训练，将所述检测运动模式分解为轨迹点集的形式，作为测试集输入到所述分析模型；
[0033]
步骤4，对于相同的分类标记的像素点，具有相同分析模型返回测试集与预设特定行为动作的匹配结果，若匹配成功则认定为预定义行为以此完成特定行为动作的识别。
[0034]
更进一步地，所述步骤1进一步包括：将纹理信息于个体密集度的对应关系进行映
射，所述图像信息分类器根据训练图像的纹理信息与训练图像的已知个体密集度得到当前复杂环境的图像的个体的密集度。
[0035]
更进一步地，所述步骤2进一步包括：根据相关性顺序分为n段包括对视频帧进行检测，预先定义一个目标帧，利用领域窗口以预设步长对所述视频信息中的多帧图像中的每帧图像进行遍历，对包含目标帧的多帧图像分别进行检测，以得到一个或多个候选目标及相似度，将相似度大于阈值的多帧图像进行合并，生成高相关性图像分段。
[0036]
更进一步地，所述步骤3进一步包括：所述对复杂环境中的个体运动轨迹进行分解包括使用图像分割算法在所述多个像素空间对图像进行像素图像分割，得到多个图像分割结果，每个图像分割结果中包含所述待分割图像所有像素在每个像素空间中分类的分类标记。
[0037]
更进一步地，所述步骤4进一步包括：损失函数如下：
[0038][0039]
其中，y∈{1，
…
，k}，p(y)＝[p(1)，
…
，p(k)]表示每个像素空间中分类的分类标记，pt为预测概率，λ为权值系数，t为相关度等级，dkl(qt||pt)为相关散度。
[0040]
实施例二
[0041]
本实施例从硬件角度来阐述本发明的发明构思，本实施例提供了一种复杂环境的个体行为识别的系统，所述识别的系统包括：
[0042]
图像获取及分类单元，通过所述图像获取及分类单元获取复杂环境的图像信息，设置图像信息分类器，用于根据所述获取的图像信息的纹理信息对所述选取的图像进行分类，确定复杂环境的图像的个体的密集度等级，其中，图像信息包括视频信息及视频信息的固定帧图像；图像信息处理单元，通过所述图像信息处理单元将所述图像信息按照时间顺序和/或相关性顺序分为n段，其中，对每段视频信息提取像素点的移动轨迹，根据所述复杂环境的图像的个体的密集度等级对视频信息进行选段，若所述密集度等级越高则选段内容越小，若所述密集度等级越小，则选择分段的内容越多，其中，所述选段内容包括时间间隔和/或复杂环境变化率；图像运动分解单元，通过所述图像运动分解单元对复杂环境中的个体运动轨迹进行分解，得到正对于复杂环境的个体运动的数据点集合，构建个体行为分析模型并进行训练，将所述检测运动模式分解为轨迹点集的形式，作为测试集输入到所述分析模型；匹配与识别单元，通过所述匹配与识别单元对于相同的分类标记的像素点，具有相同分析模型返回测试集与预设特定行为动作的匹配结果，若匹配成功则认定为预定义行为以此完成特定行为动作的识别。
[0043]
更进一步地，所述图像获取及分类单元进一步包括：将纹理信息于个体密集度的对应关系进行映射，所述图像信息分类器根据训练图像的纹理信息与训练图像的已知个体密集度得到当前复杂环境的图像的个体的密集度。
[0044]
更进一步地，所述图像信息处理单元进一步包括：根据相关性顺序分为n段包括对视频帧进行检测，预先定义一个目标帧，利用领域窗口以预设步长对所述视频信息中的多帧图像中的每帧图像进行遍历，对包含目标帧的多帧图像分别进行检测，以得到一个或多个候选目标及相似度，将相似度大于阈值的多帧图像进行合并，生成高相关性图像分段。
[0045]
更进一步地，所述图像运动分解单元进一步包括：所述对复杂环境中的个体运动轨迹进行分解包括使用图像分割算法在所述多个像素空间对图像进行像素图像分割，得到
多个图像分割结果，每个图像分割结果中包含所述待分割图像所有像素在每个像素空间中分类的分类标记。
[0046]
更进一步地，所述匹配与识别单元进一步包括：损失函数如下：
[0047][0048]
其中，y∈{1，
…
，k}，p(y)＝[p(1)，
…
，p(k)]表示每个像素空间中分类的分类标记，pt为预测概率，λ为权值系数，t为相关度等级，dkl(qt||pt)为相关散度。
[0049]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0050]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0051]
虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。