基于视频分析的人员群体行为监控方法与流程

1.本发明涉及数据处理技术领域，具体涉及基于视频分析的人员群体行为监控方法。


背景技术：

2.在人员密集的场所使用监控摄像头进行观察，是一种常用的公共安全防控手段，能够及时发现突发的紧急事件，从而制定应对相关紧急事件的对策，来进行人员的疏散；其中群体行为监控是一个热门的方向，群体行为指的是多个人产生交互的行为，明显区别于单人行为；群体行为中的踩踏事件、冲突事件等危及群众生命安全的事件是重点识别的类型，现有的识别群体行为的方法往往是由负责监控专业人员轮班注视着监控屏幕以确保实时监控，进而人工对群体行为进行分析和制定对策。
3.在监控画面中，人员较为密集，容易出现相互遮挡的情况，而且群体动作具有高复杂性的特征，因此识别难度较大；除此之外，由于正常行为发生的频率高，异常行为发生的频率低，因此采用人工监测方式容易漏看，并且存在主观性强、易疲劳等问题，进而导致对人员行为进行识别的准确度相对较低。


技术实现要素：

4.为了解决现有技术基于人工的方式对人员行为进行识别的准确度相对较低的问题，本发明的目的在于提供一种基于视频分析的人员群体行为监控方法，所采用的技术方案具体如下：本发明提供了一种基于视频分析的人员群体行为监控方法包括以下步骤：获取目标场所区域内当前采集时刻对应的区域图像；获取所述区域图像中各目标人员对应的各关键点和各关键点对应的特征向量；根据所述区域图像中各目标人员对应的各关键点，得到所述区域图像中各目标人员对应的骨架图；所述特征向量由关键点对应的位置向量和身体部位向量拼接得到；获取当前采集时刻下目标场所区域内各目标人员对应的互动域，所述互动域为目标人员预设范围内的区域；将各目标人员对应的骨架图和各目标人员对应的互动域对应的互动人员的骨架图进行拼接，得到各目标人员对应的互动图；根据各目标人员对应的互动图中的所有关键点对应的特征向量和训练好的动作行为识别网络，得到各互动图中目标人员的动作行为。
5.优选的，所述获取所述区域图像中各目标人员对应的各关键点和各关键点对应的特征向量，包括：利用关键点检测网络对所述区域图像进行处理，得到所述区域图像中各目标人员对应的各关键点；以所述区域图像的左下角的顶点为坐标原点，以水平方向为x轴，以竖直方向y轴，
获取所述区域图像中各目标人员对应的各关键点对应的位置向量；所述位置向量包括关键点对应的横坐标、关键点对应的纵坐标和关键点对应的深度值，所述深度值根据所述区域图像得到；对于任一目标人员：对该目标人员对应的各关键点进行one-hot编码，得到该目标人员对应的各关键点对应的身体部位向量；将该目标人员对应的各关键点对应的位置向量和身体部位向量进行拼接，得到该目标人员对应的各关键点对应的特征向量。
6.优选的，将所述区域图像中各目标人员对应的各关键点按照预设连接规则进行连接，得到各目标人员对应的骨架图。
7.优选的，所述获取当前采集时刻下目标场所区域内各目标人员对应的互动域，包括：对于任一目标人员：根据该目标人员对应的各关键点中鼻子关键点、右眼关键点和左眼关键点对应的位置向量，计算得到该目标人员对应的法向量；所述该目标人员对应的法向量为：以鼻子关键点、右眼关键点和左眼关键点对应的位置向量为三维空间中的坐标，计算鼻子关键点、右眼关键点和左眼关键点在三维空间中构建的平面的法向量，作为该目标人员对应的法向量；在目标场所区域中以该目标人员对应的中心点为圆点，以第一预设长度为半径作圆，得到该目标人员对应的圆形区域；所述该目标人员对应的中心点为该目标人员对应的鼻子关键点；在目标场所区域中以该目标人员对应的中心点为圆点，以该目标人员对应的法向量为中线，以预设角度为扇形的角度，以第二预设长度为半径作扇形，得到该目标人员对应的扇形区域；将所述圆形区域和所述扇形区域的并集区域作为该目标人员对应的互动域。
8.优选的，所述得到各目标人员对应的互动图，包括：对于任一目标人员：统计该目标人员对应的互动域中存在的不包括该目标人员的其他目标人员的数量，记为互动数量；若该目标人员对应的互动数量不为0，则将该目标人员对应的互动域中存在的其他目标人员记为互动人员；对于该目标人员对应的互动域对应的任一互动人员：根据该目标人员对应的各关键点的位置向量和该互动人员对应的各关键点的位置向量，将该目标人员对应的骨架图与该互动人员对应的骨架图进行拼接，得到该目标人员对应的互动图；若该目标人员对应的互动数量为0，则构建一个占位骨架图；所述占位骨架图为虚拟的互动人员的骨架图，占位骨架图中各关键点的位置向量均为（-1，-1，-1）；将所述虚拟互动人员作为该目标人员对应的互动域对应的互动人员；将该目标人员对应的左手关键点与对应的互动域对应的互动人员的左手关键点连接起来，将该目标人员对应的右手关键点与互动域对应的互动人员的右手关键点连接起来，将该目标人员对应的骨架图和所述占位骨架图进行拼接，得到该目标人员对应的互动图；所述右手关键点和左手关键点为所述各关键点中的两个关键点。
9.优选的，得到该目标人员对应的互动图，包括：
将该互动人员对应的各关键点中与该目标人员对应的右手关键点距离最近的关键点与该目标人员的右手关键点连接；将该互动人员对应的各关键点中与该目标人员对应的左手关键点距离最近的关键点与该目标人员的左手关键点连接；将该目标人员对应的各关键点中与该互动人员对应的右手关键点距离最近的关键点与该互动人员的右手关键点连接；将该目标人员对应的各关键点中与该互动人员对应的左手关键点距离最近的关键点与该互动人员的左手关键点连接；将该目标人员对应的骨架图和该互动人员对应的骨架图进行拼接，得到将该目标人员对应的互动图；所述距离根据位置向量计算得到。
10.优选的，所述得到各互动图中目标人员的动作行为，包括：对于任一目标人员对应的任一互动图：按照预设顺序将互动图中的所有关键点进行排序；根据该互动图中的各关键点对应的特征向量和该目标人员对应的法向量，计算该互动图中的各关键点与对应的邻域集合内的各关键点之间的权重；所述对应的邻域集合包括该互动图中与对应的关键点相连的各关键点；根据该互动图中的各关键点与对应的邻域集合内的各关键点之间的权重，对该互动图中的各关键点进行预设次聚合操作，得到该互动图中的各关键点对应的目标特征向量；将该互动图中各关键点对应的目标特征向量按照关键点的排列顺序进行拼接，得到该互动图对应的综合向量；将该互动图对应的综合向量输入到多层感知器中，得到该互动图中该目标人员的动作行为。
11.优选的，计算该互动图中的各关键点与对应的邻域集合内的各关键点之间的权重的公式为：其中，为该互动图中第j个关键点对于第i个关键点的权重，为该互动图中第i个关键点对应的特征向量，为该互动图中第j个关键点对应的特征向量，为该目标人员对应的法向量，为该目标人员对应的中心点的特征向量，为向量拼接操作，为激活函数，是第一相似度向量，为第二相似度向量，为第一相似度向量的转置，为第二相似度向量的转置，为第一权重矩阵，为第二权重矩阵，为以e为底的指数函数，为该互动图中第i个关键点对应的邻域集合。
12.优选的，所述得到该互动图中的各关键点对应的目标特征向量，包括：对于对该互动图中的各关键点进行第一次聚合操作的公式为：其中，为该互动图中第i个关键点对应的聚合更新后的特征向量，为该互动图
中第i个关键点所属的骨架图对应的人员的互动数量，为该互动图中第j个关键点所属的骨架图对应的人员的互动数量；所述人员包括该目标人员和该互动人员；所述互动数量为目标人员对应的互动域中存在的不包括该目标人员的其他目标人员的数量；依次类推，用该互动图中的各关键点对应的聚合更新后的特征向量继续执行聚合操作，将最后一次聚合后的各关键点对应的聚合更新后的特征向量记为目标特征向量。
13.本发明有如下有益效果：本发明首先获取目标场所区域内当前采集时刻对应的区域图像、所述区域图像中各目标人员对应的各关键点以及各关键点对应的特征向量，然后根据所述区域图像中各目标人员对应的各关键点，得到所述区域图像中各目标人员对应的骨架图；接着获取当前采集时刻下目标场所区域内各目标人员对应的互动域，进而将各目标人员对应的骨架图和各目标人员对应的互动域对应的互动人员的骨架图进行拼接，得到各目标人员对应的互动图；最后根据各目标人员对应的互动图中的所有关键点对应的特征向量和训练好的动作行为识别网络，得到各互动图中目标人员的动作行为。本发明通过自动化的方式对监控中的各个人员的动作行为进行识别，克服了采用人工监测方式存在主观性强、易疲劳等问题，提高了对人员行为进行识别的准确度。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
15.图1为本发明所提供的基于视频分析的人员群体行为监控方法的流程图；图2为目标人员对应的骨架图。
具体实施方式
16.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功能效果，以下结合附图及较佳实施例，对依据本发明提出的一种基于视频分析的人员群体行为监控方法进行详细说明如下。
17.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
18.下面结合附图具体的说明本发明所提供的一种基于视频分析的人员群体行为监控方法的具体方案。
19.基于视频分析的人员群体行为监控方法实施例：如图1所示，本实施例的一种基于视频分析的人员群体行为监控方法包括以下步骤：步骤s1，获取目标场所区域内当前采集时刻对应的区域图像。
20.当发生踩踏事件、冲突事件等危及群众生命安全的事件时，应及时的制定相应的应对措施，来进行人员的疏散，以保人民群众的生命安全；因此对群体中每个人的行为进行监测识别，以及时的识别出异常行为，进而制定相应的规划是非常重要的。本实施例提供了
一种基于视频分析的人员群体行为监控方法，用来对设定场所中的人进行监控，并对不同时刻下的人员的动作行为进行识别。
21.本实施例以室内的普通群众在发生灾害时的公共场所为例（即容易造成人群混乱的场所），监控这些场所内的群体行为对保障群众的安全具有重要意义。
22.本实施例使用unreal engine 5建立3d模拟器，进行仿真实验，最终落地真实环境的相应情况，具体的：现场采集公共场所的建筑内部结构、建筑内部设施、建筑外的道路、围墙、绿植等重要地物的尺寸，1:1的还原真实的场景；采集现实公共场所的相关贴图并进行烘焙，使环境模型材质贴图高度逼真；制作不同时间（早、午、晚）、不同季节（春、夏、秋、冬）的天空以及与其相对应的环境模型贴图，以实现不同时间、不同季节的环境模型的切换；制作低、中、高等三种不同精细度等级的环境模型，制作对应lod的模型，以供虚拟vr漫游、虚拟训练时的优化调度使用。
23.建模20种典型男女普通群众及管理人员的形象的3d化身模型，化身形象符合常见的管理人员形象和普通群众形象。至此本实施例进行了场景建模。
24.人员行为的设定，普通群众会随机执行以下几种行为，包括：冲突、交谈、搂抱、行走、慢跑、端坐、疾跑、跳跃、下蹲、弯腰、攀爬、匍匐、倒地、受伤等典型行为的骨骼动画。
25.应急灾害事件设定，假设工厂中因生产面粉或向空气中释放的其他易燃、易爆粉尘，继而因生产过程中出现的火花导致爆炸的事故；通过unreal engine 5中的模板制作发生应急灾害事件时的光影效果、粉尘效果等，以此作为监控摄像头的识别干扰项，以此提升后续网络的鲁棒性。
26.上述建模过程可由3d模拟器设计师来完成，使用公知技术即可实现，具体过程不再赘述。
27.本实施例将真实场所的监控的情况对应到模拟器中的位置和视角，以捕获模拟器中的画面，其帧数为30fps。监控数据预处理模块的输入为监控视角拍摄的视频和3d模拟器的环境参数。本实施例将模拟的公共场所记为目标场所区域。
28.本实施例每间隔一段时间会获取目标场所区域内的一张图像记为区域图像，然后利用区域图像对当前采集时刻下目标场所区域内的各人员的动作行为进行识别（即每隔预设时间段就获取一张区域图像，所述预设时间段根据需要来设置）。本实施例中进行监控的相机为深度相机，即可以获取图像中每个像素点的深度信息。
29.本实施例获取目标场所区域内当前采集时刻对应的区域图像，接下来本实施例以该区域图像为例，对该区域图像中的每个人员的动作行为进行识别；本实施例将该区域图像中的普通群众记为目标人员。
30.步骤s2，获取所述区域图像中各目标人员对应的各关键点和各关键点对应的特征向量；根据所述区域图像中各目标人员对应的各关键点，得到所述区域图像中各目标人员对应的骨架图；所述特征向量由关键点对应的位置向量和身体部位向量拼接得到。
31.为了对图像中目标人员的动作行为进行识别，本实施例首先利用关键点检测网络对该区域图像进行处理，得到该区域图像中各目标人员对应的各关键点，对于任一目标人员对应的各关键点如图2所示，其中1为鼻子关键点，2为脖子关键点，3为右肩膀关键点，4为右手肘关键点，5为右手关键点，6为左肩膀关键点，7为左手肘关键点，8为左手关键点，9为右胯关键点，10为右膝关键点，11为右脚关键点，12为左胯关键点
，13为左膝关键点，14为左脚关键点，15为右眼关键点，16为左眼关键点，17为右耳关键点，18为左耳关键点，19为手持物中心点，共19个关键点（即一个目标人员对应19个关键点），上述顺序为各关键点的排列顺序；本实施例中所述关键点检测网络为openpose关键点检测模型。本实施例中关键点检测网络以及其训练过程为现有技术，在此就不再赘述。
32.至此，本实施例得到了该区域图像中各目标人员对应的各关键点。
33.本实施例将区域图像的左下角的顶点作为坐标原点，以水平方向为x轴，以竖直方向y轴，构建直角坐标系；根据所述直角坐标系，获取该区域图像中各目标人员对应的各关键点对应的位置向量；对于任一目标人员对应的任意关键点对应的位置向量为，其中为该目标人员对应的第k个关键点的横坐标，为该目标人员对应的第k个关键点的纵坐标，为该目标人员对应的第k个关键点的深度值；所述深度值根据该区域图像得到。
34.对于任一目标人员：对该目标人员对应的各关键点进行one-hot编码，得到该目标人员对应的各关键点对应的身体部位向量（即根据各关键点对应的编码，得到各关键点对应的身体部位向量），例如鼻子的位置编码为(1,0,0,
…
,0)；所述身体部位向量能够反映对应关键点为哪一个身体部位，以便后续进行关键点的连接。本实施例中所述one-hot编码为现有技术，在此就不再赘述。
35.对于被遮挡的关键点，将其对应的位置向量设为，其对应的身体部位向量不变。本实施例将每个关键点对应的位置向量和身体部位向量进行拼接，进而得到每个关键点对应的特征向量。至此，本实施例根据上述过程，得到了该区域图像中各目标人员对应的各关键点对应的特征向量。
36.根据各目标人员对应的各关键点，构建各目标人员对应的骨架图，对于任一目标人员：本实施例按照预设连接规则将该目标人员对应的各关键点进行连接（即根据人体不同部位的位置来进行连接），即预设连接规则为：，，，，，，，，，，，，，，，，，，；将该目标人员对应的各关键点进行连接后，得到该目标人员对应的骨架图，如图2所示；所述骨架图中的每个关键点对应一个特征向量。
37.至此，本实施例根据上述过程得到各目标人员对应的骨架图（骨架图中包括目标人员对应的各关键点）。本实施例以目标人员对应的鼻子关键点作为对应骨架图的中心点（即目标人员对应的中心点），这样做可以将模拟环境和现实环境联系起来，以确定目标人员在目标场所区域内的位置，达到同样的识别效果。
38.步骤s3，获取当前采集时刻下目标场所区域内各目标人员对应的互动域，所述互动域为目标人员预设范围内的区域。
39.考虑到与目标人员进行互动的人员的距离不会太远，因此本实施例获取该采集时刻下目标场所区域内各目标人员对应的互动域，所述互动域为目标人员预设范围内的区域（即目标人员能够与预设范围内的人进行互动）；本实施例获取任一目标人员对应的互动域的过程具体为：首先获取该目标人员对应的鼻子关键点对应的位置向量、右眼关键点对应的位置
向量和左眼关键点对应的位置向量；本实施例将位置向量当作三维空间中的坐标，即根据鼻子关键点对应的位置向量、右眼关键点对应的位置向量和左眼关键点对应的位置向量，确定鼻子关键点、右眼关键点和左眼关键点在三维空间中的位置；由于三点可以唯一确定一个平面（即鼻子关键点、右眼关键点和左眼关键点在三维空间中可以确定一个平面），因此本实施例根据该目标人员对应的鼻子关键点对应的位置向量、右眼关键点对应的位置向量和左眼关键点对应的位置向量，计算得到该平面的法向量，所述法向量的模设为1（即该目标人员对应的法向量）；本实施例利用所述法向量来模拟目标人员人眼视线的方向。本实施例中计算法向量的过程为现有技术，在此就不再赘述。
40.然后本实施例俯瞰目标场所区域（即模拟的3d场景），以该目标人员对应的中心点（即鼻子关键点）为圆点，以第一预设长度为半径作圆，得到该目标人员对应的圆形区域；同样的，以该目标人员对应的中心点为圆点，以该目标人员对应的法向量为中线，以预设角度为扇形的角度，以第二预设长度为半径作扇形，得到该目标人员对应的扇形区域；将所述圆形区域和所述扇形区域的并集区域作为该目标人员对应的互动域；考虑到互动行为一般会选择比较近的或者视线所能看到的人进行，而人的视野范围一般是120度左右，因此预设角度不应与120度相差太大。本实施例中第一预设长度、第二预设长度和预设角度的取值根据实际需要进行设置。
41.至此，本实施例根据上述过程得到了各目标人员对应的互动域。
42.步骤s4，将各目标人员对应的骨架图和各目标人员对应的互动域对应的互动人员的骨架图进行拼接，得到各目标人员对应的互动图。
43.对于任一目标人员对应的互动域：统计该目标人员对应的互动域中存在的不包括该目标人员的其他目标人员的数量，记为互动数量。
44.若该目标人员对应的互动数量不为0，即该目标人员对应的互动域中存在其他目标人员，则将该目标人员对应的互动域中存在的其他目标人员记为互动人员，即该目标人员对应的互动域对应的互动人员；此时对应的互动人员可能为多个也可能为1个。本实施例根据该目标人员对应的各关键点的位置向量和该目标人员对应的互动域对应的各互动人员的各关键点的位置向量，将该目标人员对应的骨架图分别与各互动人员对应的骨架图进行拼接，进而得到该目标人员对应的互动图（若该目标人员对应的互动人员有多个，则对应的互动图有多个；该目标人员对应的互动人员有1个，则对应的互动图也只有1个）；对于该目标人员对应的互动域对应的任一互动人员：首先本实施将该目标人员对应的右手关键点与该互动人员相连；根据该目标人员对应的右手关键点的位置向量与该互动人员对应的各关键点的位置向量，分别计算该目标人员对应的右手关键点与该互动人员对应的各关键点之间的距离，具体公式为：其中，为该目标人员对应的右手关键点与该互动人员对应的第k个关键点之间的距离，为该目标人员对应的右手关键点的横坐标，为该目标人员对应的右手关键点的纵坐标，为该目标人员对应的右手关键点的深度值，为该互动人员对应的第k个关键点
的横坐标，为该互动人员对应的第k个关键点的纵坐标，为该互动人员对应的第k个关键点的深度值。
45.至此，本实施例得到了该目标人员对应的右手关键点与该互动人员对应的各关键点之间的距离；选取该互动人员对应的各关键点中与该目标人员对应的右手关键点距离最近的关键点，并将该关键点与该目标人员对应的右手关键点相连。
46.同理，将该互动人员对应的各关键点中与该目标人员对应的左手关键点距离最近的关键点与该目标人员的左手关键点连接起来；将该目标人员对应的各关键点中与该互动人员对应的右手关键点距离最近的关键点与该互动人员的右手关键点连接起来；将该目标人员对应的各关键点中与该互动人员对应的左手关键点距离最近的关键点与该互动人员的左手关键点连接起来；进而将该目标人员对应的骨架图和该互动人员的骨架图进行拼接，得到将该目标人员对应的一个互动图。对于一个互动图，其包含两个人员对应的关键点，以及关键点对应的特征向量。
47.若该目标人员对应的互动数量为0，即该目标人员对应的互动域中不存在互动人员（即该目标人员没有对应的互动人员），则本实施例构建一个占位骨架图（即构建一个虚拟的互动人员），将所述占位骨架图作为虚拟的互动人员的骨架图；将虚拟的互动人员作为该目标人员对应的互动域对应的互动人员；所述占位骨架图中的各关键点的位置向量均为（-1，-1，-1），其身体部位向量不变。本实施例将该目标人员对应的左手关键点与互动域对应的互动人员的左手关键点连接起来，将该目标人员对应的右手关键点与互动域对应的互动人员的右手关键点连接起来，进而得到该目标人员对应的互动图；此时，互动图只有一个，且对应的互动人员（即虚拟的互动人员）对应的互动数量为0。
48.步骤s5，根据各目标人员对应的互动图中的所有关键点对应的特征向量和训练好的动作行为识别网络，得到各互动图中目标人员的动作行为。
49.本实施例根据步骤s4得到了各目标人员对应的互动图（目标人员对应的互动图可能为一个也可能为多个，具体跟互动人员的数量有关）。将互动图中的所有关键点进行排序，具体的：互动图中包括一个目标人员的各关键点和一个互动人员的各关键点，对于一个人员对应的各关键点是有序的，本实施例将互动人员的各关键点接着目标人员的各关键点进行排序，即目标人员对应的各关键点排到了19，互动人员的各关键点从20开始排序。
50.为了对该区域图像中各目标人员的动作行为进行识别，本实施例构建了一个动作行为识别网络；本实施例将各目标人员对应的互动图输入到训练好的动作行为识别网络中，输出为各目标人员在对应互动图中的动作行为。所述动作行为识别网络包括注意力机制和多层感知器。
51.动作行为识别网络首先利用注意力机制对输入的各互动图对应的各关键点的特征向量进行聚合处理，聚合完成后，得到输入的各互动图对应的各关键点的目标特征向量。
52.对于输入的任一目标人员对应的任一互动图：本实施例根据该互动图中的各关键点对应的特征向量和该目标人员对应的法向量，计算该互动图中的各关键点与对应的邻域集合内的各关键点之间的权重；关键点对应的邻域集合为互动图中与对应关键点相连的各关键点构成的集合，即：
其中，为该互动图中第i个关键点与第j个关键点之间的权重（即第j个关键点对于第i个关键点的权重），为该互动图中第i个关键点对应的特征向量，为该互动图中第j个关键点对应的特征向量，为该目标人员对应的法向量，为该目标人员对应的中心点的特征向量（即该目标人员对应的鼻子关键点对应的特征向量），为向量拼接操作，为激活函数，是第一相似度向量，为第二相似度向量，为第一相似度向量的转置，为第二相似度向量的转置，为第一权重矩阵，为第二权重矩阵，为以e为底的指数函数，为该互动图中第i个关键点对应的邻域集合。
53.根据上述公式，的作用是衡量两个向量和的相似度，其中的维度与的维度相同；同理的作用是衡量两个向量和的相似度，其中的维度与的维度相同。本实施例中的第一权重矩阵和第二权重矩阵用于进行线性变换，以实现降维，即将向量进行不同的线性变换以实现降维处理；其中第一相似度向量、第二相似度向量、第一权重矩阵和第二权重矩阵的取值可由神经网络训练得到，在此就不再赘述。
54.根据上述过程可以得到该互动图中的各关键点与对应的邻域集合内的各关键点之间的权重。
55.进一步地，根据该互动图中的各关键点与对应的邻域集合内的各关键点之间的权重对该互动图中的各关键点进行聚合操作，得到该互动图对应的各关键点对应的聚合更新后的特征向量；对于对该互动图中的各关键点进行第一次聚合操作，得到各关键点对应的聚合更新后的特征向量的公式为：其中，为该互动图中第i个关键点对应的聚合更新后的特征向量，为该互动图中第i个关键点所属的骨架图对应的人员的互动数量，为该互动图中第j个关键点所属的骨架图对应的人员的互动数量（即第i个关键点和第j个关键点可能属于该目标人员对应的骨架图，也可能属于该互动人员对应的骨架图，所述人员包括该目标人员和该互动人员）。的作用是衡量视觉关注程度，当越大时，说明周围人数越多，即接触的人数越多，越有可能是由于拥挤导致的动作行为，并不是刻意的行为，因此适当降低权重的大小。
56.对该互动图中的各关键点执行完一次更新后，依次类推，再用各关键点对应的聚合更新后的特征向量执行第二次聚合操作，以确保每个关键点都充分感知了邻域的信息，提高识别的准确度，具体聚合次数可根据实际需要来设置；当该互动图中的各关键点对应的特征向量经过所有的聚合更新后，得到该互动图中的各关键点对应的目标特征向量（即
将最后一次聚合后各关键点对应的聚合更新后的特征向量记为目标特征向量）。
57.本实施例将该互动图中各关键点对应的目标特征向量按照关键点的排列顺序进行拼接，进而得到该互动图对应的综合向量；然后将该互动图对应的综合向量输入到多层感知器mlp中，进而得到该互动图中该目标人员动作行为的识别结果（所述该互动图中该目标人员动作行为是相对于该互动人员而言的）。所述行为动作包括日常行为有：行走、端坐、交谈、排队、慢跑、弯腰；非日常行为有：冲突、搂抱、拥挤、攀爬、匍匐、倒地、受伤、跳跃、下蹲、疾跑、其他；具体动作行为可根据实际需要进行设置。
58.本实施例中训练动作行为识别网络的损失函数为交叉熵损失函数，优化算法用rmsprop；具体训练方法为现有技术，在此就不再赘述。
59.至此，本实施例得到了该区域图像中各目标人员在对应的互动图中的动作行为，以体现当前采集时刻下目标场所区域内的群体行为；若通过各目标人员的动作行为判断出发生应急事件时，需要管理人员穿过混乱的现场前往特定的位置进行控制；为了使管理人员更加快速的到达指定位置，本实施例对路线进行规划，具体的：根据动作行为识别结果，将发生应急事件的位置标记为堵塞区域，进而得到目标场所区域的应急事件分布地图；本实施例将应急事件分布地图中堵塞区域视为无法通行的区域，需要绕路而行，因此本实施例使用蚁群算法对应急事件分布地图进行处理，规划出前往堵塞区域的最佳路径；蚁群算法具有正反馈机制、分布式计算及鲁棒性强等优势，候选解构建过程与路径规划过程相似，无需先验知识即可找到最短觅食路径；所述蚁群算法为现有技术，在此就不再赘述。
60.本实施例首先获取目标场所区域内当前采集时刻对应的区域图像、所述区域图像中各目标人员对应的各关键点以及各关键点对应的特征向量，然后根据所述区域图像中各目标人员对应的各关键点，得到所述区域图像中各目标人员对应的骨架图；接着获取当前采集时刻下目标场所区域内各目标人员对应的互动域，进而将各目标人员对应的骨架图和各目标人员对应的互动域对应的互动人员的骨架图进行拼接，得到各目标人员对应的互动图；最后根据各目标人员对应的互动图中的所有关键点对应的特征向量和训练好的动作行为识别网络，得到各互动图中目标人员的动作行为。本实施例通过自动化的方式对监控中的各个人员的动作行为进行识别，克服了采用人工监测方式存在主观性强、易疲劳等问题，提高了对人员行为进行识别的准确度。
61.需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。