一种基于时空信息的暴力行为的识别报警方法

本发明属于行为识别领域，特别涉及一种基于时空信息的暴力行为的识别报警方法。

背景技术：

1、暴力行为的快速识别是避免可能造成社会、经济和生态损害的人员伤亡有力保障。基于手工特征的方法主要集中与制作局部或全局特征描述符以提取时空特征，其中空间特征主要是与速度和加速度等有关的运动特征。在识别的基本流程中，一般通过特征描述符提取特征，然后通过词袋法或主成分分析法除去特征中的冗余信息，最后送入支持向量机或随机森林模型中进行分类。

2、随着深度学习技术不断成熟以及大型暴力数据集的提出，深度卷积神经网络(deep convolution neural network,dcnn)在暴力行为识别任务上去的显著成绩，目前已经成为该领域的主要研究方向。不同于手工特征，深度学习技术透过数据集和神经网络自动学习时空特征吗，然后通过全连接层进行暴力分类。

3、最近，人们意识到cnn、rnn通常将骨骼序列表示为关节坐标的向量或应用卷积运算的伪图像，无法捕捉人体骨骼的空间结构，由于行为识别领域在人体行为识别技术上的快速发展，基于人体骨骼信息的行为识别准确率也在不断提高，在公共安全领域，基于人体骨骼信息动实时识别的监控报警系统目前还没有制作的标准，这是有待开发和解决的问题。现有的人体行为方法多侧重于从结果融合捕获人体运动时关节和骨骼的时空信息而忽略了训练时关节对骨骼信息的影响，从而忽略了很多潜在的动作特征。基于行为识别的暴力行为报警系统也往往因系统对于相似行为的误判而触发错误的报警指令。

技术实现思路

1、本发明的目的，在于提供一种基于时空信息的暴力行为的识别报警方法，通过对具有高度相关性的时空信息的计算，解决暴力行为识别滞后性问题，提高智能报警系统的可靠性和实时性。

2、为了达成上述目的，本发明的解决方案是：

3、一种基于时空信息的暴力行为的识别报警方法，包括如下步骤：

4、步骤1，构建物理层：采集动作视频并进行数据传输；

5、步骤2，构建数据处理层：接收物理层传输的数据，并对物理层中所得数据进行划分处理，得到动作特征图；

6、步骤3，根据数据处理层所得动作特征图计算人体运动中的时空特征信息；

7、步骤4，构建行为识别层：首先使用复合神经网络构建识别模型；然后对识别模型进行训练；最后将待识别数据输入训练后的识别模型中，得到输出结果；

8、步骤5，构建控制层：建立动作行为与报警关联库的匹配关系，得到自动识别指令，根据行为识别层的输出结果触发自动识别指令。

9、上述步骤1中，物理层包括摄像头、通信设备和基于深度摄像头的基础硬件设施；动作视频包括但不限于挥手、抬手、冲拳、踢腿的动作。

10、上述步骤2的具体内容是：定义输入的全局特征矩阵：

11、x∈rc×v×t

12、其中v∈{v1,v2…vv}表示顶点集合，c是通道数，t是帧数，r是样本数；

13、将人体骨骼划分为9个部位，包括：头部、上肢躯干、左臂、右臂、左手、右手、下肢、左腿和右腿，得到关节特征矩阵：

14、x∈rn×c×t

15、其中xp表示对应划分部位的特征矩阵，n表示对应部分的关节数；

16、每个部位的特征信息表示为：

17、

18、其中，i＝1,2,…,v，f(.)表示聚合函数，p(i)表示每个部位的关节点的集合，v表示节点数，表示每个部位的特征，xk代表每个部分的初始特征矩阵。

19、上述步骤3中，首先构建特征提取网络：对步骤2所得动作特征图进行特征提取，再构建骨骼关节融合信息神经网络和通道分享神经网络计算人体运动中的时空特征信息。

20、构建上述骨骼关节融合信息神经网络的具体内容是：定义关节运动和骨骼运动之间的函数，公式如下所示：

21、δx′j＝fj(δxj,xb)；

22、δx′b＝fb(δxb,xj)；

23、其中，δxj表示一个关节的信息，xb表示连接这个关节的骨骼向量，δx′j表示通过骨骼向量xb和对应的连接函数fj(.)所更新的xj相邻关节的运动信息，δxb表示一个骨骼的信息；xj表示连接这个骨骼的关节向量，δx′b表示通过关节向量xj和对应的连接函数fb(.)所更新的xb相邻骨骼的运动信息；

24、通过关节和更新骨骼的信息生成新的运动动作特征，公式如下所示：

25、

26、其中，ak′表示关节的邻接矩阵，ak′＝ak+bk+ck∈rn×n，bk表示自适应的邻接矩阵，ck表示一个经过归一化的特征相关的邻接矩阵，vk′是骨骼之间的邻接矩阵，vk′＝vk+yk+zk∈rn×n，f(.)表示空间传递函数，wk表示可学习的权重，yk表示骨骼自适应的邻接矩阵，zk表示一个经过归一化的骨骼特征相关的邻接矩阵；

27、将融合好的关节点信息按固定帧数间隔输入到双向长短记忆网络，采取双层结构提取人体动作的时间信息，通过使用1×1的卷积下采样降低输入和输出的时间维度然后通过双向长短记忆网络获得时间上的关节和骨骼的运动信息，公式如下所示：

28、x′＝fbl-2(fbl-1(xk,w1),w2)k＝1,2,…,k

29、其中，fbl-2(.)和fbl-1(.)表示两个相同的双向长短记忆网络，w1和w2分别表示两个函数的权重。

30、构建上述通道分享神经网络的具体内容是：对步骤2人体骨骼划分的9个部位进行关节点和骨骼的分类，表示为关节点本身、向心集和离心集；骨骼本身、向心集和离心集，分别对所述的9个部位进行卷积操作，分别获得p1、p2、p3矩阵，通过提取每个通道的矩阵特征并且进行拼接获得全面的人体关节和骨骼特征，公式如下所示：

31、

32、其中，aij表示手动定义或设置为可训练的参数，w1表示人体划分中通道部分的权重，w2表示全局人体权重，a1表示全局人体的邻接矩阵，β表示可调节的参数，f(.)表示连接函数，αl表示可训练的参数；

33、根据融合的信息对人体运动时的全局信息进行实时的调整，将全局人体运动信息a1w2和一个可调节的参数β来权衡各个部分信息，最后获得人体关节和骨骼的总特征。

34、上述步骤4中，复合神经网络包括骨骼关节融合信息神经网络和通道分享神经网络，所述骨骼关节融合信息神经网络和通道分享神经网络均包括空间建模模块、时空建模模块和残差连接；构建识别模型的具体内容是：定义复合神经网络的架构层数为10，首先进入bn层，之后的主体框架排列顺序为mp-tgc，cdjbf*3，mp-tgc，cdjbf*2，mp-tgc*3，之后接一个全局平均池化层，然后进行归一化操作。

35、上述步骤4中，对识别模型进行训练的具体内容是：训练复合神经网络的空间部分，以空间特征图作为输入，通过特征提取功能获得相应的特征矩阵表示作为输入，将骨骼特征以及关节点特征使用多通道卷积神经网络进行训练，在通道分享神经网络中使用三个单通道神经网络来提取人类各部分关节特征和人类骨骼特征的相关性，在骨骼关节融合信息神经网络中使用相关矩阵和特征传输函数将骨骼的运动信息融合到关节流中得到多特征的关节流信息；

36、训练复合神经网络的时间部分，以固定帧数间隔采集骨骼和关节的信息作为两个网络中的时间流的输入，在通道分享神经网络中使用双向长短记忆循环神经网络进行训练，获取多通道的时间信息，使用时间卷积神经网络提取时间方面的信息；

37、定义mp-tgc和cdjbf之间的残差机制，引入半监督训练方法对识别模型进行训练；对第四层cdjbf和第五层mp-tgc中间以及第七层cdjbf和第八层mp-tgc中间引入对应的残差机制提取时空中骨骼和关节的特征信息。

38、上述步骤4中，将待识别数据输入前，首先通过摄像头进行动作捕捉，通过训练好的复合神经网络判断输入的类型。

39、上述步骤5的具体内容是：首先建立动作行为与报警关联库的匹配关系，确定对应的动作触发的指令以及实现自动报警；控制层根据行为识别层传入的结果触发指令并通过网络进行操控。

40、本发明提出一种基于时空信息的暴力行为的识别报警方法，通过计算人体行为具有高度相关性的时空信息，其中骨骼流和关节流训练时的融合以及在两个流内根据子集划分的通道学习与全局人体运动特征的融合，为行为识别提供上下文信息从而有效区分相似动作，解决暴力行为识别滞后性问题，提高智能报警系统的可靠性和实时性。