技术特征：
1.一种基于运动协同空间的人体行为识别方法，其特征在于，包括步骤：s1，对于初始骨骼序列和深度图序列分别进行基于运动状态衡量系数的关键帧提取；s2,对步骤s1处理后的骨骼序列，提取运动协同空间向量，并拼接成运动协同空间特征；对步骤s1处理后的深度图序列提取dmm特征，得到深度运动图；s3,将深度运动图和运动协同空间特征同时输入深度网络，进行分数融合。2.根据权利要求1所述的基于运动协同空间的人体行为识别方法，其特征在于，所述步骤s2中，在提取运动协同空间向量时，各关节的向量计算原则如下：根据各关节点的运动变化幅度，各关节点分别乘上各关节点相应的运动状态衡量系数后再相加。3.根据权利要求2所述的基于运动协同空间的人体行为识别方法，其特征在于，所述各关节点相应的运动状态衡量系数的实现步骤如下：s21，以spine点为原点坐标，将相邻两帧图像之间指向同一骨骼点的两个空间向量所形成的三角形的面积为s，夹角为θ；当θ∈(0,90
°
]时：当角度变化大于90
°
时，表示该部位的运动幅度更大，为确保s与运动幅度继续保持正相关，当θ∈(90
°
,180
°
]时：其中，joint_1、joint_2分别表示前后两帧图像中描述关节运动状态的空间向量；s22，将两个空间向量分别向xoy面、yoz面、xoz面投影后再分别计算面积s
xoy
、s
yoz
、s
xoz
；将一个完整的骨骼图动作序列leftarm、rightarm、leftleg、rightleg区域的n帧图像依次处理：s23，再将同一区域内的值做归一化处理后，得到运动状态衡量系数w
joint
：4.根据权利要求2所述的基于运动协同空间的人体行为识别方法，其特征在于，所述各关节点相应的运动状态衡量系数的关键帧提取时，根据相邻两帧图像之间动作变化的差异，从两帧图像中抽出一帧，用剩下的另一帧图像来代表该相邻两帧图像；相邻两帧之间动作变化的差异判断原则如下：将相邻两帧图像之间所有部位的运动状态衡量系数加起来，得到的值越大，相邻两帧之间动作的差异越大，反之则说明差异越小；实现步骤如下：s031：依次计算相邻两帧图像之间所有区域的运动状态衡量系数之和，得到n-1项运动状态衡量系数的集合：{w1,w2,w3…
w
n-1
}；s032：将相邻两项运动状态衡量系数相加，得到衡量关键帧的动作变化参数c
i
：c
i
＝w
i
+w
i+1
，i∈(1,n-2)；
s033：将c
i
按照大小排序，若第i项为最小值，则将第i+1帧图像删去：c
delete
＝min{c1，c2，c3…
c
n-2
}；重复步骤s031-s033，直到得到满足描述人体行为的关键帧序列为止。5.根据权利要求1所述的基于运动协同空间的人体行为识别方法，其特征在于，所述步骤s3中，所述深度网络选用小型卷积神经网络vgg-16，共训练四个卷积神经网络，一个用于运动协同空间特征提取骨骼特征，另外三个分别用于dmm的三视图提取深度特征，最后使用加权融合法与乘积法对训练得到的分数进行融合。
技术总结
本发明公开了一种基于运动协同空间的人体行为识别方法，包括步骤：S1，对于初始骨骼序列和深度图序列分别进行基于运动状态衡量系数的关键帧提取；S2,对步骤S1处理后的骨骼序列，提取运动协同空间向量，并拼接成运动协同空间特征；对步骤S1处理后的深度图序列提取DMM特征，得到深度运动图；S3,将深度运动图和运动协同空间特征同时输入深度网络，进行分数融合。本发明基于多模态融合的思想，将骨骼数据与深度数据进行结合，使数据更加完整，实现多种异质信息的互补，剔除模态间的冗余性，建立了一种新的行为识别方法体系，为人体行为识别方法研究和应用提供新的思路和理论依据。别方法研究和应用提供新的思路和理论依据。别方法研究和应用提供新的思路和理论依据。
技术研发人员：侯振杰 钟卓锟 施海勇 尤凯军
受保护的技术使用者：常州大学
技术研发日：2022.03.09
技术公布日：2022/6/28