技术特征：
1.一种武装人员行为识别方法，其特征在于，包括以下步骤：获取武装人员行为视频流数据，基于所述视频流数据构建武装人员行为识别初始训练样本集；所述初始样本集包括骨骼关节点数据和行为标签；对所述初始样本集中的行为标签进行标签平滑，得到最终训练样本集；基于时空图卷积网络构建武装人员行为识别模型；基于所述武装人员行为识别训练样本集对所述武装人员行为识别模型进行训练，得到训练好的武装人员行为识别模型；提取待识别视频流中每帧图像的骨骼关节点数据；将所述骨骼关节点数据输入训练好的武装人员行为识别模型中，对武装人员行为进行识别。2.根据权利要求1所述的武装人员行为识别方法，其特征在于，对所述初始样本集中的行为标签进行标签平滑，得到最终训练样本集，包括：对样本集中的所有行为标签进行整体平滑；确定样本集中的行为转换帧，对行为转换帧前的一组图像进行组内行为标签平滑；所述骨骼关节点数据包括骨骼关节点的置信度；基于骨骼关节点的置信度对每个图像的行为标签进行置信度平滑。3.根据权利要求2所述的武装人员行为识别方法，其特征在于，采用以下公式对样本集中的所有行为标签进行整体平滑：label＝label*(1-ε)+(1-label)*ε/(p-1)其中，label表示样本行为标签，p表示分类数，ε表示平滑参数。4.根据权利要求2所述的武装人员行为识别方法，其特征在于，对行为转换帧前的一组图像进行组内行为标签平滑，包括：对于每个行为转换帧，根据行为转换帧前一帧图像的标签值和行为转换帧的标签值确定转换前图像组的活跃索引和目标索引；根据公式labels[j][活跃索引]＝标签最大值*(i-j)/k，计算行为转换帧前k个图像的标签中活跃索引对应的标签值；根据公式计算行为转换帧前k个图像的标签中目标索引对应的标签值；其中，第i帧为行为转换帧，labels[j][活跃索引]表示第j帧图像的行为标签中活跃索引对应的标签值；labels[j][目标索引]表示第j帧图像的行为标签中目标索引对应的标签值，活跃索引是第i-1帧图像的行为标签中标签最大值所在的索引，目标索引是第i帧图像的行为标签中标签最大值所在的索引。5.根据权利要求2所述的武装人员行为识别方法，其特征在于，基于骨骼关节点的置信度对每个图像的行为标签进行置信度平滑，包括：对每帧图像帧，将主要骨骼关节点的置信度设置为1，计算所有骨骼关节点的置信度的均值；将所述置信度的均值与该帧图像的标签值相乘，得到该帧图像基于置信度的平滑标签。6.根据权利要求1所述的武装人员行为识别方法，其特征在于，基于时空图卷积网络构
建武装人员行为识别模型，包括：以骨骼关节点为节点、以骨骼关节点之间的自然连接关系为空间边，以连续两帧中相同骨骼关节点的连接关系为时间边构建骨骼关节点时空图；构建时空图卷积神经网络，所述时空图卷积网络包含多个顺序连接的时空图卷积块；每个所述时空图卷积块包括依次相连的空间图卷积层和时间图卷积层；所述空间图卷积层用于对输入特征进行图卷积提取骨骼关节点时空图的空域特征；所述时间图卷积层用于对输入特征进行标准二维卷积提取骨骼关节点时空图的时域特征。7.根据权利要求6所述的武装人员行为识别方法，其特征在于，所述空间图卷积层用于对输入特征进行图卷积提取骨骼关节点时空图的空域特征，包括：采用基于距离的划分法对骨骼关节点时空图中每个节点的邻域进行子集划分；基于划分后的子集构建每个节点的邻接矩阵；空间图卷积层根据公式进行图卷积操作提取空域特征；其中，f
in
表示空间图卷积层的输入特征，f
out
表示空间图卷积层的输出特征，α
j
为第j个子集的邻接矩阵表示，λ
j
为第j个子集的邻接矩阵的度矩阵，w
j
表示第j个子集的权重，m表示节点的重要性掩模矩阵，表示按位相乘。8.根据权利要求7所述的武装人员行为识别方法，其特征在于，所述空间图卷积层中包括重要性掩模单元，用于自适应调整每个节点对其它邻接节点的重要性；所述重要性掩模单元包括依次连接的批归一化层、relu层、dropout层、卷积层和sigmoid层；所述归一化层用于使所述重要性掩模矩阵具有非对称性；relu层用于非线性变换；所述dropout层用于防止过拟合；所述卷积层的卷积核为1
×
1，用于使所述掩模矩阵与对应的图卷积层维度一致；所述sigmoid层用于将输出结果映射到[0,1]的范围内。9.一种武装人员行为识别系统，其特征在于，包括以下模块：训练集构建模块，用于获取武装人员行为视频流数据，基于所述视频流数据构建武装人员行为识别初始训练样本集；所述初始样本集包括骨骼关节点数据和行为标签；对所述初始样本集中的行为标签进行标签平滑，得到最终训练样本集；模型训练模块，用于基于时空图卷积网络构建武装人员行为识别模型；基于所述武装人员行为识别训练样本集对所述武装人员行为识别模型进行训练，得到训练好的武装人员行为识别模型；武装人员行为识别模块，用于提取待识别视频流中每帧图像的骨骼关节点数据；将所述骨骼关节点数据输入训练好的武装人员行为识别模型中，对武装人员行为进行识别。10.根据权利要求9所述的武装人员行为识别系统，其特征在于，所述训练集构建模块包括：整体平滑模块，用于对样本集中的所有行为标签进行整体平滑；组内平滑模块，用于确定样本集中的行为转换帧，对行为转换帧前的一组图像进行组内行为标签平滑；置信度平滑模块，用于所述骨骼关节点数据包括骨骼关节点的置信度；基于骨骼关节点的置信度对每个图像的行为标签进行置信度平滑。
技术总结
本发明涉及一种武装人员行为识别方法和系统，方法包括以下步骤：获取武装人员行为视频流数据，基于所述视频流数据构建武装人员行为识别初始训练样本集；所述初始样本集包括骨骼关节点数据和行为标签；对所述初始样本集中的行为标签进行标签平滑，得到最终训练样本集；基于时空图卷积网络构建武装人员行为识别模型；基于所述武装人员行为识别训练样本集对所述武装人员行为识别模型进行训练，得到训练好的武装人员行为识别模型；提取待识别视频流中每帧图像的骨骼关节点数据；将所述骨骼关节点数据输入训练好的武装人员行为识别模型中，对武装人员行为进行识别。对武装人员行为进行识别。对武装人员行为进行识别。
技术研发人员：赵小川 董忆雪 樊迪 王子彻 徐凯 邵佳星 何云峰
受保护的技术使用者：中国兵器工业计算机应用技术研究所
技术研发日：2022.06.08
技术公布日：2022/8/9