技术特征：
1.多人行为识别方法，其特征在于，包括：获取检测区域内的图像数据；对图像数据进行切帧处理，以得到多帧静态图片；将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为识别结果。2.根据权利要求1所述的多人行为识别方法，其特征在于，所述将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为识别结果，包括：将多帧静态图片以图片序列的形式输入至跟踪模型进行处理，以得到带有id索引的人物图像；将带有id索引的不同人物图像输入至关键点检测模型进行处理，以得到关键点热力图；将带有id索引的人物图像输入至光流模型中进行处理，以得到光流特征图；将关键点热力图和光流特征图输入至视频分类模型中进行处理，以得到人体行为识别结果。3.根据权利要求2所述的多人行为识别方法，其特征在于，所述将带有id索引的不同人物图像输入至关键点检测模型进行处理，以得到关键点热力图，包括：将带有id索引的不同人物图像输入到多个串联的extrackblock中进行处理，以得到人物特征；将人物特征进行输入到refineblock进行处理，以得到关键点热力图。4.根据权利要求3所述的多人行为识别方法，其特征在于，所述将带有id索引的不同人物图像输入到多个串联的extrackblock中进行处理，以得到人物特征，包括：将带有id索引的不同人物图像分别进行深度可分离卷积和空间可分离卷积处理，以得到深度卷积特征和空间卷积特征；将深度卷积特征和空间卷积特征进行相加处理，以得到相加结果特征；将相加结果特征分别通过第一卷积、第二卷积、第三卷积和第四卷积进行处理，以得到第一卷积特征、第二卷积特征、第三卷积特征和第四卷积特征；将第一卷积特征、第二卷积特征、第三卷积特征和第四卷积特征分别输入到4个注意力机制分支中进行处理，以分别得到第一注意力分支特征、第二注意力分支特征、第三注意力分支特征和第四注意力分支特征；将第一注意力分支特征、第二注意力分支特征、第三注意力分支特征和第四注意力分支特征进行concat处理，以得到结合特征；将结合特征与空间卷积特征进行合并，以得到人物特征。5.根据权利要求3所述的多人行为识别方法，其特征在于，所述将人物特征进行输入到refineblock进行处理，以得到关键点热力图，包括：将人物特征通过可变形卷积处理，以得到可变形卷积特征；将可变形卷积特征输入至scse中进行处理，以得到注意力权重特征；将可变形卷积特征输入到混合深度卷积网络并连接sigmoid层进行处理，以得到注意力特征图；将注意力权重特征与注意力特征图进行相乘处理后得到的结果与可变形卷积特征进
行相加处理，以得到输出特征；将输出特征通过双线性插值放大到原始尺寸，以得到关键点热力图。6.根据权利要求2所述的多人行为识别方法，其特征在于，所述将带有id索引的人物图像输入至光流模型中进行处理，以得到光流特征图，包括：将前后两帧带有id索引的人物图像输入到残差卷积进行处理，以得到第一残差卷积特征和第二残差卷积特征；将第一残差卷积特征和第二残差卷积特征分别输入到深度可分离卷积网络和空间可分离卷积网络进行处理，以得到第一深度可分离卷积特征、第一空间可分离卷积特征、第二深度可分离卷积特征、第二空间可分离卷积特征；将第一深度可分离卷积特征和第一空间可分离卷积特征进行concat处理，以得到第一结合特征；将第二深度可分离卷积特征和第二空间可分离卷积特征进行concat处理，以得到第二结合特征；将第一结合特征、第二结合特征进行相乘处理后的结果经过sigmoid激活函数处理，以得到激活函数特征；将第一残差卷积特征进行卷积处理，以得到卷积处理特征；将卷积处理特征与激活函数特征进行concat，以得到合并特征；将合并特征输入到卷积块中进行处理，以得到卷积块特征；对激活函数特征进行空洞卷积上采样处理，以得到空洞卷积上采样特征；对合并特征进行反卷积上采样处理，以得到反卷积上采样特征；对卷积块特征进行反池化上采样处理，以得到反池化上采样特征；将空洞卷积上采样特征、反卷积上采样特征、反池化上采样特征的值进行相加处理，以得到第一相加处理结果特征；将前后两帧带有id索引的人物图像进行concat处理后再分别输入到transformerencoder和可变形卷积进行处理，以得到第一处理特征和第二处理特征；将第一处理特征进行resize处理后得到的结果与第二处理特征进行concat处理，以得到组合特征；将组合特征分别输入到两个卷积块中进行处理，以得到第三处理特征和第四处理特征；将第三处理特征和第四处理特征分别通过上采样处理，并将二者上采样处理得到的结果进行相加处理，以得到第二相加处理结果特征；将第一相加处理结果特征和第二相加处理结果特征进行concat处理，以得到中间结果特征；将中间结果特征分别输入到两个卷积进行处理，得到光流特征图。7.根据权利要求2所述的多人行为识别方法，其特征在于，所述将关键点热力图和光流特征图输入至视频分类模型中进行处理，以得到人体行为识别结果，包括：将关键点热力图中的每个通道上的高斯热力图的关键点映射到单通道图上，以得到单通道高斯热力图；将光流特征图进行比例缩放到与单通道高斯热力图一致的尺寸，并与之进行concat合
并，以得到含有光流信息的关键点特征；将含有光流信息的关键点特征输入到tin进行中进行行为分类，以得到人体行为识别结果。8.多人行为识别装置，其特征在于，包括：获取单元，用于获取检测区域内的图像数据；第一处理单元，用于对图像数据进行切帧处理，以得到多帧静态图片；第二处理单元，用于将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为识别结果。9.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～7中任意一项所述的多人行为识别方法步骤。10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行如权利要求1～7任意一项所述的多人行为识别方法步骤。
技术总结
本发明实施例公开了一种多人行为识别方法、装置、计算机设备及存储介质，其中方法包括：获取检测区域内的图像数据；对图像数据进行切帧处理，以得到多帧静态图片；将多帧静态图片以图片序列的形式输入至人体行为预测模型中进行处理，以得到人体行为识别结果。本发明结合了多目标跟踪、关键点检测以及光流估计方法，可以有效的对多目标移动的人体进行实时行为识别，对较短时间段内大幅移动人体的行为检测有很好的兼容性，提高了模型在不同场景识别的鲁棒性以及准确性，使得模型对于复杂内容的图像有较好的理解能力。的图像有较好的理解能力。的图像有较好的理解能力。
技术研发人员：胡懋成 王秋阳 周婧雯 汪玉冰 郑博超 凤阳
受保护的技术使用者：深圳市赛为智能股份有限公司
技术研发日：2022.08.23
技术公布日：2022/11/18