技术特征：
1.一种边缘计算架构下的多视角人行为识别方法，其特征在于，所述方法包括：摄像机组从不同视角对同一场景进行拍摄，获得不同视角的待识别人行为视频数据，并将所述不同视角的待识别人行为视频数据传输至与其相连边缘计算节点；所述边缘计算节点采集并保存相同时段内不同视角的待识别人行为视频数据，对所述相同时段内不同视角的待识别人行为视频数据进行数据预处理，将预处理后的数据输入到人行为特征编码器，得到多视角人行为特征向量，并传输至云端服务器；所述云端服务器接收所述边缘计算节点上传的多视角人行为特征向量，并将所述人行为特征向量输入到人行为识别模型，得到所述不同视角的待识别人行为视频数据的人行为识别结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：摄像机组从不同视角对同一场景进行拍摄，获得不同视角的第一样本人行为视频数据，并将所述不同视角的第一样本人行为视频数据传输至与其相连边缘计算节点；所述边缘计算节点采集并保存相同时段内不同视角的第一样本人行为视频数据，对所述相同时段内不同视角的第一样本人行为视频数据进行数据预处理，并基于预处理后不同视角的第一样本人行为视频数据，对预设人行为自监督特征学习模型进行训练，得到所述人行为特征编码器。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：摄像机组从不同视角对同一场景进行拍摄，获得不同视角的第二样本人行为视频数据，并将所述不同视角的第二样本人行为视频数据传输至与其相连边缘计算节点；所述边缘计算节点上传预设数量的不同视角的第二样本人行为视频数据，采集并保存相同时段内不同视角的第二样本人行为视频数据，对所述相同时段内不同视角的第二样本人行为视频数据进行数据预处理，将预处理后的数据输入到人行为特征编码器，得到多视角人行为特征向量，并传输至云端服务器；所述云端服务器接收所述边缘计算节点上传的多视角人行为特征向量和预设数量的不同视角的第二样本人行为视频数据，根据所述预设数量的不同视角的第二样本人行为视频数据标注的行为类别标签和所述多视角人行为特征向量，对预设模型进行训练，得到人行为识别模型。4.根据权利要求1或2所述的方法，其特征在于，不同视角的人行为视频数据预处理，包括：根据所述不同视角的人行为视频数据，确定不同视角的人行为视频数据的骨架数据；对所述不同视角的人行为视频数据的骨架数据进行预处理，得到不同视角的人行为视频数据的骨架序列；对所述不同视角的人行为视频数据的骨架序列进行融合，得到融合骨架片段序列。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：将预处理后得到的融合骨架片段序列按照多种排序方式重新排序，并标记排序方式标签；基于预处理后不同视角的第一样本人行为视频数据，对预设人行为自监督特征学习模型进行训练，包括：将重新排序后的融合骨架片段序列及其排序方式标签，输入到人行为自监督特征学习
模型进行训练。6.根据权利要求4所述的方法，其特征在于，根据所述不同视角的人行为视频数据，确定不同视角的人行为视频数据的骨架数据，包括：计算不同视角的人行为视频数据中每帧画面的人体姿态关键点位置，所述人体姿态关键点位置即为不同视角的人行为视频数据的骨架数据；所述骨架数据的计算公式为：其中，表示第i个摄像机的第t帧图像，x和y分别表示人体姿态关键点在图像中的横、纵坐标，j表示人体姿态关键点的编号，n为人体姿态关键点的总数。7.根据权利要求6所述的方法，其特征在于，对不同视角的人行为视频数据的骨架数据进行预处理，得到不同视角的人行为视频数据的骨架序列包括：每帧图像中的人体姿态关键点坐标位置减去该帧图像中所有人体姿态关键点坐标位置的均值，其计算公式为：确定每帧图像的骨架特征，计算公式为：确定不同视角的人行为视频数据的骨架序列，其计算公式为：将所述不同视角的人行为视频数据的骨架序列做归一化处理，其计算公式为：其中，为编号为第i个摄像机的第t帧图像的骨架特征，s
i
为不同视角的人行为视频数据骨架序列，为归一化后的不同视角的人行为视频数据骨架序列。8.根据权利要求4所述的方法，其特征在于，对所述不同视角的人行为视频数据的骨架序列进行融合，得到融合骨架片段序列包括：按时间节点平分每个不同视角的人行为视频数据骨架序列，获得多个骨架片段；随机抽取每个时间节点对应的所述骨架片段中的任意一个，将多个时间节点对应的骨架片段进行融合，得到不同视角的人行为视频数据的骨架片段序列。9.根据权利要求3所述的方法，其特征在于，所述人行为识别模型按照以下公式输出人行为识别预测结果：其中，f
fusion
为人行为分类器，g(x1),g(x2),g(x3)为多视角人行为特征向量，m为人行为识别预测结果，(i)表示向量的第i个元素，k为待识别行为的种类数。10.一种边缘计算架构下的多视角人行为识别系统，其特征在于，所述系统包括：摄像机组，所述摄像机组从不同视角对同一场景进行拍摄，获得不同视角的待识别人
行为视频数据，并将所述不同视角的待识别人行为视频数据传输至与其相连边缘计算节点；边缘计算节点，所述边缘计算节点用于接收所述摄像机组传输的不同视角的人行为视频数据，对所述不同视角的人行为视频数据进行数据预处理，并基于所述进行数据预处理后的不同视角的人行为视频数据，对预设人行为自监督特征学习模型进行训练，得到所述人行为特征编码器；以及，将不同视角的人行为视频数据传输至云端服务器，并对所述不同视角的人行为视频数据进行数据预处理，输入到人行为特征编码器，得到多视角人行为特征向量，并传输至云端服务器；云端服务器，所述云端服务器用于所述边缘计算节点上传的多视角人行为特征向量和不同视角的人行为视频数据，根据所述不同视角的人行为视频数据确定人工标注的行为类别标签，根据所述人工标注的行为类别标签和多视角人行为特征向量，对预设模型进行训练，得到人行为识别模型；以及，接收所述边缘计算节点上传的多视角人行为特征向量，并将所述人行为特征向量输入到人行为识别模型，得到所述不同视角的人行为视频数据的人行为识别结果。
技术总结
本申请提供了一种边缘计算架构下的多视角人行为识别方法及系统，属于人行为识别技术领域。方法包括：摄像机组从不同视角对同一场景进行拍摄，获得不同视角的人行为视频数据，并传输至与其相连边缘计算节点，采集并保存相同时段内不同视角的待识别人行为视频数据并进行数据预处理，输入到人行为特征编码器，得到多视角人行为特征向量，云端服务器接收边缘计算节点上传的多视角人行为特征向量，并输入到人行为识别模型，得到人行为识别结果。通过在边缘计算节点上进行人行为特征提取，云端服务器进行人行为分类，从而减轻云端服务器计算压力，提高识别的实时性；采集利用多视角人行为信息，提高特征的表达能力，提高人行为识别的准确率。的准确率。的准确率。
技术研发人员：王雪 游伟
受保护的技术使用者：清华大学
技术研发日：2021.08.04
技术公布日：2021/12/3