技术特征：
1.基于时空特征的双流工人劳动状态识别方法，其特征在于，包括以下步骤：预设若干个劳动状态，获取若干个劳动图像样本，建立人体关节识别模型；获取工人劳动视频，将视频的图像帧输入人体关节识别模型，获得人体关节位置；根据人体关节位置建立关节点数据和骨骼数据，人工将关节点数据和骨骼数据标注劳动状态作为样本数据；建立第一时空特征模型和第二时空特征模型；将关节点数据输入第一时空特征模型进行训练及测试，获得训练后的第一时空特征模型；将骨骼数据输入第二时空特征模型进行训练及测试，获得训练后的第二时空特征模型；获取工人劳动的实时视频，截取实时视频预设长度的图像帧，记为实时帧组；将所述实时帧组输入人体关节识别模型，获得人体关节位置；根据实时帧组对应的人体关节位置建立关节点数据和骨骼数据；将实时帧组对应的关节点数据和骨骼数据分别输入第一时空特征模型和第二时空特征模型；将第一时空特征模型和第二时空特征模型输出的劳动状态概率分布加权求和，获得最终的劳动状态概率分布，概率最大的劳动状态为最终工人劳动状态识别结果。2.根据权利要求1所述的基于时空特征的双流工人劳动状态识别方法，其特征在于，建立关节点数据的方法包括以下步骤：制定人体关节类型排序，将人体关节位置依照人体关节类型排序排列；将人体关节位置数据按照排序添加间隔符拼接作为关节点数据。3.根据权利要求1或2所述的基于时空特征的双流工人劳动状态识别方法，其特征在于，建立骨骼数据的方法包括以下步骤：制定人体关节类型排序，将人体关节位置依照人体关节类型排序排列；将人体骨骼位置数据按照排序添加间隔符拼接在关节点数据之后，作为骨骼数据。4.根据权利要求1或2所述的基于时空特征的双流工人劳动状态识别方法，其特征在于，所述第一时空特征模型和第二时空特征模型均包括多组图卷积网络模型和时域残差网络模型，所述第一时空特征模型的第一组的图卷积网络模型的输入为关节点数据，所述第二时空特征模型的第一组的图卷积网络模型的输入为骨骼数据，所述第一时空特征模型和第二时空特征模型的最后一组的时域残差网络模型输出劳动状态分布概率。5.根据权利要求4所述的基于时空特征的双流工人劳动状态识别方法，其特征在于，所述第一时空特征模型和第二时空特征模型均包括低频组和高频组，所述低频组及高频组分别包括多组图卷积网络模型和时域残差网络模型，所述低频组的图卷积网络模型以预设间隔跳过关节点数据或者骨骼数据，所述低频组和高频组的最后一组的时域残差网络模型均输出劳动状态分布概率，计算低频组和高频组输出劳动状态分布概率的加权和，最终的劳动状态分布概率。
6.根据权利要求1或2所述的基于时空特征的双流工人劳动状态识别方法，其特征在于，将第一时空特征模型和第二时空特征模型输出的劳动状态概率分布加权求和的方法包括：分别计算第一时空特征模型和第二时空特征模型输出的劳动状态概率分布的最高值，记为最高概率值；筛选第一时空特征模型和第二时空特征模型输出的劳动状态概率分布中，高于预设概率阈值的劳动状态作为筛选集合，计算筛选集合中劳动状态的分布概率的均值，记为筛选概率值；分别计算第一时空特征模型和第二时空特征模型的最高概率值与筛选概率值的商，分别作为第一时空特征模型和第二时空特征模型输出的劳动状态概率分布加权求和的权重。7.根据权利要求1或2所述的基于时空特征的双流工人劳动状态识别方法，其特征在于，建立人体关节识别模型的方法包括以下步骤：设置人体关节类型集合，设置人体关节类型集合中每个人体关节类型的图像模板；从人体关节类型集合中选择若干个人体关节类型纳入易识别集合；建立每个类型的人体关节与易识别集合中每个类型的人体关节的相对位置区域，记为相对区域；读取带有人体关节类型及位置标注的样本图像；建立图像分类模型，所述图像分类模型的输入为图像区域，输出为图像区域内出现的人体关节类型及位置；建立调度模型，所述调度模型将待识别图像输入所述图像分类模型，获得图像分类模型识别出的人体关节类型及位置；所述调度模型根据图像分类模型识别出的人体关节类型、位置及相对区域，获得未识别出的人体关节相对已识别出的人体关节的相对位置区域；将相对位置区域内的图像输入所述图像分类模型，识别全部人体关节及其位置；所述图像分类模型及调度模型构成人体关节识别模型。8.根据权利要求7所述的基于时空特征的双流工人劳动状态识别方法，其特征在于，选择纳入易识别集合的人体关节类型的方法包括：建立图像预分类模型，所述图像预分类模型的输入为带有任意人体关节的图像，所述图像预分类模型的输出为图像中出现的人体关节类型及位置；将多个带有人体关节类型及位置标注的样本图像划分为训练集和测试集；使用训练集训练所述图像预分类模型；使用测试集测试所述图像预分类模型，获得测试集下，每个人体关节类型的分类准确率；将分类准确率高于预设阈值的人体关节类型纳入易识别集合。9.根据权利要求8所述的基于时空特征的双流工人劳动状态识别方法，其特征在于，所述易识别集合中的人体关节类型按照分类准确率降序排列；所述调度模型将待识别图像输入所述图像分类模型后，读取图像分类模型识别出的若
干个人体关节类型及位置；获得分类准确率最高的人体关节类型及位置，作为参照关节；根据参照关节和相对区域，获得未识别出的人体关节与参照关节的相对位置区域。10.根据权利要求7所述的基于时空特征的双流工人劳动状态识别方法，其特征在于，建立相对区域的方法包括：读取多个样本图像，以易识别集合中的人体关节类型为参照关节，获得其他类型的人体关节与参照关节的相对位置集合；构建人体关节与参照关节的相对位置集合的外接矩形，作为对应人体关节类型与参照关节的相对区域。
技术总结
本发明涉及信息技术领域，具体涉及基于时空特征的双流工人劳动状态识别方法，包括以下步骤：获取劳动图像样本，建立人体关节识别模型；工人劳动视频输入人体关节识别模型；建立关节点数据和骨骼数据；建立第一时空特征模型和第二时空特征模型；将关节点数据输入第一时空特征模型训练；将骨骼数据输入第二时空特征模型训练；截取实时帧组；获得人体关节位置；建立关节点数据和骨骼数据；分别输入第一时空特征模型和第二时空特征模型；输出的劳动状态概率分布加权求和。本发明的有益技术效果包括：通过将关节点数据和骨骼数据分别输入第一时空特征模型和第二时空特征模型，将获得的劳动状态概率分布加权求和，提高了劳动状态的识别准确度。准确度。准确度。
技术研发人员：林兰芬 牛子未 王弘毅 石钟韶 徐宏
受保护的技术使用者：杭州新中大科技股份有限公司
技术研发日：2022.11.01
技术公布日：2022/11/29