一种动作类型的识别方法及装置与流程

本发明涉及一种人体的动作类型的识别方法及系统。

背景技术：

1、人体动作识别一直是计算机视觉、人工智能和模式识别等热门研究方向，在人机交互、虚拟现实、视频检索和安防监控等领域中有着十分广泛的应用。目前主流的研究方向是基于计算机视觉的人体动作识别方法，通过计算机对摄像机采集的原始图像或图像序列数据进行处理和分析，从而理解人的行为。在视觉动作识别领域，基于openpose或alphapose等算法提取人体的骨架信息数据，并通过监督训练从而识别动作，由于模型轻量的特点吸引了越来越多人的注意。但是，在实际的工业应用中，生产场景复杂，一方面，提取的人体骨架信息会因为光线反射等情况而出现异常，由此建立的识别模型会出现识别异常或者训练无法收敛的情况；另一方面，工业现场作业人员的动作类型具有偶然性，基于监督学习建立的识别模型其性能受限于训练数据的规模，因而在应用中的准确率偏低。

2、对此，在专利文献cn112926522a中，提供了一种基于骨骼姿态与时空图卷积网络的行为识别方法，能够利用时间与空间两个维度的节点特征训练更精确的完成行为识别的任务，提高识别的准确性与实时性。它是这样进行动作识别的：首先建立包含若干视频段的数据集；然后是数据处理和训练阶段：利用改进的vibe算法，提取数据集视频段中的关键帧，并计算关键帧中的前景区域的质心；使用openpose算法对关键帧进行骨骼数据提取得到若干个关节点坐标，计算上述质心与关节点的距离，根据距离优先原则分配关节点置信度；将以上处理的数据送入st_gcn算法模型中进行训练；最后，利用经过训练的st_gcn算法模型对采集的实时视频进行动作检测。

技术实现思路

1、发明要解决的问题

2、然而，在上述专利文献的发明中，首先，发明的核心在于关键帧获取并对获取到的关节点进行处理，而未有对关键帧中关节数据的提取质量进行约束或者过滤，潜在的噪点数据会限制识别精度；其次，关节点置信度特征以及训练数据集的规模等静态特性也限制了识别精度的提升。

3、对此，本发明提供了一种动作类型的识别方法及装置，其能够提高关节坐标提取质量，并能够提高动作识别的鲁棒性和准确率。

4、解决问题的技术手段

5、为了实现上述目的，本发明的一实施方式为一种动作类型的识别方法，具备：待识别视频处理步骤,针对待识别视频中的每一帧，检测人体目标并提取关节；有效性判断步骤，根据所述关节的提取结果与人体目标的检测结果的关联程度，判断提取到的所述关节是否有效；以及识别步骤，获取判断为有效的所述关节的关节坐标，使用所述关节坐标、预先训练好的训练模型和训练权重，对待识别视频中的人体动作类型进行识别。

6、本发明的另一实施方式为一种动作类型的识别装置，具备：输入部，其输入待识别视频；存储部，其存储有训练好的训练模型以及训练权重；以及识别部，其针对所述待识别视频中的每一帧，检测人体目标并提取关节，根据所述关节的提取结果与人体目标的检测结果的关联程度，判断提取到的所述关节是否有效，并获取判断为有效的所述关节的关节坐标，使用所述关节坐标、预先训练好的训练模型和训练权重，对待识别视频中的人体动作类型进行识别。

7、发明的效果

8、根据本发明，由于对关节坐标的提取进行了过滤，提高了关节坐标提取质量，保证了训练数据的可靠性，并针对视频中的每一帧，检测人体目标并提取关节，避免关键帧抽取造成的数据损失，从而能够提高动作识别的鲁棒性和准确率。

技术特征：

1.一种动作类型的识别方法，其特征在于，具备：

2.如权利要求1所述的识别方法，其特征在于，

3.如权利要求1或2所述的识别方法，其特征在于，

4.如权利要求2所述的识别方法，其特征在于，

5.如权利要求2所述的识别方法，其特征在于，

6.一种动作类型的识别装置，其特征在于，具备：

7.如权利要求6所述的识别装置，其特征在于，

8.如权利要求6或7所述的识别装置，其特征在于，

9.如权利要求7所述的识别装置，其特征在于，

10.如权利要求7所述的识别装置，其特征在于，

技术总结
本发明提供了一种动作类型的识别方法以及识别装置。该动作类型的识别方法具备：待识别视频处理步骤,针对待识别视频中的每一帧，检测人体目标并提取关节；有效性判断步骤，根据所述关节的提取结果与人体目标的检测结果的关联程度，判断提取到的所述关节是否有效；以及识别步骤，获取判断为有效的所述关节的关节坐标，使用所述关节坐标、预先训练好的训练模型和训练权重，对待识别视频中的人体动作类型进行识别。根据本发明，由于对关节坐标的提取进行了过滤，提高了关节坐标提取质量，保证了训练数据的可靠性，并针对视频中的每一帧，检测人体目标并提取关节，避免关键帧抽取造成的数据损失，从而能够提高动作识别的鲁棒性和准确率。

技术研发人员：郑淼,原纯一
受保护的技术使用者：北京日立控制系统有限公司
技术研发日：
技术公布日：2024/1/15