面向行为识别的人体骨骼生成方法

本发明属于人体骨骼姿态生成，涉及一种面向行为识别的人体骨骼生成方法。

背景技术：

1、行为识别技术是使得计算机理解人体行为的关节技术之一，在智慧护理、智能化监控、视频检索和智能化家居等等方面都有广泛的应用前景。人体行为识别深度学习的方法大致可分为基于rgb视频信号的识别方法和基于人体骨骼模型的方法。基于rgb视频信号是指给网络输入一段时序的图像信号，它的优势在于rgb图像本身包含了丰富的背景信息，这有利于人物交互的动作和特定场景的识别任务，但对于大多数不包含物的动作背景信息会对其造成干扰；另一种方法，基于人体骨骼模型的方法是指利用人体姿态估计方法将人体的骨骼关节点坐标估计出来，再利用人体的关节点坐标表示人体行为动作进行识别分类，单纯的关节点坐标去除了背景中的冗余信息，使得网络更加关注人体动作变化本身。因此，该类方法虽然输入信号简单直接，但也在行为识别领域占有一席之地。

2、无论是什么样的识别策略，只要是深度学习相关的方法，就少不了对训练样本充足性的依赖。目前学术界公认的行为识别公开数据集有ucf101、ntu-rgbd60、ntu-rgbd120、human3.6以及kinetics等等。这些数据集的制作不仅需要对图像视频数据做出相应的标注，还要获取到每一帧图像中人体的关节点坐标信息。这一过程需要消耗大量的人力物力。其次，在实际的行为识别应用场景中需要识别的动作一般的公开数据集并不包含，比如摔倒、斗殴、翻墙等等。因此，这个问题在行为识别的研究领域是一个难点，也是一个有价值的研究方向。

3、随着深度学习中无监督学习的不断发展，利用无监督学习生成大量样本的方法可以一定程度解决样本匮乏的问题。主流的生成方法有变分自编码器(vae)，对抗式生成网络(gan)和扩散模型(diffusion model)。由于图像数据的复杂程度较高，网络本身难以学习到其数据分布，若要生成连续的视频信号则更为困难，现有的视频生成算法，针对的视频环境较为单一，生成的效果较差，会出现帧间不连贯，某些帧模式崩塌的状况，因此无法将其应用到实际的行为识别当中。然而，生成人体骨骼以及人体蒙皮也是近些年新生的方法，这些方法大多都基于生成图像的经验，将生成的骨骼用于扩充数据集样本、动画制作产业等。

技术实现思路

1、本发明的目的是提出一种面向行为识别的人体骨骼生成方法，解决了现有技术中，采用公开行为识别数据集制作成本高，公开数据类别难以满足实际行为识别任务的问题。

2、本发明所采用的技术方案是，一种面向行为识别的人体骨骼生成方法，按照以下步骤实施：

3、步骤1，收集相关人体骨骼动作的数据集；

4、步骤2，对步骤1得到的数据集预处理，挑选出需要生成的动作类别样本与需要借鉴风格的完备动作样本，划分出训练集和测试集；

5、步骤3，搭建骨骼风格迁移特色的生成网络，

6、生成网络由编码器、解码器及判别器组成，其中编码器和解码器一起构成生成器，编码器又细分为内容编码器和风格编码器；

7、步骤4，采用训练集依次对内容编码器、风格编码器、解码器和判别器进行训练；

8、步骤5，将生成的新样本参与行为识别网络的训练，提高行为识别网络的泛化能力，使得测试集上对动作的准确率提升。

9、本发明的有益效果是，

10、1)本发明的方法整体上借鉴图像中风格迁移的思想，网络由自编码器网络和对抗网络共同组成，其中，编解码网络作为对抗网络中的生成器，完全能够完成样本生成的任务，对抗网络中的判别器辅助参与训练；编解码网络由骨骼内容编码器和骨骼风格编码器以及解码器组成，可以将骨骼数据编码成为对应的内容向量和骨骼向量，在实现特征内容和风格解耦的同时较好的完成少样本条件下骨骼数据的生成任务。

11、2)本发明的方法，能够借鉴完备数据的动作特征生成大量的骨骼动作样本，可以明显降低人力标签制作骨骼数据的成本；利用生成的古额样本做数据扩充，能够有效提高目前主流基于骨骼数据的人体行为识别网络模型的泛化能力，进一步降低训练过程中过拟合现象的发生；通过生成的样本训练人体识别网络，显著改善网络对该类动作的识别率效果。

技术特征：

1.一种面向行为识别的人体骨骼生成方法，其特征在于，按照以下步骤实施：

2.根据权利要求1所述的面向行为识别的人体骨骼生成方法，其特征在于，步骤1中，具体过程是：

3.根据权利要求1所述的面向行为识别的人体骨骼生成方法，其特征在于，步骤2中，具体过程是：

4.根据权利要求1所述的面向行为识别的人体骨骼生成方法，其特征在于，步骤3中，具体过程是：

5.根据权利要求1所述的面向行为识别的人体骨骼生成方法，其特征在于，步骤4中，具体过程是：

6.根据权利要求1所述的面向行为识别的人体骨骼生成方法，其特征在于，步骤5中，具体过程是：

技术总结
本发明公开了一种面向行为识别的人体骨骼生成方法，步骤包括：1)收集相关人体骨骼动作的数据集；2)对数据集预处理，挑选出需要生成的动作类别样本与需要借鉴风格的完备动作样本，划分出训练集和测试集；3)搭建骨骼风格迁移特色的生成网络，生成网络由编码器、解码器及判别器组成，其中编码器和解码器一起构成生成器，编码器又细分为内容编码器和风格编码器；4)采用训练集依次对内容编码器、风格编码器、解码器和判别器进行训练；5，将生成的新样本参与行为识别网络的训练，提高行为识别网络的泛化能力，使得测试集上对动作的准确率提升。本发明方法在人体骨骼生成的结果准确性更好，识别效果更好。

技术研发人员：刘龙,陈嘉玉
受保护的技术使用者：西安理工大学
技术研发日：
技术公布日：2024/1/13