一种3D人体骨骼关键点数据增强方法及系统

本发明涉及计算机视觉，尤其涉及一种3d人体骨骼关键点数据增强方法及系统。

背景技术：

1、人体骨骼关键点数据是一些计算机视觉任务的必要基础，如动作分类、行为识别、以及人体重识别等等。目前，人体骨骼关键点数据主要是从完整人体图像或视频序列中检测获取的(例如目前研究较为广泛的ntu-rgb+d和ntu-rgb+d 120数据集)。现有的计算机视觉算法使用完整的人体骨骼关键点数据作为输入，不能够很好地适应缺失肢体的人体骨骼关键点数据；对于缺失身体肢体的图像，现有的人体骨骼关键点检测算法无法对缺失肢体部位的关键点进行有效的补全和数据增强。

技术实现思路

1、为了解决上述技术问题，本发明的目标是提供一种3d人体骨骼关键点数据增强方法及系统，能够保持缺失肢体人体关键点数据和完整人体骨骼关键点数据特征分布的一致性，增强算法的鲁棒性和改善算法的泛化能力。

2、本发明所采用的第一技术方案是：一种3d人体骨骼关键点数据增强方法，包括以下步骤：

3、获取缺失肢体视频帧图像中人物的2d骨骼关键点数据；

4、基于缺失肢体视频帧图像的2d骨骼关键点数据和完整的2d骨骼关键点数据确定缺失肢体边缘连接的2d骨骼关键点索引和缺失骨骼关键点的数量；

5、基于所述缺失骨骼关键点的数量、所述缺失肢体边缘连接的2d骨骼关键点索引和视频行为类别构建缺失肢体的姿势先验约束和数据增强算法；

6、将缺失肢体视频帧图像的2d骨骼关键点数据作为输入，通过缺失肢体的姿势先验约束和数据增强算法对smplify-x模型进行迭代，得到最优3d骨架smpl-x模型。

7、进一步，还包括获取最优3d骨架smpl-x模型的3d骨骼关键点数据，并生成对应的数据标注文件。

8、进一步，所述基于缺失肢体视频帧图像的2d骨骼关键点数据和完整的2d骨骼关键点数据确定缺失肢体边缘连接的2d骨骼关键点索引和缺失骨骼关键点的数量这一步骤之后，还包括：对缺失肢体视频帧图像的2d骨骼关键点数据进行帧筛选和平滑处理，得到平滑后的2d骨骼关键点数据。

9、进一步，所述对缺失肢体视频帧图像的2d骨骼关键点数据进行帧筛选和平滑处理，得到平滑后的2d骨骼关键点数据这一步骤，其具体包括：

10、对缺失肢体视频所有帧中相同的2d骨骼关键点进行多项式回归，并计算2d骨骼关键点回归值与2d骨骼关键点初始值的偏差；

11、基于偏差与最小阈值、最大阈值的对比结果确定异常骨骼点，并对2d骨骼关键点的值进行更新，得到第一2d骨骼关键点数据；

12、根据同一帧图像的异常骨骼点数量和最大异常骨骼点数量的对比结果对第一2d骨骼关键点数据进行筛选，得到平滑后的2d骨骼关键点数据。

13、通过该优选步骤，筛除了部分异常骨骼点数据，使得平滑后的2d骨骼关键点数据能够保持缺失肢体人体关键点的完整特征。

14、进一步，所述基于所述缺失骨骼关键点的数量、所述缺失肢体边缘连接的2d骨骼关键点索引和视频行为类别构建缺失肢体的姿势先验约束和数据增强算法这一步骤，其具体包括：

15、获取完整人体姿态参数，并根据缺失肢体边缘连接的2d骨骼关键点索引进行人体姿态参数映射，得到缺失骨骼关键点对应的人体姿态参数；

16、基于完整人体姿态参数和缺失骨骼关键点对应的人体姿态参数计算缺失肢体视频帧图像的2d骨骼关键点数据对应的人体姿态参数；

17、根据视频行为类别、所述缺失骨骼关键点的数量和所述缺失肢体边缘连接的2d骨骼关键点索引对缺失骨骼关键点对应的人体姿态参数进行约束，得到缺失骨骼关键点的姿态先验约束参数；

18、基于缺失骨骼关键点的姿态先验约束参数构建缺失肢体先验知识的约束项；

19、基于完整人体姿态参数构建全身姿态的约束项；

20、基于缺失肢体视频帧图像的2d骨骼关键点数据对应的人体姿态参数构建身体部位姿态约束项；

21、结合缺失肢体先验知识的约束项、全身姿态的约束项和身体部位姿态约束项，得到缺失肢体的姿势先验约束和数据增强算法。

22、通过该优选步骤，对缺失肢体的人体骨骼点进行姿势先验约束补全和数据增强，保持缺失肢体人体关键点数据和完整人体骨骼关键点数据特征分布的一致性，能够很好地增强基于人体骨骼关键点计算机视觉算法的鲁棒性，改善其算法的泛化性能。

23、进一步，所述缺失肢体的姿势先验约束和数据增强算法，其表达式如下：

24、

25、θ‘m，t＝z(θm，t，nm，t，ie，t，c)

26、θd，t＝θb，t-θm，t

27、其中，e(βt，θb，t，θd，t，θ′m，t，kt，j′est，t)表示基于缺失肢体的姿势先验约束和数据增强算法的目标优化函数，表示全身姿态的约束项，表示身体部位姿态约束项，表示缺失肢体先验知识的约束项，表示全身姿态的约束项的权重值，表示身体部位姿态约束项的权重值，表示缺失肢体先验知识的约束项的权重值，βt表示第t帧视频帧图像对应的体型参数，θb，t表示第t帧视频帧图像对应的完整人体姿态参数，kt表示第t帧视频帧图像对应的相机参数，j′est，t表示平滑后的2d骨骼关键点数据，θd，t表示缺失肢体视频帧图像的2d骨骼关键点数据对应的人体姿态参数，θ’m，t表示第t帧视频帧图像对应的缺失骨骼关键点的姿态先验约束参数，θm，t表示缺失骨骼关键点对应的人体姿态参数，nm，t表示第t帧时缺失肢体总的骨骼关键点数量，ie，t表示第t帧所有缺失肢体骨骼的的边缘连接骨骼点的索引值的集合，c表示视频序列的行为类别。

28、进一步，将缺失肢体视频帧图像的2d骨骼关键点数据作为输入，通过缺失肢体的姿势先验约束和数据增强算法对smplify-x模型进行迭代，得到最优3d骨架smpl-x模型这一步骤，其具体包括：

29、基于smplify-x模型和缺失肢体的姿势先验约束和数据增强算法对缺失肢体视频帧图像的2d骨骼关键点数据进行3d人体姿态估计，得到2d骨骼关键点数据的smpl-x模型；

30、基于2d骨骼关键点数据的smpl-x模型获取3d骨骼关键点数据，并通过相机参数将3d骨骼关键点数据映射为图像平面上的2d骨骼关键点数据；

31、将图像平面上的2d骨骼关键点数据与缺失肢体视频帧图像的2d骨骼关键点数据进行匹配，得到匹配结果；

32、基于匹配结果对缺失肢体的姿势先验约束和数据增强算法的权重进行优化迭代，得到最优3d骨架smpl-x模型。

33、通过该优选步骤，实现了原有骨骼点和缺失肢体骨骼点的特征融合，原有骨骼点和缺失肢体骨骼点的匹配度更高，缺失肢体部位姿态和三维人体模型的整体姿态更加准确。

34、本发明所采用的第二技术方案是：一种3d人体骨骼关键点数据增强系统，包括：

35、数据获取模块，用于获取缺失肢体视频帧图像中人物的2d骨骼关键点数据；

36、数据对比分析模块，基于缺失肢体视频帧图像的2d骨骼关键点数据和完整的2d骨骼关键点数据确定缺失肢体边缘连接的2d骨骼关键点索引和缺失骨骼关键点的数量；

37、数据平滑模块，用于对缺失肢体视频帧图像的2d骨骼关键点数据进行帧筛选和平滑处理，得到平滑后的2d骨骼关键点数据；

38、算法构建模块，基于所述缺失骨骼关键点的数量、所述缺失肢体边缘连接的2d骨骼关键点索引和视频行为类别构建缺失肢体的姿势先验约束和数据增强算法

39、最优模型生成模块，将平滑后的2d骨骼关键点数据作为输入，通过缺失肢体的姿势先验约束和数据增强算法对smplify-x模型进行迭代，得到最优3d骨架smpl-x模型；

40、标注数据获取模块，用于获取最优3d骨架smpl-x模型的3d骨骼关键点数据，并生成对应的数据标注文件。

41、本发明方法及系统的有益效果是：本发明通过构建缺失肢体的姿势先验约束和数据增强算法，对缺失肢体的人体骨骼点进行姿势先验约束补全和数据增强，保持完整人体骨骼关键点数据和缺失肢体人体关键点数据特征分布的一致性，帮助计算机视觉任务算法和模型更好地理解和捕捉输入数据的关键特征，并减轻数据偏移带来的问题，使算法更好地适应未见过的数据，从而增强算法的鲁棒性，改善算法在不同数据分布下的泛化性能；在保证原有缺失肢体视频帧图像的骨骼点特征不丢失的前提下，实现了原有骨骼点和缺失肢体骨骼点的特征融合。原有骨骼点和缺失肢体骨骼点的匹配度更高，缺失肢体部位姿态和三维人体模型的整体姿态更加准确。