一种动作视频生成方法、装置、电子设备和可读存储介质与流程

1.本技术涉及计算机技术领域，尤其是涉及一种动作视频生成方法、装置、电子设备和可读存储介质。


背景技术：

2.互联网技术的发展使得各种教学方式发生了较大的变化，对于动作教学来说也发生了极大的变化。通过互联网我们可以获取到各种各样的动作教学资源，例如教师可以通过互联网发布舞蹈视频、武术视频、健身视频以及康复训练视频等，使得学生无论在何时何地都可以通过互联网对照着动作教学视频中教师示范的动作进行学习。
3.现有技术中，在学生按照动作教学视频中教师示范的动作进行学习时，由于教师和学生的身形可能存在很大差异，容易导致学生在学习的过程中对动作的理解产生偏差，因此这样的学习方式会使得学生按照教学视频学习后执行的动作与教师的标准动作之间的差异较大，从而影响学生动作的标准程度。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种动作视频生成方法、装置、电子设备和可读存储介质，有利于降低学生按照视频学习后执行的动作与教师的标准动作之间的差异，有利于提高学生动作的标准程度。
5.第一方面，本技术实施例提供了一种动作视频生成方法，包括：
6.获取参考对象的标准相对旋转信息序列和目标对象的目标人体三维模型；其中，所述标准相对旋转信息序列用于表示所述参考对象执行指定动作时所述参考对象的目标关键点组之间的相对旋转关系，所述目标关键点组为所述参考对象的两个相连的参考人体关键点；
7.按照所述标准相对旋转信息序列对所述目标人体三维模型上各个人体关键点进行调整，以使所述目标人体三维模型执行所述指定动作；
8.获取所述目标人体三维模型执行所述指定动作的目标视频。
9.结合第一方面，本技术实施例提供了第一方面的第一种可能的实施方式，其中，所述获取参考对象的标准相对旋转信息序列，包括：
10.获取所述参考对象执行所述指定动作的标准动作视频；
11.针对所述标准动作视频中的每一帧第一图像，确定所述参考对象在该第一图像中的第一二维关键点坐标；其中，所述第一二维关键点坐标用于表示所述参考人体关键点在该第一图像中的位置；
12.根据所述第一图像在所述标准动作视频中的第一时间顺序，将所述第一图像所对应的所述第一二维关键点坐标按照所述第一时间顺序进行排序后，输入到基于2d关节点的空洞时域的全卷积模型中，输出所述参考对象的标准三维关键点序列；其中，所述标准三维关键点序列中包括每个所述第一图像中所述参考对象的标准三维关键点坐标；
13.将所述标准三维关键点序列转换为标准关键点间的信息序列；其中，所述标准关键点间的信息序列中包括每两个相连的所述参考人体关键点之间的参考骨骼距离信息序列以及所述标准相对旋转信息序列。
14.结合第一方面，本技术实施例提供了第一方面的第二种可能的实施方式，其中，所述获取目标对象的目标人体三维模型，包括：
15.获取所述目标对象的初始动作视频；
16.针对所述初始动作视频中的每一帧第二图像，将该第二图像中的所述目标对象与背景进行分割，得到该第二图像中所述目标对象的是身体轮廓信息；
17.针对每个所述第二图像，获取该第二图像对应的初始关键点间的信息；其中，所述初始关键点间的信息包括所述目标对象的每两个相连的目标人体关键点之间的初始相对旋转信息以及目标骨骼距离信息；每个所述第二图像对应的所述目标骨骼距离信息相同；
18.基于每个所述第二图像对应的所述身体轮廓信息和所述初始关键点间的信息，确定所述目标对象的平均身体轮廓参数；
19.针对每个所述第二图像，将所述平均身体轮廓参数以及该第二图像对应的所述初始关键点间的信息输入到人体参数化模型中，输出该第二图像对应的第一人体三维模型；
20.针对每个所述第二图像，将该第二图像对应的所述第一人体三维模型投射到该第二图像上后，获取所述第一人体三维模型在该第二图像上对应位置处的纹理信息，以得到所述目标对象表皮上每个位置处的所述纹理信息；
21.基于所述目标骨骼距离信息、所述平均身体轮廓参数以及所述目标对象表皮上每个位置处的所述纹理信息，确定所述目标对象的所述目标人体三维模型。
22.结合第一方面的第二种可能的实施方式，本技术实施例提供了第一方面的第三种可能的实施方式，其中，所述针对每个所述第二图像，获取该第二图像对应的初始关键点间的信息，包括：
23.针对每个所述第二图像，确定所述目标对象在该第二图像中的第二二维关键点坐标；其中，所述第二二维关键点坐标用于表示所述目标人体关键点在该第二图像中的位置；
24.根据所述第二图像在所述初始动作视频中的第二时间顺序，将所述第二图像所对应的所述第二二维关键点坐标按照所述第二时间顺序进行排序后，输入到所述基于2d关节点的空洞时域的全卷积模型中，输出所述目标对象的初始三维关键点序列；其中，所述初始三维关键点序列中包括每个所述第二图像中所述目标对象的初始三维关键点坐标；
25.针对每个第二图像，将该第二图像对应的所述初始三维关键点坐标转换为所述初始关键点间的信息。
26.结合第一方面的第二种可能的实施方式，本技术实施例提供了第一方面的第四种可能的实施方式，其中，所述基于每个所述第二图像对应的所述身体轮廓信息和所述目标关键点间的信息，确定所述目标对象的平均身体轮廓参数，包括：
27.针对每个所述第二图像，将标准身体轮廓参数以及该第二图像对应的所述初始关键点间的信息输入到所述人体参数化模型中，输出该第二图像对应的所述目标对象的第二人体三维模型；
28.针对每个所述第二图像，将该第二图像对应的所述第二人体三维模型投射到该第二图像上，通过该第二图像中的所述身体轮廓信息对所述标准身体轮廓参数进行修正，当
该第二图像对应的所述第二人体三维模型与该第二图像中的所述目标对象的身体轮廓重合时，将修正后的所述标准身体轮廓参数作为该第二图像上所述目标对象对应的目标身体轮廓参数；
29.基于每个所述第二图像对应的所述目标身体轮廓参数，得到所述目标对象的平均身体轮廓参数；其中，所述平均身体轮廓参数为所述目标身体轮廓参数的均值。
30.结合第一方面，本技术实施例提供了第一方面的第五种可能的实施方式，其中，所述获取参考对象的标准相对旋转信息序列，包括：
31.获取所述参考对象在执行所述指定动作时每一时刻的每个所述参考人体关键点处的旋转量；其中，所述旋转量是由惯性测量设备所采集的；
32.针对每一时刻，根据该时刻对应的每个所述参考人体关键点处的所述旋转量，计算该时刻对应的每两个相连的所述参考人体关键点之间的相对旋转信息；
33.按照时间顺序，将每一时刻对应的所述相对旋转信息进行组合，得到所述获取参考对象的所述标准相对旋转信息序列。
34.结合第一方面，本技术实施例提供了第一方面的第六种可能的实施方式，其中，所述获取目标对象的目标人体三维模型，包括：
35.获取同一时刻针对所述目标对象的各个角度的第三图像；其中，所述第三图像是由多目相机采集的；
36.将所述第三图像输入到三维重建模型中，输出用于表示所述目标对象的轮廓以及纹理的第三人体三维模型；
37.针对每个所述第三图像，确定所述目标对象在该第三图像中的第三二维关键点坐标；其中，所述第三二维关键点坐标用于表示所述目标人体关键点在该第三图像中的位置；
38.基于每个所述第三图像对应的所述第三二维关键点坐标以及所述多目相机的相机参数，确定每个所述目标人体关键点的三维坐标；其中所述三维坐标用于表示所述第三人体三维模型上每个所述目标人体关键点的位置；
39.基于所述第三人体三维模型以及所述目标人体关键点的三维坐标，构建所述目标对象的所述目标人体三维模型。
40.第二方面，本技术实施例还提供一种动作视频生成装置，包括：
41.第一获取模块，用于获取参考对象的标准相对旋转信息序列和目标对象的目标人体三维模型；其中，所述标准相对旋转信息序列用于表示所述参考对象执行指定动作时所述参考对象的目标关键点组之间的相对旋转关系，所述目标关键点组为所述参考对象的两个相连的参考人体关键点；
42.调整模块，用于按照所述标准相对旋转信息序列对所述目标人体三维模型上各个人体关键点进行调整，以使所述目标人体三维模型执行所述指定动作；
43.第二获取模块，用于获取所述目标人体三维模型执行所述指定动作的目标视频。
44.结合第二方面，本技术实施例提供了第二方面的第一种可能的实施方式，其中，所述第一获取模块，在用于获取参考对象的标准相对旋转信息序列时，具体用于：
45.获取所述参考对象执行所述指定动作的标准动作视频；
46.针对所述标准动作视频中的每一帧第一图像，确定所述参考对象在该第一图像中的第一二维关键点坐标；其中，所述第一二维关键点坐标用于表示所述参考人体关键点在
该第一图像中的位置；
47.根据所述第一图像在所述标准动作视频中的第一时间顺序，将所述第一图像所对应的所述第一二维关键点坐标按照所述第一时间顺序进行排序后，输入到基于2d关节点的空洞时域的全卷积模型中，输出所述参考对象的标准三维关键点序列；其中，所述标准三维关键点序列中包括每个所述第一图像中所述参考对象的标准三维关键点坐标；
48.将所述标准三维关键点序列转换为标准关键点间的信息序列；其中，所述标准关键点间的信息序列中包括每两个相连的所述参考人体关键点之间的参考骨骼距离信息序列以及所述标准相对旋转信息序列。
49.结合第二方面，本技术实施例提供了第二方面的第二种可能的实施方式，其中，所述第一获取模块，在用于获取目标对象的目标人体三维模型时，具体用于：
50.获取所述目标对象的初始动作视频；
51.针对所述初始动作视频中的每一帧第二图像，将该第二图像中的所述目标对象与背景进行分割，得到该第二图像中所述目标对象的是身体轮廓信息；
52.针对每个所述第二图像，获取该第二图像对应的初始关键点间的信息；其中，所述初始关键点间的信息包括所述目标对象的每两个相连的目标人体关键点之间的初始相对旋转信息以及目标骨骼距离信息；每个所述第二图像对应的所述目标骨骼距离信息相同；
53.基于每个所述第二图像对应的所述身体轮廓信息和所述初始关键点间的信息，确定所述目标对象的平均身体轮廓参数；
54.针对每个所述第二图像，将所述平均身体轮廓参数以及该第二图像对应的所述初始关键点间的信息输入到人体参数化模型中，输出该第二图像对应的第一人体三维模型；
55.针对每个所述第二图像，将该第二图像对应的所述第一人体三维模型投射到该第二图像上后，获取所述第一人体三维模型在该第二图像上对应位置处的纹理信息，以得到所述目标对象表皮上每个位置处的所述纹理信息；
56.基于所述目标骨骼距离信息、所述平均身体轮廓参数以及所述目标对象表皮上每个位置处的所述纹理信息，确定所述目标对象的所述目标人体三维模型。
57.结合第二方面的第二种可能的实施方式，本技术实施例提供了第二方面的第三种可能的实施方式，其中，所述第一获取模块，在用于针对每个所述第二图像，获取该第二图像对应的初始关键点间的信息时，具体用于：
58.针对每个所述第二图像，确定所述目标对象在该第二图像中的第二二维关键点坐标；其中，所述第二二维关键点坐标用于表示所述目标人体关键点在该第二图像中的位置；
59.根据所述第二图像在所述初始动作视频中的第二时间顺序，将所述第二图像所对应的所述第二二维关键点坐标按照所述第二时间顺序进行排序后，输入到所述基于2d关节点的空洞时域的全卷积模型中，输出所述目标对象的初始三维关键点序列；其中，所述初始三维关键点序列中包括每个所述第二图像中所述目标对象的初始三维关键点坐标；
60.针对每个第二图像，将该第二图像对应的所述初始三维关键点坐标转换为所述初始关键点间的信息。
61.结合第二方面的第二种可能的实施方式，本技术实施例提供了第二方面的第四种可能的实施方式，其中，所述第一获取模块，在用于基于每个所述第二图像对应的所述身体轮廓信息和所述目标关键点间的信息，确定所述目标对象的平均身体轮廓参数时，具体用
于：
62.针对每个所述第二图像，将标准身体轮廓参数以及该第二图像对应的所述初始关键点间的信息输入到所述人体参数化模型中，输出该第二图像对应的所述目标对象的第二人体三维模型；
63.针对每个所述第二图像，将该第二图像对应的所述第二人体三维模型投射到该第二图像上，通过该第二图像中的所述身体轮廓信息对所述标准身体轮廓参数进行修正，当该第二图像对应的所述第二人体三维模型与该第二图像中的所述目标对象的身体轮廓重合时，将修正后的所述标准身体轮廓参数作为该第二图像上所述目标对象对应的目标身体轮廓参数；
64.基于每个所述第二图像对应的所述目标身体轮廓参数，得到所述目标对象的平均身体轮廓参数；其中，所述平均身体轮廓参数为所述目标身体轮廓参数的均值。
65.结合第二方面，本技术实施例提供了第二方面的第五种可能的实施方式，其中，所述第一获取模块，在用于获取参考对象的标准相对旋转信息序列时，具体用于：
66.获取所述参考对象在执行所述指定动作时每一时刻的每个所述参考人体关键点处的旋转量；其中，所述旋转量是由惯性测量设备所采集的；
67.针对每一时刻，根据该时刻对应的每个所述参考人体关键点处的所述旋转量，计算该时刻对应的每两个相连的所述参考人体关键点之间的相对旋转信息；
68.按照时间顺序，将每一时刻对应的所述相对旋转信息进行组合，得到所述获取参考对象的所述标准相对旋转信息序列。
69.结合第二方面，本技术实施例提供了第二方面的第六种可能的实施方式，其中，所述第一获取模块，在用于获取目标对象的目标人体三维模型时，具体用于：
70.获取同一时刻针对所述目标对象的各个角度的第三图像；其中，所述第三图像是由多目相机采集的；
71.将所述第三图像输入到三维重建模型中，输出用于表示所述目标对象的轮廓以及纹理的第三人体三维模型；
72.针对每个所述第三图像，确定所述目标对象在该第三图像中的第三二维关键点坐标；其中，所述第三二维关键点坐标用于表示所述目标人体关键点在该第三图像中的位置；
73.基于每个所述第三图像对应的所述第三二维关键点坐标以及所述多目相机的相机参数，确定每个所述目标人体关键点的三维坐标；其中所述三维坐标用于表示所述第三人体三维模型上每个所述目标人体关键点的位置；
74.基于所述第三人体三维模型以及所述目标人体关键点的三维坐标，构建所述目标对象的所述目标人体三维模型。
75.第三方面，本技术实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面中任一种可能的实施方式中的步骤。
76.第四方面，本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面中任一种可能的实施方式中的步骤。
77.在本技术中，通过获取目标对象的目标人体三维模型以及用于表示参考对象执行指定动作时参考对象的目标关键点组之间的相对旋转关系的标准相对旋转信息序列，并按照标准相对旋转信息序列对目标人体三维模型上各个人体关键点进行调整，以使目标人体三维模型执行该指定动作，从而得到目标人体三维模型执行指定动作时的目标视频，此时目标对象可以按照目标视频中目标人体三维模型执行的指定动作进行学习。通过上述方法，避免了由于目标对象与参考对象之间的身形差异，导致的目标对象在学习的过程中对动作的理解产生偏差的问题，从而可以降低目标对象按照视频学习后执行的动作与参考对象的标准动作之间的差异，提高目标对象动作的标准程度。
78.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
79.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
80.图1示出了本技术实施例所提供的一种动作视频生成方法的流程图；
81.图2示出了本技术实施例所提供的一种人体关键点示意图；
82.图3示出了本技术实施例所提供的一种动作视频生成装置的结构示意图；
83.图4示出了本技术实施例所提供的一种电子设备的结构示意图。
具体实施方式
84.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
85.现有技术中，学生按照教师录制的动作教学视频进行学习时，由于教师和学生的身形(例如高矮胖瘦等)可能存在很大差异，使得学生按照教师录制的视频学习的过程中对动作的理解产生偏差，因此这样的学习方式会使得学生按照教师录制的视频学习后执行的动作与教师的标准动作之间的差异较大，从而影响学生动作的标准程度。
86.考虑到上述问题，基于此，本技术实施例提供了一种动作视频生成方法、装置、电子设备和可读存储介质，有利于降低目标对象(学生)按照参考对象(教师)录制的视频学习后执行的动作与参考对象(教师)的标准动作之间的差异，提高目标对象(学生)动作的标准程度，下面通过实施例进行描述。
87.实施例一：
88.为便于对本实施例进行理解，首先对本技术实施例一所公开的一种动作视频生成
方法进行详细介绍。图1示出了本技术实施例所提供的一种动作视频生成方法的流程图，如图1所示，包括以下步骤：
89.s101：获取参考对象的标准相对旋转信息序列和目标对象的目标人体三维模型；其中，所述标准相对旋转信息序列用于表示所述参考对象执行指定动作时所述参考对象的目标关键点组之间的相对旋转关系，所述目标关键点组为所述参考对象的两个相连的参考人体关键点。
90.在本技术的实施例中，指定动作可以为一段连续的动作，例如一段舞蹈动作、武术动作等；也可以是不连续的单独的动作，例如扎马步、站军姿等。其中，指定动作包括舞蹈动作、健身动作、武术动作以及康复训练动作中的一种或多种。目标对象指的是要学习、练习指定动作的对象，参考对象指的是能够做出标准的指定动作的对象。示例性的，当指定动作为舞蹈动作时，参考对象指的是舞蹈老师，目标对象指的是舞蹈学员；当指定动作为一段康复训练动作时，参考对象指的是示范指定动作的医护人员，目标对象指的是病人。
91.目标人体三维模型指的是根据目标对象的身体轮廓、目标对象的纹理以及目标对象的目标人体关键点构建出的立体模型，本技术中，目标人体三维模型与目标对象的身体轮廓相同或等比例相似(例如高矮胖瘦相同或等比例相似)，并且目标人体三维模型与目标对象的纹理相同(例如目标对象的皮肤颜色以及穿戴的衣物的颜色等)，目标人体三维模型与目标对象的两个相连接的人体关键点之间的骨骼距离信息也相同(例如身体同一侧的手肘到手腕之间的骨骼距离相同)。
92.图2示出了本技术实施例所提供的一种人体关键点示意图，如图2所述，人体关键点包括人体的眼睛、鼻子1、口2、耳朵、腕关节、肘关节、肩关节、膝关节以及髋关节中的一种或多种。其中，眼睛包括左眼3和右眼4；耳朵包括左耳5和右耳6；腕关节包括左手腕关节7和右手腕关节8，以及左脚腕关节9和右脚腕关节10；肘关节包括左手肘关节11和右手肘关节12；肩关节包括左肩关节13和右肩关节14；膝关节包括左腿膝关节15和右腿膝关节16；髋关节包括左髋关节17和右髋关节18。目标对象的人体关键点为目标人体关键点，参考对象的人体关键点为参考人体关键点，即目标人体关键点与参考人体关键点均包括人体的眼睛、鼻子、口、耳朵、腕关节、肘关节、肩关节、膝关节以及髋关节中的一种或多种。
93.目标关键点组指的是参考对象的两个相连的参考人体关键点，示例性的，两个相连的参考人体关键点可以为，例如参考对象的右侧手肘和右侧肩、左侧脚腕和左侧膝盖，值得注意的是，参考对象的右侧手腕和右侧肩不属于两个相连的参考人体关键点。
94.在本技术中，标准相对旋转信息序列用于表示参考对象执行指定动作时参考对象的目标关键点组之间的相对旋转关系，其中相对旋转关系可以为相对旋转角度和相对旋转方向。
95.s102：按照所述标准相对旋转信息序列对所述目标人体三维模型上各个人体关键点进行调整，以使所述目标人体三维模型执行所述指定动作。
96.本技术中，将标准相对旋转信息序列导入到目标人体三维模型中，按照标准相对旋转信息序列对目标人体三维模型上的各个人体关键点进行调整，使得目标人体三维模型执行指定动作。
97.s103：获取所述目标人体三维模型执行所述指定动作的目标视频。
98.本技术中，当目标人体三维模型能够完整执行指定动作后，获取目标人体三维模
型执行指定动作的目标视频，此时目标对象可以按照目标视频中的目标人体三维模型示范的指定动作进行学习、练习。
99.由于参考对象和目标对象的身形可能存在很大差异，导致目标对象在按照参考对象录制的视频进行学习时，对动作的理解容易产生偏差，因此本技术中通过生成目标对象执行指定动作时的动作视频(即目标视频)，使得目标对象根据该视频进行练习，降低了目标对象按照参考对象录制的视频学习后执行的动作与参考对象的标准动作之间的差异，提高了目标对象动作的标准程度。
100.在本技术的实施例中，提供了两种方法来获取参考对象的标准相对旋转信息序列，其中，第一种方法不需要额外的采集设备，可以直接根据参考对象的标准动作视频，确定参考对象的标准相对旋转信息序列；第二种方法不需要录制参考对象的标准动作视频，可以根据额外的设备，确定参考对象的标准相对旋转信息序列。下面对第一种方法进行详细说明。
101.在一种可能的实施方式中，在执行步骤s101获取参考对象的标准相对旋转信息序列时，具体可以按照以下步骤执行：
102.s111：获取所述参考对象执行所述指定动作的标准动作视频。
103.在本技术中，获取参考对象执行指定动作时的标准动作视频，其中，标准动作视频中包括参考对象执行完成整段指定动作，根据该标准动作视频，确定标准动作视频中的每一帧第一图像。
104.s112：针对所述标准动作视频中的每一帧第一图像，确定所述参考对象在该第一图像中的第一二维关键点坐标；其中，所述第一二维关键点坐标用于表示所述参考人体关键点在该第一图像中的位置。
105.在本技术中，针对每一帧第一图像，确定该第一图像中参考对象的参考人体关键点的第一二维关键点坐标。其中，每一帧第一图像对应一个第一二维关键点坐标，第一二维关键点坐标中包括该第一图像中所有参考人体关键点的位置。
106.s113：根据所述第一图像在所述标准动作视频中的第一时间顺序，将所述第一图像所对应的所述第一二维关键点坐标按照所述第一时间顺序进行排序后，输入到基于2d关节点的空洞时域的全卷积模型中，输出所述参考对象的标准三维关键点序列；其中，所述标准三维关键点序列中包括每个所述第一图像中所述参考对象的标准三维关键点坐标。
107.根据每一帧第一图像在标准动作视频中的第一时间顺序，将第一图像所对应的所述第一二维关键点坐标按照第一时间顺序进行排序，得到第一二维关键点坐标序列；将第一二维关键点坐标序列输入到基于2d关节点的空洞时域的全卷积模型(videopose3d)中，输出参考对象的标准三维关键点序列。其中，标准三维关键点序列包括每个第一图像中参考对象的标准三维关键点坐标。标准三维关键点坐标用于表示各个参考人体关键点的空间坐标位置。
108.s114：将所述标准三维关键点序列转换为标准关键点间的信息序列；其中，所述标准关键点间的信息序列中包括每两个相连的所述参考人体关键点之间的参考骨骼距离信息序列以及所述标准相对旋转信息序列。
109.在本技术中，三维关键点序列中包括每个第一图像中参考人体关键点的标准三维关键点坐标，针对每个第一图像对应的标准三维关键点坐标，将该标准三维关键点坐标转
换为标准关键点间的信息，其中标准关键点间的信息中包括该第一图像中参考对象的参考人体关键点之间的参考骨骼距离信息以及标准相对旋转信息，参考骨骼距离信息指的是参考对象每两个相连的参考人体关键点之间的距离，标准相对旋转信息指的是每个第一图像中两个相连的参考人体关键点之间的相对旋转关系。按照每个第一图像在标准动作视频中的时间顺序，将所有第一图像对应的标准关键点间的信息进行这组合，得到标准关键点间的信息序列。
110.参考骨骼距离信息序列用于表示参考对象的目标关键点组中两个参考关键点之间的距离，例如左侧手腕与左侧手肘之间的距离、右侧手肘与右侧肩膀之间的距离。参考骨骼距离信息序列包括每个第一图像中两个相连的参考人体关键点之间的参考骨骼距离信息，参考骨骼距离信息表示该第一图像中两个相连的参考人体关键点之间的距离。
111.下面对第二种方法进行详细说明。
112.在另一种可能的实施方式中，在执行步骤s101获取参考对象的标准相对旋转信息序列时，具体可以按照以下步骤执行：
113.s121：获取所述参考对象在执行所述指定动作时每一时刻的每个所述人体关键点处的旋转量；其中，所述旋转量是由惯性测量设备所采集的。
114.在本技术中，参考对象的各个参考人体关键点位置处穿戴有惯性测量设备(imu设备)，参考对象穿戴惯性测量设备后，开始执行指定动作，此时各个惯性测量设备实时采集和存储各个参考人体关键点处的旋转量，直至参考对象完成整套指定动作时，惯性测量设备采集完成。其中旋转量指的是各个参考人体关键点自身的旋转变化，例如旋转角度的变化以及旋转方向的变化等。
115.s122：针对每一时刻，根据该时刻对应的每个所述参考人体关键点处的所述旋转量，计算该时刻对应的每两个相连的所述参考人体关键点之间的相对旋转信息。
116.在本技术中，惯性测量设备每一时刻采集一次各个参考人体关键点处的旋转量，其中每一时刻可以根据实际情况进行设置，例如可以设置为每一秒、每一毫秒等。在本技术中，旋转量可以为参考人体关键点的旋转角度和旋转方向。针对每一时刻，根据该时刻对应的所有参考人体关键点处的旋转量，计算该时刻对应的每两个相连的参考人体关键点之间的相对旋转信息。此时，相对旋转信息指的是同一时刻，参考对象的两个相连的参考人体关键点之间的相对旋转关系。
117.s123：按照时间顺序，将每一时刻对应的所述相对旋转信息进行组合，得到所述获取参考对象的所述标准相对旋转信息序列。
118.本技术中，每一时刻对应一个相对旋转信息，根据时间顺序，将每一时刻对应的相对旋转信息进行组合，得到参考对象的标准相对旋转信息序列。
119.在本技术的实施例中，提供了两种方法来获取目标对象的目标人体三维模型，其中，第一种方法不需要额外的采集设备，可以直接根据目标对象的初始动作视频，确定目标对象的目标人体三维模型；第二种方法不需要录制目标对象的初始动作视频，可以根据额外的设备，确定目标对象的目标人体三维模型。下面对第一种方法进行详细说明。
120.在一种可能的实施方式中，在执行步骤s101获取目标对象的目标人体三维模型时，具体可以按照以下步骤执行：
121.s131：获取所述目标对象的初始动作视频。
122.获取目标对象的初始动作视频时，在一种可能的实施例中，获取目标对象执行指定动作的初始动作视频，目标对象先按照参考对象的标准动作视频进行练习，由于参考对象和目标对象的身形存在很大差异，所以此时得到的初始动作视频中参考对象的动作不够标准。
123.在另一种可能的实施例中，也可以获取目标对象执行其他动作的初始动作视频，由于本技术目的是为了得到目标对象的目标人体三维模型，所以只需得到目标对象的各个角度的影像即可，因此本技术中的初始动作视频也可以目标对象执行其他动作的视频。
124.s132：针对所述初始动作视频中的每一帧第二图像，将该第二图像中的所述目标对象与背景进行分割，得到该第二图像中所述目标对象的是身体轮廓信息。
125.根据初始动作视频，确定初始动作视频中的每一帧第二图像，针对每个第二图像，将该第二图像中的目标对象与背景进行分割，得到该第二图像上每个像素点的类别，然后通过不同类别的像素点的边界得到每个类别的轮廓，即得到目标对象与背景之间的分割线，将该分割线上的各个点的坐标作为该第二图像中目标对象的身体轮廓信息。
126.s133：针对每个所述第二图像，获取该第二图像对应的初始关键点间的信息；其中，所述初始关键点间的信息包括所述目标对象的每两个相连的目标人体关键点之间的初始相对旋转信息以及目标骨骼距离信息；每个所述第二图像对应的所述目标骨骼距离信息相同。
127.获取每个第二图像对应的初始关键点间的信息，本技术中，初始关键点间的信息包括两个相连的目标人体关键点之间初始相对旋转信息和目标骨骼距离信息。其中，初始相对旋转信息指的是第二图像中每两个相连的目标人体关键点之间的相对旋转关系，目标骨骼距离信息指的是第二图像中每两个相连的目标人体关键点之间的距离。本技术中，由于目标对象的每两个相连的目标人体关键点之间的距离是固定的，因此不同的第二图像对应的目标骨骼距离信息相同。例如，目标对象的左侧手腕到左侧手肘之间的距离是固定的，无论在哪个第二图像中，目标对象的左侧手腕到左侧手肘之间的距离都是相同的。
128.在一种可能的实施方式中，在执行步骤s133针对每个所述第二图像，获取该第二图像对应的初始关键点间的信息时，具体可以按照以下步骤执行：
129.s1331：针对每个所述第二图像，确定所述目标对象在该第二图像中的第二二维关键点坐标；其中，所述第二二维关键点坐标用于表示所述目标人体关键点在该第二图像中的位置。
130.在本技术中，针对每个第二图像，确定该第二图像中目标对象的目标人体关键点的第二二维关键点坐标。其中，每一帧第二图像对应一个第二二维关键点坐标，第二二维关键点坐标中包括该第二图像中所有目标人体关键点的位置。
131.s1332：根据所述第二图像在所述初始动作视频中的第二时间顺序，将所述第二图像所对应的所述第二二维关键点坐标按照所述第二时间顺序进行排序后，输入到所述基于2d关节点的空洞时域的全卷积模型中，输出所述目标对象的初始三维关键点序列；其中，所述初始三维关键点序列中包括每个所述第二图像中所述目标对象的初始三维关键点坐标。
132.根据每个第二图像在初始动作视频中的第二时间顺序，将第二图像对应的第二二维关键点坐标按照第二时间顺序进行排序，得到第二二维关键点坐标序列；将第二二维关键点坐标序列输入到基于2d关节点的空洞时域的全卷积模型中，输出目标对象的初始三维
关键点序列；其中，初始三维关键点序列中包括每个第二图像中目标对象的初始三维关键点坐标。本技术中根据初始三维关键点序列，确定每个第二图像中目标人体关键点的初始三维关键点坐标，初始三维关键点坐标用于表示各个目标人体关键点的空间坐标位置。
133.s1333：针对每个第二图像，将该第二图像对应的所述初始三维关键点坐标转换为所述初始关键点间的信息。
134.本技术中，每个第二图像对应一个初始关键点信息，初始关键点信息中包括该第二图像中目标对象的每两个相连的目标人体关键点之间的目标骨骼距离信息以及初始相对旋转信息。
135.s134：基于每个所述第二图像对应的所述身体轮廓信息和所述初始关键点间的信息，确定所述目标对象的平均身体轮廓参数。
136.本技术中，第二图像对应的身体轮廓信息用于表示该第二图像中目标对象的身体轮廓信息，即只能确定目标对象在某一个角度上的身体轮廓信息，不能确定目标对象的整体的身体轮廓信息，而平均身体轮廓参数表示的是目标对象的整体的、真实的身体轮廓。
137.在一种可能的实施方式中，在执行步骤s134基于每个所述第二图像对应的所述身体轮廓信息和所述初始关键点间的信息，确定所述目标对象的平均身体轮廓参数时，具体可以按照以下步骤执行：
138.s1341：针对每个所述第二图像，将标准身体轮廓参数以及该第二图像对应的所述初始关键点间的信息输入到所述人体参数化模型中，输出该第二图像对应的所述目标对象的第二人体三维模型。
139.本技术中，标准身体轮廓参数用于表示标准模型的标准姿势的参数，其中标准模型的标准姿势可以为：双臂与肩同高伸展开来，手掌平行于地面，掌心向下，双脚张开不并拢。本技术中，标准身体轮廓参数是统计出的一个标准信息，这个参数不是随机参数，是固定的参数。
140.在确定目标对象的平均身体轮廓参数时，首先，针对每个第二图像，将标准身体轮廓参数以及该第二图像对应的初始关键点间的信息输入到人体参数化模型(smpl)中，输出该第二图像对应的目标图像的第二人体三维模型，此时每个第二图像对应一个第二人体三维模型。
141.s1342：针对每个所述第二图像，将该第二图像对应的所述第二人体三维模型投射到该第二图像上，通过该第二图像中的所述身体轮廓信息对所述标准身体轮廓参数进行修正，当该第二图像对应的所述第二人体三维模型与该第二图像中的所述目标对象的身体轮廓重合时，将修正后的所述标准身体轮廓参数作为该第二图像上所述目标对象对应的目标身体轮廓参数。
142.针对每个第二图像，将该第二图像对应的第二人体三维模型投射到该第二图像上，通过该第二图像中目标对象的身体轮廓信息对标准身体轮廓参数进行修正(约束)，当该第二图像对应的第二人体三维模型与该第二图像中的目标对象的身体轮廓重合时，将使用目标对象的身体轮廓信息修正后的标准身体轮廓参数作为该第二图像上目标对象对应的目标身体轮廓参数。其中，目标身体轮廓参数用于表示第二图像上的目标对象的真实身体轮廓。
143.s1343：基于每个所述第二图像对应的所述目标身体轮廓参数，得到所述目标对象
的平均身体轮廓参数；其中，所述平均身体轮廓参数为所述目标身体轮廓参数的均值。
144.对所有第二图像对应的目标身体轮廓参数求平均值，得到目标对象的平均身体轮廓参数。
145.s135：针对每个所述第二图像，将所述平均身体轮廓参数以及该第二图像对应的所述初始关键点间的信息输入到人体参数化模型中，输出该第二图像对应的第一人体三维模型。
146.本技术中，平均身体轮廓参数只有一个，每个第二图像对应一个初始关键点间的信息，针对每个第二图像，将平均身体轮廓参数以及该第二图像对应的初始关键点间的信息输入到人体参数化模型(smpl)中，输出该第二图像对应的第一人体三维模型。即每个第二图像对应一个第一人体三维模型。
147.s136：针对每个所述第二图像，将该第二图像对应的所述第一人体三维模型投射到该第二图像上后，获取所述第一人体三维模型在该第二图像上对应位置处的纹理信息，以得到所述目标对象表皮上每个位置处的所述纹理信息。
148.在本技术中，第一人体三维模型是没有纹理信息的，只有身体轮廓信息以及目标人体关键点间的信息，因此，在获取目标对象的纹理时，针对每个第二图像，将该第二图像对应的第一人体三维模型投射到该第二图像上后，获取第一人体三维模型在该第二图像上对应位置处的纹理信息，以得到该第二图像上目标对象的纹理信息，根据每个第二图像对应的目标对象的纹理信息，确定目标对象表皮上每个位置处的所述纹理信息。其中，纹理可以为目标对象的皮肤、衣物等等，纹理信息可以为颜色信息。
149.s137：基于所述目标骨骼距离信息、所述平均身体轮廓参数以及所述目标对象表皮上每个位置处的所述纹理信息，确定所述目标对象的所述目标人体三维模型。
150.在本技术中，基于每两个相连的目标关键点之间的距离(目标骨骼距离信息)、目标对象的身体轮廓信息(平均身体轮廓参数)以及目标对象的纹理信息，确定目标对象的目标人体三维模型。
151.在另一种可能的实施方式中，在执行步骤s101获取目标对象的目标人体三维模型时，具体可以按照以下步骤执行：
152.s141：获取同一时刻针对所述目标对象的各个角度的第三图像；其中，所述第三图像是由多目相机采集的。
153.在固定场所搭建多目相机环境后，目标对象处于该环境中，本技术中，通过多目相机，在同一时刻对目标对象进行拍摄，得到同一时刻针对目标对象的各个角度的第三图像。
154.s142：将所述第三图像输入到三维重建模型中，输出用于表示所述目标对象的轮廓以及纹理的第三人体三维模型。
155.将同一时刻获取的第三图像输入到三维重建模型中，输出目标对象的第三人体三维模型，其中三维重建模型可以为sfm(structure frommotion)，也可以为深度学习模型。并且由于第三图像中包括目标对象的衣物以及轮廓，因此，本技术中得到的第三人体三维模型中包括目标对象的轮廓以及纹理。
156.s143：针对每个所述第三图像，确定所述目标对象在该第三图像中的第三二维关键点坐标；其中，所述第三二维关键点坐标用于表示所述目标人体关键点在该第三图像中的位置。
157.针对每个第三图像，确定目标对象的各个目标人体关键点在该第三图像中的第三二维关键点坐标，本技术中，每个第三图像对应一个第三二维关键点坐标。
158.s144：基于每个所述第三图像对应的所述第三二维关键点坐标以及所述多目相机的相机参数，确定每个所述目标人体关键点的三维坐标；其中所述三维坐标用于表示所述第三人体三维模型上每个所述目标人体关键点的位置。
159.基于同一时刻的所有第三图像对应的第三二维关键点坐标，以及多目相机的相机参数，确定目标对象的各个目标人体关键点的三维坐标，其中相机参数指的是相机的内参和外参，内参包括相机的焦距、畸变向量等，外参包括旋转矩阵等。
160.s145：基于所述第三人体三维模型以及所述目标人体关键点的三维坐标，构建所述目标对象的所述目标人体三维模型。
161.本技术中的第三人体三维模型中包括的是目标对象的纹理以及轮廓，但是并不包括第三人体三维模型上各个人体关键点的位置，此时第三人体三维模型没有办法根据参考对象的标准相对旋转信息序列进行运动，因此本技术中基于第三人体三维模型以及目标人体关键点的三维坐标，构建目标对象的目标人体三维模型，由此得到的目标人体三维模型中即包括了目标对象的纹理以及轮廓也包括了各个目标人体关键点的位置，此时目标人体三维模型上的各个人体关键点可以实现按照参考对象的标准相对旋转信息序列进行运动。
162.实施例二：
163.基于相同的技术构思，本技术实施例还提供一种动作视频生成装置，图3示出了本技术实施例所提供的一种动作视频生成装置的结构示意图，如图3所示，该装置包括：
164.第一获取模块301，用于获取参考对象的标准相对旋转信息序列和目标对象的目标人体三维模型；其中，所述标准相对旋转信息序列用于表示所述参考对象执行指定动作时所述参考对象的目标关键点组之间的相对旋转关系，所述目标关键点组为所述参考对象的两个相连的参考人体关键点；
165.调整模块302，用于按照所述标准相对旋转信息序列对所述目标人体三维模型上各个人体关键点进行调整，以使所述目标人体三维模型执行所述指定动作；
166.第二获取模块303，用于获取所述目标人体三维模型执行所述指定动作的目标视频。
167.可选的，前述第一获取模块301在用于获取参考对象的标准相对旋转信息序列时，具体用于：
168.获取所述参考对象执行所述指定动作的标准动作视频；
169.针对所述标准动作视频中的每一帧第一图像，确定所述参考对象在该第一图像中的第一二维关键点坐标；其中，所述第一二维关键点坐标用于表示所述参考人体关键点在该第一图像中的位置；
170.根据所述第一图像在所述标准动作视频中的第一时间顺序，将所述第一图像所对应的所述第一二维关键点坐标按照所述第一时间顺序进行排序后，输入到基于2d关节点的空洞时域的全卷积模型中，输出所述参考对象的标准三维关键点序列；其中，所述标准三维关键点序列中包括每个所述第一图像中所述参考对象的标准三维关键点坐标；
171.将所述标准三维关键点序列转换为标准关键点间的信息序列；其中，所述标准关键点间的信息序列中包括每两个相连的所述参考人体关键点之间的参考骨骼距离信息序
列以及所述标准相对旋转信息序列。
172.可选的，前述第一获取模块301在用于获取目标对象的目标人体三维模型时，具体用于：
173.获取所述目标对象的初始动作视频；
174.针对所述初始动作视频中的每一帧第二图像，将该第二图像中的所述目标对象与背景进行分割，得到该第二图像中所述目标对象的是身体轮廓信息；
175.针对每个所述第二图像，获取该第二图像对应的初始关键点间的信息；其中，所述初始目标关键点间的信息包括所述目标对象的每两个相连的目标人体关键点之间的初始相对旋转信息以及目标骨骼距离信息；每个所述第二图像对应的所述目标骨骼距离信息相同；
176.基于每个所述第二图像对应的所述身体轮廓信息和所述初始关键点间的信息，确定所述目标对象的平均身体轮廓参数；
177.针对每个所述第二图像，将所述平均身体轮廓参数以及该第二图像对应的所述初始关键点间的信息输入到人体参数化模型中，输出该第二图像对应的第一人体三维模型；
178.针对每个所述第二图像，将该第二图像对应的所述第一人体三维模型投射到该第二图像上后，获取所述第一人体三维模型在该第二图像上对应位置处的纹理信息，以得到所述目标对象表皮上每个位置处的所述纹理信息；
179.基于所述目标骨骼距离信息、所述平均身体轮廓参数以及所述目标对象表皮上每个位置处的所述纹理信息，确定所述目标对象的所述目标人体三维模型。
180.可选的，前述第一获取模块301在用于针对每个所述第二图像，获取该第二图像对应的初始关键点间的信息时，具体用于：
181.针对每个所述第二图像，确定所述目标对象在该第二图像中的第二二维关键点坐标；其中，所述第二二维关键点坐标用于表示所述目标人体关键点在该第二图像中的位置；
182.根据所述第二图像在所述初始动作视频中的第二时间顺序，将所述第二图像所对应的所述第二二维关键点坐标按照所述第二时间顺序进行排序后，输入到所述基于2d关节点的空洞时域的全卷积模型中，输出所述目标对象的初始三维关键点序列；其中，所述初始三维关键点序列中包括每个所述第二图像中所述目标对象的初始三维关键点坐标；
183.针对每个第二图像，将该第二图像对应的所述初始三维关键点坐标转换为所述初始关键点间的信息。
184.可选的，前述第一获取模块301在用于基于每个所述第二图像对应的所述身体轮廓信息和所述目标关键点间的信息，确定所述目标对象的平均身体轮廓参数时，具体用于：
185.针对每个所述第二图像，将标准身体轮廓参数以及该第二图像对应的所述初始关键点间的信息输入到所述人体参数化模型中，输出该第二图像对应的所述目标对象的第二人体三维模型；
186.针对每个所述第二图像，将该第二图像对应的所述第二人体三维模型投射到该第二图像上，通过该第二图像中的所述身体轮廓信息对所述标准身体轮廓参数进行修正，当该第二图像对应的所述第二人体三维模型与该第二图像中的所述目标对象的身体轮廓重合时，将修正后的所述标准身体轮廓参数作为该第二图像上所述目标对象对应的目标身体轮廓参数；
187.基于每个所述第二图像对应的所述目标身体轮廓参数，得到所述目标对象的平均身体轮廓参数；其中，所述平均身体轮廓参数为所述目标身体轮廓参数的均值。
188.可选的，前述第一获取模块301在用于获取参考对象的标准相对旋转信息序列时，具体用于：
189.获取所述参考对象在执行所述指定动作时每一时刻的每个所述参考人体关键点处的旋转量；其中，所述旋转量是由惯性测量设备所采集的；
190.针对每一时刻，根据该时刻对应的每个所述参考人体关键点处的所述旋转量，计算该时刻对应的每两个相连的所述参考人体关键点之间的相对旋转信息；
191.按照时间顺序，将每一时刻对应的所述相对旋转信息进行组合，得到所述获取参考对象的所述标准相对旋转信息序列。
192.可选的，前述第一获取模块301在用于获取目标对象的目标人体三维模型时，具体用于：
193.获取同一时刻针对所述目标对象的各个角度的第三图像；其中，所述第三图像是由多目相机采集的；
194.将所述第三图像输入到三维重建模型中，输出用于表示所述目标对象的轮廓以及纹理的第三人体三维模型；
195.针对每个所述第三图像，确定所述目标对象在该第三图像中的第三二维关键点坐标；其中，所述第三二维关键点坐标用于表示所述目标人体关键点在该第三图像中的位置；
196.基于每个所述第三图像对应的所述第三二维关键点坐标以及所述多目相机的相机参数，确定每个所述目标人体关键点的三维坐标；其中所述三维坐标用于表示所述第三人体三维模型上每个所述目标人体关键点的位置；
197.基于所述第三人体三维模型以及所述目标人体关键点的三维坐标，构建所述目标对象的所述目标人体三维模型。
198.关于具体执行的方法步骤和原理参见实施例一的说明，在此不再详细赘述。
199.实施例三：
200.基于相同的技术构思，本技术实施例还提供一种电子设备，图4示出了本技术实施例所提供的一种电子设备的结构示意图，如图4所示，该电子设备400包括：处理器401、存储器402和总线403，存储器存储有处理器可执行的机器可读指令，当电子设备运行时，处理器401与存储器402之间通过总线403通信，处理器401执行机器可读指令，以执行实施例一中所述的方法步骤。关于具体执行的方法步骤和原理参见实施例一的说明，在此不再详细赘述。
201.实施例四：
202.本技术实施例四还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行实施例一中所述的方法步骤。
203.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。关于具体执行的方法步骤和原理参见实施例一的说明，在此不再详细赘述。
204.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，
仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
205.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
206.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
207.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
208.最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。