乐器弹奏视频生成方法、装置、设备和计算机可读介质与流程

本公开的实施例涉及计算机，具体涉及乐器弹奏视频生成方法、装置、设备和计算机可读介质。

背景技术：

1、在音乐教育领域，可以通过乐器弹奏视频教材，进行学习指导和指法纠正。目前，通常采用的弹奏视频创建方式为：录制专业的演奏家演奏曲谱的视频。

2、然而，当采用上述方式创建弹奏视频时，经常会存在如下技术问题：

3、第一，无法自动创建弹奏视频，需要花费较长时间创建弹奏视频。

4、第二，演奏曲谱过程中出现不流畅或指法错误时，需重新录制，进一步导致需要花费较长时间创建弹奏视频。

5、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了乐器弹奏视频生成方法、装置、设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

3、第一方面，本公开的一些实施例提供了一种乐器弹奏视频生成方法，该方法包括：将目标音乐文件中包括的音符组序列中的每个音符组映射为音符指法标识组，得到音符指法标识组序列；对于上述音符指法标识组序列中的每个音符指法标识组，确定预设音符指法姿态信息集合中对应上述音符指法标识组的预设音符指法姿态信息所包括的指法姿态信息，其中，上述预设音符指法姿态信息集合中的预设音符指法姿态信息包括预设音符指法标识组和对应上述预设音符指法标识组的指法姿态信息，上述指法姿态信息包括手部关节点坐标组；根据所确定的各个指法姿态信息，生成指法姿态信息序列；对于上述指法姿态信息序列包括的每个手部关节点坐标组，在目标三维空间中渲染目标三维手部模型和目标三维乐器模型对应上述手部关节点坐标组的三维手部姿态和三维乐器姿态，以在上述目标三维空间中将上述三维手部姿态和上述三维乐器姿态渲染为乐器弹奏视频帧；根据所渲染的乐器弹奏视频帧，生成乐器弹奏视频。

4、第二方面，本公开的一些实施例提供了一种乐器弹奏视频生成装置，装置包括：映射单元，被配置成将目标音乐文件中包括的音符组序列中的每个音符组映射为音符指法标识组，得到音符指法标识组序列；确定单元，被配置成对于上述音符指法标识组序列中的每个音符指法标识组，确定预设音符指法姿态信息集合中对应上述音符指法标识组的预设音符指法姿态信息所包括的指法姿态信息，其中，上述预设音符指法姿态信息集合中的预设音符指法姿态信息包括预设音符指法标识组和对应上述预设音符指法标识组的指法姿态信息，上述指法姿态信息包括手部关节点坐标组；第一生成单元，被配置成根据所确定的各个指法姿态信息，生成指法姿态信息序列；渲染单元，被配置成对于上述指法姿态信息序列包括的每个手部关节点坐标组，在目标三维空间中渲染目标三维手部模型和目标三维乐器模型对应上述手部关节点坐标组的三维手部姿态和三维乐器姿态，以在上述目标三维空间中将上述三维手部姿态和上述三维乐器姿态渲染为乐器弹奏视频帧；第二生成单元，被配置成根据所渲染的乐器弹奏视频帧，生成乐器弹奏视频。

5、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

6、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

7、本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的乐器弹奏视频生成方法，可以自动创建弹奏视频，缩短了创建弹奏视频的时间。具体来说，造成需要花费较长时间创建弹奏视频的原因在于：无法自动创建弹奏视频，需要花费较长时间创建弹奏视频。基于此，本公开的一些实施例的乐器弹奏视频生成方法，首先，将目标音乐文件中包括的音符组序列中的每个音符组映射为音符指法标识组，得到音符指法标识组序列。由此，可以自动将各个音符组映射至对应的音符指法标识组，音符指法标识组中的音符指法标识可以用于确定用于弹奏的手指。其次，对于上述音符指法标识组序列中的每个音符指法标识组，确定预设音符指法姿态信息集合中对应上述音符指法标识组的预设音符指法姿态信息所包括的指法姿态信息。其中，上述预设音符指法姿态信息集合中的预设音符指法姿态信息包括预设音符指法标识组和对应上述预设音符指法标识组的指法姿态信息。上述指法姿态信息包括手部关节点坐标组。由此，可以确定音符指法标识组序列中的各个音符指法标识组对应的各个手指的手部关节点坐标，从而可以用于在三维空间中渲染三维手部模型的各个手指。然后，根据所确定的各个指法姿态信息，生成指法姿态信息序列。由此，可以自动生成按照规范指法弹奏的指法姿态信息序列，节省了弹奏视频的时间。之后，对于上述指法姿态信息序列包括的每个手部关节点坐标组，在目标三维空间中渲染目标三维手部模型和目标三维乐器模型对应上述手部关节点坐标组的三维手部姿态和三维乐器姿态，以在上述目标三维空间中将上述三维手部姿态和上述三维乐器姿态渲染为乐器弹奏视频帧。由此，可以在目标三维空间中渲染各个手部关节点坐标组对应的乐器弹奏视频帧。最后，根据所渲染的乐器弹奏视频帧，生成乐器弹奏视频。由此，可以将所渲染的各个乐器弹奏视频帧拼接为乐器弹奏视频。也因为乐器弹奏视频是根据目标音乐文件自动生成的，无需通过录制的方式创建，从而可以缩短创建弹奏视频的时间。由此，可以自动创建弹奏视频，缩短了创建弹奏视频的时间。

技术特征：

1.一种乐器弹奏视频生成方法，包括：

2.根据权利要求1所述的方法，其中，在所述将目标音乐文件中包括的音符组序列中的每个音符组映射为音符指法标识组之前，所述方法还包括：

3.根据权利要求1所述的方法，其中，所述目标音乐文件中包括指法信息组序列；以及

4.根据权利要求1所述的方法，其中，在所述对于所述指法姿态信息序列包括的每个手部关节点坐标组，在目标三维空间中渲染目标三维手部模型和目标三维乐器模型对应所述手部关节点坐标组的三维手部姿态和三维乐器姿态之前，所述方法还包括：

5.根据权利要求1所述的方法，其中，所述对于所述指法姿态信息序列包括的每个手部关节点坐标组，在目标三维空间中渲染目标三维手部模型和目标三维乐器模型对应所述手部关节点坐标组的三维手部姿态和三维乐器姿态，包括：

6.一种乐器弹奏视频生成装置，包括：

7.一种电子设备，包括：

8.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

技术总结
本公开的实施例公开了乐器弹奏视频生成方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：将目标音乐文件中的每个音符组映射为音符指法标识组，得到音符指法标识组序列；对于每个音符指法标识组，确定指法姿态信息；根据所确定的各个指法姿态信息，生成指法姿态信息序列；对于指法姿态信息序列包括的每个手部关节点坐标组，在目标三维空间中渲染目标三维手部模型和目标三维乐器模型对应手部关节点坐标组的三维手部姿态和三维乐器姿态，以渲染为乐器弹奏视频帧；根据所渲染的乐器弹奏视频帧，生成乐器弹奏视频。该实施方式可以自动创建弹奏视频，缩短了创建弹奏视频的时间。

技术研发人员：曾文韬,徐豪骏,李山亭
受保护的技术使用者：上海妙克信息科技有限公司
技术研发日：
技术公布日：2024/1/15