视频、唱谱音频和曲谱同步播放方法、装置、设备和介质与流程

本公开的实施例涉及计算机，具体涉及视频、唱谱音频和曲谱同步播放方法、装置、设备和介质。

背景技术：

1、唱谱是帮助用户在学习乐曲过程中熟悉旋律的常用方法。传统场景下的唱谱示范视频需要录制示范视频和唱谱音频后，人工把曲谱和示范视频及唱谱音频的声音做逐帧对应。

2、然而，上述方式经常会存在如下技术问题：

3、第一，初学者难以将示范视频弹奏的内容和唱谱音频的声音进行匹配，并对应到曲谱中的相应位置，从而降低了学习效率；

4、第二，难以根据唱谱音频的进度，快速准确地对应到电子曲谱中的音符，降低了用户学习乐曲时的准确率；

5、第三，难以将示范视频和唱谱音频同步，导致示范视频弹奏的内容与唱谱音频的声音不匹配，为学习乐曲的用户提供错误的学习信息。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了视频、唱谱音频和曲谱同步播放方法、装置、设备和介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

3、第一方面，本公开的一些实施例提供了一种视频、唱谱音频和曲谱同步播放方法，该方法包括：将示范视频和目标曲目对应的电子曲谱进行匹配，得到第一匹配信息，其中，上述示范视频是示范者演奏上述目标曲目的视频，上述第一匹配信息表征上述示范视频和上述电子曲谱的匹配关系；获取上述目标曲目的唱谱音频，其中，上述唱谱音频是真人唱谱音频或智能唱谱音频；响应于确定上述唱谱音频是真人唱谱音频，将上述电子曲谱和上述真人唱谱音频进行匹配，得到第二匹配信息，其中，上述第二匹配信息表征上述电子曲谱和上述真人唱谱音频的匹配关系；根据上述第一匹配信息和上述第二匹配信息，确定第三匹配信息，其中，上述第三匹配信息表征上述示范视频和上述真人唱谱音频的匹配关系；利用上述第三匹配信息对上述真人唱谱音频进行伸缩处理，得到和上述示范视频时长一致的伸缩后真人唱谱音频；响应于检测到预设操作，利用上述第一匹配信息，对上述示范视频和上述伸缩后真人唱谱音频进行同步播放，以及同步显示上述电子曲谱。

4、在一些实施例中，所述利用电子曲谱解析信息中的音高信息和唱谱音频识别信息中的音高信息，对所述电子曲谱解析信息序列中的电子曲谱解析信息和所述唱谱音频识别信息序列中的唱谱音频识别信息进行匹配，得到第二匹配信息，包括：

5、响应于确定所述唱谱音频识别信息序列中唱谱音频识别信息的数量和所述电子曲谱解析信息序列中电子曲谱解析信息的数量相同，将所述唱谱音频识别信息序列与所述电子曲谱解析信息中次序相同的唱谱音频识别信息和电子曲谱解析信息确定为相匹配的唱谱音频识别信息和电子曲谱解析信息。

6、在一些实施例中，所述利用电子曲谱解析信息中的音高信息和唱谱音频识别信息中的音高信息，对所述电子曲谱解析信息序列中的电子曲谱解析信息和所述唱谱音频识别信息序列中的唱谱音频识别信息进行匹配，得到第二匹配信息，还包括：

7、响应于确定所述唱谱音频识别信息序列中唱谱音频识别信息的数量和所述电子曲谱解析信息序列中电子曲谱解析信息的数量不相同，确定所述唱谱音频识别信息序列中每个唱谱音频识别信息包括的音高信息与所述电子曲谱解析信息序列中各个电子曲谱解析信息包括音高信息之间的距离值，得到距离值矩阵；

8、对于所述距离值矩阵中的每个距离值，执行以下步骤：

9、将与所述距离值位置相邻的左侧、左上侧和上侧位置的距离值确定为候选距离值，得到候选距离值集合，其中，所述候选距离值集合中候选距离值的个数小于等于三个；

10、将所述距离值与所述候选距离值集合中最小的候选距离值的和作为新距离值，加入新距离值矩阵对应的位置。

11、在一些实施例中，所述利用电子曲谱解析信息中的音高信息和唱谱音频识别信息中的音高信息，对所述电子曲谱解析信息序列中的电子曲谱解析信息和所述唱谱音频识别信息序列中的唱谱音频识别信息进行匹配，得到第二匹配信息，还包括：

12、将所述新距离值矩阵中位于第一行、第一列位置的新距离值作为目标距离值，加入目标距离值集合；

13、对于所述新距离值矩阵中的新距离值，执行以下筛选步骤：

14、将与目标距离值位置相邻的右侧、右下侧和下侧位置的距离值确定为新候选距离值，得到新候选距离值集合，其中，新候选距离值集合中的新候选距离值的个数小于等于三个；

15、将新候选距离值集合中最小的新候选距离值作为目标距离值，加入目标距离值集合；

16、响应于确定目标距离值在所述新距离值矩阵中位于最后一行、最后一列的位置，结束所述筛选步骤，得到目标距离值集合。

17、在一些实施例中，所述利用电子曲谱解析信息中的音高信息和唱谱音频识别信息中的音高信息，对所述电子曲谱解析信息序列中的电子曲谱解析信息和所述唱谱音频识别信息序列中的唱谱音频识别信息进行匹配，得到第二匹配信息，还包括：

18、响应于确定目标距离值在所述新距离值矩阵中不是位于最后一行、最后一列的位置，继续执行所述筛选步骤。

19、在一些实施例中，所述利用电子曲谱解析信息中的音高信息和唱谱音频识别信息中的音高信息，对所述电子曲谱解析信息序列中的电子曲谱解析信息和所述唱谱音频识别信息序列中的唱谱音频识别信息进行匹配，得到第二匹配信息，还包括：

20、将所述目标距离值集合中各个目标距离值的行值对应的唱谱音频识别信息和列值对应的电子曲谱解析信息确定为相匹配的唱谱音频识别信息和电子曲谱解析信息，得到第二匹配信息，其中，所述行值、列值是目标距离值在所述新距离值矩阵中所处的行数、列数。

21、第二方面，本公开的一些实施例提供了一种视频、唱谱音频和曲谱同步播放装置，装置包括：第一匹配单元，被配置成将示范视频和目标曲目对应的电子曲谱进行匹配，得到第一匹配信息，其中，上述示范视频是示范者演奏上述目标曲目的视频，上述第一匹配信息表征上述示范视频和上述电子曲谱的匹配关系；获取单元，被配置成获取上述目标曲目的唱谱音频，其中，上述唱谱音频是真人唱谱音频或智能唱谱音频；第二匹配单元，被配置成响应于确定上述唱谱音频是真人唱谱音频，将上述电子曲谱和上述真人唱谱音频进行匹配，得到第二匹配信息，其中，上述第二匹配信息表征上述电子曲谱和上述真人唱谱音频的匹配关系；第三匹配单元，被配置成根据上述第一匹配信息和上述第二匹配信息，确定第三匹配信息，其中，上述第三匹配信息表征上述示范视频和上述真人唱谱音频的匹配关系；伸缩单元，被配置成利用上述第三匹配信息对上述真人唱谱音频进行伸缩处理，得到和上述示范视频时长一致的伸缩后真人唱谱音频；同步单元，被配置成响应于检测到预设操作，利用上述第一匹配信息，对上述示范视频和上述伸缩后真人唱谱音频进行同步播放，以及同步显示上述电子曲谱。

22、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

23、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

24、本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的视频、唱谱音频和曲谱同步播放方法，能够无需初学者自行将示范视频弹奏的内容和唱谱音频的声音进行匹配，并对应到曲谱中的相应位置，从而提高了用户的学习效率。具体来说，造成初学者难以将示范视频弹奏的内容和唱谱音频的声音进行匹配，并对应到曲谱中的相应位置，从而降低了学习效率的原因在于：用户在学习乐曲时，示范视频、唱谱音频的播放进度和电子曲谱之间没有关联，用户既需要将示范视频弹奏的内容和唱谱音频的声音进行匹配，又需要同时对应到曲谱中的相应位置。基于此，本公开的一些实施例的视频、唱谱音频和曲谱同步播放方法，首先，将示范视频和目标曲目对应的电子曲谱进行匹配，得到第一匹配信息，其中，上述示范视频是示范者演奏上述目标曲目的视频，上述第一匹配信息表征上述示范视频和上述电子曲谱的匹配关系。从而，将电子曲谱上音符的显示位置与示范视频的播放进度对应起来。然后，获取上述目标曲目的唱谱音频，其中，上述唱谱音频是真人唱谱音频或智能唱谱音频。再然后，响应于确定上述唱谱音频是真人唱谱音频，将上述电子曲谱和上述真人唱谱音频进行匹配，得到第二匹配信息，其中，上述第二匹配信息表征上述电子曲谱和上述真人唱谱音频的匹配关系。从而，将电子曲谱上音符的显示位置与真人唱谱音频的播放进度对应起来。接着，根据上述第一匹配信息和上述第二匹配信息，确定第三匹配信息，其中，上述第三匹配信息表征上述示范视频和上述真人唱谱音频的匹配关系。从而，将示范视频的播放进度与真人唱谱音频的播放进度对应起来。再接着，利用上述第三匹配信息对上述真人唱谱音频进行伸缩处理，得到和上述示范视频时长一致的伸缩后真人唱谱音频。从而，将示范视频和真人唱谱音频的时长保持一致。最后，响应于检测到预设操作，利用上述第一匹配信息对上述示范视频和上述伸缩后真人唱谱音频进行同步播放，以及同步显示上述电子曲谱。从而，实现了示范视频、唱谱音频和曲谱同步播放。由此，本公开的上述各个实施例自动将示范视频弹奏的内容和唱谱音频的声音进行匹配，并同时对应到曲谱中的相应位置，无需用户逐帧对应，提高了用户的学习效率。