基于LSTM的和弦旋律生成方法、装置、电子装置及介质

本申请涉及ai辅助音乐创造，特别是基于lstm的和弦旋律生成方法、装置、电子装置及介质。

背景技术：

1、在ai辅助音乐创作领域，会根据主旋律生成相适配的和弦（背景音乐的主要部分），它具有启发谱曲的作用，且简单和弦序列的智能生成，也为乐器初学者练习曲目提供了更多样化的选择和较低的入门门槛。

2、在相关技术领域中，深度学习已在语音识别与声源分离领域得以应用，但在音乐生成领域，特别是根据主旋律生成和弦的领域，尚缺少突出的研究及成果，首先，音乐理论的复杂性是一个难以克服的问题，其涉及到节奏、音高、和声等多个方面，要准确地根据主旋律生成和弦，需要对音乐理论有深入的理解和掌握；其次，音乐的美感是主观的，不同的人对于同一首音乐可能会有不同的感受和评价，在生成和弦时需要考虑音乐的主观性，如何考虑这种主观性，存在一定的挑战；并且，和弦与主旋律之间的关系复杂，和弦并非是简单的音符堆叠，它们之间有着规则和逻辑，要准确地生成和弦，需要考虑到和弦进行的规律和音乐的整体结构。

3、相关技术中的根据旋律生成和弦的方案，因现有模型往往忽略和弦进行的规则，且大多模型体量庞大，模型嵌套多，训练时间长，参数数量多且复杂缺乏智能性；同时，现有模型通常只考虑和弦的音高和节奏，而忽略了和弦的其他特征，例如：色彩、和声，进而使得生成的和弦序列听起来不够自然；再者，相关技术中的模型对旋律的输入特征提取不充分，且生成的和弦种类少，与旋律适配的效果不佳。

4、目前针对相关技术中利用相关模型进行根据旋律生成和弦的方案，生成的和弦视听不自然、与旋律适配效果不佳的问题，尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种基于lstm的和弦旋律生成方法、装置、电子装置及介质，以至少解决相关技术中利用相关模型进行根据旋律生成和弦的方案，生成的和弦视听不自然、与旋律适配效果不佳的问题。

2、第一方面，本申请实施例提供了一种基于lstm的和弦旋律生成方法，包括：对待匹配和弦旋律的第一旋律片段进行预编码处理，得到第一拟合参数，其中，所述预编码处理用于表征对旋律片段的复杂度的拟合处理；

3、利用已训备的特征提取模型对所述第一旋律片段进行处理，生成第一前端标签数据，并基于所述第一前端标签数据和所述第一拟合参数，生成第一标签数据，其中，所述第一标签数据用于表征对所述第一旋律片段待配的目标和弦片段的预期，所述特征提取模型是基于长短期记忆网络lstm，并根据预设的第一样本旋律片段以及所述第一样本旋律片段对应的第一实谱和弦所对应的和弦分类进行训练的神经网络；

4、对所述第一旋律片段所对应的音符的音高进行编码，生成第一旋律向量，并利用已训备的和弦预测模型，处理所述第一旋律向量和所述第一标签数据，得到多个与所述第一旋律片段对应的候选和弦片段，其中，所述和弦预测模型是双向长短期记忆网络blstm网络，并根据预设的第二样本旋律片段对应的第二旋律向量、第二实谱和弦和第二标签数据训练的神经网络，所述第二标签数据是根据第二前端标签数据和对所述第二样本旋律片段进行预编码处理生成的第二拟合参数生成的，所述第二前端标签数据是利用所述特征提取模型对所述第二样本旋律片段进行处理生成的；

5、在多个所述候选和弦片段中，基于预设的选择策略，选取所述目标和弦片段，并将所述目标和弦片段作为所述第一旋律片段匹配的和弦。

6、第二方面，本申请实施例提供了一种基于lstm的和弦旋律生成装置，包括：

7、预处理模块，用于对待匹配和弦旋律的第一旋律片段进行预编码处理，得到第一拟合参数，其中，所述预编码处理用于表征对旋律片段的复杂度的拟合处理；

8、提取模块，用于利用已训备的特征提取模型对所述第一旋律片段进行处理，生成第一前端标签数据，并基于所述第一前端标签数据和所述第一拟合参数，生成第一标签数据，其中，所述第一标签数据用于表征对所述第一旋律片段待配的目标和弦片段的预期，所述特征提取模型是基于长短期记忆网络lstm，并根据预设的第一样本旋律片段以及所述第一样本旋律片段对应的第一实谱和弦所对应的和弦分类进行训练的神经网络；

9、预测模块，用于对所述第一旋律片段所对应的音符的音高进行编码，生成第一旋律向量，并利用已训备的和弦预测模型，处理所述第一旋律向量和所述第一标签数据，得到多个与所述第一旋律片段对应的候选和弦片段，其中，所述和弦预测模型是双向长短期记忆网络blstm网络，并根据预设的第二样本旋律片段对应的第二旋律向量、第二实谱和弦和第二标签数据训练的神经网络，所述第二标签数据是根据第二前端标签数据和对所述第二样本旋律片段进行预编码处理生成的第二拟合参数生成的，所述第二前端标签数据是利用所述特征提取模型对所述第二样本旋律片段进行处理生成的；

10、处理模块，用于在多个所述候选和弦片段中，基于预设的选择策略，选取所述目标和弦片段，并将所述目标和弦片段作为所述第一旋律片段匹配的和弦。

11、第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于lstm的和弦旋律生成方法的步骤。

12、第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于lstm的和弦旋律生成方法的步骤。

13、相比于相关技术，本申请实施例提供的基于lstm的和弦旋律生成方法、装置、电子装置及介质，通过对待匹配和弦旋律的第一旋律片段进行预编码处理，得到第一拟合参数；利用已训备的特征提取模型对所述第一旋律片段进行处理，生成第一前端标签数据，并基于所述第一前端标签数据和所述第一拟合参数，生成第一标签数据；对所述第一旋律片段所对应的音符的音高进行编码，生成第一旋律向量，并利用已训备的和弦预测模型，处理所述第一旋律向量和所述第一标签数据，得到多个与所述第一旋律片段对应的候选和弦片段；在多个所述候选和弦片段中，基于预设的选择策略，选取所述目标和弦片段，并将所述目标和弦片段作为所述第一旋律片段匹配的和弦，采用预编码处理对应的旋律片段，能够保留旋律片段的音乐性质，提高模型训练及和弦预测的准确率，同时，采用特征提取模型对第一旋律片段处理，并生成第一标签数据，加快和弦预测模型训练及预测输出速度，解决相关技术中利用相关模型进行根据旋律生成和弦的方案，生成的和弦视听不自然、与旋律适配效果不佳的问题。

14、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种基于长短期记忆网络lstm的和弦旋律生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，预编码处理对应的旋律片段，包括：

3.根据权利要求1所述的方法，其特征在于，在多个所述候选和弦片段中，基于预设的选择策略，选取所述目标和弦片段，包括：

4.根据权利要求1所述的方法，其特征在于，所述特征提取模型的训练步骤，包括：

5.根据权利要求4所述的方法，其特征在于，确定所述第一实谱和弦所对应的第一独热向量编码参数，包括：

6.根据权利要求4所述的方法，其特征在于，基于所述第一前端标签数据和所述第一拟合参数，生成第一标签数据，包括：

7.根据权利要求4所述的方法，其特征在于，所述和弦预测模型的训练步骤，包括：

8.一种基于lstm的和弦旋律生成装置，其特征在于，包括：

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的基于lstm的和弦旋律生成方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于lstm的和弦旋律生成方法的步骤。

技术总结
本申请涉及基于LSTM的和弦旋律生成方法、装置、电子装置及介质，该方法包括：对待匹配和弦旋律的第一旋律片段进行预编码处理，得到第一拟合参数；利用已训备的特征提取模型对第一旋律片段进行处理，生成第一前端标签数据，基于第一前端标签数据和第一拟合参数，生成第一标签数据；对第一旋律片段所对应的音符的音高进行编码，生成第一旋律向量，利用已训备的和弦预测模型，处理第一旋律向量和第一标签数据，得到多个与第一旋律片段对应的候选和弦片段；在多个候选和弦片段中，基于预设的选择策略，选取第一旋律片段对应的目标和弦片段。通过本申请，解决利用相关模型进行根据旋律生成和弦的方案，生成的和弦视听不自然、与旋律适配效果不佳的问题。

技术研发人员：刘晓翔,何子炎,魏依琳,陈想,廖知非,张鑫源,龚雪沅,林聪
受保护的技术使用者：暨南大学
技术研发日：
技术公布日：2024/3/12