用于生成输入音乐数据的伴奏的装置、系统和方法

用于生成输入音乐数据的伴奏的装置、系统和方法
【专利摘要】一种用于自动生成输入音乐数据的实时伴奏的装置包括接收音乐数据的音乐输入部。音乐分析器分析接收到的音乐数据以获得包括分析的音乐数据的一个或多个特性的音乐数据描述。查询生成器生成对音乐数据库的查询，该音乐数据库包括音乐模式和包括所述音乐模式的一个或多个特性的相关联的元数据，从所述音乐数据描述和从描述所述实时伴奏的参数选择的伴奏描述和/或描述音乐的一般规则的音乐规则生成所述查询。查询界面使用生成的查询来查询所述音乐数据库并通过使用所述查询接收选自所述音乐数据库的音乐模式。音乐输出部输出所述接收的音乐模式。
【专利说明】用于生成输入音乐数据的伴奏的装置、系统和方法

【技术领域】
[0001] 本公开涉及用于自动生成输入音乐数据的实时伴奏的装置、系统和方法。进一步 地，本发明涉及用于生成在用于自动生成音乐的装置和方法中所使用的音乐数据库的装置 和方法。更进一步地，本发明涉及计算机程序、计算机可读非临时性介质和音乐数据库。

【背景技术】
[0002] 音乐即兴演奏，尤其是爵士既是吸引人的活动又是非常令人沮丧的活动。由人类 音乐家即兴演奏需要音乐思想与感官运动过程之间的亲密关系：音乐家必须倾听、思考、开 拓思路并很快移动他/她的手指。速度和时间的缺乏是即兴演奏的关键因素，这是令人兴 奋的因素。这也是令人沮丧的因素：初学者以及有经验的即兴演奏者都绝对地受限于自身 的技术能力和乐器的形态。
[0003] 在美国2002/0194984 Al中公开了允许通过持续阶段生成作为音乐数据的输入序 列的实时连续的音乐的装置和方法。美国8, 097, 801 B2公开了用于基于现有乐曲的预录 演出的数据库生成乐曲的系统和方法。
[0004] 本文中所提供的"【背景技术】"描述以总体呈现本公开的内容为目的。目前署名的 发明人的工作，某种程度上描述在该【背景技术】部分，以及申请时未另限定为现有技术的说 明方面，既没有明示也没有暗示承认作为本发明的现有技术。


【发明内容】

[0005] 本公开的目的是提供一种用于自动生成能够跟随输入音乐数据的输入音乐数据 的实时伴奏的装置、系统和方法并且提供更好的伴奏。本发明的另一个目的是提供用于生 产在用于自动生成音乐的装置和方法中使用的音乐数据库的改进装置和方法，特别是提供 输入音乐数据的实时伴奏。本发明的另一个目的是提供用于实现上述方法的对应的计算机 程序、对应的计算机可读非暂时性介质和适合的音乐数据库。
[0006] 根据本公开的一个方面，提供了一种用于自动生成输入音乐数据的实时伴奏的装 置，所述装置包括：
[0007]-音乐输入部，接收音乐数据；
[0008]-音乐分析器，分析接收到的音乐数据以获得包括分析的音乐数据的一个或多个 特性的音乐数据描述；
[0009] -查询生成器，生成对包括音乐模式（music pattern)和相关联的元数据的音乐 数据库的查询，所述相关联的元数据包括所述音乐模式的一个或多个特性，从所述音乐数 据描述（music data description)和从描述所述实时伴奏的参数选择（preference)的伴 奏描述和/或描述音乐的一般规则的音乐规则生成所述查询；
[0010] -查询界面，使用生成的查询来查询所述音乐数据库并且接收通过使用所述查询 从所述音乐数据库选择的音乐模式；以及
[0011] -音乐输出部，输出所述接收的音乐模式。
[0012] 根据本公开的再一个方面，提供了一种用于自动生成输入音乐数据的实时伴奏的 方法，所述方法包括：
[0013] -接收音乐数据；
[0014] -分析接收的音乐数据以获得包括所述分析的音乐数据的一个或多个特性的音乐 数据描述；
[0015] -生成对包括音乐模式和包括所述音乐模式的一个或多个特性的相关联的元数据 的音乐数据库的查询；
[0016] -使用生成的查询来查询所述音乐数据库；
[0017] -接收通过使用所述查询从所述音乐数据库选择的音乐模式；以及
[0018] -输出所述接收的音乐模式。
[0019] 根据本公开的再一个方面，提供了一种用于自动生成输入音乐数据的实时伴奏的 系统，所述系统包括：
[0020] -根据本发明的装置，用于自动地生成作为输入音乐数据的实时伴奏的音乐；以 及
[0021] -音乐数据库，包括音乐模式和包括所述音乐模式的一个或多个特性的相关联的 元数据，所述音乐数据库被配置为通过使用查询由所述装置查询并且用于提供通过使用所 述查询从所述音乐数据库选择的音乐模式。
[0022] 根据本公开的另一个方面，提供了用于生成在用于自动生成音乐的装置和方法中 使用的音乐数据库的装置，所述装置包括：
[0023]-音乐输入部，其接收音乐数据；
[0024]-处理单元，其将所述音乐数据分段为音乐模式并且提取音乐模式的多个特性作 为所述音乐模式的元数据，所述特性包括音乐模式的至少和弦、每拍和/或小节的能量、音 符的密度和音高；
[0025] -音乐输出部，其将音乐模式和相关联的元数据存储在音乐数据库中。
[0026] 根据本公开的另一个方面，提供了用于生成在用于自动生成音乐的装置和方法中 使用的音乐数据库的方法，所述方法包括：
[0027]-接收音乐数据；
[0028]-将所述音乐数据分段为多个音乐模式；
[0029]-提取音乐模式的多个特性作为所述音乐模式的元数据，所述特性包括音乐模式 的至少和弦、每拍和/或小节的能量、音符的密度和音高；
[0030] -将音乐模式和相关联的元数据存储在音乐数据库中。
[0031] 根据本公开的另一个方面，提供了一种音乐数据库，包括：
[0032]-音乐模式，其包括从音乐数据分段的音乐的分段；以及
[0033]-元数据，其包括音乐模式的多个特性，所述特性包括音乐模式的至少和弦、每拍 和/或小节的能量、音符的密度和音高。
[0034] 根据又一个方面，提供了计算机程序，其包括程序代码手段，当述计算机上在执行 所述计算机程序时，使计算机执行根据本公开的方法的步骤；以及计算机可读非临时性介 质，其具有存储于其上的指令，当在计算机上执行时，所述指令使所述计算机进行根据本公 开的方法的步骤。
[0035] 在从属权利要求中限定了本发明的优选实施例。应理解的是，所要求保护的系统、 所要求保护的方法、所要求保护的计算机程序和所要求保护的计算机可读介质具有与如所 要求保护的装置和如在从属权利要求中限定的优选实施例类似和/或相同的优选实施例。
[0036] 本公开描述了用于生成伴奏的装置和方法，其可提供更大的灵活性并且使用更多 信息来生成伴奏。此外，本公开描述了用于生成音乐数据库，的装置和方法，该数据库可提 供灵活伴奏。在实施例中，生成的音乐数据库可用于以下装置和方法中：其中生成输入音乐 数据的音乐数据描述并且用于查询音乐数据库以搜索并且提供适合于输入音乐数据的音 乐模式。音乐数据描述可包括分析（对应）的音乐数据的一个或多个特性，并且因此可反 映出现在输入音乐数据中的本质变化，例如，如果音乐家改变音乐风格、演奏的风格、调、能 量等。因此，有可能生成"跟随（follows)"输入音乐数据的伴奏，S卩如果输入音乐数据中的 任何这种本质变化出现,伴奏即相应地做出反应。
[0037] 由于输入音乐数据的分析，通常音乐数据库的生成和查询是在现场和百忙之中进 行，例如当音乐家演奏时，伴奏可现场生成，使得可以以适当和灵活的方式为音乐家伴奏， 即使音乐家改变了音乐风格、演奏的风格、调、能量等。
[0038] 当优选地从由音乐家或一组音乐家演奏的现场音乐（即现场音频信号）获得输入 音乐数据时，其也可从所录制的音乐（例如音乐家的音频录音，其被重放且伴奏应加入其 中）获得。音乐数据也可以是原始音频信号、乐器指令数字化接口数据或其它预处理的音 乐数据而不是原始音频信号。
[0039] 音乐数据描述可包括各种数据，其表征为用于在音乐数据库中搜索音乐模式的查 询中所使用的分析的音乐数据。优选地，音乐数据描述包括所分析的音乐数据的音高、小 节、调、速度（tempo，拍子）、能量、音量、一个或多个乐器的类型以及曲调中的一个或多个。 已知特征提取或特征生成算法可被用于此目的，诸如开发以提取在MPEG-7标准中描述的 描述符的技术。此外，可与诸如Pachet, F.和 Zils, A.在"Automatic Extraction of Music Descriptors from Acoustic Signals"编辑 X.Serra，ISMIR 2004 的会议录，第 353-356 页，巴塞罗那，西班牙，2004年中描述的通用方法互换使用。
[0040] 除了音乐数据描述之外，伴奏描述描述了所述实时伴奏的参数选择和/或描述音 乐的一般规则的音乐规则可用于生成查询。
[0041] 伴奏描述优选地描述一组参数选择中的一个或多个参数选择,其包括伴奏所基于 的曲调、用于生成的伴奏一个或多个乐器、用于生成的伴奏的一个或多个音乐家、用于生成 的伴奏的音乐风格和乐器之间的相互作用。包括在此伴奏描述中的一个或多个参数通常优 选地提前或在现场（即，也可在伴奏过程中改变）由用户设置。可替代地或另外地，可在一 个实施例中提供包括在此伴奏描述中的一个或多个参数的自动设置。
[0042]音乐规则描述一组规则的音乐的一个或多个一般规则，其包含优选的变调、非优 选的变调、和声、与连续性相关的规则（例如不会经常从一个风格跳到另一个风格，仅在例 如强拍或声部中的第一小节等的某些测量位置跳跃）或与表演的整体能量级相关的规则 (例如，当其它媒介（agent)的能量级已经很高时而不超过某一能量级；可替代地，"如果其 他媒介不演奏，则更大声地演奏"）等。所述音乐规则通常被预先确定并且应当被理解为应 (或者必须）由从用于伴奏的音乐数据库检索的音乐模式符合的条件。音乐规则可用于查 询的生成，使得仅服从所述音乐规则的音乐模式被考虑并从数据库检索。可替代地，它们可 用于在接收响应于查询所检索的音乐模式后的检查以选择（最佳）符合音乐规则的检索的 音乐模式。
[0043] 音乐模式是存储在音乐数据库中的预录制（或预生成）的音乐片段（有时也被称 为"即兴重复段（riffs)"）。（在对应于一定数量的小节的长度的一个实施例中）音乐模 式优选地具有很短的持续时间，例如在10毫秒与几秒之间，优选地在100毫秒与5秒之间， 这从在音乐家演奏的时候录制的音乐获得。优选地，一个或多个音乐家演奏音乐，例如，音 乐的不同的标题、不同的艺术加工、不同的风格等（优选地使用不同的乐器），以获得音乐 数据库中的音乐模式的大集合。可替代地，音乐数据库可仅包含少量的音乐模式，例如对应 于由一个音乐家演奏的单个音乐片段的五到十个不同的艺术加工。
[0044] 存储在数据库中的音乐模式设置有描述对应的音乐模式的元数据。所述元数据优 选地在录制（或生成）的音乐的分析中获得。在此分析中，音乐被分成上述短音乐模式，其 然后被分析以获得相关的元数据。元数据优选包括一组元数据中的一个或多个数据，其包 括和弦、能量（例如每拍或小节）、音符的密度、和弦符号、调号、音阶、和弦引伸、相同调号 的根音（relative roots,相关根音）、音区、平均能量、风格、乐器等。因此，音乐模式的特 征在于元数据，其可用于搜索符合当前查询的一个或多个音乐模式。
[0045] 因此，本公开实现能够使装置、系统和方法自动生成音乐作为输入音乐数据的实 时伴奏，其能够跟随例如由音乐家演奏的现场音乐的输入音乐数据，并提供比已知的方法 和装置更好的伴奏。
[0046] 已经通过一般介绍的方式提供了前述段落，当并不旨在限制所附权利要求的范 围。将通过参考结合附图的下面的详细描述最好地理解所描述的实施例与其它优点。

【专利附图】

【附图说明】
[0047] 当结合附图考虑时，通过参照以下详细描述将很容易获得并且同样更好地理解本 公开的更完整的认识及其许多伴随的优点，在附图中：
[0048] 图1示出根据本公开的用于自动生成音乐的系统和装置的示意图；
[0049] 图2示出根据本公开的用于自动生成音乐的装置的实施例的示意图；
[0050] 图3示出根据本公开的用于自动生成音乐的方法的流程图；
[0051] 图4示出用于在根据本公开的用于自动生成音乐的装置中使用的查询生成器和 查询界面的实施例的示意图；以及
[0052] 图5示出用于生成音乐数据库的装置的实施例的示意图。

【具体实施方式】
[0053] 现在参考附图，其中相似的参考标号指代贯穿几个视图中的相同或对应的部件， 图1示出根据本公开的用于自动生成音乐的系统和装置的示意图。系统1包括根据本公开 的装置2,该装置用于自动生成作为输入音乐数据4的实时伴奏的音乐3。此外，系统1包 括根据本公开的音乐数据库5,该音乐数据库包括音乐模式和包括所述音乐模式的一个或 多个特性的相关联的元数据，所述音乐数据库被配置用于通过使用查询6由所述装置进行 查询和用于提供通过使用所述查询6从所述音乐数据库5选择的音乐模式7。
[0054] 应注意，在音乐数据库可通过使用一种数据结构来组织，其还被用于通过使用音 乐描述数据来查询音乐数据库的这个上下文中。然而，不是必需的是，音乐数据库包括用于 组织存储在其中的数据的这样的数据结构。特别地，在其它实施例中，音乐数据库可仅包括 一些（相当小数量）的音乐模式和相关联的元数据。这样（小数量）的音乐数据库可被集 成在例如用户定义的较大数据库中或其中用户已收集了其它（小数量）的音乐数据库的其 它预定的数据库。
[0055] 音乐数据库5可通过使用装置8生成（其是可选的，但不一定是所要求保护的系 统1的一部分），然后，其例如在线分配或在记录载体9上分配这些音乐数据库5中的一个 或多个。例如，对于每个音乐家来说，可以提供用于出售的不同的音乐数据库，然后用户通 过该音乐数据库自动生成音乐，通过其用户可在他/她演奏音乐时由所述音乐家（人工） 伴奏。
[0056] 输入音乐数据4可因此是由用户实时演奏的音乐，并且生成的音乐3是在现场生 成的音乐，并作为输入音乐数据4的实时伴奏自动地现场为用户伴奏。换言之，生成的音乐 3由要求保护的系统生成1，使得其跟随输入音乐数据4,因此，即使用户改变他/她的演奏 音乐风格，用户还遵循速度、和弦或如下面解释的其它音乐特征。
[0057] 音乐数据库5可被存储在记录载体上，例如由装置2内的对应的驱动读出的⑶、 DVD或BD9上。可替代地，音乐数据库5可被下载并存储在装置2内的内部存储器上，例如 PC的硬盘。在另外的其它替代实施例中，音乐数据库5可被设置在网络内（例如云10内） 或在预定服务器上在线存储在互联网内，装置2通过提交查询6和接收对应的音乐模式7 对音乐数据库进行在线访问。
[0058] 用于自动生成音乐的装置2和/或用于生成音乐数据库的装置优选地被实施为处 理器件，诸如对应的计算机程序（软件）在其上运行的计算机或工作站。在一个实施例中， 相同的处理器件（例如相同的计算机）可被实施为两个装置2和8。然而，在更实际的情形 中，用于自动生成音乐的装置2由用户的计算机或音乐生成系统（优选为音乐家）表示，然 而用于生成所述音乐数据库的装置8被设置在音乐公司和音乐工作室中，其中几位音乐家 录制他们的音乐且这些音乐录制被用于生成音乐数据库5。
[0059] 在实施例中，装置2、音乐数据库5和装置8中的一个或多个还可被包括在云10 中。在图1中所描绘的实施例中，仅音乐数据库5包括在云10内，即查询6被发送到云10 内的音乐数据库且所选择的音乐模型7被从云10中的音乐数据库5发送回装置2。然而， 如所提到的，这仅仅是一个实例，其它实施例也在实践中使用。其中分离元件被存储且它们 是如何实施的事实对于本公开来说一般不是必不可少的。
[0060] 一般地，"云计算"的概念包括利用一组共享计算资源（例如，服务器），其典型地 合并在一个或多个数据中心位置。例如，云计算系统可被实施为网页（web)服务，其使用户 在第三方数据中心启动和管理计算资源（例如，虚拟服务器实例）。在云环境中，计算机资 源可以是不同尺寸和构造，使得不同资源类型可被专用于满足不同用户的特定需求。例如， 一个用户可能希望使用小型实例作为网页服务器且另一较大实例作为数据库服务器，或甚 至更大实例用于处理器密集型应用。云计算提供了这种类型的外包灵活性（outsourced flexibility)，而无需管理组织内的额外硬件资源的购买和操作。基于云的计算资源被认 为在"云"中执行或驻留在其中的某处，这可能是公司内部网络或公共互联网。从应用开发 者或信息技术管理员的角度来看，云计算使得能够实现呈现出可量测性（例如，根据需要 增加或降低资源利用）、性能（例如，高效且快速执行）和可靠性（例如，从来没有、或至少 很少失败）的应用的开发和部署，而完全没有对底层基础设施的性质或位置的任何考虑。
[0061] 在图2中更详细地示出了根据本公开的装置2的实施例的示意图。装置2包括音 乐输入部21，例如，麦克风或用于耦接麦克风、用于接收音乐数据4的接口，以及音乐输出 部22,例如，扬声器或用于耦接扬声器或合成器的接口（例如音频接口和乐器指令数字化 接口），用于输出生成的音乐3作为输入音乐数据4的实时伴奏。
[0062] 装置2进一步包括音乐分析器23,其分析接收到的音乐数据4以获得包括分析后 的音乐数据的一个或多个特性的音乐数据描述24。设置查询生成器25,其接收所述音乐数 据描述并生成对音乐数据库5的查询6,如上所述。然而，为了生成所述查询6,查询生成器 25不仅使用音乐数据描述24,而且另外使用描述所述实时伴奏的参数选择的伴奏描述26 和/或使用描述音乐的一般规则的音乐规则27。
[0063] 通过使用查询界面28,使用生成的查询6查询音乐数据库5,响应于所述查询，从 所述音乐数据库5接收音乐模式7。所述音乐模式7然后被提供到音乐输出部22,用于输 出作为音乐模式3的输出。
[0064] 在图3中示出了根据本公开的用于自动生成音乐的所提出的方法的基本步骤的 流程图。在步骤Sl中，音乐数据4被接收。在步骤S2中，接收的音乐数据4被分析以获得 包括分析的音乐数据的一个或多个特性的音乐数据描述24。在步骤S3中，生成对包括音乐 模式的音乐数据库和包括所述音乐模式中的一个或多个特性的相关联的元数据的查询。在 步骤S4中，使用所生成的查询6查询音乐数据库5。在步骤S5中，接收通过使用所述查询 6从所述音乐数据库5选择的音乐模式7。最后，在步骤S6中，输出接收的音乐模式。
[0065] 在优选的实施例中，音乐分析器23被配置为获得音乐数据描述，其包括分析的音 乐数据的音高、小节、调、速度、能量的分布、平均能量、能量的峰、能量级、风格、和弦、音量、 音符的密度、音符的数量、平均音高、平均音程(mean interval，平均间隔）、最高音高、最低 音高、音高变化、和声持续时间、旋律持续时间、音程持续时间（interval duration，间隔持 续时间）、和弦符号、音阶、和弦引伸（chord extension)、相同调号的根音、音区、乐器类型 和曲调中的一个或多个。特定接收的音乐数据部分的音乐数据描述实际上包含上述数据中 的哪一个会取决于由其生成所述音乐数据的音乐类型和乐器类型。优选地，音乐分析器23 被配置为根据节奏连续地或以规律的间隔（interval)，特别地以在从10毫秒（msec)到10 秒的范围内的音长（length)的间隔（优选地从100毫秒到4秒））并且以从10毫秒至1 秒（优选地从100毫秒到500毫秒）的范围内的时间间隔（distance)分析接收的音乐数 据4。用于音乐数据的分析和用于生成音乐数据描述的方法在本领域中一般是已知的并且 包括如上所述的方法。
[0066] 在实施例中，查询生成器25被配置为使用伴奏描述26生成查询6,该伴奏描述描 述包括即兴演奏的曲调、即兴演奏的一个或多个乐器、即兴演奏的一个或多个音乐家、即兴 演奏的音乐风格和乐器之间的交互的一组参数选择中的一个或多个参数选择。例如，在实 施例中，如图2中所示，提供了用户界面29,允许用户输入所述伴奏描述26的一个或多个参 数选择。用户可以例如输入他/她想与鼓手（例如，某知名鼓手）演奏的表演和/或将表 演/即兴演奏的某首音乐的表演。因此，这个参数选择被包括在伴奏描述26中并且然后将 在生成查询6时被查询生成器25使用，使得已经由用户输入某个鼓手的情况下，包含由所 述鼓手记录的音乐模式和/或包括存储的模仿所述特定鼓手的风格的音乐模式的对应的 音乐数据库用于被查询。
[0067] 再给出另一个实例，伴奏描述还可包含指示乐器之间的相互作用/影响的参数选 择。例如，可定义其中乐器可演奏的模进（sequence)、它们可能会开始/停止演奏的模进、 特定乐器将在什么条件下演奏的更大声音或更安静。此外，作为实例，可定义鼓在第一声部 (或模进）中应保持恒定，即独立于从其它乐器提取的任何音乐描述符，但是后来应取决于 第二声部（或模进）中的贝司的能量级。
[0068] 在另一个实施例中，查询生成器25被配置为使用描述伴奏应遵循所述输入音乐 数据4的哪一个参数的伴奏描述26以用于生成所述查询6。例如，可规定，伴奏应遵循演 奏输入音乐数据4的特定乐器的能量。其它实例是贝司应该"向上"或"向下"演奏，这取 决于例如吉他独奏的音高范围，或取决于鼓的能量级，可替代地，钢琴应演奏更多或更少音 符,这取决于由（人）独奏家演奏的每秒的音符数。
[0069] 如以上所解释的，由伴奏描述26描述的参数选择可由用户通过用户界面29输入。 此外或作为替代的，可通过使用在图2中用虚线示出的伴奏描述生成器31自动生成所述伴 奏描述26的一个或多个参数选择。例如，所述伴奏描述生成器31可被配置为自动决定哪 些乐器与输入音乐数据4最适合和/或哪些音乐风格应该被即兴演奏以最适合于输入音乐 数据4。
[0070] 作为可替代的或除了伴奏描述之外，查询生成器26使用描述包括优选的变调、非 优选的变调、和声、与连续性相关的规则或与表演的整体能量级相关的规则的一组音乐的 规则的一个或多个一般的音乐规则27以用于生成查询6。所述音乐规则优选地被存储在音 乐规则数据库30中并且通常是预定的（但也可至少部分地由用户设置）。所述音乐规则例 如可包括禁止某些变调或限定优选的和声或禁止的不和谐的规则。优选每个乐器、每个音 乐家和/或每个音乐风格均定义那些音乐规则，即可在音乐规则数据库30中存在可用的音 乐规则的各种子数据库，其可在特定情况下根据需要由查询生成器25访问。
[0071] 在该上下文中，即在音乐的上下文下，变调通常被理解为中间部分或正式功能，而 主要的主旋律是起点，且从属的主旋律是结局。传统的可能是奏鸣曲形式的呈示部（Sonata form's exposition)的一部分，其中作曲家从第一主题的调调节到第二的主题的调，虽然 很多经典的时代作品从第一到第二主题组直线移动，而没有任何变调。
[0072] 更进一步地，在实施例中，查询生成器可被配置为每个即兴演奏的乐器生成查询 6。这在图4中示意地描绘。在本实施例中应作为实例，假设三个不同的乐器（例如鼓、贝司 和吉他）将即兴演奏来为现场演奏萨克斯管的音乐家伴奏。查询生成器25'因此为即兴演 奏的三个不同乐器中的每个生成不同的查询6a、6b、6c。在本实施例中，查询界面28'包括 三个查询子界面28a、28b、28c，均用于处理和使用所述三个查询6a、6b、6c中的一个来查询 不同音乐数据库5a (包括针对贝司的音乐模式）、5b (包括针对吉他的音乐模式）和5c (包 括针对鼓手的音乐模式）。作为响应，接收针对即兴演奏的不同乐器的三个音乐模式7a、 7b、7c，其然后由查询界面28'输出到音乐输出部22。
[0073] 当然，图4中所示的实施例仅应被理解为实例。可能会有更多的可用音乐数据库， 例如，针对其它乐器、不同音乐家、不同音乐风格、不同曲调等。如上所述，音乐数据库可供 在线出售或在记录载体上使用，使得用户可决定哪个音乐数据库对他/她的目的来说是有 用的。例如，在线商店可提供多个音乐数据库，例如，均包括来自不同音乐家的音乐、不同音 乐作品、不同风格的艺术处理等。用户可选择一个音乐数据库、下载并将其添加到现有数据 库和/或将其保持为单独的数据库。在特定查询中，也可规定哪个特定音乐数据库应由查 询界面28'访问，其中查询生成器25'当然优选地知道哪个音乐数据库可用于被查询。
[0074] 在以上描述中，与生成作为输入音乐数据的实时伴奏的音乐相关的所有可用信息 一般用于生成查询，即音乐数据描述24、伴奏描述26和/或音乐规则27通常被用于生成特 定查询6。可替代地或另外地，这些数据的部分或所有可用于可选的检查模块32 (参见图 2)，以检查是否从音乐数据库中选择的一个或多个接收的音乐的模式5符合所有规定的标 准和/或用于选择最符合包含在音乐数据描述24、伴奏描述26和/或音乐规则27中的所 有规定标准的音乐模式。例如，在实施例中，仅音乐数据描述24和伴奏描述可被用于生成 查询6,其可导致三种不同音乐模式7的选择。在可选的检查模块32中，音乐规则27然后 可额外地用于从三个所选的音乐模式中选择最符合音乐规则27的音乐模式，然后，该音乐 模式被提供给输出单元22。
[0075] 另外地或可替代地，在多于一个音乐模式在响应于查询6被返回的情况下，检查 模块32可服务随机选择一个返回的音乐模式来作为输出音乐模式的目的。在其它实施例 中，选择可基于一个或多个额外的音乐数据描述项（例如，通过音乐分析器23从输入音乐 获得音乐数据描述项，但其不用于查询）。
[0076] 图5示出了用于生成音乐数据82,特别是用于在上述系统中使用的根据本公开的 装置8和用于自动生成音乐，特别是用于自动生成输入音乐数据的实时伴奏的根据本公开 的方法的实施例。该装置8包括用于接收音乐（特别是音频数据，由音乐家现场演奏或由 音乐家提前录制）的音乐输入部81。接收的音乐数据82被提供到处理单元83,其处理音 乐数据82以生成音乐模式84和包括所述音乐模式84的一个或多个特性的相关联的元数 据85。所述音乐模式84和相关联的元数据85然后被提供给输出界面86,其将所述音乐模 式84和相关联的元数据85记录在音乐数据库5中，其然后被输出，例如存储在记录载体上 或存储在服务器（例如网上商店以销售给用户）上。
[0077] 为了生成音乐数据库，优选的是音乐家以不同风格、不同节奏、不同能量演奏和即 兴演奏许多不同的曲调，以具有可用于检索音乐模式和相关联的元数据的可用的许多不同 音乐数据，使得演奏和即兴演奏所述音乐家的音乐的方式最好由针对该特定音乐家的存储 在音乐数据库5中的数据来表示。可用的音乐数据82优选地在处理单元83中被分段成音 乐模式（即短的音频数据片段），其然后被分析以提取音乐模式的特性特征。对于该特性， 可使用已知的特征提取算法，例如，如在Pachet, F.和Zils, A.的"Automatic Extraction of Music Descriptors from Acoustic Signals"，编辑 X.Serra，ISMIR 2004 会议录，第 353-356页，巴塞罗那，西班牙，2004年中描述的提取发现系统（EDS)。
[0078] 因此，可提取相同的（或基本或部分相同）的特性特征，用于由上述的音乐分析器 23生成音乐数据描述（或者更确切地说，当数据库5被创建时，相同的特征由音乐分析器 23从由处理单元83提取的输入音乐数据提取以描述音乐模式）。特别地，音高、小节、调、速 度、能量的分布、平均能量、能量的峰、能量级、风格、和弦、音量、音符的密度、音符的数量、 平均音高、平均音程、最高音高、最低音高、音高变化、和声持续时间、旋律持续时间、音程持 续时间、和弦符号、音阶、和弦引伸、相同调号的根音、音区、乐器类型和输入音乐数据的曲 调中的一个或多个被提取并与对应的音乐模式一起被存储为元数据。音乐模式通常是具有 从100毫秒至几秒的范围内的时间长度的小音乐片段。优选地，音乐变调使人具有很大兴 趣且主要与对应的元数据一起作为音乐模式存储在音乐数据库中。
[0079] 在下文中，提供了示出数据库项和查询的实例的音乐数据库的实例。钢琴曲目数 据库的提取可如下：
[0080]

【权利要求】
1. 一种用于自动生成输入音乐数据的实时伴奏的装置，所述装置包括： -音乐输入部，接收音乐数据； -音乐分析器，分析接收到的音乐数据以获得包括分析的音乐数据的一个或多个特性 的音乐数据描述； -查询生成器，生成对包括音乐模式和相关联的元数据的音乐数据库的查询，所述相关 联的元数据包括所述音乐模式的一个或多个特性，从所述音乐数据描述和从描述所述实时 伴奏的参数选择的伴奏描述和/或描述音乐的一般规则的音乐规则生成所述查询； -查询界面，使用生成的查询来查询所述音乐数据库并且接收通过使用所述查询从所 述音乐数据库选择的音乐模式；以及 -音乐输出部，输出所接收的音乐模式。
2. 根据权利要求1所述的装置， 其中，所述音乐分析器被配置为获得音乐数据描述，所述音乐数据描述包括所述分析 的音乐数据的一个或多个小节、调、速度、能量的分布、平均能量、能量的峰、能量级、风格、 和弦、音量、音符的密度、音符的数量、平均音高、平均音程、最高音高、最低音高、音高变化、 和声持续时间、旋律持续时间、音程持续时间、和弦符号、音阶、和弦引伸、相同调号的根音、 音区、一个或多个乐器的类型以及曲调中的一个或多个。
3. 根据权利要求1所述的装置， 其中，所述音乐分析器被配置为以规律的间隔分析接收到的音乐数据，特别地以从10 毫秒至10秒范围内的音长的间隔和以从10毫秒至1秒的范围内的时间间隔。
4. 根据权利要求1所述的装置， 其中，所述查询生成器被配置为使用伴奏描述以生成所述查询，所述伴奏描述描述包 括即兴演奏的曲调、即兴演奏的一个或多个乐器、即兴演奏的一个或多个音乐家、即兴演奏 的音乐风格和乐器之间的相互作用的一组参数选择中的一个或多个参数选择。
5. 根据权利要求1所述的装置， 其中，所述查询生成器被配置为使用伴奏描述以生成所述查询，所述伴奏描述描述伴 奏应遵循所述输入数据中的哪一个参数。
6. 根据权利要求1所述的装置， 其中，所述查询生成器被配置为使用音乐规则以生成所述查询，所述音乐规则描述包 括优选的变调、非优选的变调、和声、与连续性相关的规则或与表演的整体能量级相关的规 则的一组规则中的一个或多个音乐的一般规则。
7. 根据权利要求1所述的装置， 其中，所述查询生成器被配置为使用每个乐器、每个音乐家和/或每个音乐风格的音 乐规则以生成所述查询。
8. 根据权利要求1所述的装置， 其中，所述查询生成器被配置为生成即兴演奏的每个乐器的查询。
9. 根据权利要求1所述的装置， 进一步包括伴奏描述生成器，所述伴奏描述生成器从所述输入音乐数据自动地生成所 述伴奏描述的一个或多个参数选择。
10. 根据权利要求1所述的装置， 进一步包括检查模块，所述检查模块用于检查与所述音乐数据描述、所述伴奏描述和/ 或所述音乐规则相对的一个或多个选择的音乐模式。
11. 一种用于自动生成输入音乐数据的实时伴奏的方法，所述方法包括： -接收音乐数据； -分析接收的音乐数据以获得包括分析的音乐数据的一个或多个特性的音乐数据描 述； -生成对包括音乐模式和相关联的元数据的音乐数据库的查询，所述相关联的元数据 包括所述音乐模式的一个或多个特性，从所述音乐数据描述和从描述所述实时伴奏的参数 选择的伴奏描述和/或描述音乐的一般规则的音乐规则生成所述查询； -使用生成的查询来查询所述音乐数据库； -接收通过使用所述查询从所述音乐数据库选择的音乐模式；以及 -输出所接收的音乐模式。
12. -种用于自动生成输入音乐数据的实时伴奏的系统，所述系统包括： _根据权利要求1至13中任一项定义的装置，自动地生成作为输入音乐数据的实时伴 奏的音乐；以及 -音乐数据库，包括音乐模式和相关联的元数据，所述相关联的元数据包括所述音乐模 式的一个或多个特性，所述音乐数据库被配置用于通过使用查询而被所述装置查询并且用 于提供通过使用所述查询从所述音乐数据库选择的音乐模式。
13. 根据权利要求12所述的系统， 进一步包括云，所述云包括自动生成音乐的装置、所述音乐数据库和生成所述音乐数 据库的所述装置中的至少一个。
14. 一种用于生成音乐数据库的装置，所述音乐数据库用于在用于自动生成音乐的装 置和方法中使用，所述装置包括： -音乐输入部，接收音乐数据； -处理单元，将所述音乐数据分段为音乐模式并且提取所述音乐模式的多个特性作为 所述音乐模式的元数据，所述特性包括音乐模式的至少和弦、每拍和/或小节的能量、音符 的密度和音高； _音乐输出部，将所述音乐模式和相关联的元数据存储在所述音乐数据库中。
15. -种用于生成音乐数据库的方法，所述音乐数据库用于在用于自动生成音乐的装 置和方法中使用，所述方法包括： -接收音乐数据； -将所述音乐数据分段为多个音乐模式； -提取音乐模式的多个特性作为该音乐模式的元数据，所述特性包括音乐模式的至少 和弦、每拍和/或小节的能量、音符的密度和音高； -将多个音乐模式和相关联的元数据存储在音乐数据库中。
16. -种计算机程序，包括程序代码手段，当在计算机上执行所述计算机程序时，所述 程序代码手段用于使计算机执行根据权利要求11或15所述的方法的步骤。
17. -种计算机可读的非临时性介质，具有存储在其上的指令，当在计算机上执行所述 指令时使所述计算机执行根据权利要求11或15所述的方法的步骤。
18. -种音乐数据库，包括： _多个音乐模式，包括从音乐数据分段的音乐的多个分段；以及 -元数据，包括音乐模式的多个特性，所述特性包括音乐模式的至少和弦、每拍和/或 小节的能量、音符的密度和音高。
19. 根据权利要求18所述的音乐数据库， 包括：从由相同的音乐家、由不同的音乐家演奏演奏的音乐或由不同的音乐家以一种 或多种音乐风格演奏的相同的音乐曲调获得的多个音乐模式。
20. -种计算机可读记录载体，存储根据权利要求18所述的音乐数据库。
21. 在用于自动生成作为输入音乐数据的实时即兴演奏的音乐的方法或装置中使用根 据权利要求18所述的音乐数据库。
【文档编号】G10H1/00GK104380371SQ201380029343
【公开日】2015年2月25日 申请日期:2013年6月3日 优先权日:2012年6月4日
【发明者】弗朗索瓦·帕谢, 皮埃尔·罗伊 申请人:索尼公司