用于使用语义数据执行自动音频制作的系统和方法
【专利说明】
[0001]相关申请的交叉引用
[0002] 本申请要求2013年8月28号提交的并且标题为"System and method for performing automatic audio mixing using semantic rules" 的序列号为61/871，168的 美国临时专利申请的优先权，其说明书以引用方式并入本文。
技术领域
[0003] 下文涉及用于执行自动的音频处理，更具体地说通过使用语义数据的系统和方 法。
[0004] 背景
[0005] 在音频制作的所有的领域(例如，录音棚录音、现场表演、广播），通常使用一系列 信号处理工具来处理音频信号。这包括处理单独音频信号，例如主控完成的混音；以及处理 和组合由不同的声源(例如，合奏内的组件乐器)制作的多个音频信号。所述处理的目标是 改善所得的音频信号的审美特性，例如以便在组合多个信号时制作高质量的混音;或者粘 附到与传输相关的一些功能约束，例如以便最小化由于诸如mp3的数据压缩的信号劣化，或 者减轻飞机上的背景噪音的影响。目前，这一工作由通常专门从事制作的特定区域的音频 技术人员手动完成。他们执行的任务可能非常耗费人力，并且对于业余爱好者，进入所述领 域时存在陡峭的学习曲线，并且在购买音频设备方面往往成本过高。
[0006] 因此，存在对自动音频制作的需要。
[0007] 概述
[0008] 根据第一广义方面，提供一种用于执行自动音频制作的计算机实施方法，其包括： 接收要处理的音频信号;接收语义信息;使用所接收语义信息确定至少一个基于语义的规 贝1J，所述基于语义的规则包括定义应该如何制作要处理的音频信号的制作数据;使用所述 制作数据处理所述要处理的音频信号，从而获取制作的音频信号;输出所制作的音频信号。
[0009] 在一个实施方案中，语义信息涉及要处理的音频信号。
[0010] 在一个实施方案中，从用户接口接收语义信息。
[0011] 在一个实施方案中，所述方法还包括从所接收音频信号确定语义信息。
[0012] 在另一实施方案中，语义信息涉及参考音频信号，所述方法还包括:接收所述参考 音频信号；以及从所述参考音频信号提取语义信息。
[0013] 在一个实施方案中，语义信息包括染色体特征、分类特征和制作特征中的至少一 个。
[0014] 在一个实施方案中，制作数据包括要执行的给定音频处理动作和所述给定音频处 理动作的相应静态特性、所述音频处理动作的配置以及所制作音频信号的目标制作特征中 的至少一个。
[0015] 在一个实施方案中，确定包括制作数据的基于语义的规则的步骤包括:访问包含 多个参考记录的数据库，所述多个参考记录各自包括相应参考分类特征、相应参考染色体 特征、参考处理动作的相应参考配置、参考处理动作的相应参考静态特性以及相应参考制 作特征;识别匹配包含在语义信息中的染色体特征、分类特征和制作特征中的至少一个的 至少一个参考记录；以及使用至少一个识别的参考记录来为要执行的给定音频处理动作和 所述给定音频处理动作的相应静态特性、所述音频处理动作的配置以及所制作音频信号的 目标制作特征中的至少一个分配值。
[0016] 在一个实施方案中，所述方法还包括使用分配给目标制作特征的值来确定给定处 理动作的动态特性。
[0017] 在一个实施方案中，处理音频信号的步骤包括根据所述配置并使用所述静态及动 态特性来对所述音频信号执行给定音频处理动作。
[0018] 在一个实施方案中，所述方法还包括确定给定音频处理动作之间的制作特征的 值，并且相应地修改所述动态特性。
[0019] 在一个实施方案中，基本上实时执行接收要处理的音频信号和输出制作的音频信 号的步骤，使得要处理的音频信号和制作的音频信号是同步的。
[0020] 在一个实施方案中，仅为要处理的音频信号的一个区域确定制作数据。
[0021] 在一个实施方案中，所述方法还包括接收用户制作偏好的步骤，所述处理音频信 号通过使用制作数据和用户制作偏好执行。
[0022] 在一个实施方案中，所述方法还包括从用户接收对所制作的音频信号的评估，并 且使用所接收的评估来确定用户制作偏好。
[0023] 根据第二广义方面，提供一种其上记录有语句和指令的计算机可读介质，所述语 句和指令用于由处理单元执行以便执行上述方法的步骤。
[0024] 根据另一广义方面，提供一种自动音频制作系统，其包括:语义分析模块，其用于 接收语义信息并使用所接收的语义信息来确定至少一个基于语义的规则，所述基于语义的 规则包括定义应该如何制作要处理的音频信号的制作数据;和音频处理模块，其用于接收 要处理的音频信号，使用所述制作数据处理所述要处理的音频信号，以便获取制作的音频 信号并且输出所制作的音频信号。
[0025] 在一个实施方案中，语义信息涉及要处理的音频信号。
[0026] 在一个实施方案中，语义分析模块适应于从用户接口接收语义信息。
[0027] 在一个实施方案中，语义分析模块进一步适应于接收要处理的音频信号并从所述 要处理的音频信号确定语义信息。
[0028] 在另一个实施方案中，语义信息涉及参考音频信号，所述语义分析模块进一步适 应于:接收参考音频信号;并且从所述参考音频信号提取语义信息。
[0029] 在一个实施方案中，语义信息包括染色体特征、分类特征和制作特征中的至少一 个。
[0030] 在一个实施方案中，制作数据包括要执行的给定音频处理动作和所述给定音频处 理动作的相应静态控制参数、所述音频处理动作的配置以及所制作音频信号的目标制作特 征中的至少一个。
[0031] 在一个实施方案中，所述系统还包括:包含多个参考记录的制作数据库，所述多个 参考记录含各自包括相应参考分类特征、相应参考染色体特征、参考处理动作的相应参考 配置、参考处理动作的相应参考静态控制参数以及相应参考制作特征，所述语义分析模块 适应于:识别匹配包含在语义信息中的染色体特征、分类特征和制作特征中的至少一个的 至少一个参考记录;并且使用至少一个识别的参考记录来为要执行的给定音频处理动作和 所述给定音频处理动作的相应静态控制参数、所述音频处理动作的配置以及所制作音频信 号的目标制作特征中的至少一个分配值。
[0032]在一个实施方案中，所述音频处理模块适应于使用分配给目标制作特征的值来确 定给定处理动作的动态控制参数。
[0033]在一个实施方案中，所述音频处理模块包括多个音频处理器，并且适应于根据所 述配置组织所述多个音频处理器并根据所述静态及动态控制参数控制所述多个音频处理 器。
[0034]在一个实施方案中，所述音频处理模块进一步适应于确定音频处理器之间的制作 特征的值，并且相应地修改所述动态参数。
[0035]在一个实施方案中，基本上实时执行要处理的音频信号的输入和制作的音频信号 的输出，使得要处理的音频信号和制作的音频信号是同步的。
[0036] 在一个实施方案中，所述语义分析模块适应于仅为要处理的音频信号的一个区域 确定制作数据。
[0037] 在一个实施方案中，所述语义分析模块进一步适应于接收用户制作偏好并使用所 述用户制作偏好来确定制作数据。
[0038] 在一个实施方案中，所述系统还包括制作评估模块，所述制作评估模块用于从用 户接收对所制作的音频信号的评估，并且使用所接收的评估来确定用户制作偏好。
[0039] 在其他方面，提供被配置来执行以上方法的系统、装置和计算机可读介质。
[0040] 尽管它们用于处理音频信号，但应理解，上述方法和系统可用于处理多于一个音 频信号。例如，所述方法和系统可接收包含至少一个音频信号的音频文件并使用与用于单 个音频信号的方法相同的方法来处理所述至少一个音频信号。当所述音频文件包含多于一 个音频信号时，处理过的音频信号可进一步被混合在一起。
[0041 ] 附图简述
[0042]现在将仅参考附图通过实例来描述实施方案，其中：
[0043]图1是根据一个实施方案的一种用于使用语义规则处理音频文件的方法的流程 图；
[0044]图2是根据一个实施方案的一种用于使用语义规则处理音频文件的系统的框图； [0045]图3是自主多轨音乐制作系统和这种系统的语义处理模块的实例的框图；
[0046]图4是语义处理模块的说明性配置的实例的框图；
[0047]图5是语义规则的实例的说明性描绘；
[0048] 图6是示出语义处理模块与音频混合引擎的示例性集成的框图；
[0049] 图7是示出示例性计算机可执行指令的流程图，在操作语义处理混合以便将语义 规则应用到音频数据时可执行所述计算机可执行指令；
[0050] 图8A至8D是示出示例性计算机可执行指令的流程图，在使用自主多轨混合引擎结 合交叉自适应音频处理执行语义混合时可执行所述计算机可执行指令；
[0051 ]图9是示出具有语义处理模块的自主多轨音乐制作系统的框图；
[0052] 图10是示出自主多轨音乐制作系统的多轨子群的框图；
[0053] 图11是示出自主多轨音乐制作系统的交叉自适应特征处理元件的框图；
[0054] 图12是示出自主多轨音乐制作系统的示例性多轨混合处理器的框图；
[0055] 图13是根据一个实施方案的一种用于确定制作数据的方法的流程图；
[0056]图14是根据一个实施方案的一种用于确定制作数据的系统的框图；
[0057] 图15是根据一个实施方案的包括嵌入式语义分析模块的自主音频制作系统的框 图；
[0058] 图16是根据一个实施方案的语义分析模块的框图；
[0059] 图17是根据一个实施方案的示出语义数据提取器的框图；
[0060] 图18示出根据一个实施方案的包含在语义数据容器中的语义数据；
[0061] 图19示出根据一个实施方案的包含在制作数据库中的参考数据记录；
[0062]图20是根据一个实施方案的推理引擎的框图；
[0063] 图21是第一示例性自主音频制作系统的框图；
[0064] 图22是第二示例性自主音频制作系统的框图；
[0065]图23是第三示例性自主音频制作系统的框图；并且
[0066] 图24是根据一个实施方案的包括用户评估和自学反馈的自主音频制作系统的框 图。
[0067] 详述
[0068] 应了解，为了简单且清晰地说明，在认为适当的情况下，参考数字可在图中重复以 便指示对应或相似元件。另外，阐述众多具体细节以便提供对本文描述的实例的透彻理解。 然而，本领域技术人员将理解，本文描述的实例可以在没有这些具体细节的情况下进行实 践。在其他情况下，众所周知的方法、程序以及部件没有进行详细描述，以便不会遮掩本文 描述的实例。而且，描述不应被认为限制本文描述的实例的范围。
[0069] 将了解，本文使用的实例和对应的图仅用于说明目的。在不背离本文表述的原理 的情况下可使用不同配置和术语。例如，部件和模块可被添加、删除、修改或布置有不同连 接而不背离这些原理。
[0070] 已经发现，尽管自动音频制作系统存在进步，但不存在将在所有情况下工作得很 好的单组控制参数或制作目标。例如，制作目标将根据乐器和流派(例如，电子舞曲通常声 音远远高于爵士乐），个人可能喜欢具有特定控制参数集的处理工具(例如，具有特定管放 大器类似仿真的失真单元)或者具有特定配置的处理工具的声音;并且控制参数和制作目 标均要适应取决于输出目的地(例如，要在一个安静的房间或嘈杂的飞机上播放）。现有自 动音频制作系统不考虑这些因素。
[0071] 为了解决这些考虑，下文描述并入使用来自音频信号的数据和/或测量的基于语 义的分析，以便确定要对音频信号执行的音频处理动作。可单独执行或结合自主音频制作 执行这种基于语义的音频分析。使用制作数据来制作音频可被解释为实施已通过使用语义 数据得到的一组基于语义的规则。这些基于语义的规则可以是静态的，由此所述规则规定 固定的处理设置，例如，处理器配置和控制参数;或者动态的，由此所述规则规定制作目标， 并且所述处理设置取决于输入音频信号的特定特征变化(动态地）。
[0072] 图1示出用于根据语义规则处理音频信号或多个音频信号的计算机实施方法1的 一个实施方案。在步骤2处，接收要处理的音频文件以及关于所述音频文件的语义信息。音 频文件可包括要处理的单个音频信号，或者要处理且混合在一起的多个音频信号。关于音 频文件的语义信息可通过用户接口由用户输入并从用户接口接收。在同一或另一实施方案 中，从音频文件自身可自动确定关于音频文件的语义信息。
[0073] 在步骤3处，从所接收语义信息确定要应用到音频文件的至少一个语义规则。语义 规则包含要用于处理音频文件的制作数据。制作数据描述应该如何制作所述音频文件。例 如，制作数据可以指示要执行的音频处理动作的类型、音频处理动作的特性/参数、要执行 的音频处理动作的配置或序列，和/或所处理音频信号应该具有的期望目标制作特征。期望 目标制作特征随后用于确定音频处理动作的动态控制特性。
[0074] 在一个实施方案中，语义规则是静态的。如下文所述，静态语义规则定义要对音频 文件执行的特定动作/处理和所述特定动作/处理的参数，例如，静态语义规则的一个实例 如下："如果踢鼓存在，那么将均衡器放到在100Hz，增益在-3dB，品质因子在2.2的低音吉他 上"。或者，语义规则可以是动态的。如下文所述，动态语义规则定义处理过的音频文件的制 作特征的期望目标值。示例性动态语义规则可以是如下："获取处理过的音频文件的约-6.5dB的目标输出均方根(RMS)级"。
[0075] 在步骤4,根据所确定的语义规则处理音频文件。在语义规则是静态的实施方案 中，将定义在静态语义规则中的处理动作应用到音频文件以便获取处理过的音频文件。在 语义规则是动态的实施方案中，首先确定允许获取制作特征的期望目标值的处理动作，并 且随后对音频文件执行所确定的处理动作以便获取处理过的音频文件。回去参考实例，首 先确定修改RMS级所需要的处理动作，即，使用限制器，并且随后确定用于将RMS从其初始值 达到约-6.5dB的限制器的参数。随后将所确定的处理动作应用到音频文件。
[0076] 在确定要对音频文件执行多于一个处理动作的实施方案中，所述方法1还可包括 确定要执行的处理动作的执行顺序或序列的步骤。这对应于确定将处理音频文件的音频处 理器的配置，即，所述音频处理器在音频处理器链内的相对位置。
[0077]如果音频文件包括多于一个音频信号，那么处理步骤4可包括根据语义规则处理 音频信号和将处理过的音频信号混合在一起的步骤。
[0078]在步骤5,输出处理过的音频文件。在一个实施方案中，处理过的音频文件存储在 永久或临时存储器中。在同一或另一实施方案中，处理过的音频文件发送给音频渲染器或 声音系统以便通过例如扬声器回放。
[0079] 图2示出用于根据至少一个语义规则处理音频文件的系统6的一个实施方案。系统 6包括语义规则确定单元7和音频处理器8。语义规则确定单元7适应于接收关于要处理的音 频文件的语义信息，并且确定要应用到音频文件的至少一个语义规则，如下文更详细描述 的。在一个实施方案中，语义规则确定单元7适应于确定至少一个静态语义规则。在另一实 施方案中，语义规则确定单元7适应于确定至少一个动态语义规则。应理解，语义规则确定 单元7还可适应于为同一音频文件确定至少一个静态语义规则和至少一个动态语义规则。
[0080] 音频处理器8适应于接收要处理的音频文件，并且结合语义规则确定单