分解音频信号的制作方法
【技术领域】
[0001] 本发明总体上涉及信号处理，更具体地，涉及将来自至少两个不同声道的多个音 频信号分解为直达和/或扩散信号。
【背景技术】
[0002] 在诸如音频上混合、音频制作等许多应用中，可以采用上混合技术来创建具有沉 浸感的声场。在这种应用中，可能通常需要将多声道音频信号分解为直达和/或扩散信号。
[0003] 如本文所使用，术语"直达信号"或"直达成分"是指给收听者如下印象的音频信 号或成分，即所听到的声音具有明显的方向。术语"扩散信号"或"扩散成分"是指给收听 者如下印象的音频信号或成分，即所听到的声音不具有明显方向或者是从该收听者周围多 个方向发出的。典型地，直达信号可以是多声道音频信号中来源于直达声音源并且在声道 之间平移的较主要的声音信号。扩散信号可以是多声道音频信号中与直达声音源弱相关的 并且跨声道而分布的较不主要的声音信号，诸如环境声音、混响等。如本文所使用，术语"主 要信号"或"主要成分"是指多个信号或成分中具有较大功率的信号或成分。
[0004] 期望提供一种较准确的分解多声道音频信号的方式，以便提供更具沉浸感的声 场。
【发明内容】
[0005] 为了解决上述问题，本发明提出一种用于分解来自至少两个不同声道的多个音频 信号的方法和系统。
[0006] 在一个方面，本发明的实施例提供一种用于分解来自至少两个不同声道的多个音 频信号的方法。该方法包括：获得一组成分，该组成分是弱相关的，该组成分基于该多个音 频信号而生成；从该组成分提取特征；至少部分地基于所提取的特征来确定与该组成分相 关联的一组增益，所述增益中的每个增益指示相关联的成分中的扩散部分的比例；以及通 过将该组增益应用到该组成分来分解该多个音频信号。这方面的实施例还包括相应的计算 机程序产品。
[0007] 在另一方面，本发明的实施例提供一种用于分解来自至少两个不同声道的多个音 频信号的系统。该系统包括：成分获得单元，被配置为获得一组成分，该组成分是弱相关的， 该组成分基于该多个音频信号而生成；特征提取单元，被配置为从该组成分提取特征；增 益确定单元，被配置为至少部分地基于所提取的特征来确定与该组信号成分相关联的一组 增益，所述增益中的每个增益指示相关联的成分中的扩散部分的比例；以及分解单元，被配 置为通过将该组增益应用到该组成分而分解该多个音频信号。
[0008] 通过下文描述将会理解，根据本发明的实施例，来自多个声道的多个音频信号的 方向性和扩散性特性可以基于根据该音频信号生成的一组弱相关的成分来较准确地分析。 因此，音频信号的分解可以较准确，以使得可以创建更具沉浸感的声场。
[0009] 本发明的实施例所带来的其他益处将通过下文描述而清楚。
【附图说明】
[0010] 通过参考附图阅读下文的详细描述，本发明实施例的上述以及其他目的、特征和 优点将变得易于理解。在附图中，以示例而非限制性的方式示出了本发明的若干实施例，其 中：
[0011] 图1示出了根据本发明的某些示例实施例的用于分解来自至少两个不同声道的 多个音频信号的过程的框图；
[0012] 图2示出根据本发明的某些实施例的用于分解来自至少两个不同声道的多个音 频信号的方法的流程图；
[0013] 图3示出了根据本发明的一个实施例的用于确定增益的方法的流程图；
[0014] 图4示出了根据本发明的另一实施例的用于确定增益的方法的流程图；
[0015] 图5示出根据本发明的某些实施例的用于分解多个音频信号的的过程的框图；
[0016] 图6示出了根据本发明的某些示例实施例的用于分解来自至少两个不同声道的 多个音频信号的系统的框图；以及
[0017] 图7示出了适于用来实现本发明实施例的计算机系统的示意性框图。
[0018] 在各个附图中，相同或对应的标号表7K相同或对应的部分。 具体实施例
[0019] 下面将参考附图中示出的若干示例实施例来描述本发明的原理。应当理解，描述 这些实施例仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何 方式限制本发明的范围。
[0020] 如本文所使用，术语"包括"及其变型要被理解为开放的术语，即意味着"包括但不 限于"。术语"基于"要被理解为"至少部分地基于"。术语"一个实施例"和"一实施例"要 被理解为"至少一个实施例"。术语"另一实施例"要被理解为"至少一个其他实施例"。以 下可以包括其他明确和隐含的定义。
[0021] 在分解多声道音频信号的传统方式中，直接对原始多声道音频信号进行分解，并 且继而将具有最大功率的成分确定为直达成分，而将其他成分确定为扩散成分。这种方式 在期望输出音频信号的改善的艺术效果的应用中可能太粗糙。在该应用中，可能期望向收 听者提供更具沉浸感的扩散声场，或者在没有明显方向的包络扩散声场内有较多具有明显 方向的可听成分的感受。
[0022] 为了解决上述以及其他潜在的问题，本发明的某些实施例提供了一种用于分解来 自至少两个不同声道的多个音频信号的方法和系统。在该方法和系统中，基于该多个音频 信号生成的一组弱相关成分。然后，对该弱相关成分进行分析，以基于该分析对音频信号执 行直达-扩散分解。归因于所生成的成分之间的弱相关性，可以较准确地分析音频信号的 方向性和扩散性特性。因此，音频信号的分解可以较准确，并且可以创建更具沉浸感的声 场。
[0023] 首先参照图1，其示出了根据本发明的某些示例实施例的用于分解来自至少两个 不同声道的多个音频信号的过程1〇〇的框图。作为示例，可以从诸如立体声声道、5. 1声道、 7. 1声道等多个声道中选择那些不同声道。多个音频信号中的每个音频信号与那些不同声 道中的一个声道相关联。
[0024] 如上所示，在传统的多声道音频信号分解中，直接将分析过程应用到原始输入多 声道音频信号上。应当理解，若干相关的直达和扩散成分可以被混合到原始多声道音频信 号中。直达和扩散成分之间的相关性非常有可能减低分析的准确性。根据本发明的实施例， 取代直接应用分析，而基于来自至少两个不同声道的多个音频信号来生成弱相关的一组成 分。然后基于所生成的成分来执行分析以及进一步的分解。如此，由分解所产生的扩散声 场和/或立体声像可以具有较高质量。
[0025] 如图1所示，在框101，基于该多个音频信号生成一组弱相关成分。如所示出的，从 两个或多个输入声道接收音频信号，并且生成一组弱相关成分。如本文所使用，术语"弱相 关成分"是指如下一组信号成分，该成分之间的相关性低于预定义的阈值。特别地，完全不 相关的成分可以被视为弱相关成分。根据本发明的实施例，可以通过对输入音频信号的一 个或多个组合进行变换来生成该成分，并且因此音频信号的数目和成分的数目可以相同或 不同。
[0026] 接下来，在框102,对弱相关成分进行分析。根据本发明的实施例，基于该分析确定 与成分相关联的一组增益。继而，在框103,将输入音频信号分解成直达和扩散信号中的至 少一个。如上所述，多个音频信号中的每个音频信号与至少两个不同声道中的一个声道相 关联。应当理解通过对该多个音频信号进行分解获得的直达和扩散信号的数目取决于输入 音频信号的直达和扩散特性。
[0027] 根据本发明的实施例，用于分解音频信号的过程100可以在时域执行，或者在频 域执行，包括在全频带或子频带中执行。基于通过利用过程1〇〇分解音频信号而获得的直 达和扩散信号，可以创建更具沉浸感的声场。下面将参考图2-6描述框101-103更具体的 过程。
[0028] 图2示出根据本发明的某些实施例的用于分解来自至少两个不同声道的多个音 频信号的方法200的流程图。
[0029] 如图2所示，在步骤S201，获得一组弱相关成分，该成分是基于多个音频信号生成 的。根据本发明的实施例，获得成分的过程包括生成该成分和/或从其他实体接收该成分。 也就是说，成分的生成和后续过程可以由一个单独的实体执行，或者分别由两个不同实体 执行。
[0030] 如以上参考图1所述，可以通过对输入音频信号的一个或多个组合进行变换来生 成成分。根据本发明的实施例，有可能采用能够生成弱相关成分的任何变换方式，包括但不 限于独立成分分析（ICA)、B格式分析、主成分分析（PCA)等。
[0031] 在一个实施例中，音频信号的示例变换可以使用线性方程系统来实施，诸如等式 (1)给出的矩阵乘法：
[0032]
[0033] 其中文表不代表通过组合N个输入信号而获得的Μ个中间信号的行向量；Alpha表 示变换矩阵Μ·Μ，其中将每个列向i (i=1，. . .，M)，约束为单位向量；f表示代表 弱相关的Μ个成分的行向量。
[0034] 根据本发明的实施例，可以在时域或频域中对音频信号进行变换。利用该变换，来 自Μ个变量的原始空间的数据向量可以被影射到弱相关的Μ个变量的新空间。通过对根据 音频信号生成的弱相关成分而不是混合的原始音频信号本身进行分析，音频信号内由于相 关性而导致的干扰可以被显著地减小。因此，后续信号分解可以更准确。
[0035] 接下来，方法200进行到步骤S202,其中从弱相关的成分中提取特征。根据本发明 的实施例，所提取的特征指示成分的方向性和扩散性特性，并且将被用于促进音频信号的 后续分解。
[0036] 在一个实施例中，在步骤S202处提取的特征可以包括特定于一个成分的局部特 征，其指示该成分的方向性和扩散性特性。备选地或附加地，所提取的特征可以包括与整组 成分有关的全局特征，其指示与改组成分有关的方向性和扩散性特性。
[0037] 在一个实施例中，特定于一个成分的局部特征可以包括例如该成分在多个声道中 的位置统计。该统计可以在时域或频域中执行。
[0038] 通常而言，直达成分在多个声道中的位置较稳定或者随时间变换较慢，而扩散成 分的位置随时间较随机并且散杂。因此，成分在时域的位置统计可以指示该成分的方向性 和扩散性特性。
[0039] 根据本发明的实施例，成分在时域的位置统计可以由给成分在多个声道的位置随 时间的变换来表示。例如，假设单位向：
指示成分C1>t在Μ个声道中的位置，其中t 表示当前时间戳比如当前帧。在一个实施例中，成分的位置变化的表示是如等式（2)中给 出的平方欧式距离D1>t :
[0040](3) 尸丄
[0041] 在另一实施例中，成分的位置变化的表示是由等式（3)中给出的余弦距离：
[0042]