专利名称：用于将混响添加到输入信号中的设备和方法
技术领域：
本发明涉及用于将混响(reverberation)添加到信号中，特别是音频信号中的设备和方法。
背景技术：
众所周知的将混响添加到音频信号中来模拟房间或音乐厅的音响效果。混响可以用所谓的延迟线来以电子方式产生，延迟线是通过暂时在连续存储元件中存储信号样本来将音频信号延迟确定时间期间的元件。然而，为了获得自然声响效果，需要非常大的延迟线。通常2秒的混响时间需要50,000到100,000个样本长度的延迟元件，这个大小是难于实现的，而且是不经济的。
已经做了各种尝试来克服这个问题。例如，美国专利US5,917,917(Jenkins)提出在将信号施加到混响设备之前，对音频信号进行十中抽一，随后对所得到的信号进行插值，以恢复采样频率。要明确的是，该方法很可能会在信号中引入噪声，而同时仍需要大的延迟线。
可选的解决方法提出计算音频信号和房间或音乐厅的脉冲响应的卷积，以获得混响。然而，这种脉冲响应通常很长，在这种解决方法中所涉及的计算工作量是非常大的，同时还仍然需要大存储器。
发明内容
本发明的一个目的是克服现有技术的这些问题及其它问题，并提供用于将混响添加到信号中的设备和方法，其设备和方法大体上需要较小的存储器和较小的计算工作量。
因此，本发明提供了一种设备，用于将混响添加到由相应的经过变换的输入信号所表示的输入信号中，该设备包括延迟装置，用于对经过变换的输出信号进行延迟，以便产生延迟的经过变换的输出信号，以及合并装置，用于将所述经过变换的输入信号与延迟的经过变换的输出信号合并，以便产生当前的经过变换的输出信号，其表示具有混响的输出信号。
通过用经过变换的信号代替时间信号，可以获得非常真实的混响效果，同时避免了在计算卷积时所涉及到的存储器需求和计算成本。可以用标准优化变换，例如快速傅立叶变换(FFT)，来进行对输入信号的变换。
在本发明中，所述经过变换的输出信号是基于所述经过变换的输入信号和先前输出信号的延迟形式的。该先前输出信号的延迟形式优选地变更了振幅和/或相位，以便能够提供期望的混响。
所述延迟装置设置为用于暂时存储输出信号，以便产生所述先前输出信号。通常，所述延迟装置会将信号存储一帧的持续时间，在此情况下术语“先前”理解为意味着“紧接着在前的”。然而，本发明并不局限于此，所述延迟装置还可以将信号存储两个或多个帧的持续时间，在此情况下术语“先前”理解为意味着“在时间或次序上以前存在的”。所述延迟装置可以用存储器单元、适当的寄存器或者其它延迟单元构成。
应该注意的是，帧通常理解为包括一组信号样本，例如256，512或1024个样本，对其一起进行变换，例如快速傅立叶变换(FFT)。根据采样频率，帧可以表示特定的持续时间。例如，在44.1kHz的采样速度下，1024个样本的帧具有大约23.2ms的持续时间。
在优选实施例中，本发明的设备包括变更装置，用于变更延迟的经过变换的输出信号的振幅和/或相位，以便产生进行变更并延迟的经过变换的输出信号。延迟的经过变换的输出信号用于产生新的输出信号，所述延迟的经过变换的输出信号优选地在与(新的)经过变换的输入信号合并之前被变更。所述变更可以包括通过施加增益(或衰减)实现的振幅变更，但更重要的是包括相位变更。
特别是，本发明提出对经过变换的延迟的输出信号的相位进行变更，以使其相位随机地或伪随机地变化。这个基本随机的相位变更避免了在混响中的重复模式。这种模式会引起不希望有的可听见的噪声。
在更进一步的有利的实施例中，所述随机相位变更受到最大相位差的约束，所述最大相位差基本上小于低频的p，并基本上等于高频的p。即，将依赖于频率的限制施加到所述变更装置所进行的相位变更上，以便避免不希望有的效果。尽管对于高频(在典型但非限制性的实例中，是指高于约300Hz的频率)，随机相位会在-p和p拉德之间波动，而对于低频(在典型但非限制性的实例中，是指低于约100Hz的频率)，则可以添加到原始相位中的随机相位非常小，以便不会使得低频信号分量失真。
如上所述，所述变更单元还可以将增益(或者，如果增益小于1就为衰减)施加到延迟的经过变换的输出信号上，以便控制混响的振幅，从而控制混响时间。在优选实施例中，所述变更装置设置为用于振幅变更，其对于低频包含相对较小的衰减，而对于较高频率则包含相对较大的衰减。依赖于频率的衰减允许混响时间在较低频率上较长，并且对于较高频率则逐渐减小。这与通常房间的混响行为相对应。
进一步优选的是，在“低”频和“高”频之间的差别与用于相位的相类似。使用上述实例，对于直到大约100Hz的频率，衰减可以相对较小，对于从大约300Hz起的频率，衰减可以相对较高。要理解的是，这些值仅是示例性的，而不会脱离本发明的情况下，也可以使用其它值，例如1000和3000Hz。
在上面的讨论中，假设本发明的设备接收单一输入信号。然而，本发明并不限于此，还提供了一种设备，其能够接收多个输入信号。在特别有利的实施例中，本发明的设备包括多个并行分支，每个分支都具有处理装置，用于将部分经过变换的输入信号与变更并延迟的经过变换的部分输出信号进行合并，以便产生当前的经过变换的部分输出信号，该设备还包括至少一个进一步合并单元，用于将所述经过变换的部分输出信号合并到经过变换的合并输出信号中。例如，所述部分经过变换的输入信号可以表示在音乐设备数字接口(MIDI)音色库(sound bank)中的单个乐器，或者可以每个都表示在MIDI音色库中的各种乐器的总和。所述部分经过变换的输入信号可以直接存储在MIDI音色库中，或者可以在频域中从MIDI音色库中音频信号的参数表示中合成。
有利的是，至少一个分支可以包括至少一个缩放(scaling)单元。所述缩放单元允许控制来自所述分支的贡献。在一些实施例中，一个分支可以包含两个缩放单元，一个用于缩放延迟的经过变换的输出信号，一个用于缩放所述经过变换的输出信号本身。有利的是，将所述缩放单元并入到每个分支的变更装置中。
优选地，所述处理装置设置为用于处理每帧的经过变换的输入信号。这允许所述处理装置基本上同时地处理多个样本，从而提高处理速度。另外，任何变换单元通常同时对一组样本进行操作，因此使用帧有利于所述处理。要理解的是，所采用的实际的帧大小是不相关的，尽管在数字信号处理中，2的幂的(例如512和1024)大小当然是方便的。
可以将所述至少一个输入信号作为由外部变换单元或者其上存储有经过变换的信号的存储设备所产生的经过变换的输入信号来进行接收。然而，当将所述输入信号作为时间信号来接收时，本发明的设备还便利地包括变换单元，用于将输入信号变换为经过变换的输入信号。在接收多个时间信号的情况下，可以提供多个变换单元。另外，在所述输入信号是模拟信号的情况下，可以提供至少一个A/D(模/数)转换器。本发明的设备还可以有利地包括逆变换单元，用于将当前的经过变换的输出信号变换为时间信号。
尽管本发明的设备可以由截然不同的单元构成，例如合并单元和延迟(存储器)单元，所述设备还可以由执行适当软件指令的微处理器或微型计算机组成。
本发明还能够被表达为提供一种设备，用于将混响添加到由其频谱所表示的音频信号中，所述设备包括延迟装置，用于对所述频谱进行延迟，以便产生延迟的频谱，变更装置，用于变更所述延迟的频谱的相位，以便产生经过相位调整的频谱，合并装置，用于将所述经过相位调整的频谱与所述原始频谱合并，以便产生合并频谱，以及逆变换装置，用于对所述合并频谱进行逆变换，以便产生具有混响的音频信号，其中，所述变更装置设置为用于提供基本上随机的相位。所述变更装置还可以设置为用于变更所述延迟的频谱的幅度。
本发明还提供了一种包括如上定义的设备的音频系统。所述音频系统可以是包含如上定义的设备的电子乐器，例如电子风琴，键盘乐器或音响合成器，以及包括根据本发明的设备的铃音合成器，特别是用于移动电话或博奕设备中。
本发明另外提供了一种将混响添加到由相应的经过变换的输入信号所表示的输入信号中的方法，所述方法包括以下步骤对所述经过变换的输出信号进行延迟，以便产生延迟的经过变换的输出信号，以及将所述经过变换的输入信号与延迟的经过变换的输出信号合并，以便产生当前的经过变换的输出信号，其表示具有混响的输出信号。
通过以下将要描述的实施例的例子，本发明上述定义的方面及其他方面变得显而易见，并且参考这些实施例的例子来加以解释。
下面参考在附图中示出的示例性实施例来进一步解释本发明，本发明并不限于此。
图1示意性地示出了根据本发明的设备的第一实施例；图2示意性地示出了根据本发明的设备的第二实施例；图3示意性地示出了一种音频系统，其包含有根据本发明的设备；图4示意性地示出了在本发明中所使用的示例性的增益调节；以及图5示意性地示出了在本发明中所使用的示例性的最大相位调节。
具体实施例方式
在图1中仅作为非限制性实例示出的混响设备1，包括变换单元2，合并单元3，逆变换单元4，存储器单元5，和增益/相位变更单元6。
在本实例中，变换单元2接收时间信号s(n)。该时间信号s(n)是数字的(或数字化的)，n表示帧号，每帧包含多个样本。本领域技术人员会理解，在接收模拟输入信号的情况下，应提供A/D(模/数)转换器。时间信号s(n)通常是要添加混响的音频信号。
变换单元2接收时间信号s(n)，并输出经过变换的信号S(n)。通常，变换单元2进行快速傅立叶变换(FFT)，该情况下，经过变换的信号S(n)是时间信号s(n)的频谱，n还表示帧号，帧现在包含多个频率分量。
代替(快速)傅立叶变换，也可以使用其它变换，例如(修正的)余弦变换。设备1还可以接收频谱S(n)而不是时间信号s(n)，或者直接在频域中，从信号s(n)的参数表示中合成频谱S(n)，在此情况下，可以省去变换单元2。将经过变换的信号S(n)输入到合并单元3中，在该实施例中示出，其由信号加法电路构成。
在合并电路3中，将经过变换的信号S(n)与经过变换的输出信号的延迟并变更后的形式Sr(n)进行合并(即相加)，以产生新的经过变换的输出信号Sr(n)＝S(n)+G(Sr(n-i))(1)在此i表示由存储器(M)5引入的延迟量，G表示由变更单元6提供的增益和/或相位调节。在本实例中，延迟量以帧来表示。典型的延迟等于1帧(i＝1)，尽管两个，三个或更多的帧的延迟也是可能的，这取决于每帧的持续时间和所希望的混响或混响时间。如果增益和相位调节存在的话，则其可以在时间上变化。
充当延迟单元的存储器单元5暂时存储经过变换的输出信号Sr(n)的一个或多个帧，以产生信号Sr(n-i)。将延迟的帧输出到变更单元6，其变更经过变换的信号Sr(n-i)的相位，也许还有增益，以提供经过相位和/或增益调节的经过变换的信号G(Sr(n-i))，如上所述，其输入到合并单元3。
应指出，本发明无需使用脉冲响应或者其傅立叶变换来产生混响。作为替代，本发明用信号自身的延迟的变换(例如傅立叶变换)来产生混响。
在优选实施例中，变更单元6使用相对于原始相位的随机或伪随机相移。这具有对在合并单元3中所合并的信号G(Sr(n-i))和S(n)进行去相关的优点。如果这些信号是相关的，在混响中会出现重复模式。
逆变换单元4执行逆变换，通常为快速傅里叶逆变换(IFFT)，以产生包含混响的输出时间信号sr(n)。
因此能够看出，设备1以非常简单和有效的方式产生混响。通过在变换后的(通常为频率)域而不是时域中产生混响，避免了使用长延迟线。
图1的设备1为整个信号s(n)提供了统一的混响。还可以为独立的频带或乐器提供单独的混响。使用MIDI技术，可以对单独的乐器分别进行处理。在图2中示意性地示出了允许这种独立处理的本发明的设备1的示例性实施例。
在图2的实施例中，接收单独的经过变换的信号(例如频谱)S1(n)，S2(n)，…Sm(n)并将其输入到各自的合并单元3。这些经过变换的信号可以源于MIDI数据存储器，或源于原始的(复合的)经过变换的信号S(n)或时间信号s(n)被输入到其中的滤波器库。这些经过变换的输入信号可以来自MIDI音色库，或者可以在频域中从MIDI音色库中音频信号的参数表示中合成。
图2的设备具有m个并行分支，其每个都包括合并单元3，存储器单元5，增益/相位变更单元6，和缩放单元7。每个分支(除了第m个之外)还包括进一步合并单元9，用于将所关注的分支的输出信号与其它分支的输出信号合并。如同图1的实施例中，逆变换单元4产生包含混响的时间(输出)信号sr(n)。
图2的实施例的优点是能够控制每个乐器或每个声道的混响。更具体而言，可以借助于变更单元6提供缩放，变更单元6优选地配置为用于变更所述延迟的经过变换的输出信号的相位和振幅。每个变更单元6可以具有独立的增益G1，G2，…，Gm，所述独立增益用作缩放因子并控制在各个分支中的混响。独立增益G1，G2，…，Gm可以是预置的、用户控制的、或从MIDI内容中提取的。
可以借助于缩放单元7来提供更进一步的缩放。可以在每个分支中或在(m-1)个分支中提供所述缩放单元7。每个缩放单元7都接收缩放因子aj(j=1…m)，并将信号Sr(n)乘以该缩放因子，以便产生缩放后的信号aj.Sr(n)，其被输入到各个进一步合并单元9中。缩放因子aj确定了每个分支对合并后的经过变换的输出信号Sr(n)的相对贡献。
缩放单元7可以集成在进一步合并单元9中，以便形成加权合并单元。另外或者替换地，在图2中所示的各个进一步合并单元9可以合并到单个的具有多个输入端的进一步合并单元中。
缩放因子aj也可以是预置的、用户控制的、或从MIDI内容中提取的。能够设想这样的实施例其中缩放单元设置在合并单元3之前，以便缩放经过变换的输入信号。
在图2的实施例中，假设了输入信号sj(n)可用作经过变换的信号Sj(n)。如果不是这种情况，可以提供适当的变换单元(图1中为2)。
将参照图4和5进一步解释增益/相位变更单元6的操作。在图4中示出了示例性的增益A(G)。在该特定实例中，增益A(G)小于1，因此构成了衰减(Att)，以分贝每秒(dB/s)来度量，作为以赫兹(Hz)度量的频率(f)的函数。在图4的实例中，对于从0到大约200Hz的频率范围，衰减显示为大约60dB/s，对于高于约300Hz的频率，大约为120dB/s。从而提供了依赖于频率的增益(即衰减)，其控制作为频率的函数的混响时间。
图5的曲线图示出了示例性的用拉德表示的最大相位差(最大不同相位，MDP)，其作为以赫兹(Hz)度量的频率(f)的函数。如上所述，增益/相位变更单元6产生基本上随机的相位。然而，为了避免信号失真，优选地对相位进行约束。即，由增益/相位变更单元6所引入的相位差优选地被限制到图5中所示的值Φ(G)。在所示实例中，对于直到约100Hz的频率，该值接近于0，然后陡峭地升到p拉德级别，并随后保持该级别。对由增益/相位变更单元6所引入的相位差进行限制避免了信号失真。
在图3中示意性的示出了一种至少包括本发明的一个设备1，1’的音频系统10。音频系统10还包括开窗单元(W)11，用于将时间窗应用到数字(或数字化的)信号s(k)，在此k表示样本号，以便获得由帧组成的信号s(n)，在此n表示帧号。类似的，提供了进一步开窗(W)单元12，以将帧转换为规则的数字信号。开窗单元11和12可以包括重叠/加法电路，用于提供部分重叠的帧。
该音频系统还可以包括一个或多个放大器、滤波器和/或信号处理装置(未示出)。可以提供合适的D/A(数/模)转换器，用于将数字输出信号转换为模拟输出信号。类似的，可以在输入端提供A/D(模/数)转换器，用于将模拟输入信号转换(即数字化)为数字输入信号。音频系统10还可以包括一个或多个变换器(transducer)，例如扬声器，用于产生声音。另外或者替换地，音频系统10可以包括一个或多个声音信号源，例如DVD播放器，CD播放器，MIDI存储器，和/或因特网终端。
本发明基于可以采用延迟的经过变换的信号代替延迟的时间信号来有效的产生混响的理解。本发明得益于延迟的经过变换的信号应具有基本上随机的相位的更深入理解。
应指出，在本文档中所用的任何术语不应被解释为限制本发明的范围。尤其是，词语“包括”不意味着排除任何没有特别说明的元件。单个(电路)元件可以用多个(电路)元件或其等价物来代替。
权利要求书(按照条约第19条的修改)1、一种用于将混响添加到输入信号中的设备(1)，所述设备包括变换装置(2)，用于将当前输入信号(s(n))从时域变换到频域，得到当前的经过变换的输入信号(S(n))，延迟装置(5)，用于将当前的经过变换的输出信号(Sr(n))进行延迟，以便产生延迟的经过变换的输出信号(Sr(n-i))，合并装置(3)，用于将所述当前的经过变换的输入信号(S(n))与所述延迟的经过变换的输出信号(Sr(n-i))合并，以便产生所述当前的经过变换的输出信号(Sr(n))，以及逆变换装置(4)，用于从所述当前的经过变换的输出信号(Sr(n))中产生具有混响的当前输出信号(sr(n))。
2、如权利要求1所述的设备，还包括变更装置(6)，用于变更所述延迟的经过变换的输出信号(Sr(n-i))的振幅和/或相位，以便产生变更并延迟的经过变换的输出信号(G(Sr(n-i)))。
3、如权利要求2所述的设备，其中，所述变更装置(6)设置为用于提供基本上随机的相位。
4、如权利要求3所述的设备，其中，所述随机相位受到最大相位差(Φ)约束，对于低频而言，所述最大相位差基本上小于阈值，对于高频而言，所述最大相位差基本上等于所述阈值。
5、如权利要求3所述的设备，其中，所述变更装置(6)设置为用于振幅调节，所述振幅调节包括对低频的相对较小的衰减和对较高频率的相对较大的衰减。
6、如权利要求1所述的设备，包括多个并行分支，每个分支都具有处理装置(3，5，6)，用于将部分经过变换的输入信号(sj(n))与变更并延迟的经过变换的部分输出信号合并，以便产生当前的经过变换的部分输出信号，所述设备还包括至少一个进一步合并单元(9)，用于将所述经过变换的部分输出信号合并为经过变换的合并输出信号。
7、如权利要求6所述的设备，其中，至少一个分支包括至少一个缩放单元(7)，用于缩放至少一个部分输出信号。
8、如权利要求1所述的设备，其中，所述处理装置(3，5，6)设置为用于处理每帧的所述经过变换的输入信号(S(n))。
9、一种音频系统，包括如权利要求1到8中任意一项所述的设备(1)。
10、一种用于将混响添加到输入信号中的方法，所述方法包括以下步骤将当前输入信号(s(n))从时域变换到频域，得到当前的经过变换的输入信号(S(n))，对当前的经过变换的输出信号(Sr(n))进行延迟，以便产生延迟的经过变换的输出信号(Sr(n-i))，将所述当前的经过变换的输入信号(S(n))与所述延迟的经过变换的输出信号(Sr(n-i))合并，以便产生所述当前的经过变换的输出信号(Sr(n))，以及使用逆变换从所述当前的经过变换的输出信号(Sr(n))中产生具有混响的当前输出信号(sr(n))。
11、一种计算机程序产品，用于执行如权利要求10所述的方法。
权利要求
1.一种用于将混响添加到由相应的经过变换的输入信号(S(n))表示的输入信号(s(n))中的设备(1)，所述设备包括延迟装置(5)，用于将所述经过变换的输出信号(Sr(n))进行延迟，以便产生延迟的经过变换的输出信号(Sr(n-i))，以及合并装置(3)，用于将所述经过变换的输入信号(S(n))与所述延迟的经过变换的输出信号(Sr(n-i))合并，以便产生当前的经过变换的输出信号(Sr(n))，其表示具有混响的输出信号(sr(n))。
2.如权利要求1所述的设备，还包括变更装置(6)，用于变更所述延迟的经过变换的输出信号(Sr(n-i))的振幅和/或相位，以便产生变更并延迟的经过变换的输出信号(G(Sr(n-i)))。
3.如权利要求2所述的设备，其中，所述变更装置(6)设置为用于提供基本上随机的相位。
4.如权利要求3所述的设备，其中，所述随机相位受到最大相位差(Ф)约束，对于低频而言，所述最大相位差基本上小于阈值，对于高频而言，所述最大相位差基本上等于所述阈值。
5.如权利要求3所述的设备，其中，所述变更装置(6)设置为用于振幅调节，所述振幅调节包括对低频的相对较小的衰减和对较高频率的相对较大的衰减。
6.如权利要求1所述的设备，包括多个并行分支，每个分支都具有处理装置(3，5，6)，用于将部分经过变换的输入信号(Sj(n))与变更并延迟的经过变换的部分输出信号合并，以便产生当前的经过变换的部分输出信号，所述设备还包括至少一个进一步合并单元(9)，用于将所述经过变换的部分输出信号合并为经过变换的合并输出信号。
7.如权利要求6所述的设备，其中，至少一个分支包括至少一个缩放单元(7)，用于缩放至少一个部分输出信号。
8.如权利要求1所述的设备，其中，所述处理装置(3，5，6)设置为用于处理每帧的所述经过变换的输入信号(S(n))。
9.如权利要求1所述的设备，还包括变换单元(2)，用于将输入信号(s(n))变换为经过变换的输入信号(S(n))。
10.一种音频系统，包括如权利要求1到9中任意一项所述的设备(1)。
11.一种用于将混响添加到由相应的经过变换的输入信号(S(n))表示的输入信号(s(n))中的方法，所述方法包括以下步骤对所述经过变换的输出信号(Sr(n))进行延迟，以便产生延迟的经过变换的输出信号(Sr(n-i))，以及将所述变换后的输入信号(S(n))与延迟的经过变换的输出信号(Sr(n-i))合并，以便产生当前的经过变换的输出信号(Sr(n))，其表示具有混响的输出信号(sr(n))。
12.一种计算机程序产品，用于执行如权利要求11所述的方法。
全文摘要
一种用于将混响添加到输入信号(s(n))中的设备(1)，其使用相应的经过变换的输入信号(S(n))，例如信号的傅立叶变换，来产生混响。该设备包括电路(3，5，6)，用于将经过变换的输入信号(S(n))与变更并延迟的经过变换的输出信号(G(Sr(n－i)))合并，以便产生当前的经过变换的输出信号(Sr(n))。对所述当前的经过变换的输出信号(Sr(n))进行逆变换，得到具有混响的输出信号(sr(n))。
文档编号G10K15/12GK101014995SQ200580029946
公开日2007年8月8日 申请日期2005年8月11日 优先权日2004年9月8日
发明者马克·克莱因·米德林克, 莱昂·范德克尔克霍夫 申请人:皇家飞利浦电子股份有限公司