专利名称：从电子信号中去除噪声的方法和仪器的制作方法
技术领域：
本发明属于从声音传输或者记录中去除或者抑止不想要的声噪音的数学方法和电子系统领域。
处理器系统和方法包括降噪算法，该算法计算出噪音源和麦克风之间的传递函数以及使用人和麦克风之间的传递函数。这些传递函数用来从收到的声音信号中去除噪声和产生至少一种降噪语音数据流。
图2是一个实施例的噪音去除系统/算法的方块图，这里假定有单一的噪声源和一个到麦克风的直接通道。噪音去除系统框图包括一个实施例方法的图示描述，有单一信号源(100)和单一噪声源(101)。这种算法用两个麦克风，一个“信号”麦克风(MIC1，102)和一个“噪声”麦克风(MIC2，103)，但是也不是非这样不可。MIC1主要用来捕获含有一些噪声的信号，而MIC2主要用来捕获含有信号的噪声。这是常规高级声音系统的通用配置。从信号到MIC1的数据用s(n)表示，从信号到MIC2的数据用s2(n)表示，从噪音到MIC2的数据用n(n)表示，从噪音到MIC1的数据用n2(n)表示。同样，从MIC1出来的信号用m1(n)表示，从MIC2出来的信号用m2(n)表示，这里s(n)表示信号源发出的模拟信号的离散采样。
假定从信号到MIC1与从噪声到MIC2的传递函数一样，但是从信号到MIC2的传递函数被表示成H2(z)，从噪声到MIC2的传递函数被表示成H1(z)。假定的传递函数一致并不影响这个算法的一般性，因为信号、噪声和麦克风之间的实际关系是简单的线性关系而且为了简化起见以这一方式又重新定义了该线性关系。
在常规的除噪系统中，来自MIC2的信息用来试图除去来自MIC1的噪声。但是，未说出的假设是VAD装置从来不是完美的，因此降噪必须谨慎的进行，以保证不去除过多的伴随着噪声的信号。但是，如果假定VAD装置是完美的，当使用者不发出声音时输出为0，发出声音时为1，这样就可以对除噪系统有一个实质性的改进。
参考图2，在分析该单一噪声源和到麦克风的直接通路时，进入到MIC1的声音信息表示为m1(n).进入到MIC2的信息表示为m2(n).在z(数字频率)域中，它们表示为M1(z)和M2(z)。这样M1(z)＝S(z)+N2(z)M1(z)＝N(z)+S2(z)其中N2(z)＝N(z)H1(z)S2(z)＝S(z)H2(z)因此M1(z)＝S(z)+N(z)H1(z)M2(z)＝N(z)+S(z)H2(z) 方程1这是用于所有的两个麦克风系统的通用情况。在一个实际系统中，会经常有一些噪音泄漏到MIC1，一些信号泄漏到MIC2。方程1有4个未知量而仅有2个已知的关系式，因此不能明确地解出。
但是，有另外的方法来解决方程1中的一些未知量。分析从考察没有信号产生的情况开始，也就是，VAD信号等于0，语音没有产生。在这种情况下，S(n)＝S(z)＝0，方程1就简化为M1n(z)＝N(z)H1(z)M2n(z)＝N(z)这里变量M的下标n代表仅有噪声在被接收。这样就有M1n(z)＝M2n(z)H1(z)H1(z)=M1n(z)M2n(z)]]>方程2
当确定系统只接收到噪声时，可以使用可用的系统辨识算法和麦克风的输出来计算出H1(z)。计算可以自适应完成，这样系统就能对噪声的变化作出反应。
现在可得到对方程1中的一个未知量的解决办法。另外一个未知量H2(z)，在有语音信号和VAD等于1时也可以确定下来。这时候，麦克风的最近记录(也许小于1秒)指示出较低的噪声水平，那么可以假定n(s)＝N(z)~0。于是方程1简化为M1s(z)＝S(z)M2s(z)＝S(z)H2(z)接着可以导出M2s(z)＝M1s(z)H2(z)H2(z)=M2s(z)M1s(z)]]>这个过程是计算H1(z)的逆过程。但是，要注意的是正在用不同的输入-而在仅有噪声产生之前就仅有信号产生。在计算H2(z)时，用来计算H1(z)的值保持为常量，反之依然。这样，就假定在计算另一个时H1(z)或H2(z)没有实质的改变。
在计算完H1(z)和H2(z)后，它们被用于从信号从去除噪声。如果方程1写成S(z)＝M1(z)-N(z)H1(z)N(z)＝M2(z)-S(z)H2(z)S(z)＝M1(z)-[M2(z)-S(z)H2(z)]H1(z)S(z)[1-H2(z)H1(z)]＝M1(z)-M2(z)H1(z)那么N(z)可以做所示的替代用于解S(z)S(z)=M1(z)-M2(z)H1(z)1-H2(z)H1(z)]]>方程3
如果传递函数H1(z)和H2(z)能被描述得足够精确，那么就可以完全去除噪声，原始信号就能被恢复。不管噪声的幅度和谱特性如何，这都是适用的。做出的仅有的一些假设是一个完美的VAD，足够精确的H1(z)和H2(z)，而且在另外一个计算时候H1(z)或H2(z)没有实质的变化。实际上这些假设已经证明是合理的。
这里描述的除噪算法可以很容易被推广到包括任意数目的噪声源。图3是一个实施例的除噪算法的前端的方块图，可以推广到n个孤立的噪声源。这些独立的噪声源可以相互反射或者回应，但是并不严格限制。图中显示出了几个噪声源，每个有一个传递函数，或通路，到每个麦克风。前面命名的通路H2的已经被改标为H0，这样标示到MIC1的噪声源2通路更方便了。每个麦克风的输出，当转变为z域时，为M1(z)＝S(z)+N1(z)H1(z)+N2(z)H2(z)+...Nn(z)Hn(z)M2(z)＝S(z)H0(z)+N1(z)G1(z)+N1(z)G2(z)+...Nn(z)Gn(z)方程4当没有信号时(VAD＝0)，那么(为了清晰抑制z’s)M1n＝N1H1+N2H2+...NnHn 方程5M2n＝N1G1+N2G2+...NnGn现在可以定义一个新的传递函数，类似与上面的H1(z)H~1=M1nM2n=N1H1+N2H2+...NnHnN1G1+N2G2+...NnGn]]>方程6这样 仅仅依赖于噪声源和它们各自独立的传递函数，就可以在没有信号传送的任意时刻计算。再说明一次，麦克风输入的下标n表示仅仅检测到了噪声，而下标s表示麦克风仅仅接收到信号。
在假设没有噪声产生时考察方程4M1s＝SM2s＝SH0这样用任何可用的传递函数计算方法，可以象前面那样解出H0。数学公式为H0=M2sM1s]]>用在方程6中面定义的 重写方程4，可得H~1=M1-SM2-SH0]]>方程7算出S输出S=M1-M2H~11-H0H~1]]>方程8它与方程3一样，用H0取代了H2， 取代了H1。这样噪声去除算法对任意数量的噪声源，包括多噪声源回声具有了数学有效性。再一次强调，如果对 和H0的估计有一个足够高的精确度，而且从信号到麦克风只有一条通路的上述假设成立，那么噪声可以全部清除。
最一般的情况包括多个噪声源和多个信号源。图4是在有n个独立的噪声源和信号反射的最一般的情况下一实施例的噪音去除算法的前端的方块图。这里，信号反射进入两个麦克风。这是最一般的情况，因为噪声反射进麦克风的情况可以用附加噪声信号源来精确的模拟。为了清楚起见，从信号到MIC2的直接通路由H0(z)改为H00(z)，而且到麦克风1，2的反射路径分别标示为H01(z)和H02(z)。
到麦克风的输入现在变为M1(z)＝S(z)+S(z)H01(z)+N1(z)H1(z)+N2(z)H2(z)+...Nn(z)Hn(z)M2(z)＝S(z)H00(z)+S(z)H02(z)+N1(z)G1(z)+N2(z)G2(z)+...Nn(z)Gn(z)方程9当VAD＝0时，输入变为(再一次抑制z’s)M1n＝N1H1+N2H2+...NnHnM2n＝N1G1+N2G2+...NnGn和方程5中的一样。这样，方程6中的 1的计算不改变，和预期的一样。考察没有噪声的情况，方程9可以简化为M1s＝S+SH01M2s＝＝SH00+SH02这就产生 的定义H~2=M2sM1s=H00+H021+H01]]>方程10用 的定义(如公式2中所示)重写公式9H~1=M1-S(1+H01)M2-S(H00+H02)]]>方程11中间一些运算操作输出S(1+H01-H~1(H00+H02))=M1-M2H~1]]>S(1+H01)[1-H~H00+H02)(1+H01)]=M1-M2H~1]]>S(1+H01)[1-H~1H~2]=M1-M2H~1]]>最后S(1+H01)=M1-M2H~11-H~1H~2]]>方程12公式12和公式8一样，只是用 代替了H0，因子(1+H01)附加在了左端。这个附加因子说明S在这种情况下不能被直接解出来，但是信号加上它所有的回音就可以得出一个结果。这不是一个坏的情况，因为有很多传统方法来处理回声抑制，而且即使回音得不到抑止，它也不会对语音的可理解性产生大的影响。为了解决作为响应噪声源的麦克风2的信号回音需要对 做更复杂的计算。
图5是一个实施例的降噪方法的流程图。在操作中，502声音信号被接收。进而，504和人的发音活动有关的生理信息接收。506依据声音信号缺乏语音信息至少一个特定时间段的判定，计算出第一个语音信号的传递函数。508依据声音信息是否在语音信号中存在至少一个特定的时间的判定，计算出第二个代表语音信号的传递函数。510用由第一个传递函数和第二个传递函数的合成，并产生降噪语音数据流来去除声音信号里面的噪声。
这里描述了除噪或者降噪的一种算法，既适合有一条通路和单一噪声源的最简单情况，也适合有反射和回音的多噪声源情况。这里的算法随着环境条件的改变有所变化。如果已经给 和 做了很好的估计，而且如果它们不随着对方的变化而变化，噪声的类型和数量是不合逻辑的。如果用户的环境里面有回音，而且来自一个噪声源那么就回音就可以被补偿。如果信号回音也存在，它们将影响降噪处理过的信号，但是在大多数场合，效果应该是可忽略的。
在操作中，一个实施例的算法在处理不同类型的噪声、振幅和方向时都有很好的结果。但是，当算法从数学概念向工程实践转化时，总是需要做近似和调整。在方程3中做了一个假设，H2(z)假定很小，因此H2(z)H1(z)≈0，因此方程3简化为S(z)≈M1(z)-M2(z)H1(z)．
这意味着仅仅需要计算H1(z)，大大地加速了计算过程同时减少了所需的计算数。选择适当的麦克风，这个近似很容易被实现。
另外一个近似涉及到在实施例中用的滤波器。实际的H1(z)无疑将同时有零点和极点，但是为了稳定和简单，用了一个全零的有限的刺激响应(FIR)滤波器。有足够轻叩次数(大约60)，对实际H1(z)的近似将非常好。
至于子波段选择，由于在每个频段上必须计算一个传递函数，故频带越宽，就越难精确的计算出来。因此语音数据被分为16个子波段，最低的是50Hz，最高达到3700Hz。降噪算法依次用到每个子频段，而且16个降噪数据流被混合以生产降噪语音数据。这样系统工作的很好，但是任意的混合子频段(即4，6，8，32，均衡分配)都可以用，而且发现工作的都很好。
在实施里中噪声的幅度要抑制，这样所用的麦克风才不会饱和(即在线性响应范围外操作)。为确保最佳效果保持麦克风的线性操作很重要。即使有了这个限制，还可以检测到很高的信噪比(SNR)(达到-10dB)。
H1(z)每10毫秒计算一次，用的是LMS方法—一种普通的自适应的传递函数。解释可以在“适应性信号处理”(1985)中找到，作者WindrowStearns，出版社Prentice-Hall，ISBN 0-13-0040299-0．用于实施例的VAD装置来自一个射频传感器和两个麦克风，对声音或者非声音的语音都有很高的精确性(＞99％)。实施例的VAD用一个射频干涉计来测量人发语相关的组织运动，但也不是完全限制的。这样它完全不依赖于语音—噪音，可以在任何语音—噪音环境里面工作。可以使用简单的能量测量来判断有语音出现。不发生语音可以用传统的基于频率的方法来判断，用接近的浊音部分或者通过上述方法的结合。因为在清语音中有很少的能量损失，所以活动的精确性也不和浊语音那样要求的很挑剔。
借助于浊音和清语音的可靠检测，实施例的算法可以被实现。再重复说一次，重述噪音去除算法不依赖于VAD如何获得输入，它仅仅取决于装置的精确性，特别是对浊语音是有用的。如果语音不被检测到，而是仅仅做些语音训练的话，相应的降噪声音数据就可能会失真。
通过四个通路来收集数据，一个用于MIC1，一个用于MIC2，另外两个用于检测与浊语音相关的人体组织运动的射频传感器。数据在40kHz同步采样，接着进行数字滤波和分频至8kHz。采用较高的采样率的原因是为了减少信号从数字到模拟转化过程的任何混淆。一个四通路的NI的A/D采集板和一起捕获和存储数据。然后用一个C程序读入数据进行一次10毫秒的降噪处理。
图6示出一实施例的除噪算法的结果，该实施例为一个美式英语发音的女性在存在飞机场终端噪音时情况，噪音包括许多其他人的声音和公众呼告。发音者在适度的机场终端噪声中度水平发音数目为“406-5562”。原始语音数据进行10毫秒一次的降噪处理，在进行10秒降噪之前，先进行从50Hz到3700Hz的预滤波。噪音明显降低了大约是17dB。因为没有对采样信号做任何的后滤波，所以所有的噪音减少都是系统降噪算法完成的。很明显，这个算法根据噪声立即做出调整，能够去除其他说话人的各种噪声。已经在许多类型的噪音上实验得到了类似的试验结果，这些噪音包括街道噪音、直升机、音乐和正弦波，等等。同样，噪声源的方向也可以做相应改变，对系统噪音抑止效果没有什么影响。最后，降噪后的语音失真率很低，对机器或者人的接收者等确保良好的语音辨认性。
已经示出实施例的噪音去除算法任何环境条件下是可行的。如果一个好的评估一直由 和 组成，那么噪音的类型和量是无关紧要的。如果用户的环境里面有回音，如果来自一个噪音源它们就可以被补偿。如果信号回音也存在，它们将影响降噪处理过的信号，但是在大多数场合，效果应该是可忽略的。
这里参考图描述了各种实施例，但是详细的描述和图表并不给予限定。这里虽然没有给出描述的各种单元组合，但是它们在下面的权利要求中所限定的发明范围内。
权利要求
1.一种从语音信号中去除噪声的方法，包括接收多个声音信号；接收与人的发音活动相联系的生理信息；依据确定来自多个声音信号中的声音信息缺乏至少一个特定的时间段，产生至少一个多数语音信号的第一传递函数代表；依据确定在多个声音信号中的声音信息存在至少一个特定的时间段，产生至少一个多个语音信号的一第二传递函数代表；用至少一个第一传递函数和至少一个第二传递函数的至少一个合成从多个声音信号中去除噪音以产生至少一个降噪数据流。
2.根据权利要求1所述的方法，其中，多数语音信号包括至少一个相关噪声源信号的至少一个反射和至少一个语音信号源的至少一个反射。
3.根据权利要求1所述的方法，其中，接收生理信息包括使用至少一个检测器接收与人的发音相关的生理数据，该检测器选自包括射频装置、声带振动测量器、超声设备、语音嗓音麦克风和气流检测器的一组中。
4.根据权利要求1的方法，其中，接收多个语音信号包括使用多个独立定位的麦克风。
5.根据权利要求1的方法，其中，去除噪音还包括用至少一个第一传递函数和至少一个第二传递函数来产生至少一个第三传递函数。
6.根据权利要求1的方法，其中，产生至少一个第一传递函数包括在至少一个预先确定的时间段内重新计算至少一个第一传递函数。
7.根据权利要求1的方法，其中，产生至少一个第二传递函数包括在至少一个预先确定的时间段内重新计算至少一个第二传递函数。
8.根据权利要求1的方法，其中，产生至少一个第一传递函数和至少一个第二传递函数包括使用至少一种技术，该技术选自包括自适应技术和递归技术在内的一组中。
9.一种从电信号中去除噪声的方法，包括在至少一个时间段内检测浊音信息的缺失；在至少一个时间段内接收至少一个噪声源信号；产生至少一个噪声源信号的至少一个传递函数代表；接收至少一个包括声音和噪声的复合信号；以及用至少一个传递函数从至少一个复合信号中去除该噪音信号以产生至少一个降噪数据流。
10.根据权利要求9中的方法，其中，至少一个噪声源信号包括至少一个与噪音源信号相关的至少一个反射。
11.根据权利要求9的方法，其中，至少一个复合信号包括至少一个相关复合信号的至少一个反射。
12.根据权利要求9中的方法，其中，检测包括使用至少一个检测器收集与人的发音相关的生理数据，该检测器选自包括射频装置、声带振动测量器、超声设备、语音嗓音麦克风和气流检测器的一组中。
13.根据权利要求9的方法，其中，接收包括用至少一个麦克风来接收至少一个噪音源信号。
14.根据权利要求13的方法，其中，至少一个麦克风包括多个独立定位的麦克风。
15.根据权利要求9的方法，其中，用至少一个传递函数从至少一个复合信号中去除噪声信号包括用至少一个传递函数产生至少另外一个传递函数。
16.根据权利要求9中的方法，其中，产生至少一个传递函数包括在一个预先规定的时间间隔内重新计算至少一个传递函数。
17.根据权利要求9的方法，其中，产生至少一个传递函数包括使用至少一种技术计算至少一个传递函数，该技术选自包括自适应技术和递归技术的一组中。
18.从电信号中去除噪声的方法包括确定至少一个清音周期，期间浊音信号缺失；在至少一个清音周期内接收至少一个噪声信号输入并产生至少一个噪声信号的至少一个清音传递函数代表；确定是否在至少一个浊音周期，期间存在浊音信息；在至少一个发音周期内接收来自于至少一个信号探测装置的至少一个语音信号输入而且产生至少一个语音信号的至少一个语音传递函数代表；接收至少一个包括语音和噪声的复合信号；使用至少一个清音传递函数和至少一个浊音传递函数的至少一个组合从至少一个复合信号中去除噪音信号以产生至少一个降噪语音数据流。
19.一个从语音信号中去除噪音的系统，包括至少一个接收器，它接收至少一个语音信号；至少一个传感器，接收与人的发音活动相关的生理信息；至少一个处理器，该处理器耦合在至少一个接收器和至少一个产生多数传递函数的的传感器之间，其中产生至少一个声音信号的至少一个第一传递函数代表来响应在至少一个特定的时间周期内的至少一个声音信号缺乏语音信息的判定，其中产生至少一个声音信号的至少一个第二传递函数代表来响应在至少一个语音信号中存在声音信息至少一个特定时间周期的判定，其中使用至少一个第一传递函数和至少一个第二传递函数的组合从至少一个语音信号中去除噪音以产生至少一个降噪语音数据流。
20.根据权利要求19的系统，其中，至少一个传感器包括至少一个探测与人的语音相关的组织运动的射频(RF)干涉计。
21.根据权利要求19的系统，其中，至少一个传感器包括至少一个选自包括射频装置、声带振动测量器、超声设备、语音嗓音麦克风和气流检测器的一组中的传感器。
22.根据权利要求19的系统，还包括把至少一个语音信号的语音数据分成多个分波段；使用至少一个第一传递函数和至少一个第二传递函数的至少一个组合传递函数来从每个多个分波段中去除噪音，其中产生多个降噪语音数据流；以及把多个降噪语音数据流合成在一起产生至少一个降噪语音数据流。
23.根据权利要求19的系统，其中，至少一个接收器包括多个独立定位的麦克风。
24.一种从语音信号中去除噪声的系统，包括至少一个处理器，该处理器耦合在至少一个麦克风和至少一个发声传感器之间，其中至少一个发声传感器收集与发声相关的生理数据，其中使用至少一个发声传感器在至少一个周期内来探测浊音信息的缺失，其中使用至少一个麦克风在至少一个周期内接收至少一个噪音源信号，其中至少一个处理器产生至少一个噪音源信号的至少一个传递函数代表，其中使用至少一个麦克风来接收至少一个包括语音和噪音源信号的复合信号，其中至少一个处理器使用至少一个传递函数从至少一个复合信号中去除该噪音信号以产生至少一个降噪语音数据流。
25.一个信号处理系统，耦合在至少一个使用者和至少一个电子设备之间，其中信号处理系统包括至少一个从语音信号中去除噪音的至少一个降噪子系统，降噪子系统包括至少一个处理器，该处理器耦合在至少一个接收器和至少一个传感器的处理器之间，其中耦合了至少一个接收器以接收至少一个语音信号，其中耦合了至少一个传感器以接收跟人的发声活动相关的生理信息，其中至少一个处理器产生多个传递函数，其中产生至少一个语音信号的至少一个第一传递函数代表来响应至少一个语音信号内缺失发声信息的至少一个特定的时间周期的判定，其中至少产生一个语音信号的至少一个第二传递函数代表来响应在至少一个语音信号内存在发声信息至少一个特定的时间周期的判定，其中使用至少一个第一传递函数和至少一个第二传递函数从至少一个语音信号中去除噪声来产生至少一个合成至少一个降噪数据流。
26.根据权利要求25中的信号处理系统，其中，至少一个电子装置包括至少一个选自一组的设备，该组包括移动电话、个人数字助理、便携式通讯设备、计算机、摄像机、数码相机和远程信息处理系统。
27.一个计算机可读介质包含可执行指令，在一个处理系统中执行该指令时，该指令从接收到的语音信号中去除噪声，使用的方法有接收至少一个语音信号；接收跟人的语音活动相关的生理信息；依据确定从至少一个语音信号的发声信息的缺失在至少一个特定的时间周期内产生至少一个语音信号的至少一个第一传递函数代表；依据确定在至少一个语音信号中发声信息存在至少一个特定的时间周期内产生至少一个语音信号的至少一个第二传递函数代表；使用至少一个第一传递函数和至少一个第二传递函数的至少一个组合从至少一个语音信号中去除噪声来产生至少一个降噪语音数据流。
28.一个电磁介质包括可执行指令，在一个处理系统中执行该指令时，该指令从接收到的语音信号中去除噪声，使用的方法有接收至少一个语音信号；接收与人的语音活动相关的生理信息；依据确定从至少一个语音信号的发声信息的缺失在至少一个特定的时间周期内产生至少一个语音信号的至少一个第一传递函数代表；依据确定在至少一个语音信号中发声信息存在至少一个特定的时间周期内产生至少一个语音信号的至少一个第二传递函数代表；使用至少一个第一传递函数和至少一个第二传递函数的至少一个组合从至少一个语音信号中去除噪声来产生至少一个降噪语音数据流。
全文摘要
一种从人的语音中去除声音噪音的方法和系统，其中在语音中不管什么类型、幅度、方向的噪声都要被除去。这个系统包括麦克风和一个耦合在处理器之中的语音活动检测(VAD)数据流。麦克风接收声音信号，VAD在有语音(浊音和清音)时产生二进制1，没有时产生0。处理器包括能产生传递函数的降噪算法。这些传递函数包括响应一判定产生的传递函数，该判定是在一个确定的时间周期内接收到的声音信号里缺失了发音信息。这些传递函数还包括响应一判定产生的一种传递函数，该判定是在一个确定的时间周期内接收到的声音信号里存在发音信息。用传递函数产生至少一个降噪语音数据流。
文档编号G10L21/00GK1443349SQ01812924
公开日2003年9月17日 申请日期2001年7月17日 优先权日2000年7月19日
发明者格雷戈里·伯内特, 埃里克·F·伯瑞特泰勒 申请人:埃里弗克姆公司