用于音频会议中的语音增强的系统和方法
【专利摘要】提供了用于在多个参与方之间的音频会议中的语音增强的系统和方法。一种示例系统包括信号处理器、预处理组件和语音增强组件。信号处理器被配置为至少部分基于与第一远程参与方相关联的第一音频信号和与本地参与方相关联的本地音频信号生成第一混合信号。预处理组件被配置为至少部分基于第一混合信号和与第二远程参与方相关联的第二音频信号生成第一输入信号和第二输入信号。此外，语音增强组件被配置为至少部分基于第一输入信号和第二输入信号生成要被发送给第二远程参与方的第一输出信号。
【专利说明】用于音频会议中的语音增强的系统和方法
[0001]相关申请的交叉引用
[0002]本公开要求2012年5月7日提交的美国临时专利申请N0.61/643，529的优先权和权益，其全部内容通过引用被合并于此。
【技术领域】
[0003]本专利文档中所描述的技术一般地涉及信号处理，并且更具体地，涉及音频信号处理。
【背景技术】
[0004]诸如声学回音消除之类的语音增强技术通常在通信系统中被实现，以例如减少由于在双向通信的一端处的一个或多个扬声器和一个或多个麦克风之间的耦合而导致的回
曰?
[0005]图1描绘了示例性双向通信系统100。如图1中所示，本地用户所使用的近端通信设备102通过网络130与远端通信设备110通信。具体而言，在近端通信设备102内，麦克风104可以被用于捕获本地用户的语音114并用于产生将要被发送到远端通信设备110的音频信号112。位于麦克风104附近的扬声器106基于从远端通信设备110接收到的音频信号108产生声音116。扬声器106所产生的声音116可以被麦克风104 (例如直接或者通过墙或其它物体的反射)拾取，并且因此可以被发送到远端通信设备110，这通常会导致在远端通信设备110处的回音。声学回音消除可以被用来减少在来自麦克风104的音频信号112中的来自扬声器106的贡献。
[0006]图2示出了带声学回音消除的示例性双向通信系统200。如图2中所示，在双向通信系统200中，近端通信设备202内的声学回音消除(AEC)组件218被用于减少在远端通信设备210处的回音。具体而言，AEC组件218利用从远端通信设备210接收的音频信号208作为参考来处理来自麦克风204的所记录的信号212。所记录的信号212包括来自扬声器206的贡献。然后，AEC组件218的输出信号220通过网络230被发送到远端通信设备 210。
[0007]作为示例，AEC组件218可以根据以下公式处理所记录的信号212并生成音频信号 220:
[0008]Vi = Vs
[0009]Vr = Vs+Nf(I)
[0010]Vt = AEC{Vr，Vf} = AEC (V+Nf, Vf}
[0011]其中Vi表示要被发送的理想音频信号，并且Vs表示本地用户的语音214。另外，Nf表不噪声信号，并且\表不所记录的信号212。此外，Vt表不AEC组件218的输出信号220，并且Vf表示音频信号208。公式(I)中的“AEC”表示有两个输入信号(例如音频信号208和212)的声学回音消除函数。
[0012]图3描绘了示例性通信终端300。如图3中所示，通信终端300(例如手机)包括两个调制解调器302和304。例如，调制解调器302和304可以被分别用于独立的双向通信，或者被一起用于三向音频会议。例如，应用处理器306和调制解调器302在同一芯片308上，并且调制解调器304在不同的芯片上。声学回音消除(AEC)组件可以被包括在调制解调器302和304中的每一个调制解调器中。
【发明内容】
[0013]根据这里所描述的教导，提供了用于在多个参与方之间的音频会议中的语音增强的系统和方法。一种示例系统包括信号处理器、预处理组件和语音增强组件。信号处理器被配置为至少部分基于与第一远程参与方相关联的第一音频信号和与本地参与方相关联的本地音频信号生成第一混合信号。预处理组件被配置为至少部分基于第一混合信号和与第二远程参与方相关联的第二音频信号生成第一输入信号和第二输入信号。此外，语音增强组件被配置为至少部分基于第一输入信号和第二输入信号生成要被发送给第二远程参与方的第一输出信号。
[0014]在一个实施例中，一种用于在多个参与方之间的音频会议中的语音增强的集成电路包括预处理电路和语音增强电路。预处理电路被配置为接收表示与第一远程参与方相关联的第一音频信号和与本地参与方相关联的本地音频信号的混合的第一混合信号，并且被配置为至少部分基于第一混合信号和与第二远程参与方相关联的第二音频信号生成第一输入信号和第二输入信号。语音增强电路被配置为至少部分基于第一输入信号和第二输入信号生成要被发送给第二远程参与方的第一输出信号。
[0015]在另一实施例中，提供了 一种用于在多个参与方之间的音频会议中的语音增强的方法。与第一远程参与方相关联的第一音频信号以及与本地参与方相关联的本地音频信号被接收。第一混合信号至少部分基于第一音频信号和本地音频信号而被生成。第一输入信号和第二输入信号至少部分基于第一混合信号和与第二远程参与方相关联的第二音频信号而被生成。第一输出信号至少部分基于第一输入信号和第二输入信号而被生成以发送给第二参与方。
【专利附图】
【附图说明】
[0016]图1描绘了示例性双向通信系统。
[0017]图2描绘了带声学回音消除的示例性双向通信系统。
[0018]图3描绘了示例性通信终端。
[0019]图4描绘了用于通信终端的示例性三向音频会议场景。
[0020]图5描绘了显示用于音频会议的示例性通信系统的图。
[0021]图6描绘了包括预处理组件的调制解调器的示例。
[0022]图7描绘了用于音频会议的通信系统的示例。
[0023]图8描绘了用于在音频会议中执行声学回音消除的示例性流程图。
【具体实施方式】
[0024]参考图3，当调制解调器302或调制解调器304被用于双向通信时，调制解调器302或调制解调器304内的AEC组件可以执行例如图2中所示的声学回音消除。然而，在三向音频会议场景中，声学回音消除要困难得多。
[0025]图4描绘了用于通信终端300的示例性三向音频会议场景。通信终端300中的扬声器402接收来自三向会议的两个参与方的设备的音频信号404和406,并且生成声音408，该声音408被麦克风410拾取。因而，麦克风410的输出412可包括来自音频信号404和406两者的贡献。如图2中所示，AEC组件通常只有两个输入信号:所记录的麦克风的输出，以及作为用于处理所记录的麦克风的输出的参考的从单个远端设备接收的音频信号。然而，在三向音频会议场景中，麦克风410的输出412和从两个远端设备接收的音频信号404和406可能都被需要以进行声学回音消除。只能处理两个输入信号的传统AEC组件可能不能被用于有效地为三向音频会议减少回音。此外，修改AEC组件以使得其可以接收三个输入信号通常需要改变AEC组件的接口和物理布局，这通常会导致增加的成本和系统复杂性。
[0026]图5描绘了显示用于音频会议的示例性通信系统500的图。三向音频会议涉及三个参与方:远程参与方A、远程参与方B和本地参与方L。使用通信系统500的本地参与方L作为音频会议的领导者。如图5中所示，通信系统500将本地参与方L和远程参与方B的语音混合，并且输出将要被发送到远程参与方A的音频信号520，使得参与方A可以听到本地参与方L和远程参与方B两者的语音。
[0027]具体而言，应用核502例如通过混合运算器540将经由调制解调器532从远程参与方B接收的音频信号504与来自本地参与方L的另一音频信号506混合(例如交织)。调制解调器530中的预处理组件510对来自应用核502的混合信号508和经由调制解调器530从远程参与方A接收的音频信号512进行处理，并输出所记录的信号514 (例如V/)和参考信号516 (例如V/ )作为AEC组件518的两个输入，AEC组件518进而生成要被发送到远程参与方A的音频信号520。
[0028]预处理组件510和AEC组件518实现以下用于声学回音消除的公式:
[0029]V = VsL+VfB
[0030]Nf, = NfA+NfB
[0031]Nf' = VfA+VfB(2)
[0032]V =V +V = VsL+VfB+N'+N'
[0033]
【权利要求】
1.一种用于在多个参与方之间的音频会议中的语音增强的通信系统，所述系统包括: 信号处理器，所述信号处理器被配置为至少部分地基于与第一远程参与方相关联的第一音频信号和与本地参与方相关联的本地音频信号来生成第一混合信号； 第一预处理组件，所述第一预处理组件被配置为至少部分地基于所述第一混合信号和与第二远程参与方相关联的第二音频信号来生成第一输入信号和第二输入信号；以及第一语音增强组件，所述第一语音增强组件被配置为至少部分地基于所述第一输入信号和所述第二输入信号来生成要被发送到所述第二远程参与方的第一输出信号。
2.根据权利要求1所述的系统，还包括: 第二预处理组件，所述第二预处理组件被配置为至少部分地基于第二混合信号和所述第一音频信号来生成第三输入信号和第四输入信号；以及 第二语音增强组件，所述第二语音增强组件被配置为至少部分地基于所述第三输入信号和所述第四输入信号来生成要被发送到所述第一远程参与方的第二输出信号； 其中所述信号处理器还被配置为至少部分地基于所述第二音频信号和所述本地音频信号来生成所述第二混合信号。
3.根据权利要求1所述的系统，其中所述信号处理器还被配置为利用左音频通道和右音频通道来生成所述第一混合信号，所述第一混合信号包括左音频通道分量和右音频通道分量。
4.根据权利要求3所述 的系统，其中所述第一预处理组件还被配置为生成在幅度上等于所述左音频通道分量的所述第一输入信号，并且至少部分地基于所述右音频通道分量和所述第二音频信号来生成所述第二输入信号。
5.根据权利要求3所述的系统，其中所述信号处理器还被配置为至少部分地基于要被发送的理想音频信号和混合噪声信号来生成所述左音频通道分量，所述理想音频信号表示所述本地音频信号和所述第一音频信号的混合。
6.根据权利要求5所述的系统,其中所述混合噪声信号表不与所述第一远程参与方相关联的第一噪声信号和与所述第二远程参与方相关联的第二噪声信号的混合。
7.根据权利要求3所述的系统，其中所述信号处理器还被配置为生成在幅度上等于所述第一音频信号的所述右音频通道分量。
8.一种用于在多个参与方之间的音频会议中的语音增强的集成电路，所述集成电路包括: 第一预处理电路，所述第一预处理电路被配置为接收表示与第一远程参与方相关联的第一音频信号和与本地参与方相关联的本地音频信号的混合的第一混合信号，并且被配置为至少部分地基于所述第一混合信号和与第二远程参与方相关联的第二音频信号来生成第一输入信号和第二输入信号；以及 第一语音增强电路，所述第一语音增强电路被配置为至少部分地基于所述第一输入信号和所述第二输入信号来生成要被发送到所述第二远程参与方的第一输出信号。
9.根据权利要求8所述的集成电路，还包括: 第二预处理电路，所述第二预处理电路被配置为至少部分地基于第二混合信号和所述第一音频信号来生成第三输入信号和第四输入信号，所述第二混合信号表示所述第二音频信号和所述本地音频信号的混合；以及第二语音增强电路，所述第二语音增强电路被配置为至少部分地基于所述第三输入信号和所述第四输入信号来生成要被发送到所述第一远程参与方的第二输出信号。
10.根据权利要求8所述的集成电路，其中所述第一混合信号包括左音频通道分量和右音频通道分量。
11.根据权利要求10所述的集成电路，其中所述第一预处理电路还被配置为生成在幅度上等于所述左音频通道分量的所述第一输入信号，并且至少部分地基于所述右音频通道分量和所述第二音频信号来生成所述第二输入信号。
12.根据权利要求10所述的集成电路，其中所述左音频通道分量与要被发送的理想音频信号以及混合噪声信号相关，所述理想音频信号表示所述本地音频信号和所述第一音频信号的混合。
13.根据权利要求12所述的集成电路，其中所述混合噪声信号表示与所述第一远程参与方相关联的第一噪声信号和与所述第二远程参与方相关联的第二噪声信号的混合。
14.根据权利要求10所述的集成电路，其中所述右音频通道分量在幅度上等于所述第 一音频信号。
15.一种用于在多个参与方之间的音频会议中的语音增强的方法，所述方法包括: 接收与第一远程参与方相关联的第一音频信号以及与本地参与方相关联的本地音频信号; 至少部分地基于所述第一音频信号和所述本地音频信号来生成第一混合信号； 至少部分地基于所述第一混合信号和与第二远程参与方相关联的第二音频信号来生成第一输入信号和第二输入信号；以及 至少部分地基于所述第一输入信号和所述第二输入信号来生成要被发送到所述第二参与方的第一输出信号。
16.根据权利要求15所述的方法，还包括: 至少部分地基于所述第二音频信号和所述本地音频信号来生成第二混合信号； 至少部分地基于所述第二混合信号和所述第一音频信号来生成第三输入信号和第四输入信号；以及 至少部分地基于所述第三输入信号和所述第四输入信号来生成要被发送到所述第一远程参与方的第二输出信号。
17.根据权利要求15所述的方法，其中所述第一混合信号包括左音频通道分量和右音频通道分量。
18.根据权利要求17所述的方法，其中所述第一输入信号在幅度上等于所述左音频通道分量，并且所述第二输入信号与所述右音频通道分量和所述第二音频信号相关。
19.根据权利要求17所述的方法，其中所述左音频通道分量与要被发送的理想音频信号以及混合噪声信号相关，所述理想音频信号表示所述本地音频信号和所述第一音频信号的混合。
20.根据权利要求19所述的方法,其中所述混合噪声信号表不与所述第一远程参与方相关联的第一噪声信号和与所述第二远程参与方相关联的第二噪声信号的混合。
【文档编号】G10L21/02GK103458137SQ201310173977
【公开日】2013年12月18日 申请日期:2013年5月6日 优先权日:2012年5月7日
【发明者】潘琦, 李星 申请人:马维尔国际贸易有限公司