消除回声的方法及其电子装置的制造方法

消除回声的方法及其电子装置的制造方法
【专利摘要】公开了一种消除回声的方法及其电子装置。所述电子装置可包括：麦克风，被配置为接收声音信号；应用处理器(AP)，被配置为执行应用；通信模块，被配置为控制语音呼叫服务；扬声器，被配置为输出声音信号；音频处理模块，被配置为对以下信号中的至少一个信号到扬声器的输出进行处理：从AP接收到的音频信号、从通信模块接收到的语音信号或组合信号；第一回声消除器(AEC)，被配置为基于来自于音频处理模块的输出来消除通过麦克风接收到的声音信号的回声并将信号提供给AP；第二AEC，被配置为基于来自于音频处理模块的输出来消除通过麦克风接收到的声音信号的回声并将信号提供给通信模块。
【专利说明】
消除回声的方法及其电子装置
技术领域
[0001]本公开涉及一种用于在电子装置中消除回声的设备和方法。
【背景技术】
[0002]随着信息和通信技术以及半导体技术的发展，各种类型的电子装置已发展成提供各种多媒体服务的多媒体装置。例如，电子装置可提供诸如广播服务、无线互联网服务、相机服务和音乐再现服务的各种各样的多媒体服务。
[0003]电子装置可提供各种服务以增加用户的便利。例如，电子装置可使用通过麦克风采集到的音频信号来提供诸如记录服务、在呼叫期间的语音记录服务、语音识别服务、语音消息等的音频服务。

【发明内容】

[0004]通过电子装置的扬声器输出的信号(音频信号或语音信号)可被同一电子装置的麦克风捕获为回声信号。电子装置可由于通过麦克风流入的回声信号而具有低质量的音频服务。例如，电子装置的语音识别率可由于通过麦克风流入的回声信号而恶化，这是因为为语音识别服务提供的信号不仅包括用于语音识别的想要的信号，而且也包括扬声器的输出。在另一情况下，语音呼叫服务的质量也可能恶化。在语音呼叫期间，电子装置的使用者使用另一电子装置与另一方进行交谈。另一方的讲话通过扬声器被提供给用户，而说话者的语音通过麦克风被提供给另一方。然而，如果麦克风捕获接收从扬声器的输出，则另一方也将听到他们语音的回声，从而使语音呼叫的质量恶化。
[0005]电子装置可通过使用回声消除器(AEC)来消除回声，以防止由于回声信号而导致的性能恶化。例如，电子装置可通过AEC消除由麦克风捕获的由于从电子装置的扬声器输出的音频信号或语音信号而产生的回声信号，从而提高输入到麦克风中的用户的语音信号的质量并防止由于回声分量而导致的信号失真。具体而言，AEC可将通过电子装置的扬声器输出的音频信号或语音信号设置为回声参考数据。AEC可通过频率分析将在麦克风输入信号之中的频率特性与回声参考数据相似的信号确定为回声信号，并消除或衰减相应的信号。因此，为了消除回声信号，电子装置可将扬声器输出信号(例如，回声参数数据)和麦克风输入信号(Tx输入)输入到AEC。
[0006]然而，当在提供呼叫服务的同时也提供音频服务功能时，由于向AEC提供用于回声信号消除的回声参考数据(音频信号和语音信号中的至少一个)具有限制，因此电子装置会在消除回声信号上有限制。也就是说，由电子装置提供的音频服务的质量可由于未被消除的回声信号而恶化。
[0007]本公开的各种实施例可提供了一种用于消除流入电子装置的麦克风中的回声信号的设备和方法。
[0008]根据本公开的实施例，提供了一种电子装置。所述电子装置包括:麦克风，被配置为接收声音信号;应用处理器(AP)，被配置为执行应用;通信模块，被配置为控制语音呼叫服务;扬声器，被配置为输出声音信号；音频处理模块，被配置为对以下信号中的至少一个信号到扬声器的输出进行处理:从AP接收到的音频信号、从通信模块接收到的语音信号或组合信号;第一回声消除器(AEC)，被配置为基于来自于音频处理模块的输出来消除通过麦克风接收到的声音信号的回声，并将信号提供给AP，其中，第一AEC位于AP、音频处理模块和外部预处理模块中的至少一个中；第二 AEC，被配置为基于来自于音频处理模块的输出来消除通过麦克风接收到的声音信号的回声，并将信号提供给通信模块，其中，第二AEC位于通信模块、音频处理模块和外部预处理模块中的至少一个中。
[0009]根据本公开的另一实施例，提出了一种操作电子装置的方法。所述方法包括:通过音频处理模块对来自于应用处理器(AP)的音频信号和来自于通信模块的语音信号中的至少一个信号到外部的输出进行处理;通过电子装置的扬声器输出由音频处理模块处理的信号;和基于从音频处理模块输出的信号来消除通过电子装置的麦克风接收到的语音信号的回声，其中，消除回声的步骤包括:选择性地通过第一回声消除器(AEC)和第二AEC中的至少一个，基于从音频处理模块输出的信号来消除通过电子装置的麦克风接收到的声音信号的回声，其中，第一AEC位于AP、音频处理模块和外部预处理模块中的至少一个中，并将消除了回声的声音信号提供给AP，第二 AEC位于通信模块、音频处理模块和外部预处理模块中的至少一个中，并将消除了回声的声音信号提供给通信模块。
【附图说明】
[0010]从以下结合附图的详细描述中，本公开的以上和其它方面、特征和优点将会更清楚，其中:
[0011]图1是根据本公开的实施例的电子装置的框图；
[0012]图2示出根据本公开的实施例的用于由电子装置通过使用音频处理模块来消除回声信号的结构；
[0013]图3是根据本公开的各种实施例的用于消除回声信号的音频处理模块的详细框图；
[0014]图4示出根据本公开的各种实施例的用于由电子装置通过使用音频处理模块和通信模块来消除回声信号的结构；
[0015]图5示出根据本公开的各种实施例的用于由电子装置通过使用音频处理模块和AP来消除回声信号的结构；
[0016]图6示出根据本公开的各种实施例的用于由音频处理模块来将音频信号发送到AP的结构；
[0017]图7A和图7B示出根据本公开的各种实施例的用于将音频信号发送到AP的信道结构；
[0018]图8示出根据本公开的各种实施例的用于由电子装置通过使用AP和通信模块来消除回声信号的结构；
[0019]图9示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块来消除回声信号的结构；
[0020]图10是根据本公开的各种实施例的外部预处理模块的详细框图；
[0021]图11示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和音频处理模块来消除回声信号的结构；
[0022]图12示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和音频处理模块来消除回声信号的结构；
[0023]图13示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和通信模块来消除回声信号的结构；
[0024]图14示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和AP来消除回声信号的结构；
[0025]图15是示出根据本公开的各种实施例的用于由电子装置消除回声信号的操作的流程图；
[0026]图16是示出根据本公开的各种实施例的用于由电子装置通过使用音频处理模块来消除回声信号的操作的信号流程图；
[0027]图17是示出根据本公开的各种实施例的用于由电子装置通过使用音频处理模块和通信模块来消除回声信号的操作的信号流程图；
[0028]图18是示出根据本公开的各种实施例的用于由电子装置通过使用音频处理模块和AP来消除回声信号的操作的信号流程图；
[0029]图19是示出根据本公开的各种实施例的用于由电子装置通过使用AP和通信模块来消除回声信号的操作的信号流程图；
[0030]图20是示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块来消除回声信号的操作的信号流程图；
[0031]图21是示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和音频处理模块来消除回声信号的操作的信号流程图；
[0032]图22是示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和音频处理模块来消除回声信号的操作的信号流程图；
[0033]图23示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和通信模块来消除回声信号的操作的信号流程图；
[0034]图24示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和AP来消除回声信号的结构。
【具体实施方式】
[0035]在下文中，将参照附图对本公开的各种实施例进行描述。然而，应理解本公开的各种实施例不限于特定实施例，并包括各种修改、等同物和/或它的替代物。关于附图的描述，相同的标号指定相同的元件。
[0036]这里使用的表述“具有”、“可具有”、“包括”或“可包括”指示存在相应特征(例如数字、功能、操作或诸如组件的构成元件)，而不排除一个或更多个附加特征。
[0037]贯穿说明书，表述“A或B”、“至少一个A或/和B”或“A或/和B中的一个或更多个”等可包括列出的项目的所有组合。例如，“A或B”、“至少一个A或/和B”或“至少一个A或B”可指以下所有情况:(I)包括至少一个A，(2)包括至少一个B，或(3)包括至少一个A和至少一个B两者。
[0038]本公开的各种实施例中使用的表述“第一”或“第二”可修饰各种组件，而不管顺序和/或重要性如何，但不限制相应部件。上述表述可用于将元件区别于其它元件。例如，虽然第一用户装置和第二用户装置都是用户装置，但是它们指示不同用户装置。例如，在不脱离本公开范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。
[0039]应理解:当元件(例如，第一元件)被称为被“(可操作地或直接地)耦接到”或“连接至IJ”另一元件(例如，第二元件)时，所述元件可被直接连接到另一个元件，或可通过另一元件(例如，第三元件)被连接到另一个元件。与此相反，可理解:当元件(例如，第一元件)被称为被“直接连接到”或“直接耦接到”另一元件(第二元件)时，在所述元件和另一个元件之间不存在中间元件(例如，第三元件)。
[0040]在本说明书中使用的表述“配置(或设置)为”可根据情况与例如“适用于”、“具有…能力”、“设计用于”、“适合于”、“提出以”或“能够”互换使用。术语“配置(或设置)为”未必意味着“专门设计用于”硬件中。可选地，在一些情况下，表述“装置被配置为”可能表示电子装置与其它电子装置或组件一起“能够?”。例如，短句“处理器适合于(或配置为)执行A、B和C”可表示仅用于执行相应操作的专用处理器(例如，嵌入式处理器)或可表示通过运行存储在内存装置中一个或多个软件程序来执行相应操作的通用处理器(例如，中央处理器(CPU)或应用处理器(AP))。
[0041]信号的“回声消除”不应被解释为需要回声成分的彻底消除，并可包括信号中回声成分减少到针对信号的特定使用可接收的程度。
[0042]在本公开中使用的术语仅被用于描述特定实施例，并不意在限制本公开。除非上下文清晰地另有指示，否则单数形式也可包括复数形式。除非另有限定，这里使用的包括技术术语和科学术语的全部术语可具有本公开所属领域普通技术人员通常理解的含义。所述术语(诸如在通常使用的词典中限定的术语)应被解释为具有与在相关技术领域的语境中的含义相同或相似的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在这里被清楚地定义。在某些情况下，甚至在这里定义的术语也不应被解释为排除本公开的实施例。
[0043]根据本公开的各种实施例，电子装置例如可包括以下项中的至少一个:智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书(e-book)阅读器、台式PC、膝上型PC、笔记本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗器械、照相机和可穿戴装置(例如，智能眼镜、头戴式装置(HMD)、电子服装、电子手镯、电子项链、电子配件、电子纹身、智能镜子或智能手表)。
[0044]根据一些实施例，电子装置可以是智能家电。家电可包括例如以下项中的至少一个:电视机、数字通用盘(DVD)播放器、音响、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、TV盒子(例如，三星HomeSync?、苹果TV?或谷歌TV?)、游戏控制台(例如，Xbox?和PlayStat1n?)、电子词典、电子钥匙、摄像机和电子相框。
[0045]根据另一实施例，电子装置可包括以下项中的至少一个:各种医疗装置(例如，各种便携式医学测量装置(血糖监测装置、心率监测装置、血压测量装置、体温测量装置等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)仪器和超声仪)，导航装置、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐装置，用于船舶的电子装置(例如，用于船舶的导航设备和陀螺罗盘)、航空电子装置、安全装置、汽车机头单元、家用机器人或工业机器人、银行里的自动柜员机(ATM)、商店里的销售终端(POS)或物联网装置(例如，灯泡、各种传感器、电表或燃气表、洒水装置、火灾报警器、恒温器、街灯、烤面包机、体育用品、热水箱、加热器、锅炉等)。
[0046]根据一些实施例，电子装置可包括以下项中的至少一个:家具或建筑/结构的一部分、电子板、电子签名接收装置、投影仪以及各种测量器具(例如，水表、电表、煤气表和无线电波表)。根据本公开的各种实施例的电子装置可以是前述各种装置中的一个或更多个的组合。根据本公开的一些实施例的电子装置可以是柔性装置。此外，根据本公开的实施例的电子装置不限于前述装置，并可根据技术的发展包括新的电子装置。
[0047]在下文中，将参照附图来描述根据各种实施例的电子装置。这里使用的术语“用户”可指示使用电子装置的人或使用电子装置的装置(例如，人工智能电子装置)。
[0048]在下文中，本公开描述用于消除通过麦克风流入电子装置的回声信号的技术。
[0049]图1是根据本公开的各种实施例的电子装置的框图。
[0050]参照图1，电子装置100可包括总线110、应用处理器(AP) 120(例如，包括处理电路)、通信模块130 (例如，包括通信电路)、存储器140、输入接口 150 (例如，包括输入电路)、显示器160(例如，包括显示面板和显示电路)和音频处理模块170(例如，包括音频处理电路)。根据本公开的各种实施例，电子装置100可省略元素中的至少一个元素，并可另外包括另一元素。
[0051]总线110可以是连接元件(例如，AP120、通信模块130、存储器140、输入接口 150、显示器160或音频处理模块170)并在元件之间传输通信(例如，控制消息)的电路。
[0052]AP 120可通过驱动操作系统或应用程序来控制连接到AP 120的多个硬件或软件元件。AP 120可处理包括多媒体数据的各种类型数据或执行计算。
[0053]根据实施例，AP120可生成与应用程序相应的音频信号(例如，文本转语音(TTS)、按键音、效果声音等)JP 120可通过使用消除了回声的麦克风输入信号来驱动应用程序(例如，语音识别程序)。
[0054]通信模块130可包括通信处理器(CP)。通信模块130可通过电子装置100与通过网络连接的另一电子装置(例如，对方电子装置或服务器)之间的通信来发送/接收数据。
[0055]根据实施例，通信模块130可通过网络将用于语音呼叫服务的语音信号发送到另一电子装置或从另一电子装置接收用于语音呼叫服务的语音信号。在这种情况下，通信模块130可将消除了回声的麦克风输入信号(语音信号)发送到另一电子装置。
[0056]存储器140可包括易失性存储器和/或非易失性存储器。存储器140可存储与电子装置100的一个或更多个其它元件相关的命令或数据。根据实施例，存储器140可存储软件和/或程序。例如，程序可包括内核、中间件、应用程序编程接口(API)或应用(或应用程序)。
[0057]输入接口150可将从用户或另一外部装置输入的命令或数据传送到电子装置100的其它元件。
[0058]显示器160可向用户显示例如各种类型的内容(例如，文本、图像、视频、图标或符号)。例如，显示器160可包括液晶显示器(IXD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。例如，显示器160可包括触摸屏并接收使用电子笔或用户的身体部分进行的触摸、手势、接近或悬停输入。
[0059]音频处理模块170可通过麦克风172和扬声器174提供在用户和电子装置100之间的音频接口。例如，音频处理模块170可通过AP 120和通信模块130中的至少一个来处理通过麦克风172接收到的声音信号。例如，音频处理模块170可将通过麦克风172接收到的声音信号转换成数字信号并对数字信号进行编码。例如，音频处理模块170可对从AP 120和通信模块130中的至少一个接收到的音频信号和语音信号中的至少一个进行处理，以通过扬声器174输出。例如，音频处理模块170可将从AP 120和通信模块130中的至少一个接收到的音频信号和语音信号中的至少一个进行解码并将该信号转换成模拟信号。例如，音频处理模块170可包括编解码器。另外，在某些实施例中，音频处理模块可包括根据诸如MPEG-1、音频层3的各种音频压缩标准的编解码器。
[0060]根据实施例，音频处理模块170可通过扬声器174将从AP 120接收到的音频信号和从通信模块130接收到的语音信号中的至少一个输出。例如，音频处理模块170可将从AP120接收到的音频信号和从通信模块130接收到的语音信号组合成一个信号，并通过扬声器174输出组合信号。例如，音频处理模块170可通过扬声器174输出从AP 120接收到的音频信号和从通信模块130接收到的语音信号中的至少一个。
[0061 ]根据实施例，音频处理模块170可将通过麦克风172接收到的麦克风输入信号转换成数字信号，并将数字信号发送到AP 120和通信模块130中的至少一个。扬声器174可包括听筒和外部扬声器中的至少一个。
[0062]根据本公开的各种实施例，AP120可指用于驱动应用的模块。例如，AP120可包括用于驱动应用的用户接口、用于控制音频路径(装置设置)和音量的框架部件以及与层之间的接口相应的硬件抽象层(HAL)部件。
[0063]图2示出根据本公开的实施例的用于在电子装置中通过使用音频处理模块来消除回声信号的结构。在下文中，将描述用于消除通过麦克风172流入图1的电子装置的回声信号的结构。
[0064]参照图2，音频处理模块170可通过音频组合模块200将从AP接收到的音频信号(例如，TTS、按键音、效果声音等)和从通信模块130接收到的语音信号(例如，对方的呼叫语音信号)组合成一个信号，并通过扬声器174输出该信号。在某些实施例中，音频组合模块200可包括例如信号组合器、多路复用器、加法器或信号组合器、多路复用器和加法器的组合。例如，当音频组合模块200从AP 120或通信模块130接收音频信号或语音信号时，音频组合模块120可通过扬声器174输出音频信号，通过扬声器174输出语音信号，或者通过扬声器174输出将音频信号和语音信号组合的信号(组合信号)。
[0065]根据实施例，音频组合模块200将通过扬声器174输出的音频信号、语音信号或组合信号中的特定一个信号提供给第一AEC 201和第二AEC 203。音频组合模块200可将输出到扬声器174的音频信号和语音信号中的至少一个发送到第一AEC 201和第二AEC 203，使得音频信号或语音信号可被用作用于消除回声信号的回声参考数据。例如，音频组合模块200可将输出到扬声器174的组合信号发送到第一AEC 201和第二AEC 203，使得组合信号可被用作用于消除回声信号的回声参考数据。例如，音频组合模块200可将输出到扬声器174的音频信号或语音信号发送到第一AEC 201和第二AEC 203，使得音频信号或语音信号可被作为用于消除回声信号的回声参考数据。
[0066]根据实施例，音频处理模块170可包括用于消除通过麦克风172流入的回声信号的第一回声消除器(AEC)201和第二AEC 203。
[0067]第一AEC201可基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号，以驱动AP 120的应用。例如，当AP 120提供语音识别服务时，麦克风输入信号可包括用于语音识别的语音信号以及回声信号。第一AEC 201可消除回声信号，以将AP 120的语音识别率提高到以下程度:包括在麦克风输入信号中的语音信号不失真或失真减小到允许可接受的语音识别率的程度。麦克风输入信号可包括通过麦克风172采集的音频信号和语音信号。
[0068]根据实施例，AP120可基于从第一 AEC 201接收到的消除了回声信号的麦克风输入信号来驱动应用。例如，AP 120可基于从第一AEC 201接收到的消除了回声信号的麦克风输入信号来提供语音识别服务。
[0069]第二AEC 203可独立于第一AEC 201地消除包括在麦克风输入信号中的回声信号，以基于从音频组合模块200接收到的针对通信模块130的语音呼叫服务的回声参考数据(例如，音频信号、语音信号或组合信号)来优化用于语音呼叫服务的麦克风输入信号。例如，第二AEC 203的回声信号消除等级(例如，回声信号消除强度)可被设置为比第一AEC 201的回声信号消除等级高。例如，随着回声信号消除等级更高，回声信号消除效率可变大。例如，在语音呼叫期间，回声消除的等级可足够高，从而使得在由通信模块130提供的信号中的任何回声处于低于人耳的可听范围的等级。
[0070]根据实施例，通信模块130可基于从第二AEC203接收到的消除了回声信号的麦克风输入信号来提供语音呼叫服务。例如，通信模块130可将从第二AEC 203接收到的消除了回声信号的麦克风输入信号发送到提供语音呼叫服务的另一电子装置。
[0071]在图2中，音频处理模块170可包括针对AP 120的第一AEC 201和针对通信模块130的第二AEC 203。
[0072]根据本公开的各种实施例，音频处理模块170可通过使用一个AEC来选择性地消除针对AP的回声信号和针对通信模块130的回声信号。例如，当使用AP 120执行应用时，音频处理模块170的AEC可按照与AP 120相应的回声信号消除等级来消除回声信号。如果没有语音呼叫正在进行，则通信模块130的AEC 203可不执行回声消除。例如，当使用通信模块130提供语音呼叫服务时，音频处理模块170的AEC可按照与通信模块130相应的回声信号消除等级来消除回声信号。如果没有使用语音或声音输入的应用被执行，则AP 120的AEC 201可不执行回声消除。在某些实施例中，AP 120可控制AEC 201是否执行回声消除，而通信模块130控制AEC 203是否执行回声消除。
[0073]图3是根据本公开的各种实施例的用于消除回声信号的音频处理模块的详细框图。在下文中，将描述如图2所示的用于消除回声信号的音频处理模块170的详细配置。
[0074]参照图3，音频处理模块170可包括音频组合模块200、至少一个AEC和D/A转换器300。
[0075]音频组合模块200可将从AP120接收到的音频信号和从通信模块130接收到的语音信号组合成一个信号。例如，音频组合模块200可将组合信号发送到AEC 201以消除回声信号。
[0076]根据实施例，当从AP120和通信模块130之间的一个元件接收到音频信号或语音信号时，音频组合模块200可将相应信号发送到D/A转换器300而无需信号组合处理(即绕过信号组合处理)。在这种情况下，音频组合模块200可将组合信号发送到AEC 201，以消除回声信号。
[0077]D/A转换器300可将数字信号转换成模拟信号或将模拟信号转换成数字信号。例如，D/A转换器300可将从音频组合模块200接收到的数字信号转换成可通过扬声器174输出的模拟信号。例如，D/A转换器300可将通过麦克风172输入的模拟信号转换成可由音频处理模块170处理的数字信号。
[0078]AEC 201可基于从音频组合模块200接收到的回声参考数据(例如，通过扬声器174输出的信号)来消除包括在麦克风输入信号中的回声信号。
[0079]图4示出根据本公开的各种实施例的用于由电子装置通过使用音频处理模块和通信模块来消除回声信号的结构，其中，AEC包括在通信模块的预处理模块中。在下文中，将描述用于消除通过麦克风172流入图1的电子装置中的回声信号的结构。
[0080]参照图4，音频处理模块170的音频组合模块200可通过扬声器174输出从AP120接收到的音频信号、从通信模块130接收到的语音信号或组合信号中的至少一个。例如，音频组合模块200可将从AP 120接收到的音频信号和从通信模块130接收到的语音信号组合成一个信号，并通过扬声器174输出该信号。
[0081]根据实施例，音频组合模块200可将输出到扬声器174的信号(例如，音频信号、语音信号或组合信号)发送到第一AEC 201以及通信模块130的呼叫预处理模块400，使得该信号可被用作用于回声信号消除的回声参考数据。
[0082]第一AEC201可基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号，以驱动AP 120的应用。
[0083]根据实施例，AP120可基于从第一 AEC 201接收到的消除了回声信号的麦克风输入信号来驱动应用。
[0084]通信模块130的呼叫预处理模块400可控制用于语音呼叫服务的诸如音量、AEC、动态范围控制器(DRC)和噪声抑制(NS)的音频处理。例如，呼叫预处理模块400可针对通信模块130的语音呼叫服务，基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号。
[0085]根据实施例，通信模块130可基于通过使用呼叫预处理模块400消除了回声信号的麦克风输入信号来提供语音呼叫服务。
[0086]图5示出根据本公开的各种实施例的用于由其中AEC包括在AP120的预处理模块中的电子装置通过使用音频处理模块和AP来消除回声信号的结构。在下文中，将描述用于消除通过麦克风172流入图1的电子装置中的回声信号的结构。
[0087]参照图5，音频处理模块170的音频组合模块200可通过扬声器174输出从AP120接收到的音频信号、从通信模块130接收到的语音信号或组合的信号。例如，音频组合模块200可将从AP 120接收到的音频信号和从通信模块130接收到的语音信号组合成一个信号，并通过扬声器174输出该信号。
[0088]根据实施例，音频组合模块200可将信号(输出到扬声器174的音频信号、语音信号或组合信号中的特定的一个信号)发送到第二AEC 203和AP 120的AP预处理模块500，使得该信号可被用作用于回声消除的回声参考数据。
[0089]第二AEC203可针对语音呼叫服务，基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号。
[0090]根据实施例，通信模块130可基于从第二AEC 203接收到的消除了回声信号的麦克风输入信号来提供语音呼叫服务。例如，通信模块130可将从第二AEC 203接收到的经过回声消除的麦克风输入信号发送到提供语音呼叫服务的另一电子装置。
[0091 ] AP 120的AP预处理模块500可基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号。例如，AP预处理模块500可将麦克风输入信号和回声参考数据时间上同步(注意在麦克风输出的产生与在麦克风处存在的回声之间存在回声延迟。因此，“同步”应被理解为表示按照回声延迟的量来偏移参考数据KAP预处理模块500可通过使用同步的麦克风输入信号和回声参考数据来将回声消除到以下程度:包括在麦克风输入信号中的语音信号不失真或失真减少到可接受的等级。
[0092]根据实施例，AP120可基于使用AP预处理模块150消除了回声信号的麦克风输入信号来驱动应用。
[0093]根据实施例，麦克风输入信号和回声参考数据可通过独立的信号路径(信道)被发送到AP 120。例如，音频处理模块170可使用AP 120激活多个麦克风输入路径，并通过不同的路径(信号路径)将回声参考数据和麦克风输入信号发送到AP 120。例如，音频处理模块170可使用AP 120激活一个麦克风输入路径，并将麦克风输入信号发送到AP 120。音频处理模块170可根据预定周期通过不同于麦克风输入路径的路径将回声参考数据发送到AP120。
[0094]根据本公开的各种实施例，音频处理模块170可通过使用一个路径将回声参考数据和麦克风输入信号发送到AP 120。例如，音频处理模块170可通过使用如图6所示的一个路径将回声参考数据和麦克风输入信号发送到AP 120。
[0095]图6示出根据本公开的各种实施例的用于由音频处理模块将音频信号发送到AP的结构。在下文中，将描述用于通过使用图7A和图7B的信道结构来发送信号的结构。
[0096]参照图6，音频处理模块170可通过使用打包器600(例如，块模块)经由一个路径将结构转换成用于将回声参考数据和麦克风输入信号发送到AP 120的结构。例如，当音频处理模块170和AP 120通过立体声信道被连接时，打包器600可产生包(例如，块)，以如图7A所示在立体声信道的第一信道中包括麦克风输入信号(Tx IN PCM)并在第二信道中包括回声参考数据(Tx Ref PCM)。术语“包”应包括有头的包或无头的包。例如，当音频处理模块170和AP 120通过单信道被连接时，块模块600可产生包以如图7B所示按照有规律的间隔可选地在单信道中包括麦克风输入信号(Tx IN PCM)和回声参考数据(Tx Ref PCM)。
[0097]打包器600可通过一个路径(信道)将包括回声参考数据和麦克风输入信号的包发送至IjAP 120。
[0098]AP 120可通过使用解包器610将从音频处理模块170接收到的回声参考数据以及麦克风输入信号进行分离。
[0099]根据实施例，AP 120的AP预处理模块500可基于由解包器610分离出的回声参考数据来消除包括在麦克风输入信号中的回声信号。
[0100]图8示出根据本公开的各种实施例的用于由在其中AEC两者都在AP和通信模块的预处理模块中的电子装置通过使用AP和通信模块来消除回声信号的结构。在下文中，将描述用于消除通过麦克风172流入图1的电子装置中的回声信号的结构。
[0101]参照图8，音频处理模块170的音频组合模块200可通过扬声器174输出从AP120接收到的音频信号，通过扬声器174输出从通信模块130接收到的语音信号，或者通过扬声器174输出组合信号。例如，音频组合模块200可将从AP 120接收到的音频信号和从通信模块130接收到的语音信号组合成一个信号，并通过扬声器174输出该信号。
[0102]根据实施例，音频组合模块200可将信号(输出到扬声器174的音频信号、语音信号或组合信号中的特定的一个信号)发送到AP 120和通信模块130，使得该信号可被用作用于回声信号消除的回声参考数据。
[0103]AP 120的AP预处理模块500可基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号。例如，AP预处理模块500可将麦克风输入信号和回声参考数据时间上同步。AP预处理模块500可通过使用同步的麦克风输入信号和回声参考数据来将回声信号消除到以下程度:包括在麦克风输入信号中的语音信号不失真或失真被减小到可接受的等级。
[0104]根据实施例，AP120可基于使用AP预处理模块150消除了回声信号的麦克风输入信号来驱动应用。
[0105]通信模块130的呼叫预处理模块400可基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号。例如，呼叫预处理模块400可将麦克风输入信号和回声参考数据时间上同步。呼叫预处理模块400可通过使用同步的麦克风输入信号和回声参考数据来消除包括在麦克风输入信号中的回声信号。
[0106]根据实施例，通信模块130可基于通过使用呼叫预处理模块400消除了回声信号的麦克风输入信号来提供呼叫服务。
[0107]图9示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块来消除回声信号的结构。在下文中，将描述用于消除通过麦克风172流入图1的电子装置中的回声信号的结构。
[0108]参照图9，音频处理模块170的音频组合模块200可通过扬声器174输出从AP120接收到的音频信号，通过扬声器174输出从通信模块130接收到的语音信号，或者通过扬声器174输出组合信号。例如，音频组合信号200可将从AP 120接收到的音频信号和从通信模块130接收到的语音信号组合成一个信号，并通过扬声器174输出该信号。
[0109]根据实施例，音频组合模块200可将向扬声器174输出的信号(例如，音频信号、语音信号或组合信号)发送到外部预处理模块900，使得该信号可被用作用于回声信号消除的回声参考数据。
[0110]根据实施例，外部预处理模块900可包括用于消除通过麦克风172流入的回声信号的第一AEC 910和第二AEC 920。
[0111]第一AEC910可基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号，以驱动AP 120的应用。例如，当AP 120执行语音识别应用时，第一AEC 910可消除回声信号，以将AP 120的语音识别率提高到包括在麦克风输入信号中的语音信号不失真的程度。
[0112]根据实施例，第一AEC910可通过音频处理模块170将消除了回声信号的麦克风输入信号发送到AP 120。
[0113]根据实施例，AP120可基于从音频处理模块170接收到的消除了回声信号的麦克风输入信号来执行应用。
[0114]第二AEC 920可针对通信模块130的语音呼叫服务，独立于第一AEC 910地基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号，以针对语音呼叫服务优化麦克风输入信号。例如，第二AEC 920的回声信号消除等级(例如，回声信号消除强度)可被设置为比第一AEC 910的回声信号消除等级高。
[0115]根据实施例，第二AEC920可通过音频处理模块170将消除了回声信号的麦克风输入信号发送到AP 120。
[0116]根据实施例，通信模块130可基于从音频处理模块170接收到的消除了回声信号的麦克风输入信号来提供语音呼叫服务。
[0117]在图9中，外部预处理模900可包括针对AP 120的第一AEC 910和针对通信模块130的第二AEC 920。
[0118]根据本公开的各种实施例，外部预处理模块900可通过使用一个AEC来选择性地消除针对AP 120的回声信号和针对通信模块130的回声信号。例如，当使用AP 120执行应用时，外部预处理模块900的AEC可按照与AP 120相应的回声信号消除等级来消除回声信号。例如，当使用通信模块130提供语音呼叫服务时，外部预处理模块900的AEC可按照与通信模块130相应的回声信号消除等级来消除回声信号。
[0119]图10是根据本公开的各种实施例的外部预处理模块的详细框图。在下文中，将描述如图9所示的用于消除回声信号的外部预处理模块900的详细配置。
[0120]参照图10，音频处理模块170的音频组合模块200可将从AP120接收到的音频信号和从通信模块130接收到的语音信号组合成一个信号。
[0121]根据实施例，音频组合模块200可将组合信号发送到外部预处理模块900，使得该信号可被用作用于回声信号消除的回声参考数据。
[0122]D/A转换器300可将数字信号转换成模拟信号或将模拟信号转换成数字信号。例如，D/A转换器300可将从音频组合模块200接收到的数字信号转换成可通过扬声器174输出的模拟信号。例如，D/A转换器300可将通过麦克风172输入的模拟信号转换成可由音频处理模块170处理的数字信号。
[0123]根据实施例，音频处理模块170可将由D/A转换器300转换的数字信号发送到外部预处理模块900。例如，当基于AP 120和通信模块130中的至少一个的控制来消除回声信号时，音频处理模块170可将由D/A转换器300转换的数字信号发送到外部预处理模块900。
[0124]外部预处理模块900的AEC910或AEC 920可基于从音频组合模块170接收到的回声参考数据(例如，通过扬声器17 4输出的信号)来消除包括在麦克风输入信号中的回声信号。
[0125]外部预处理模块900可通过音频处理模块170将消除了回声信号的麦克风输入信号发送到AP 120或通信模块130。
[0126]图11示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和音频处理模块来消除回声信号的结构，其中，针对AP的AEC位于外部预处理模块中。在下文中，将描述用于消除通过麦克风172流入图1的电子装置中的回声信号的结构。
[0127]参照图11，音频处理模块170的音频组合模块200可通过扬声器174输出从AP 120 接收到的音频信号，通过扬声器174输出从通信模块130接收到的语音信号，或者通过扬声器输出组合信号。例如，音频组合模块200可将从AP 120接收到的音频信号和从通信模块 130接收到的语音信号组合成一个信号，并通过扬声器174输出该信号。
[0128]根据实施例，音频组合模块200可将信号(输出到扬声器174的音频信号、语音信号或组合信号中的特定的一个信号)发送到外部预处理模块900和第二AEC 203,使得该信号可被用作用于回声信号消除的回声参数数据。
[0129]第二AEC 203可针对通信模块130的语音呼叫服务，基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号。[〇13〇]根据实施例，通信模块130可基于从第二AEC 203接收到的消除了回声信号的麦克风输入信号来提供语音呼叫服务。
[0131]外部预处理模块900的第一AEC 910可基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号， 以执行AP 120的应用。
[0132]根据实施例，第一AEC 910可通过音频处理模块170将消除了回声信号的麦克风输入信号发送到AP 120。
[0133]根据实施例，AP 120可基于从音频处理模块170接收到的消除了回声信号的麦克风输入信号来执行应用。
[0134]图12示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和音频处理模块来消除回声信号的结构，其中，针对通信模块的AEC位于外部预处理模块中。在下文中，将描述用于消除通过麦克风172流入图1中电子装置中的回声信号的结构。
[0135]参照图12,音频处理模块170的音频组合模块200可通过扬声器174输出从AP 120 接收到的音频信号，通过扬声器174输出从通信模块130接收到的语音信号，或者通过扬声器174输出组合信号。例如，音频组合模块200可将从AP 120接收到的音频信号和从通信模块130接收到的语音信号组合成一个信号，并通过扬声器174输出该信号。
[0136]根据实施例，音频组合模块200可将信号(输出到扬声器174的音频信号、语音信号或组合信号中的特定的一个信号)发送到外部预处理模块900和第一AEC 201，使得该信号可被用作用于回声信号消除的回声参考数据。
[0137]第一AEC 201可基于从音频组合模块200接收到的回声参考数据(例如，音频信号、 语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号，以驱动AP 120的应用。
[0138]根据实施例，AP 120可基于从第一AEC 201接收到的消除了回声信号的麦克风输入信号来驱动应用。
[0139]外部预处理模块900的第二AEC 920可针对通信模块130的语音呼叫服务，基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号。[〇14〇]根据实施例，第二AEC 920可通过音频处理模块170将消除了回声信号的麦克风输入信号发送到通信模块130。
[0141]根据实施例，通信模块130可基于从音频处理模块170接收到的消除了回声信号的麦克风输入信号来提供语音呼叫服务。
[0142]图13示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和通信模块来消除回声信号的结构。在下文中，将描述用于消除通过麦克风172流入图1的电子装置中的回声信号的结构。
[0143]参照图13，音频处理模块170的音频组合模块200可通过扬声器174输出从AP 120 接收到的音频信号，通过扬声器174输出从通信模块130接收到的语音信号，或者通过扬声器174输出组合信号。例如，音频组合模块200可将从AP 120接收到的音频信号和从通信模块130接收到的语音信号组合成一个信号，并通过扬声器174输出该信号。
[0144]根据实施例，音频组合模块200可将信号(输出到扬声器174的音频信号、语音信号或组合信号中的特定的一个信号)发送到外部预处理模块900和通信模块130,使得该信号可被用作用于回声信号消除的回声参考数据。
[0145]通信模块130的呼叫预处理模块400可针对通信模块130的语音呼叫服务，基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号。
[0146]根据实施例，通信模块130可基于通过使用呼叫预处理模块400消除了回声信号的麦克风输入信号来提供语音呼叫服务。
[0147]外部预处理模块900的第一AEC 910可基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号， 以执行AP 120的应用。
[0148]根据实施例，第一AEC 910可通过音频处理模块170将消除了回声信号的麦克风输入信号发送到AP 120。
[0149]根据实施例，AP 120可基于从音频处理模块170接收到的消除了回声信号的麦克风输入信号来执行应用。
[0150]图14示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和AP来消除回声信号的结构。在下文中，将描述用于消除通过麦克风172流入图1的电子装置中的回声信号的结构。
[0151]参照图14，音频处理模块170的音频组合模块200可通过扬声器174输出从AP 120 接收到的音频信号，通过扬声器174输出从通信模块130接收到的语音信号，或者通过扬声器174输出组合信号。例如，音频组合模块200可将从AP 120接收到的音频信号和从通信模块130接收到的语音信号组合成一个信号，并通过扬声器174输出该信号。
[0152]根据实施例，音频组合模块200可将信号(输出到扬声器174的音频信号、语音信号或组合信号中的特定一个)发送到外部预处理模块900和AP 120,使得该信号可被用作用于回声信号消除的回声参考数据。
[0153]AP 120的AP预处理模块500可基于从音频组合模块200接收到的回声参考数据(例如，音频信号、语音信号或组合信号)来消除包括在麦克风输入信号中的回声信号。
[0154]根据实施例，音频处理模块170可通过至少一个路径(信道)将回声参考数据和麦克风输入信号发送到AP 120。例如，音频处理模块170可通过独立的路径(信道)将回声参考数据和麦克风输入信号发送到AP 120。例如，音频处理模块170可通过一个路径或信道将按照包括回声参考数据和麦克风输入信号的结构的数据发送到AP 120。
[0155]根据实施例，AP 120可基于使用AP预处理模块500消除了回声信号的麦克风输入信号来驱动应用。
[0156]外部预处理模块900的第二AEC 920可针对通信模块130的语音呼叫服务，基于从音频组合模块200接收到的回声参考数据(例如，组合信号)来消除包括在麦克风输入信号中的回声信号。
[0157]根据实施例，第二AEC 920可通过音频处理模块170将消除了回声信号的麦克风输入信号发送到通信模块130。
[0158]根据实施例，通信模块130可基于从音频处理模块170接收到的消除了回声信号的麦克风输入信号来提供语音呼叫服务。
[0159]根据本公开的各种实施例，电子装置100可被配置为通过使用以下两者来消除回声信号:音频处理模块170的AEC 201或AEC 203、以及外部预处理模块900的AEC 910或AEC 920〇[〇16〇]图15是示出根据本公开的各种实施例的用于由电子装置消除回声信号的操作的流程图。
[0161]参照图15,在操作1501中，电子装置(例如，图1的电子装置100)可将将由AP(例如， AP 120)和通信模块(例如，通信模块130)再现的信号组合成一个信号。例如，电子装置100 可通过音频处理模块170的音频组合模块200将从AP 120接收到的音频信号(例如，TTS、按键音、效果声音等)和从通信模块130接收到的语音信号(例如，对方的呼叫语音信号)组合成一个信号。
[0162]在操作1503中，电子装置可通过扬声器(例如，扬声器174)输出在操作1501组合的信号。应理解由第一实体将信号输出到第二实体不一定需要从第一实体直接传输到第二实体，而是可包括例如D/A转换器。
[0163]在操作1505中，电子装置可识别是否通过麦克风(例如，麦克风172)采集到了信号。例如，电子装置100可识别信号是否通过麦克风172流入。
[0164]当通过麦克风采集到信号时，在操作1507中，电子装置可基于组合信号(例如，通过扬声器输出的信号)来消除来自于麦克风输入信号的回声。例如，针对电子装置1 〇〇的AP 120的AEC 201、500或910可基于回声参考数据(例如，通过扬声器输出的信号)来消除针对 AP 120的回声信号。例如，针对AP 120的AEC 201、500或910可基于AP 120的控制来消除回声信号。例如，针对电子装置100的通信模块130的AEC 203、400或920可基于回声参考数据 (例如，通过扬声器输出的信号)来消除针对通信模块130的回声信号。例如，针对通信模块 130的AEC 203、400或920可基于通信模块130的控制来消除回声信号。
[0165]根据本公开的各种实施例，当从AP 120和通信模块130之间的一个元件产生了音频信号或语音信号时，电子装置100可通过使用音频组合模块200来省略组合处理。在这种情况下，电子装置100可将从一个元件产生的音频信号或语音信号设置为回声参考数据。
[0166]图16是示出根据本公开的各种实施例的用于由电子装置通过使用音频处理模块来消除回声信号的操作的信号流程图。将描述在电子装置100的元件之间的消除回声信号的信号流。
[0167]参照图16,在操作1611中，AP 1600(例如，AP 120)可将与应用程序的驱动相应的音频信号(例如，TTS、按键音、效果声音等)发送到音频处理模块1604 (例如，音频处理模块170)。
[0168]在操作1613中，通信模块1602(例如，通信模块130)可将用于语音呼叫服务的语音信号(例如，对方的呼叫语音信号)发送到音频处理模块1604。
[0169]在操作1615中，音频处理模块1604可将从AP 1600接收到的音频信号和从通信模块1602接收到的语音信号组合成一个信号。例如，音频处理模块1604可通过使用音频组合模块200将从AP 1600接收到的音频信号和从通信模块1602接收到的语音信号组合成一个信号。
[0170]在操作1617中，音频处理模块1604可通过扬声器1606(例如，扬声器174)将组合信号输出到外部。
[0171]在操作1619中，音频处理模块1604可通过麦克风1608(例如，麦克风172)采集声音信号。例如，通过麦克风1608采集到的声音信号可包括用于提供电子装置100的服务的信号 (例如，音频信号和语音信号)和通过扬声器1606输出的信号(回声信号)。[〇172]在操作1621中，音频处理模块1604可通过使用作为回声参考数据的组合信号来消除包括在麦克风输入信号中的回声信号。例如，在图2中，音频处理模块1604的第一AEC 201 可基于回声参考数据来消除回声信号以执行应用，以达到包括在麦克风输入信号中的语音信号不失真的程度。例如，在图2中，音频处理模块1604的第二AEC 203可针对语音呼叫服务基于回声参考数据来消除包括在麦克风输入信号中的回声信号。
[0173]在操作1623和操作1625中，音频处理模块1604可将消除了回声信号的麦克风输入信号发送到AP 1600和通信模块1602。例如，在操作1623中，音频处理模块1604可通过第一 AEC 201将消除了回声信号的麦克风输入信号发送到AP 1600。例如，在操作1625中，音频处理模块1604可通过第二AEC 203将消除了回声信号的麦克风输入信号发送到通信模块 1602。注意的是:在操作1623期间从音频处理模块1604到通信模块1602的传输可不同于在操作1625期间从音频处理模块1604到应用处理器1600的传输。
[0174]图17是示出根据本公开的各种实施例的用于由电子装置通过使用音频处理模块和通信模块来消除回声信号的操作的信号流程图。在下文中，将描述在电子装置1〇〇中的元件之间的用于消除回声信号的信号流。
[0175] 参照图17,在操作1701中，AP 1600(例如，AP 120)可将与应用程序的驱动相应的音频信号发送到音频处理模块1604(例如，音频处理模块170)。[〇176]在操作1703中，通信模块1602(例如，通信模块130)可将用于语音呼叫服务的语音信号发送到音频处理模块1604。
[0177]在操作1705中，音频处理模块1604可将从AP 1600接收到的音频信号和从通信模块1602接收到的语音信号组合成一个信号。
[0178]在操作1707中，音频处理模块1604可通过扬声器1606(例如，扬声器174)将由音频组合模块200组合的信号输出到外部。[〇179]音频处理模块1604可通过麦克风1608(例如，麦克风172)接收声音信号。[〇18〇]在操作1711中，音频处理模块1604可将将被用作回声参考数据的组合信号以及麦克风输入信号发送到通信模块1602。例如，音频处理模块1604可通过至少一个路径(信道) 将回声参考数据和麦克风输入信号发送到通信模块1602。例如，音频处理模块1604可通过独立的路径(信道)将回声参考数据和麦克风输入信号发送到通信模块1602。例如，音频处理模块1604可按照包括回声参考数据和麦克风输入信号的结构产生数据(例如，包)，并通过一个路径将该数据发送到通信模块1602。
[0181]在操作1713中，通信模块1602可基于从音频处理模块1604接收到的回声参考数据来消除包括在麦克风输入信号中的回声信号。例如，如图4所示，通信模块1602的呼叫预处理模块400可针对语音呼叫服务，基于从音频组合模块1604接收到的回声参考数据(例如， 组合信号)来消除包括在麦克风输入信号中的回声信号。
[0182]在操作1715中，音频处理模块1604可通过使用作为回声参考数据的组合信号来消除包括在麦克风输入信号中的回声信号，以执行AP 1600的应用。例如，如图4所示，音频处理模块1604的第一AEC 201可基于回声参考数据来消除包括在麦克风输入信号中的回声信号，以执行应用。
[0183]在操作1717中，音频处理模块1604可将消除了回声信号的麦克风输入信号发送到 AP 1600。例如，音频处理模块1604可通过第一AEC 201将消除了回声信号的麦克风输入信号发送到AP 1600。
[0184]图18是示出根据本公开的各种实施例的用于由电子装置通过使用音频处理模块和AP来消除回声信号的操作的信号流程图。在下文中，将描述在电子装置100中的元件之间的用于消除回声信号的信号流。
[0185]参照图18,在操作1801中，AP 1600(例如，AP 120)可将与应用程序的驱动相应的音频信号发送到音频处理模块1604(例如，音频处理模块170)。
[0186]在操作1803中，通信模块1602(例如，通信模块130)可将用于语音呼叫服务的语音信号发送到音频处理模块1604。
[0187]在操作1805中，音频处理模块1604可将从AP 1600接收到的音频信号和从通信模块1602接收到的语音信号组合成一个信号。
[0188]在操作1807中，音频处理模块1604可通过扬声器1606(例如，扬声器174)将由音频组合模块200组合的信号输出到外部。
[0189]在操作1809中，音频处理模块1604可通过麦克风1608(例如，麦克风172)接收声音信号。
[0190]在操作1811中，音频处理模块1604可将将被用作回声参考数据的组合信号以及麦克风输入信号发送到AP 1600。例如，音频处理模块1604可通过至少一个路径(信道)将回声参考数据和麦克风输入信号发送到AP 1600。例如，音频处理模块1604可通过独立的路径 (信道)将回声参考数据和麦克风输入信号发送到AP 1600。例如，如图6所示，音频处理模块 1604可按照包括回声参考数据和麦克风输入信号的结构产生数据(例如，包)，并通过一个路径将该数据发送到AP 1600。
[0191]在操作1813中，AP 1600可基于从音频处理模块1604接收到的回声参考数据来消除包括在麦克风输入信号中的回声信号。例如，如图5所示，AP 1600的AP预处理模块500可基于从音频处理模块1604接收到的回声参考数据(例如，组合信号)来消除包括在麦克风输入信号中的回声信号，以执行AP 120的应用。
[0192]在操作1815中，音频处理模块1604可针对通信模块130的语音呼叫服务，通过使用作为回声参考数据的组合信号来消除包括在麦克风输入信号中的回声信号。例如，如图5所示，音频处理模块1604的第二AEC 203可基于回声参考数据来消除包括在麦克风输入信号中的回声信号，以提供语音呼叫服务。
[0193]在操作1817中，音频处理模块1604可将消除了回声信号的麦克风输入信号发送到通信模块1602。例如，音频处理模块1604可通过第二AEC 203将消除了回声信号的麦克风输入信号发送到通信模块1602。
[0194]图19是示出根据本公开的各种实施例的用于由电子装置通过使用AP和通信模块来消除回声信号的操作的信号流程图。在下文中，将描述在电子装置100的元件之间的用于消除回声信号的信号流。
[0195] 参照图19,在操作1901中，AP 1600(例如，AP 120)可将与应用程序的驱动相应的音频信号发送到音频处理模块1604(例如，音频处理模块170)。
[0196]在操作1903中，通信模块1602(例如，通信模块130)可将用于语音呼叫服务的语音信号发送到音频处理模块1604。
[0197]在操作1905中，音频处理模块1604可将从AP 1600接收到的音频信号和从通信模块1602接收到的语音信号组合成一个信号。
[0198]在操作1907中，音频处理模块1604可通过扬声器1606(例如，扬声器174)将由音频组合模块200组合的信号输出到外部。
[0199]在操作1909中，音频处理模块1604可通过麦克风1608(例如，麦克风172)接收声音信号。
[0200]在操作1911和操作1913中，音频处理模块1604可将将被用作回声参考数据的组合信号以及麦克风输入信号发送到AP 1600和通信模块1602。[〇2〇1]在操作1915中，通信模块1602可基于从音频处理模块1604接收到的回声参考数据来消除包括在麦克风输入信号中的回声信号。例如，如图8所示，通信模块1602的呼叫预处理模块400可针对语音呼叫服务，基于从音频组合模块1604接收到的回声参考数据(例如， 组合信号)来消除包括在麦克风输入信号中的回声信号。[〇2〇2]在操作1917中，AP 1600可基于从音频处理模块1604接收到的回声参考数据来消除包括在麦克风输入信号中的回声信号。例如，如图8所示，AP 1600的AP预处理模块500可基于从音频组合模块1604接收到的回声参考数据(例如，组合信号)来消除包括在麦克风输入信号中的回声信号，以执行AP 1600的应用。[〇2〇3]图20是示出根据本公开的各种实施例的由电子装置通过使用外部预处理模块来消除回声信号的操作的信号流程图。在下文中，将描述在电子装置100的元件之间的用于消除回声信号的信号流。
[0204] 参照图20,在操作2011中，AP 2000(例如，AP 120)可将与应用程序的驱动相应的音频信号发送到音频处理模块2004(例如，音频处理模块170)。[〇2〇5]在操作2013中，通信模块2002(例如，通信模块130)可将用于语音呼叫服务的语音信号发送到音频处理模块2004。[〇2〇6]在操作2015中，音频处理模块2004可将从AP 2000接收到的音频信号和从通信模块2002接收到的语音信号组合成一个信号。[〇2〇7] 在操作2017中，音频处理模块2004可通过扬声器2008(例如，扬声器174)将由音频组合模块200组合的信号输出到外部。[〇2〇8]在操作2019中，音频处理模块2004可通过麦克风2010(例如，麦克风172)接收声音信号。
[0209]在操作2021中，音频处理模块2004可将将被用作回声参考数据的组合信号(例如， 通过扬声器2008输出的信号)以及麦克风输入信号发送到外部预处理模块2006。例如，如图 10所示，音频处理模块2004可将由音频组合模块200组合的组合信号以及由D/A转换器300 转换成数字信号的麦克风输入信号发送到外部预处理模块2006。
[0210]在操作2023中，外部预处理模块2006可通过使用从音频处理模块2004接收到的作为回声参考数据的组合信号来消除包括在麦克风输入信号中的回声信号。例如，如图9所示，外部预处理模块2006的第一AEC 910可基于回声参考数据来消除回声信号以执行应用， 从而达到包括在麦克风输入信号中的语音信号不失真的程度。例如，如图9所示，外部预处理模块2006的第二AEC 920可基于回声参考数据来消除包括在麦克风输入信号中的回声信号，以提供语音呼叫服务。[〇211]在操作2025中，外部预处理模块2006可将消除了回声信号的麦克风输入信号发送到音频处理模块2004。
[0212]在操作2027和操作2029中，音频处理模块2004可将从外部预处理模块2006接收到的消除了回声信号的麦克风输入信号发送到通信模块2002。
[0213]图21是示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和音频处理模块来消除回声信号的操作的信号流程图。在下文中，将描述在电子装置1〇〇 的元件之间的用于消除回声信号的信号流。[〇214]参照图21，在操作2101中，AP 2000(例如，AP 120)可将与应用程序的驱动相应的音频信号发送到音频处理模块2004(例如，音频处理模块170)。
[0215]在操作2103中，通信模块2002(例如，通信模块130)可将用于语音呼叫服务的语音信号发送到音频处理模块2004。
[0216]在操作2105中，音频处理模块2004可将从AP 2000接收到的音频信号和从通信模块2002接收到的语音信号组合成一个信号。
[0217] 在操作2107中，音频处理模块2004可通过扬声器2008(例如，扬声器174)将由音频组合模块200组合的信号输出到外部。
[0218]在操作2109中，音频处理模块2004可通过麦克风2010(例如，麦克风172)接收声音信号。[〇219]在操作2111中，音频处理模块2004可将将被用作回声参考数据的组合信号(例如， 通过扬声器2008输出的信号)以及麦克风输入信号发送到外部预处理模块2006。[〇22〇]在操作2113中，外部预处理模块2006可针对语音呼叫服务，通过使用从音频处理模块2004接收到的作为回声参考数据的组合信号来消除包括在麦克风输入信号中的回声信号。例如，如图12所示，外部预处理模块2006的第二AEC 920可基于回声参考数据来消除包括在麦克风输入信号中的回声信号，以提供语音呼叫服务。[〇221]在操作2119中，外部预处理模块2006可将消除了回声信号的麦克风输入信号发送到音频处理模块2004。
[0222]在操作2121中，音频处理模块2004可将从外部预处理模块2006接收到的消除了回声信号的麦克风输入信号发送到通信模块2002。[〇223]在操作2115中，音频处理模块2004可通过使用作为回声参考数据的组合信号来消除包括在麦克风输入信号中的回声信号，以执行AP 2000的应用。例如，如图12所示，音频处理模块2004的第一AEC 201可基于回声参考数据来消除包括在麦克风输入信号中的回声信号，以执行应用。[〇224]在操作2117中，音频处理模块2004可将消除了回声信号的麦克风输入信号发送到 AP 2000〇
[0225]图22是示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和音频处理模块来消除回声信号的操作的信号流程图。在下文中，将描述在电子装置1〇〇 的元件之间的用于消除回声信号的信号流。
[0226]参照图22,在操作2201中，AP 2000(例如，AP 120)可将与应用程序的驱动相应的音频信号发送到音频处理模块2004(例如，音频处理模块170)。
[0227]在操作2203中，通信模块2002(例如，通信模块130)可将用于语音呼叫服务的语音信号发送到音频处理模块2004。
[0228]在操作2205中，音频处理模块2004可将从AP 2000接收到的音频信号和从通信模块2002接收到的语音信号组合成一个信号。
[0229]在操作2207中，音频处理模块2004可通过扬声器2008(例如，扬声器174)将由音频组合模块200组合的信号输出到外部。[〇23〇]在操作2209中，音频处理模块2004可通过麦克风2010(例如，麦克风172)接收声音信号。[〇231]在操作2211中，音频处理模块2004可将将被用作回声参考数据的组合信号(例如， 通过扬声器2008输出的信号)以及麦克风输入信号发送到外部预处理模块2006。
[0232]在操作2213中，外部预处理模块2006可通过使用从音频处理模块2004接收到的作为回声参考数据的组合信号来消除包括在麦克风输入信号中的回声信号。例如，如图11所示，外部预处理模块2006的第一AEC 910可基于回声参考数据来消除包括在麦克风输入信号中的回声信号，以执行AP 2000的应用。[〇233]在操作2219中，外部预处理模块2006可将消除了回声信号的麦克风输入信号发送到音频处理模块2004。
[0234]在操作2221中，音频处理模块2004可将从外部预处理模块2006接收到的消除了回声信号的麦克风输入信号发送到AP 2000。
[0235]在操作2215中，音频处理模块2004可针对通信模块130的语音呼叫服务，通过使用作为回声参考数据的组合信号来消除包括在麦克风输入信号中的回声信号。例如，如图11 所示，音频处理模块2004的第二AEC 203可针对语音呼叫服务，基于回声参考数据来消除包括在麦克风输入信号中的回声信号。[〇236]在操作2217中，音频处理模块2004可将消除了回声信号的麦克风输入信号发送到通信模块2002。
[0237]图23示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和通信模块来消除回声信号的操作的信号流程图。在下文中，将描述在电子装置100的元件之间的用于消除回声信号的信号流。
[0238]参照图23,在操作2301中，AP 2000(例如，AP 120)可将与应用程序的驱动相应的音频信号发送到音频处理模块2004(例如，音频处理模块170)。
[0239]在操作2303中，通信模块2002(例如，通信模块130)可将用于语音呼叫服务的语音信号发送到音频处理模块2004。[〇24〇]在操作2305中，音频处理模块2004可将从AP 2000接收到的音频信号和从通信模块2002接收到的语音信号组合成一个信号。
[0241]在操作2307中，音频处理模块2004可通过扬声器2008(例如，扬声器174)将由音频组合模块200组合的信号输出到外部。
[0242]在操作2309中，音频处理模块2004可通过麦克风2010(例如，麦克风172)接收声音信号。[〇243]在操作2311中，音频处理模块2004可将将被用作回声参考数据的组合信号(例如， 通过扬声器2008输出的信号)以及麦克风输入信号发送到外部预处理模块2006。[〇244]在操作2313中，音频处理模块2004可将将被用作回声参考数据的组合信号以及麦克风输入信号发送到通信模块2002。
[0245]在操作2315中，外部预处理模块2006可通过使用从音频处理模块2004接收到的作为回声参考数据的组合信号来消除包括在麦克风输入信号中的回声信号。例如，如图13所示，外部预处理模块2006的第一AEC 910可基于回声参考数据来消除包括在麦克风输入信号中的回声信号，以执行AP 2000的应用。[〇246]在操作2319中，外部预处理模块2006可将消除了回声信号的麦克风输入信号发送到音频处理模块2004。
[0247]在操作2321中，音频处理模块2004可将从外部预处理模块2006接收到的消除了回声信号的麦克风输入信号发送到AP 2000。
[0248]在操作2317中，通信模块2002可基于从音频处理模块2004接收到的回声参考数据来消除包括在麦克风输入信号中的回声信号。例如，如图13所示，通信模块2002的呼叫预处理模块400可针对语音呼叫服务，基于从音频组合模块2004接收到的回声参考数据(例如， 组合信号)来消除包括在麦克风输入信号中的回声信号。[〇249]图24示出根据本公开的各种实施例的用于由电子装置通过使用外部预处理模块和AP来消除回声信号的信号流程图。在下文中，将描述在电子装置100的元件之间的用于消除回声信号的信号流。
[0250]参照图24,在操作2401中，AP 2000(例如，AP 120)可将与应用程序的驱动相应的音频信号发送到音频处理模块2004(例如，音频处理模块170)。
[0251]在操作2403中，通信模块2002(例如，通信模块130)可将用于语音呼叫服务的语音信号发送到音频处理模块2004。
[0252]在操作2405中，音频处理模块2004可将从AP 2000接收到的音频信号和从通信模块2002接收到的语音信号组合成一个信号。
[0253]在操作2407中，音频处理模块2004可通过扬声器2008(例如，扬声器174)将由音频组合模块200组合的信号输出到外部。
[0254]在操作2409中，音频处理模块2004可通过麦克风2010(例如，麦克风172)接收声音信号。
[0255]在操作2411中，音频处理模块2004可将将被用作回声参考数据的组合信号(例如， 通过扬声器2008输出的信号)以及麦克风输入信号发送到外部预处理模块2006。
[0256]在操作2413中，音频处理模块2004可将将被用作回声参考数据的组合信号以及麦克风输入信号发送到AP 2000。
[0257]在操作2415中，外部预处理模块2006可针对语音呼叫服务，通过使用从音频处理模块2004接收到的作为回声参考数据的组合信号来消除包括在麦克风输入信号中的回声信号。例如，如图14所示，外部预处理模块2006的第二AEC 920可针对语音呼叫服务，基于回声参考数据来消除包括在麦克风输入信号中的回声信号。[〇258]在操作2419中，外部预处理模块2006可将消除了回声信号的麦克风输入信号发送到音频处理模块2004。
[0259]在操作2421中，音频处理模块2004可将从外部预处理模块2006接收到的消除了回声信号的麦克风输入信号发送到通信模块2002。[〇26〇]在操作2417中，AP 2000可基于从音频处理模块2004接收到的回声参考数据来消除包括在麦克风输入信号中的回声信号。例如，如图14所示，AP 2000的AP预处理模块500可基于从音频处理模块2004接收到的回声参考数据(例如，组合信号)来消除包括在麦克风输入信号中的回声信号，以执行AP 2000的应用。
[0261]根据各种实施例的电子装置和方法基于由例如音频处理模块(例如，编解码器)处理的信号(音频信号、语音信号或组合信号)来去除通过麦克风流入的回声信号，从而提高呼叫质量以及由应用处理器(AP)使用通过麦克风接收到的音频信号提供的音频服务的质量。
[0262]这里所使用的术语“模块”可例如指包括硬件、存储软件的存储器和存储固件的存储器中的一个或上述项中的两个或更多个的组合的单元。“模块”可例如与术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换使用。“模块”可以是集成组件的最小单元或最小单元的部分。“模块”可以是执行一个或更多个功能的最小单元或最小单元的部分。“模块”可被机械地或电子地实现。例如，根据本公开的“模块”可包括以下项中的至少一个:专用集成电路(ASEC)芯片、现场可编程门阵列(FPGA)或用于执行已被公知或之后将被开发的操作的可编程逻辑装置。
[0263]根据各种实施例，根据本公开的装置(例如，模块或模块的功能)或方法(例如，操作)中的至少一些可以以编程模块的形式通过存储在计算机可读存储介质中的指令来实现。当指令被处理器(例如，处理器120)执行时，该指令可促使一个或更多个处理器执行与该指令相应的功能。计算机可读存储介质可以是例如存储器130。
[0264]计算机可读存储介质可包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，致密盘只读存储器(CD-ROM)和数字通用盘(DVD ))、磁光介质(例如，软光盘)、硬件装置(例如， 只读存储器(R0M)、随机存取存储器(RAM)、闪速存储器)等。此外，程序指令可包括在计算机中通过使用解释器来执行的高级语言代码、以及由编译器生成的机器代码。上述硬件电子装置可被配置为作为一个或更多个软件模块来操作，以便执行本公开的操作，反之亦然。
[0265]根据本公开的各种实施例的任何模块或编程模块可包括上述元件中的至少一个， 排除上述元件中的一些元件，或者还包括其它另外的元件。由根据本公开的各种实施例的模块、编程模块或其它元件执行的操作可以以顺序的、并行的、重复的或启发式的方式执行。此外，一些操作可根据另一顺序被执行或可被省略，或者其它操作可被添加。
[0266]在此公开的各种实施例被提供以仅用于简单地描述本公开的技术细节并帮助对本公开的理解，而并不意在限制本公开的范围。因此，应解释:所有修改和变化或基于本公开的技术理念的修改形式和变化形式落入本公开的范围内。
【主权项】
1.一种电子装置，包括: 麦克风，被配置为接收声音信号； 应用处理器，被配置为执行应用； 通信模块，被配置为控制语音呼叫服务； 扬声器，被配置为输出声音信号； 音频处理模块，被配置为对以下信号中的至少一个信号的输出进行处理:从应用处理器接收到的音频信号、从通信模块接收到的语音信号、或组合信号； 第一回声消除器，被配置为基于从音频处理模块输出的信号来消除通过麦克风接收到的声音信号的回声，并将消除了回声的声音信号提供给应用处理器，其中，第一回声消除器位于应用处理器、音频处理模块和外部预处理模块中的至少一个中； 第二回声消除器，被配置为基于从音频处理模块输出的信号来消除通过麦克风接收到的声音信号的回声，并将消除了回声的声音信号提供给通信模块，其中，第二回声消除器位于通信模块、音频处理模块和外部预处理模块中的至少一个中。2.如权利要求1所述的电子装置，其中，当第一回声消除器位于应用处理器中时，第一回声消除器包括在应用处理器的预处理模块中。3.如权利要求2所述的电子装置，其中，音频处理模块被配置为通过至少一个路径将处理的信号和通过麦克风接收到的声音信号发送到包括在应用处理器的预处理模块中的第一回声消除器。4.如权利要求3所述的电子装置，其中，音频处理模块包括打包器，预处理模块包括解包器，其中，打包器被配置为通过一个路径发送处理的信号和通过麦克风采集到的声音信号，解包器被配置为将通过所述一个路径接收到的信号分离成由音频处理模块处理的信号和通过麦克风接收到的声音信号。5.如权利要求1所述的电子装置，其中，当第二回声消除器位于通信模块中时，第二回声消除器包括在通信模块的预处理模块中。6.如权利要求5所述的电子装置，其中，音频处理模块被配置为通过至少一个路径将处理的信号和通过麦克风采集到的声音信号发送到包括在通信模块的预处理模块中的第二回声消除器。7.如权利要求1所述的电子装置，其中，外部预处理模块被配置为:当第一回声消除器被包括时，通过音频处理模块将消除了回声的声音信号发送到应用处理器，并且当第二回声消除器被包括时，通过音频处理模块将消除了回声的声音信号发送到通信模块。8.如权利要求1所述的电子装置，其中，音频处理模块被配置为:当从应用处理器和通信模块接收到音频信号和语音信号时，将音频信号和语音信号组合成一个信号并通过扬声器输出该信号，并且当从应用处理器或通信模块接收到音频信号或语音信号时，通过扬声器输出音频信号或语音信号。9.如权利要求1所述的电子装置，其中，第一回声消除器和第二回声消除器具有不同的回声消除等级。10.一种操作电子装置的方法，所述方法包括: 通过音频处理模块对来自于应用处理器的音频信号和来自于通信模块的语音信号中的至少一个信号的输出进行处理； 通过电子装置的扬声器输出由音频处理模块处理的信号； 基于从音频处理模块输出的信号来消除通过电子装置的麦克风接收到的声音信号的回声， 其中，消除回声的步骤包括:选择性地通过第一回声消除器和第二回声消除器中的至少一个，基于从音频处理模块输出的信号来消除通过电子装置的麦克风接收到的声音信号的回声， 其中，第一回声消除器位于应用处理器、音频处理模块和外部预处理模块中的至少一个中，并将消除了回声的声音信号提供给应用处理器， 第二回声消除器位于通信模块、音频处理模块和外部预处理模块中的至少一个中，并将消除了回声的声音信号提供给通信模块。11.如权利要求10所述的方法，其中，当第一回声消除器位于应用处理器中时，第一回声消除器包括在应用处理器的预处理模块中。12.如权利要求10所述的方法，其中，消除回声的步骤包括: 当第一回声消除器位于应用处理器中时，由音频处理模块通过至少一个路径将由音频处理模块处理的信号和通过麦克风接收到的声音信号发送到位于应用处理器中的第一回声消除器； 由第一回声消除器基于由音频处理模块处理的信号来消除通过麦克风接收到的声音信号的回声。13.如权利要求12所述的方法，其中，将由音频处理模块处理的信号和通过麦克风接收到的声音信号发送到第一回声消除器的步骤包括:通过使用音频处理模块的打包器，通过一个路径将由音频处理模块处理的信号和通过麦克风采集到的声音信号发送到第一回声消除器。14.如权利要求10所述的方法，其中，当第二回声消除器位于通信模块中时，第二回声消除器包括在通信模块的预处理模块中。15.如权利要求10所述的方法，其中，消除回声的步骤包括: 当第二回声消除器位于通信模块中时，由音频处理模块通过至少一个路径将由音频处理模块处理的信号和通过麦克风采集到的声音信号发送到位于通信模块中的第二回声消除器； 由第二回声消除器基于由音频处理模块处理的信号来消除通过麦克风接收到的声音信号的回声。16.如权利要求10所述的方法，还包括:当第一回声消除器位于外部预处理模块中时，由第一回声消除器通过音频处理模块将消除了回声的声音信号发送到应用处理器。17.如权利要求10所述的方法，还包括:当第二回声消除器位于外部预处理模块中时，由第二回声消除器通过音频处理模块将消除了回声的声音信号发送到通信模块。18.如权利要求10所述的方法，其中，对来自于应用处理器的音频信号和来自于通信模块的语音信号中的所述至少一个信号的输出进行处理的步骤包括:当从应用处理器和通信模块接收到音频信号和语音信号时，将音频信号和语音信号组合成一个信号。19.如权利要求10所述的方法，其中，第一回声消除器和第二回声消除器具有不同的回声消除等级。
【文档编号】H04M9/08GK105991858SQ201610160635
【公开日】2016年10月5日
【申请日】2016年3月21日
【发明人】张盛云, 慎相昱, 尹诚完
【申请人】三星电子株式会社