电子设备及其音频处理方法与流程

符合本公开的装置和方法涉及电子设备及其音频处理方法，并且更具体地，涉及被配置为处理从麦克风输出的音频信号的电子设备及其音频处理方法。

背景技术：

最近，正在开发和分发各种类型的电子设备。尤其是，用于处理电话通话、视频会议、语音识别等的语音信号的各种电子设备和基础设施已商业化。

为了促进电话通话和语音识别，需要有效的音频处理系统。通常，音频处理系统执行从麦克风输出的音频信号去除噪声等的操作。

大多数音频处理系统初始设置确定其性能的各种参数值，然后执行信号处理操作。例如，配备有语音识别系统的电子设备在执行初始设置操作时分析周围声学环境并按照特定周期初始化某些滤波值。

在这种情况下，周围声学环境的任何变化都不能被反映在音频处理系统的操作中，因此，在某些声学环境中，音频处理系统的性能恶化。

因此，需要开发一种能够反映变化的声学环境以有效处理音频信号的技术。

技术实现要素：

技术问题

示例性实施例提供了一种电子设备及其音频信号处理方法，其根据电子设备周围的声学环境动态地处理音频信号。

技术方案

根据示例性实施例的一个方面，提供了一种电子设备，包括：至少一个扬声器；至少一个麦克风；信号处理器，被配置为处理从麦克风输出的音频信号；以及处理器，被配置为控制信号处理器以通过分析输入到扬声器的至少一个扬声器输入信号来确定关于扬声器的输出的第一信息，通过分析从麦克风输出的至少一个音频信号来确定关于向麦克风输入的声源的第二信息，并根据第一信息和第二信息中的至少一个来处理所述至少一个音频信号。

所述处理器可以基于针对每个扬声器信号计算的能量级别来确定所述第一信息，并且使用多个音频信号之间的相位差来确定所述第二信息。

信号处理器可以包括回声消除器，所述回声消除器被配置为消除由扬声器的输出引起的、被馈送回到麦克风作为另一麦克风输入声音的回声信号，并且处理器可以控制回声消除器根据第一信息来改变回声消除的强度。

当扬声器的输出低于预定级别时，所述处理器可以控制所述回声信号消除器不执行回声消除。

信号处理器可以包括噪声收集器，所述噪声收集器被配置为对至少一个音频信号执行噪声消除和波束成形中的至少一个，并且处理器可以控制噪声消除器根据第二信息改变噪声消除的强度和波束成形方向中的至少一个。

当存在一个声源时，处理器控制噪声消除器不执行噪声消除。

信号处理器可以包括信号放大器，所述信号放大器被配置为放大至少一个音频信号，并且处理器控制所述信号放大器根据距离声源的距离来改变至少一个音频信号的放大程度。

处理器通过在预定数量的帧单元中分析扬声器输入信号和至少一个音频信号，来确定第一信息和第二信息。

第一信息可以包括以下至少一项：关于是否存在来自扬声器的输出的信息、关于声道的数量的信息、音量信息以及关于扬声器和麦克风的传递函数的线性度信息；并且第二信息可以包括以下至少一项：关于声源的数量的信息、方向信息和关于距声源的距离的信息。

根据另一示例性实施例的一个方面，提供了一种配备有至少一个扬声器和至少一个麦克风的电子设备的音频处理方法，所述方法包括：通过分析输入到扬声器的至少一个扬声器输入信号来确定关于扬声器的输出的第一信息，并通过分析从麦克风输出的至少一个音频信号来确定关于向麦克风输入的声源的第二信息；以及根据第一信息和第二信息中的至少一个来处理所述至少一个音频信号。

所述确定可以包括：基于所述至少一个扬声器输入信号的能量级别来确定所述第一信息；以及使用多个音频信号之间的相位差来确定所述第二信息。

所述处理可以包括：消除由扬声器的输出引起的、馈送回到麦克风作为另一麦克风输入声音的回声信号；以及根据所述第一信息改变回声消除的强度。

所述改变可以包括当扬声器的输出低于预定级别时停止回声消除。

所述处理可以包括：根据关于声源的第二信息来改变噪声消除的强度和波束成形方向中的至少一个。

所述改变可以包括当存在一个声源时停止噪声消除。

所述处理可以包括根据距声源的距离来改变所述至少一个音频信号的放大程度。

所述确定可以包括通过在预定数量的帧单元中分析扬声器输入信号和至少一个音频信号，来确定第一信息和第二信息。

第一信息可以包括以下至少一项：关于是否存在来自扬声器的输出的信息、关于声道的数量的信息、音量信息以及关于扬声器和麦克风的传递函数的线性度信息；并且第二信息可以包括以下至少一项：关于声源的数量的信息、方向信息和关于距声源的距离的信息。

有益效果

根据本公开的上述各种实施例，有可能根据电子设备和电子设备周围的声学环境来动态处理音频信号，由此实现更有效的语音处理。

附图说明

通过参考附图描述特定示例性实施例，上述和/或其他方面将更加显然，在附图中：

图1是示出了根据示例性实施例的电子设备的配置的框图；

图2是示出了根据另一示例性实施例的电子设备的配置的框图；

图3a、3b、3c、3d和3e是根据示例性实施例的电子设备的视图；

图4是根据示例性实施例的电子设备的音频处理方法的流程图；以及

图5是根据示例性实施例的电子设备的音频处理方法的流程图。

具体实施方式

下文中，省略了被认为可能模糊本公开的实质的相关技术的任何具体描述。此外，与本公开的组件组合的后缀“单元”仅仅是为了方便而使用的，并不意图将其与该组件区分开。

下文中，将参考附图说明各种示例性实施例。图1是示出了根据本公开实施例的电子设备的配置的框图。根据图1，电子设备100可以包括至少一个麦克风110、至少一个扬声器120、信号处理器130和处理器140。

电子设备100的示例可以包括电视机(tv)、移动电话、个人数字助理(pda)、条形音箱、电子相框、电子公告板、电子工作台、大型显示器(lfd)、台式显示器、台式个人计算机(pc)、笔记本、机顶盒、智能家电设备或多声道扬声器等，但不限于此。因此，配备有至少一个麦克风110和至少一个扬声器120并且需要从麦克风110输出音频信号的任何其他系统都可以用于实现电子设备100。

麦克风110可以将外部声音转换为电音频信号，并可以输出电音频信号。在这种情况下，可以存在至少一个麦克风110，例如如图1所示的麦克风1110-1、麦克风2110-2和麦克风n110-n，其中每个麦克风可以接收从电子设备100外部的至少一个声源生成的声音，将接收到的声音转换成音频信号，并且将转换后的音频信号输出到信号处理器110和处理器140。

扬声器120可以将电扬声器信号转换成声音，并输出电扬声器信号。在这种情况下，可以存在至少一个扬声器，例如如图1所示的扬声器1120-1、扬声器2120-2和扬声器m120-m。在这种情况下，至少一个扬声器可以接收其对应的扬声器信号并将扬声器信号输出到电子设备110外部。

扬声器1120-1至扬声器m120-m中的每一个可以对应于m个扬声器声道中的每一个，但实施例不限于此。

信号处理器130可以处理从麦克风110输出的音频信号。具体而言，信号处理器130可以接收从麦克风110输出的音频信号和输入到扬声器120的扬声器信号，并且对这些信号执行各种信号处理操作。

例如，信号处理器130可以执行消除从扬声器120的输出引入麦克风110的回声信号的“声学回声消除”操作、消除来自外部的多个声源的除主讲人的语音之外的干扰信号的“波束成形和噪声消除”操作、以及放大音频信号等的信号放大操作等。

特别地，如将在下文中更详细地解释的，信号处理器130可以在处理器140控制下改变对音频信号的处理操作。

如上所述，在信号处理器130中被处理的音频信号可以被发送到设置在电子设备100内部或电子设备100外部的语音识别系统，使得它可以用于语音识别，或可以被发送到电话通话的对方。

处理器140可以分析输入到扬声器120的扬声器信号以确定关于扬声器120的输出的信息，并且分析从麦克风110输出的音频信号，并确定关于向麦克风输入110的声源的信息。

具体而言，处理器140可以计算每个扬声器信号的能量值，并且使用计算出的能量值来确定关于扬声器120的输出的信息。此外，处理器140可以使用从麦克风110输出的每个音频信号之间的相位差来确定关于声源的信息。

在这种情况下，处理器140可以通过逐帧分析输入扬声器120的扬声器信号来确定关于扬声器120的输出的信息，和/或通过逐帧分析从麦克风110输出的音频信号来确定关于声源的信息。备选地，处理器140可以通过每预定个帧单元地分析输入到扬声器120的扬声器信号和从麦克风110输出的音频信号来确定关于扬声器120的输出的信息和关于声源的信息。

关于扬声器120的输出的信息的示例可以包括：关于是否存在来自至少一个扬声器120中的每一个的输出的信息、关于扬声器120的声道数量的信息、关于每个扬声器120的音量的信息以及扬声器120和麦克风110之间的传递函数的线性度信息，但不限于此。

此外，关于声源的信息的示例可以包括：关于电子设备100外部的声源的数量(配置的数量)的信息、基于电子设备100的位置的声源的方向信息或角度信息以及关于距声源的距离的信息等，但实施例不限于此。

处理器140可以控制音频信号处理器130根据如上所述确定的关于扬声器120的输出的信息和关于声源的信息中的至少一个来处理音频信号。

具体而言，处理器140可以控制信号处理器130根据关于扬声器120的输出的信息来改变对音频信号中包括的回声信号的消除的强度，和/或控制信号处理器130根据关于声源的信息来改变噪声消除的强度、波束成形的程度、波束成形的方向以及音频信号的放大程度。

在这种情况下，处理器140可以采取各种措施使信号处理器130根据所确定的关于扬声器的输出的信息和所确定的关于声源的信息来处理音频信号。

例如，处理器140可以仅将关于扬声器120的输出的信息或关于声源的信息提供给信号处理器130，然后信号处理器130可以根据所提供的信息来改变处理逻辑(例如，滤波频带的数量)或改变正使用的参数值(例如，回声消除的强度、噪声消除的强度和/或信号放大的程度)。根据示例性实施例，处理器140自身可以根据关于扬声器120的输出的信息或关于声源的信息来计算在信号处理器130中使用的参数值，并将参数值应用于信号处理器130或改变信号处理器130的处理逻辑。

下文中，将参考图2更详细地说明根据示例性实施例的电子设备的操作。下文中，省略了与参考图1提到的特征重复的任何特征。

图2是示出了根据示例性实施例的电子设备的配置的框图。参考图2，电子设备100包括麦克风1110-1、麦克风2110-2、扬声器1120-1、信号处理器130和处理器140。

信号处理器130包括回声消除器131、噪声消除器132和信号放大器133。信号处理器130可以对从麦克风110-1和110-2输出的音频信号执行各种类型的处理操作，例如，声学回声消除、噪声消除和信号放大等。为此，信号处理器130的回声消除器131、噪声消除器132和信号放大器133可以包括各种滤波器和/或放大器等。

在这种情况下，如图2所示，不仅存在作为处理目标的主讲人10的语音，而且存在在处理中需要衰减或消除的干扰发言人20的语音。如图2所示，从扬声器120-1和120-2输出的声音可以被吸入麦克风110-1和110-2，并且麦克风110-1和110-2可以将所有这些输入声音转换成音频信号并将该音频信号输出到信号处理器130，且信号处理器130可以对音频信号执行各种处理操作。

回声消除器131可以消除来自从麦克风110输出的音频信号中的回声信号，所述回声信号是随着扬声器120-1和120-2的输出并随后被吸入麦克风110-1和110-2而生成的。

具体而言，回声消除器131还可以接收输入到扬声器120-1和120-2的扬声器信号，并且使用接收到的扬声器信号(图2的示例中的扬声器信号1和2)来消除回声信号。

回声消除器131可以由处理器140控制以实时改变诸如回声消除的强度等的处理参数值，并且根据改变后的参数值执行回声消除。

噪声消除器132可以对从麦克风110-1和110-2输出的音频信号执行噪声消除和波束成形中的至少一个。

噪声消除是用于消除除了讲话人10和20的语音以外的在麦克风110-1和110-2附近的噪声和/或电路噪声等的处理，而波束成形是用于在强调主讲人10的语音的同时消除干扰讲话人20的语音的处理。

为此，噪声消除器132可以基于从音频信号中分离语音和非语音的语音分离技术来执行噪声消除和/或基于强调与特定讲话人的语音相对应的音频信号的波束成形技术来执行波束成形。

噪声消除器132可以由处理器140控制以实时改变诸如噪声消除的强度等的处理参数值，并且根据改变后的参数值执行噪声消除。

信号放大器133可以放大从麦克风110-1和110-2输出的音频信号。具体而言，信号放大器133可以放大在回声信号处理器131或噪声消除器132中处理的信号。

特别地，如稍后将说明的，信号放大器133可以由处理器140控制，以实时改变诸如放大程度等的处理参数值，并且根据改变后的参数值放大输入信号。

根据示例性实施例，从麦克风110-1和110-2输出的音频信号可以首先经过回声消除操作，随后对回声信号已被消除的信号执行噪声消除，最后对噪声已被消除的信号进行放大。然而，信号处理器130处理从麦克风110-1和110-2输出的音频信号的顺序不限于上述。

处理器140可以通过分析输入到扬声器120-1和120-2的扬声器信号来确定关于扬声器120-1和120-2的输出的信息，并且通过分析从麦克风110-1和110-2输出的音频信号来确定关于向麦克风输入110-1和110-2的声源的信息。

具体而言，处理器140可以每预定个帧单元地计算输入到扬声器1120-1的扬声器信号1的能量值和输入到扬声器2120-2的扬声器信号2的能量值，并且基于所计算的能量值来确定关于扬声器120-1和120-2的输出的信息。

例如，处理器140可以通过确定预定时间段内的扬声器信号的平均能量是否为零(0)来确定是否存在来自扬声器120-1和120-2中的每一个的输出。也就是说，处理器140可以逐帧地计算扬声器信号1和扬声器信号2中的每一个的能量值，计算预定数量的帧的平均能量值以计算预定时间段期间的扬声器信号的平均能量值。如果如上所述计算得到的平均能量值为零(0)，则可以确定没有来自该特定扬声器的输出。备选地，如果所计算的平均能量值等于或小于预定值，则可以确定没有来自特定扬声器的输出。

此外，处理器140可以确定关于扬声器120的声道的数量的信息。具体地，由于声道的数量与输出信号的扬声器的数量有关，所以例如如果最初存在来自扬声器1120-1和扬声器2120-2的输出，且然后在某个时间点没有来自扬声器2120-2的输出，则可以确定声道的数量已经从两个变为一个。这样，处理器140可以实时确定关于扬声器120的声道的数量的信息。

此外，处理器140可以确定关于至少一个扬声器120的音量的信息。在这种情况下，音量信息是指关于来自扬声器120-1和120-2中的每一个的输出的级别的信息。具体而言，处理器140可以基于逐帧计算的每个扬声器120-1和120-2的能量值实时确定每个扬声器120-1和120-2的音量信息。

此外，处理器140可以确定扬声器120和麦克风110的传递函数的线性度信息。在这种情况下，扬声器120和麦克风110的传递函数可以是被引入麦克风110的回声信号的级别与输出级别之比。通常，当扬声器的输出级别较低时这样的传递函数具有线性，但是当扬声器的输出侧升高到一定级别时其具有非线性。因此，处理器140可以通过确定逐帧计算的每个扬声器120-1和120-2的能量值是否等于或大于预定值来确定扬声器120和麦克风110的传递函数的线性度信息。

此外，处理器140可以使用从麦克风110-1和110-2输出的每个音频信号之间的相位差来确定关于向麦克风输入110-1和110-2的声音的声源的信息。

例如，假定存在主讲人10、干扰讲话人20和车辆噪声作为外部声源，从每个声源产生的声音将通过不同的路径被引入每个麦克风110-1和110-2。因此，处理器140可以计算从每个麦克风110-1和110-2输出的每个音频信号之间的相位差，并且使用计算出的相位差来确定每个声源的角度信息、每个声源的方向信息、关于每个声源的分量的数量的信息以及每个声源的运动信息等。

此外，处理器140可以确定多个声源中的语音声源和非语音声源的分量的数量。例如，使用语音检测模块，处理器140可以在存在主讲人10、干扰讲话人20和车辆噪音的前述示例中确定存在两个语音声源。

当使用如前所述的音频信号之间的相位差来区分每个声源时，处理器140可以计算与每个区分出的声源相对应的音频信号的能量级别，并且基于计算出的能量级别来确定距每个声源的距离。

在这种情况下，处理器140可以通过在预定个帧单元中分析从麦克风110-1和110-2输出的音频信号来确定关于声源的信息。例如，处理器140可以逐帧地确定关于声源的信息。

处理器140可以根据关于扬声器120-1和120-2的输出的信息和/或关于声源的信息来控制信号处理器130处理从麦克风110-1和110-2输出的音频信号。

具体而言，处理器140可以控制回声消除器131根据关于扬声器120-1和120-2的输出的信息来改变回声消除的强度。

例如，在扬声器120-1和120-2的输出低于预定级别的情况下，处理器140可以控制回声消除器131不执行回声消除。也就是说，如果如上所述计算的扬声器信号1和扬声器信号2的平均能量值均为0或低于预定级别，则可以确定没有来自扬声器120-1和120-2的输出，并且因此当确定没有来自扬声器120-1和120-2的输出时，处理器可以控制回声消除器131不执行回声消除。这是因为当没有输出和/或平均能量值低于某个级别时，如果想使与主讲人的语音相对应的音频信号的失真最小化，则最好不执行回声消除操作。

此外，处理器140可以控制回声消除器131根据关于声道数量的信息来改变回声消除的强度。例如，随着声道数量的增加，处理器140可以增加回声消除的强度。这是因为如果存在更多的声道，则更多的回声信号将从扬声器120-1和120-2被引入麦克风110-1和110-2。

此外，处理器140可以控制回声消除器131根据音量信息来改变回声消除的强度。例如，随着音量级别增加，处理器140可以增加回声消除的强度。这是因为音量信息表示扬声器120-1和120-2的输出级别，所以如果音量级别增加，则输出级别也将增加，由此增加了从扬声器120-1和120-2引入麦克风110-1和110-2的回声信号。

此外，处理器140可以控制回声消除器131根据扬声器120-1和120-2以及麦克风110-1和110-2的传递函数的线性度信息来改变回声消除的强度。例如，随着传递函数的线性程度减小，处理器140可以增加回声消除的强度。这是因为随着扬声器120-1和120-2的输出增加，线性程度将减小，从而将更多的回声信号从扬声器120-1和120-2引入麦克风110-1和110-2。

回声消除器131可以通过改变信号处理逻辑来改变回声消除的强度。例如，回声消除器131可以在处理器140的控制下改变滤波频带的数量和/或改变消除强度参数值。

处理器140可以控制噪声消除器132根据关于声源的信息来改变噪声消除的强度或波束成形方向。

例如，在只有一个声源的情况下，处理器140可以控制噪声消除器132不执行噪声消除。也就是说，当来自外部的声源从主讲人10、干扰讲话人20和车辆声音的三个声源改变为仅主讲人10的一个声源时，不再有声源要被分离或消除，因此处理器140可以控制噪声消除器132不执行噪声消除。

此外，当多个声源中的非语音声源的分量的数量减少时，处理器140可以控制噪声消除器132降低噪声消除的强度。由于在语音识别和电话通话期间非语音被认为是噪声，所以处理器140可以控制噪声消除器132根据噪声的降低来降低噪声消除的强度。

此外，处理器140可以控制噪声消除器132根据每个声源的角度信息或方向信息来改变波束成形方向。例如，当在对主讲人10进行波束成形期间主讲人10的位置移动时，处理器140可以控制噪声消除器132来改变波束成形的方向，使得根据主讲人10移动后的位置执行波束成形。

处理器140可以控制信号放大器133根据距声源的距离来改变音频信号的放大程度。例如，在从电子设备100或麦克风110-1和110-2到主讲人10的距离减小的情况下，处理器140可以控制信号放大器130减小对音频信号的放大程度，并且在从电子设备100或麦克风110-1和110-2到主讲人10的距离增加的情况下，处理器140可以控制信号放大器130增加对音频信号的放大程度。

处理器140可以收集从麦克风110-1和110-2输出的音频信号并将收集的音频信号转换成帧单元的数字信号，并且分析转换后的帧单元的数字音频信号。电子设备100可以配备有单独的声音收集器，声音收集器被配置为收集从麦克风110-1和100-2输出的每个音频信号，将收集的音频信号转换成帧单元的信号，并向处理器140提供转换后的帧单元的信号。

因此，处理器140可以通过在预定数量的帧单元中分析从麦克风110-1和110-2输出的音频信号来确定关于声源的信息。

此外，由于输入到扬声器120-1和120-2的扬声器信号(扬声器信号1和扬声器信号2)也可以在帧单元中进行处理，所以处理器140可以通过在预定数量的帧单元中分析输入到扬声器120-1和120-2的扬声器信号，来确定关于来自扬声器120-1和120-2的输出的信息。

在图2中，示出了信号处理器130包括回声消除器131、噪声消除器132和信号放大器133，但是该布置可以根据示例性实施例而改变。例如，回声消除器131、噪声消除器132和信号放大器133中的一个或多个可以布置在信号处理器130的外部。

上文中，举例说明了由信号处理器130和单独的处理器140执行确定关于来自扬声器120-1和120-2的输出的信息和关于声源的信息，但不限制于此。例如，回声消除器131、噪声消除器132和信号放大器133可以确定关于扬声器120-1和120-2的输出的信息和关于声源的信息，并且信号处理操作可以基于所确定的信息而改变。

例如，回声消除器131可以通过分析从麦克风110-1和110-2输出的扬声器信号和音频信号来确定关于扬声器120-1和120-2的输出的信息，并且可以相应地改变回声消除的强度。此外，噪声消除器132或信号放大器133可以通过分析从麦克风110-1和110-2输出的音频信号来确定关于从麦克风110-1和110-2输出的音频信号的信息，并且可以相应地改变噪声消除的强度或信号放大的程度。

然而，并非让信号处理器130的每个组件通过分析扬声器信号和音频信号来确定信息，并相应地改变信号处理，为了易于调试，优选的是使用单独的处理器140来通过分析扬声器信号和音频信号来确定信息，以防止错误操作并稳定系统。

尽管参考图1和图2说明了电子设备100被实现为一个设备，但不限于此。例如，电子设备100的组件可以被实现在分离的设备中，并且可以通过无线/有线连接在整个系统中互连。

图3a是示出了根据示例性实施例的电子设备的示例视图。具体而言，如图3a所示，电子设备100可以被实现为诸如tv的显示设备。在这种情况下，tv包括两个麦克风110-1和110-2以及两个扬声器120-1和120-2。tv还可以包括语音识别系统和/或语音/视频电话通话系统。

当在tv重放内容期间用户通过语音识别来操纵tv时，tv的处理器可以控制信号处理器130确定关于扬声器120-1和120-2的输出的信息和关于声源的信息。如上所述，可以通过分析与输入到扬声器120-1和120-2的每个扬声器信号相对应的音频信号以及经由麦克风110-1和110-2输入的用户讲话声、扬声器120-1和120-2的输出和各种噪声等来获得这些信息。控制器可以控制信号处理器130根据所确定的信息处理音频信号。

因此，可以根据周围的声学环境动态地处理音频信号，从而提高语音识别的精度。不仅如此，即使当用户在通过tv进行语音或视频电话通话时，也可以更准确地传递向麦克风输入110-1和110-2的用户语音。

图3b示出了根据另一示例性实施例的电子设备100。在图3b的示例中，电子设备100配备有至少一个扬声器120-3和多个麦克风110-3、110-4、110-5和110-6。此外，图3b的电子设备100通过蓝牙方式等无线连接到外部设备，因此可以再现音频内容，可以通过外部设备与对方进行电话通话，和/或用户可以通过说出操纵命令来用语音控制外部设备。

由于可以对这种扬声器系统直接应用能够实现有效语音处理的本公开的技术构思，所以在这样的扬声器系统中甚至还可以根据周围的声学环境动态地处理音频信号。因此，可以更精确地操纵外部设备和/或与对方通信。

图3c是示出了作为电子设备100的示例的移动电话的视图，其包括一个麦克风110-7和一个扬声器120-4。如图所示，本公开的技术构思可以直接应用于仅包括一个麦克风110-7和一个扬声器120-4的系统。

具体而言，即使当系统仅包括一个麦克风110-7时，由于处理器140可以通过经由麦克风110-7输入的外部声源的能量级别来确定到外部声源的距离，所以有可能控制信号放大器133根据所确定的到声源的距离来改变音频信号放大的程度。

此外，即使当系统仅包括一个扬声器120-4时，处理器140仍可以确定关于是否存在来自扬声器120-4的输出的信息、存在一个声道的信息、音量信息、以及扬声器120-4和麦克风110-7之间的传递函数的线性度信息中的至少一个。处理器140可以根据所确定的关于扬声器120-4的输出的信息来控制回声消除器131和噪声消除器132的操作。

可以应用本公开的发明构思的电子设备的类型没有限制。本公开可以应用于配备有至少一个麦克风和至少一个扬声器的任何音频处理系统。

图3d是根据示例性实施例的包括一个麦克风和多个扬声器的av系统100的示例性视图。例如，用户可以将两个扬声器120-5和120-6连接到配备有一个麦克风110-8的集成监视器型pc10。

在这种情况下，可能存在用户在通过两个扬声器120-5和120-6收听立体声音乐期间通过pc10执行电话通话或视频通话或用语音控制pc10的情况。

在这种情况下，处理器140可以控制信号处理器130以通过分析输入到扬声器120-5和120-6的扬声器信号来确定关于扬声器120-5和120-6的输出的信息，并通过分析从麦克风110-8输出的音频信号来确定关于声源的信息(例如关于到声源的距离的信息)。然后，处理器140可以控制信号处理器130根据所确定的关于扬声器120-5和120-6的输出的信息和所确定的关于声源的信息中的至少一个来处理音频信号，从而实现更有效的语音处理操作。

图3e是示出了根据示例性实施例的包括多个麦克风和一个扬声器的视频会议系统100的视图。根据图3e，视频会议系统100可以包括一个扬声器120-7和六个麦克风110-9至110-14。

在这种情况下，如果多个用户想要通过投影仪屏幕30与对方进行会议，则处理器140可以使用实时确定的关于扬声器的输出的信息和关于声源的信息来动态地执行音频信号处理操作，从而实现高质量的通话。

如参考图3a至图3e所述，本公开的发明构思可以应用于由一个麦克风和一个扬声器组成的设备或系统、由一个麦克风和多个扬声器组成的设备或系统、由多个麦克风和一个扬声器组成的设备或系统、和/或由多个麦克风和多个扬声器组成的设备或系统。

图4是根据示例性实施例的电子设备的音频处理方法的流程图。如图4所示，电子设备100可以通过分析输入到至少一个扬声器的扬声器信号来确定关于扬声器的输出的信息，并且通过分析从麦克风输出的音频信号来确定关于输入到至少一个麦克风的声源的信息(s410)。

关于扬声器的输出的信息可以是以下至少一项：是否存在至少一个扬声器的输出、关于声道的数量的信息、音量信息、以及关于扬声器和麦克风的线性度信息。关于声源的信息可以是关于声源的数量的信息、方向信息、以及关于距声源的距离的信息中的至少一个。

电子设备100可以基于每个扬声器信号的能量来确定关于扬声器的输出的信息，并且使用从麦克风输出的每个音频信号的相位差来确定关于声源的信息。

电子设备100可以通过在预定数量的帧单元中分析输入到扬声器的扬声器信号和从麦克风输出的音频信号来确定关于扬声器的输出的信息和关于声源的信息。

因此，设备100可以根据所确定的关于扬声器的输出的信息和关于声源的信息中的至少一个来处理从麦克风输出的音频信号(s420)。

具体而言，电子设备100可以消除由扬声器的输出引起的、馈送回到麦克风的回声信号。在这种情况下，可以根据关于扬声器的输出的信息来改变回声消除的强度。例如，在扬声器的输出小于预定级别的情况下，电子设备100可以不执行回声消除。

电子设备100可以通过针对从麦克风输出的音频信号执行噪声消除和波束成形中的至少一个来减小噪声。在这种情况下，可以根据关于声源的信息来改变噪声消除的强度和波束成形的方向中的至少一个。例如，当只有一个声源时，电子设备100可以不执行噪声消除。

此外，电子设备100可以放大从麦克风输出的音频信号。在这种情况下，可以根据关于声源的信息来改变音频信号的放大程度。

图5是根据示例性实施例的电子设备的音频处理方法的流程图。根据图5，电子设备100可以通过分析输入到至少一个扬声器的扬声器信号和从至少一个扬声器输出的音频信号来确定关于每个扬声器的输出的信息和关于向麦克风输入的至少一个声源的信息(s510)。

因此，电子设备100可以确定关于扬声器的输出的信息是否改变(s520)，如果所述信息被改变(s520，是)，则根据改变后的关于扬声器的输出的信息来改变回声消除处理，并且执行改变后的回声消除处理(s530)。

因此，电子设备100可以确定关于声源的信息是否改变(s540)，并且如果所述信息被改变(s540，是)，则根据改变后的关于声源的信息来改变噪声消除处理或信号放大处理，并执行改变后的噪声消除处理或信号放大处理(s530)。

根据示例性实施例，可以根据电子设备和电子设备周围的声学环境来动态地处理音频信号，并且因此可以实现更有效的语音处理。

具体而言，如前所述，通用音频处理系统仅对诸如回声消除的强度的处理参数值进行初始设置，然后按照特定周期执行恒定处理或者对特定滤波器值进行初始化。因此，如果在扬声器输出较小或没有扬声器输出时根据相同的设置执行回声消除，则用户说话的语音质量很可能会恶化。当只有主讲人而没有嘈杂环境时，质量可能因噪音消除而恶化。当以恒定值执行信号放大而不感测主讲人的语音级别的改变或距主讲人的距离的改变时，在距离或者语音大小发生显著改变的情况下，语音识别性能可能恶化或者电话通话质量可能恶化。

另一方面，根据示例性实施例，可以根据声学环境的变化动态地执行音频信号处理操作，并且因此即使声学环境变化也可以防止电话通话的质量恶化。

根据示例性实施例的电子设备100的处理器140的操作或者电子设备100的音频处理方法可以被实现为软件并被安装到电子设备100上。例如，可以安装非暂时性计算机可读介质，所述非暂时性计算机可读介质存储被配置为执行电子设备的音频处理方法的程序，所述方法包括：通过分析输入到至少一个扬声器的扬声器信号来确定关于扬声器的输出的信息，并确定关于向麦克风输入的声源的信息；以及根据所确定的关于扬声器的输出的信息和关于声源的信息中的至少一个来处理从麦克风输出的音频信号。

非暂时性计算机可读介质可以指代被配置为半永久地存储数据的计算机可读介质，而不是在短时间内存储数据的计算机可读介质(例如寄存器、高速缓存、内存等)。更具体地，上述各种应用或程序可以存储在诸如压缩盘(cd)、数字多功能盘(dvd)、硬盘、蓝光盘、通用串行总线(usb)、存储卡、只读存储器(rom)等的非暂时性计算机可读介质中并通过它们来提供。

前述示例性实施例和优点仅是示例性的，而不应被理解为限制本发明构思。本发明的教导易于应用于其他类型的装置。此外，对示例性实施例的描述只是说明性的，而不是为了限制权利要求的范围，并且本领域技术人员将清楚多种备选、修改和变化。