基于不相关噪声检测来从多个麦克风生成音频信号的制作方法

本公开涉及音频捕获，并且更具体地涉及从音频捕获系统中的多个可用麦克风生成音频信号。

背景技术：

不同的环境状况可能显著影响传统相机捕获的音频质量。例如，音频可能受到风、水或其他环境状况的影响。当状况经常变化时，诸如当相机被移入风中和被移出风中时、当相机被移入水中和移出水中时、或者当相机被泼水时，优化音频捕获尤其具有挑战性。在诸如冲浪、游泳或其他水上运动等某些活动期间，可能在较长时间段内频繁发生这样的转换。

附图说明

所公开的实施例具有其他优点和特征，这些优点和特征从结合附图对本发明的以下详细描述和所附权利要求中将更容易明白，在附图中：

图1是示出音频捕获设备的示例实施例的框图。

图2是示出用于根据检测到的环境状况来从多个麦克风生成音频信号的过程的实施例的流程图。

图3是示出用于在导致来自不同麦克风的基本上不相关的音频信号的状况下生成音频信号的过程的实施例的流程图。

图4是示出用于在相机中选择麦克风并且根据麦克风是潮湿还是干燥来对音频进行编码的过程的实施例的流程图。

图5是示出根据浸没状况来从多个麦克风生成音频信号的过程的实施例的流程图。

图6是可以集成有音频捕获设备的相机的示例实施例。

具体实施方式

附图和以下描述涉及仅以解释说明方式给出的优选实施例。应当注意，从以下讨论，在不脱离所要求保护的原理的情况下，本文中公开的结构和方法的备选实施例将被容易地认为是可行的备选方案。

现在将详细参考若干实施例，这些实施例的示例在附图中被示出。注意，在可行的情况下，可以在附图中使用类似或相似附图标记，并且类似或相似附图标记可以指示类似或相似的功能。附图仅出于说明的目的描绘了所公开的系统(或方法)的实施例。本领域技术人员将从以下描述中容易地认识到，在不脱离本文所描述的原理的情况下，可以采用本文所示的结构和方法的备选实施例。

配置概述

在第一实施例中，在具有多个麦克风的音频捕获系统中生成输出音频信号。从多个麦克风接收至少第一音频信号和第二音频信号。从第一音频信号生成与多个频率子带相对应的第一多个频率子带信号，并且从第二音频信号生成与多个频率子带相对应的第二多个频率子带信号。对于第一多个频率子带信号和第二多个频率子带信号中的每一个，应用频带相关偏移以从第一多个频率子带信号生成第一多个偏移频率子带信号并且从第二多个频率子带信号生成第二多个偏移频率子带信号。确定第一多个偏移频率子带信号与第二多个偏移频率子带信号之间的整体相关性度量。响应于整体相关性度量超过第一预定义阈值，根据相关音频信号处理算法来处理音频信号以生成输出音频信号。响应于整体相关性度量不超过第一预定义阈值，根据不相关音频信号处理算法来处理音频信号以生成输出音频信号。

在另一实施例中，在具有多个麦克风的音频捕获设备中生成输出音频信号，多个麦克风至少包括捕获第一音频信号的第一参考麦克风、捕获第二音频信号的第二参考麦克风和捕获第三音频信号的排水麦克风。排水麦克风与排水通道相邻以将液体从排水麦克风排出。音频捕获设备确定第一参考麦克风和第二麦克风中的每一个是潮湿的还是干燥的。响应于确定第一参考麦克风和第二参考麦克风两者是潮湿的，选择来自排水麦克风的第三音频信号，并且从第三音频信号生成与第一时间段对应的第一单声道音频输出信号。响应于确定第一参考麦克风和第二参考麦克风两者是干燥的，选择来自第一参考麦克风的第一音频信号和来自第二参考麦克风的第二音频信号，以及通过处理第一音频信号和第二音频信号来生成与第二时间段对应的立体声音频输出信号。响应于确定第一参考麦克风是干燥的并且第二参考麦克风是潮湿的，选择来自第一参考麦克风的第一音频信号，并且从第一音频信号生成与第三时间段对应的第二单声道音频输出信号。响应于确定第二参考麦克风是干燥的并且第一参考麦克风是潮湿的，选择来自第二参考麦克风的第二音频信号，并且从第二音频信号生成与第四时间段对应的第三单声道输出音频信号。

示例音频捕获设备

图1示出了包括多个麦克风的音频捕获设备100的示例。音频捕获系统100可以包括多个参考麦克风120、至少一个排水麦克风110、麦克风选择控制器130、音频组合器135和音频编码器140，多个参考麦克风120至少包括第一参考麦克风122(或一组第一参考麦克风122)和第二参考麦克风124(或一组第二参考麦克风124)。在一个实施例中，第一参考麦克风122可以位于音频捕获设备100的顶面上(并且第一参考麦克风122在本文中也可以称为“顶部麦克风”)，第二参考麦克风124可以位于音频捕获设备100的侧面上(并且第二参考麦克风124在本文中可以称为“侧部麦克风”)，并且排水麦克风110可以位于音频捕获设备100的正面上(并且排水麦克风110在本文中也可以称为“正面麦克风”)。

排水麦克风110可以具有与其相邻的排水通道，以使得与从没有排水通道的参考麦克风120排出水相比，能够更快地从排水麦克风110排出水。排水通道可以被构造为使得水由于重力、毛细管和/或表面张力而从排水麦克风110被排出。在各种实施例中，排水通道可以使用内表面能量涂层或特定孔尺寸、形状、密度、图案或内部曲率或者是影响排水麦克风110的排水轮廓的特征组合来实现。因此，当从被淹没在水下到离开水时，排水麦克风110可以相对快速地恢复。因此，与参考麦克风120相比，排水麦克风110可以更好地减轻如下的频率响应失真，该频率响应失真是由于水被留在排水麦克风110上的膜上或者水模糊了到排水麦克风110的声学路径而导致的。在一个实施例中，至少参考麦克风120可以包括在泼洒的水与麦克风上的防水膜之间的物理屏障，以减轻泼洒的水的冲击。例如，在一个实施例中，该屏障包括吸收一些水冲击脉冲的塑料屏障。在另一实施例中，在该屏障与参考麦克风120上的防水膜之间可以存在空气缓存区。在另一实施例中，端口结构在参考麦克风120上的防水膜的外侧捕获水缓冲层，从而创建了能阻止泼洒的水直接冲击防水膜的保护层。另外，汇集在防水膜上的水的消声质量降低了泼洒的水的一些高频内容。在一个实施例中，排水麦克风110可以类似地包括防水膜。

在操作中，排水麦克风110和参考麦克风120都捕获环境音频105并且将所捕获的音频传递到麦克风选择控制器130。由排水麦克风110、第一参考麦克风122和第二参考麦克风124捕获的音频每个均由于麦克风110、122、124的不同结构特征和/或在音频捕获设备100上的位置而可以具有变化的音频特性。例如，由于排水通道，排水麦克风110可以在刮风状况下具有相对于参考麦克风120降低的信噪比。此外，当音频捕获设备100被浸没在水下时，排水麦克风110可能具有降低的信噪比，使得水不能从排水通道排出。然而，当音频捕获设备100被移出水面或者受到泼洒时，排水麦克风110通常可以具有比参考麦克风120更好的信噪比性能，因为排水麦克风110可以更快地将水从麦克风中排出。此外，由于它们的不同放置，第一参考麦克风122或第二参考麦克风124可以在捕获期间在不同时间在特定频带提供更好的信号质量。因此，在不同的音频捕获状况下，可能期望在由排水麦克风110、第一参考麦克风122和第二参考麦克风124捕获的音频信号或其部分(例如，不同频率子带)之间进行不同的选择。

麦克风选择控制器130处理从排水麦克风110和参考麦克风120捕获的音频，并且基于音频特性来选择要将哪个音频信号或其部分(例如，特定频率子带)传递到音频组合器135。在一个实施例中，麦克风选择控制器130逐块进行操作。在该实施例中，对于每个时间间隔，麦克风选择控制器130从排水麦克风110接收第一音频数据块，从第一参考麦克风122接收第二音频数据块，并且从第二参考麦克风124接收第三音频数据块。每个块对应于在相同时间间隔期间由相应麦克风110、122、124捕获的环境音频105。麦克风选择控制器130处理该组块以确定将哪个或哪些块或其部分传递到音频组合器135。麦克风选择控制器130可以在给定时间间隔内将来自麦克风110、122、124中的不同麦克风的多于一个的块传递到音频组合器135。如果多个块被传递到音频组合器135，则音频组合器135可以组合这些块以生成单个音频通道的块，或者可以生成单独的立体声音频通道的块。

在一个实施例中，麦克风选择控制器130可以将每个块中的音频划分为多个不同的频率子带。然后，麦克风选择控制器130可以确定要将来自哪些块的哪些频率子带传递到音频组合器135。因此，例如，对于给定的时间间隔，麦克风选择控制器130不必传递或保留住来自给定麦克风110、122、124的整个块，而是可以代之以仅传递来自从不同麦克风110、122、124的不同块的某些频率子带。以这种方式，麦克风选择控制器130可以选择来自特定麦克风的使音频组合器135能够提供最佳质量的音频输出的频率子带。

在一个实施例中，当参考麦克风122、124两者是潮湿的时，麦克风选择控制器130通常操作以在转换出水之后直接选择排水麦克风110，因为当麦克风是潮湿的时，排水麦克风110倾向于更快地排水并且具有更好的音频质量。此外，当麦克风122、124是干燥的时，麦克风选择控制器130通常操作以选择一个或两个参考麦克风120。

音频组合器135组合从麦克风选择控制器130接收到的音频的块或其部分(例如，特定频率子带)以生成组合音频信号。该组合可以包括组合从不同麦克风110、122、124接收到的块或其部分(例如，特定频率子带)。

然后，音频编码器140对组合音频信号进行编码以生成输出音频信号145。编码可以包括压缩音频信号。

在一个实施例中，麦克风选择控制130、音频组合器135和/或音频编码器140被实现为处理器和存储指令的非暂态计算机可读存储介质，这些指令在由处理器执行时执行属于本文中描述的麦克风选择控制器130、音频组合器135和/或音频编码器140的功能。麦克风选择控制器130、音频组合器135和音频编码器140可以使用公有的处理器或单独的处理器来实现。在其他实施例中，麦克风选择控制器130、音频组合器135和/或音频编码器140可以用硬件(例如，用fpga或asic)、固件、或硬件、固件和软件的组合来实现。

在一个实施例中，音频捕获系统100在诸如下面参考图6描述的相机600等相机系统内实现。这样的相机可以使用由音频捕获系统100捕获的编码音频145作为由相机捕获的视频的音频通道。因此，音频捕获系统100可以以与对应的视频帧同时并且同步的方式捕获音频。

图2是示出用于从多个不同麦克风捕获的音频信号生成音频输出音频信号的过程的实施例的流程图。从至少两个麦克风接收202音频信号，至少两个麦克风可以包括排水麦克风110、第一参考麦克风122、第二参考麦克风124或其任何组合。音频信号可以包括用于较长音频流的特定时间间隔的音频块。音频信号204每个被划分到多个不同的频率子带中。在每个频率子带中，应用206本底噪声相关的幅度偏移。对于每个子带，本底噪声表示预期存在于音频信号中的最小噪声量的阈值幅度水平。不同子带的相应本底噪声可以不同。在具有较高本底噪声的子带中应用较大的幅度偏移，以确保信号可以在后续步骤中可靠地相关。在每个子带中，确定208来自两个或更多个麦克风的偏移音频信号之间的子带相关性度量。子带相关性度量可以表示由麦克风在给定时间间隔内捕获的音频块子带的信号电平之间的相似性。通常，在在给定子带中不存在风噪声或具有类似噪声分布的其他噪声的情况下，信号将良好相关，但是当在该子带中存在风或其他噪声时，信号相关性将很差。因此，相关性度量可以用作风检测度量。在一个实施例中，每个子带相关性度量包括从0到1的值，其中相关性度量为1表示与子带中存在的很少或没有不相关噪声相一致的情况，并且相关性度量为0表示所捕获的音频可以基本上由诸如风噪声等不相关噪声组成。

对于低于频率阈值(例如，低于1500hz)的所有子带，计算210整体相关性度量。整体相关性度量可以包括例如低于频率阈值的子带的子带相关性度量的平均值(例如，均值)或加权平均值。将整体相关性度量与预定义阈值进行比较212。在一个实施例中，取决于先前状态(例如，在先前音频块中阈值是否被超过)，预定义阈值可以在两个或更多个预定义阈值之间动态地改变以考虑滞后效应。例如，如果对于先前处理的块，相关性度量超过预定义阈值(例如，预定义阈值0.8)，则将当前块的预定义阈值设置为更低(例如，0.7)。如果对于先前处理的块，相关性度量没有超过预定义阈值(例如，预定义阈值0.8)，则将当前块的预定义阈值设置为更高(例如，0.8)。

如果在步骤212中相关性度量超过预定义阈值，则应用216相关音频信号处理算法，以基于排水麦克风110、第一参考麦克风120和第二参考麦克风130或这些麦克风的组合中的一个或多个麦克风，来生成输出音频信号。例如，在一个实施例中，相关音频信号处理算法基于与每个麦克风相关联的水分状况(例如，每个麦克风是潮湿的还是干燥的)来生成组合音频信号。以下参考图4更详细地描述相关音频信号处理算法的示例实施例。否则，如果在步骤212中整体相关性度量低于阈值，则麦克风选择控制器130基于不相关音频信号处理算法来创建214组合音频信号。不相关处理算法可以为每个频带选择具有最低不相关噪声的音频信号的频率分量，并且将这些频率分量组合在一起以产生组合音频信号。以下参考图3更详细地描述不相关音频信号处理算法的示例实施例。然后对组合音频信号进行编码218。

图3是示出不相关音频信号处理算法的实施例的流程图。例如，当在音频信号中检测到风噪声或其他不相关噪声时，可以应用该算法。对于每个子频带，选择302在该时间间隔内具有最低风噪声的音频信号。例如，在一个实施例中，选择在给定频率子带中具有最低均方根信号电平的音频信号作为针对该频率子带的具有最低风噪声的音频信号。然后，在每个子带中，基于该子带的子带相关性度量对所选择的音频信号应用304噪声抑制处理以进一步降低噪声。然后，对应用了噪声抑制处理的每个所选择的子带的原始(非偏移)音频信号进行组合306，以生成输出音频信号。

图4是示出用于基于水分状况在排水麦克风110、第一参考麦克风122和第二参考麦克风124中的一个或多个之间进行选择的过程的实施例的流程图。该过程可以对应于图2中的步骤216，并且因此可以在不同麦克风之间检测到相关信号的情况下执行。麦克风选择控制器130确定406参考麦克风122、124中的一个或两个是否是潮湿的。在一个实施例中，与干燥麦克风相比，可以通过观察预定义频率范围(例如，2khz-4khz)上的光谱响应变化或通过检测已知与湿麦克风相关联的声音模式，来检测潮湿麦克风状况。例如，在一个实施例中，可以通过经验手段找到与湿麦克风相关联的光谱特征。通常，当麦克风膜为潮湿时，较高频率的声音会衰减，因为膜上的水的额外重量会减少膜的振动。因此，水通常充当低通滤波器。用于检测湿麦克风的过程的示例在2016年3月28日提交的美国专利申请no.15/083,266中描述，该申请通过引用并入本文。在一个实施例中，可以基于麦克风几何形状之间的所测量的已知留滴时间常数差异来监测光谱变化。在其他实施例中，在麦克风膜附近的传感器可以用于检测潮湿麦克风状况。如果麦克风选择控制器130确定408两个参考麦克风122、124是潮湿的，则选择414来自排水麦克风110的音频信号并且将该音频信号输出418作为单声道输出音频通道。否则，如果麦克风选择控制器130确定410两个参考麦克风是干燥的，则麦克风选择控制器130选择412来自两个参考麦克风122、124的音频信号并且处理这些音频信号以输出418立体声输出音频信号的通道。例如，可以应用波束成形过程以从两个音频信号生成立体声输出音频信号。否则，如果两个参考麦克风122、124都不是潮湿的或者麦克风122、124都不是干燥的(例如，第一参考麦克风122是潮湿的并且第二参考麦克风124是干燥的，或者反之)，则麦克风选择控制器130从第一参考麦克风122和第二参考麦克风124中选择416干燥麦克风以用于输出418单声道输出音频通道。

表1示出了应用图4的过程的结果：

表1

如表中所示，两个参考麦克风120在它们都是干燥时以立体声编码被选择。如果只有一个参考麦克风120是干燥的，则以单声道编码选择干燥麦克风。如果两个参考麦克风都是潮湿的，则选择排水麦克风。

通常，在上述图2至图4的过程中，完全被浸没在液体中的音频捕获设备100将生成具有与风噪声类似的不相关噪声并且因此将根据图4的不相关音频信号处理算法进行处理的音频信号。在备选实施例中，可以使用独立的浸入式检测传感器来确定音频捕获设备100是否被浸没。例如，在图5的过程中，麦克风选择控制器130确定502麦克风110、122、124是否被浸没在液体(例如，水)中。在一个实施例中，水浸没传感器可以被用于确定麦克风110、122、124是否被浸没。在其他实施例中(其中音频捕获设备100与相机集成)，可以执行图像分析以检测表示相机被浸没在水中的特征。例如，检测颜色损失可以指示相机淹没，因为它根据波长引起光强度的指数损失。此外，当相机被淹没时，图像中可能存在皱纹图案，因为水表面可以形成产生明暗斑块的小的凹凸透镜。另外，从水中的粒子反射的光产生散射和漫射，这样的散射和漫射可以被检测到以用于确定相机是否被浸没。在另一实施例中，相机上的触摸屏可以用于检测当相机被浸没时指示浸没的电容变化。在又一实施例中，可以检测参考麦克风122、124中的一个的防水膜上的水压，因为防水膜将在外部水压下偏转。这导致张力增加，这使得防水膜的共振更多地偏离其标称值并且可以在麦克风信号中被检测到。此外，防水膜的偏转将导致麦克风膜上的正压力和偏转，这可能表现为麦克风偏置的偏移。另外，传感器可以被放置在防水膜附近以检测由防水膜的偏转引起的指示麦克风被浸没的剪力的增加。

如果检测到504麦克风要被浸没，则不使用排水麦克风110，并且从参考麦克风122、124中的一个或多个导出输出音频信号，因为排水麦克风110通常在水下表现不佳。例如，在一个实施例中，应用类似于图3的不相关音频信号处理算法，以在子带基础上处理来自参考麦克风的音频信号，并且对于每个子带，选择具有最低噪声的参考音频信号。备选地，如果确定504音频捕获设备100不会被淹没，则可以应用506类似于图2的音频信号处理算法来确定信号是否是相关的并且根据该确定来应用相关或不相关音频信号处理。

示例相机配置

图6示出了可以包括音频捕获设备100的示例相机600的实施例。相机600可以包括相机本体602，相机本体602具有在相机本体的前表面上构造的相机镜头604、在相机本体602的表面前面的各种指示器(诸如led、显示器等)、各种输入机构(诸如按钮、开关和触摸屏机构)以及在相机本体602内部的用于经由相机镜头捕获图像和/或执行其他功能的电子器件(例如，成像电子器件、电力电子器件等)。相机600可以被配置为捕获图像和视频，并且存储所捕获的图像和视频以用于后续显示或播放。

相机600可以包括各种指示器，包括显示面板606。相机600还可以包括按钮610，按钮610被配置为允许相机的用户与相机交互，打开相机，以及以其他方式配置相机的操作模式。相机600还可以包括多个麦克风，包括如上所述的排水麦克风110(位于相机600的右下角附近)和参考麦克风122、124(分别位于左上角附近的相机600的顶面和侧面附近)。相机的前表面、底表面或侧表面可以包括一个或多个排水口，作为与如上所述的相机音频系统的排水麦克风110相邻的排水通道的一部分。例如，排水通道包括在相机的底面上的开口，用以将液体从排水麦克风110所处的凹槽中排出。

其他配置注意事项

在整个说明书中，一些实施例使用表达“耦合”及其派生词。本文中使用的术语“耦合”不一定限于直接物理或电接触的两个或更多个元件。相反，术语“耦合”还可以包括两个或更多个元件不彼此直接接触，但仍然彼此协作或相互作用，或者被构造为在元件之间提供排水路径。

同样地，如本文中使用的，术语“包括”、“包括的”、“包含”、“包含的”、“具有”、“具有的”或其任何其他变型旨在涵盖非排他性的包括。例如，包括元素列表的过程、方法、物品或装置不一定仅限于那些元素，而是可以包括未明确列出的或者这种过程、方法、物品或装置固有的其他元素。

另外，使用“一个”或“一”来描述本文中的实施例的元件和组件。这仅仅是为了方便并且给出本发明的一般意义。该描述应当被理解为包括一个或至少一个，并且单数也包括复数，除非很清楚地另有所指。

最后，如本文中使用的，对“一个实施例”或“实施例”的任何引用意味着结合该实施例描述的特定元件、特征、结构或特性被包括在至少一个实施例中。在说明书中各处出现的短语“在一个实施例中”不一定均指同一实施例。

在阅读本公开之后，本领域技术人员将理解从本文原理公开的另外的备选结构和功能设计。因此，虽然已经说明和描述了特定实施例和应用，但应当理解，所公开的实施例不限于本文中公开的精确构造和组件。在不脱离所附权利要求限定的精神和范围的情况下，可以对本文中公开的方法和装置的布置、操作和细节进行各种修改、改变和变化，这样的修改、改变和变化对于本领域技术人员而言是很清楚的。