用于在波束成形的音频中重新创建方向提示的方法和装置与流程

相关申请的交叉引用

本申请要求2015年10月30日提交的、名为“methodandapparatusforrecreatingdirectionalcuesinbeamformedaudio”的u.s.非临时专利申请no.14/928,871的优先权并且是其继续申请，其全部内容通过引用并入本文。

背景技术：

波束成形合并从麦克风阵列接收的多个音频信号以在特定方位上放大源。换句话说，允许放大环境中某些期望的声源，并且减少/衰减背景区域中的不期望的噪声，以提高收听者的输出信号和音频质量。

一般来说，该过程包括在阵列中的每个麦克风处接收音频信号，从所接收的信号中提取波形/频率数据，确定每个提取的数据的适当的相位偏移，然后相对于相位偏移值来放大或衰减数据。在波束成形中，相位值考虑了声波到达阵列中的特定麦克风所花费的时间差，其可以基于声波的距离和方向以及阵列中的麦克风的定位而变化。在常规的波束成形方法中，来自若干合并的音频流的最终波束成形音频流是单声道输出信号。

技术实现要素：

本公开的方面通常涉及用于音频波束成形和在波束成形的音频信号中重新创建方向提示的方法和系统。

示例性组件包括一个或多个处理设备以及存储指令的一个或多个存储设备，所述指令在由一个或多个处理设备执行时，使一个或多个处理设备实现示例性方法。示例性方法可以包括：经由麦克风阵列接收音频信号；经由所述阵列中的参考麦克风接收音频信号；波束成形所接收的音频信号以生成经波束成形的单声道音频信号；以及通过将所述参考麦克风的所述相位偏移信息应用于经波束成形的单声道音频信号来生成具有方向提示的音频信号。

这些和其他实施例可以可选地包括下述特征中的一个或多个：阵列中的参考麦克风包括左参考麦克风和右参考麦克风；麦克风阵列包括两个或更多个麦克风；以及麦克风阵列包括一个或多个参考麦克风。

附图说明

图1是根据本文所述的一个或多个实施例的具有参考麦克风的麦克风阵列以及位于常见的眼镜上的音频听筒的配置的示例。

图2是图示出根据本文所述的一个或多个实施例的用于重新创建具有方向提示的音频信号的示例性系统的框图。

图3a图形地图示出到达示例性阵列中的两个麦克风中的每一个并且在其处合成的两个声波。

图3b图形地图示出放大图3a中所示的声波之一的示例性波束成形步骤。

图3c图形地图示出衰减图3a中所示的另一声波的示例性波束成形步骤。

图3d图形地图示出生成单声道信号的示例性波束成形步骤，其中，将图3b的放大信号与图3c的衰减信号合成。

图4a图形地图示出根据本文所述的一个或多个实施例的生成具有用于左输出通道的方向提示的音频信号。

图4b图形地图示出根据本文所述的一个或多个实施例的生成具有用于右输出通道的方向提示的音频信号。

图5a是一组图形表示，比较用于下述的波形模式：图3a中所示的左参考麦克风处的原始信号、图3d中所示的常规的单声道波束成形信号、以及图4a中所示的具有用于左输出通道的方向提示的音频信号。

图5b是一组图形表示，比较用于下述的波形模式：图3a中所示的右参考麦克风处的原始信号、图3d中所示的常规的单声道波束成形信号、以及图4b中所示的具有用于右输出通道的方向提示的音频信号。

具体实施方式

鉴于如上所述的仅提供单声道输出信号的常规波束成形的限制，本公开提供根据用于诸如立体声的多个输出通道的波束成形的单声道音频信号来重新创建具有方向提示的音频信号的方法、系统和装置。

图1是具有参考麦克风的麦克风阵列以及位于用于用户的常见眼镜(100)上的音频输出设备(例如听筒)的配置的示例性实施例。麦克风阵列包括四个麦克风(101-104)，包括两个参考麦克风(101,104)。在该配置中，左和右参考麦克风(分别为104和101)位于类似于当戴眼镜时用户的耳朵的位置以重新创建分别用于左右听筒(106,105)的方向提示。

在该示例性实施例中，麦克风阵列包括沿着眼镜(100)的上边缘放置的四个麦克风(101-104)。麦克风(101-104)处于彼此已知的相对固定位置，并且从周围环境捕捉声音。阵列中的麦克风(101-104)的相对固定位置允许确定各种声波到达阵列中的每个特定麦克风(101-104)的延迟，以便确定用于波束成形的相位值。

该配置还包括两个听筒(105,106)：左听筒(106)和右听筒(105)，其可以分别基于左和右参考麦克风(104,101)提供具有方向提示的左右通道音频信号。在该示例中，该配置可以被实现为助听器，其中，所捕获的声音经由麦克风阵列(101-104)波束成形。然后，可以使用来自左参考麦克风(104)的数据重新创建具有用于左听筒(106)的方向提示的输出信号，并且可以使用来自右参考麦克风(101)的数据创建具有用于右听筒的方向提示的输出信号。该示例性配置仅是可以根据本文所述的实施例使用的多种配置中的一种，并且不以任何方式旨在限制本公开的范围。其他实施例可以包括音频输入和输出源的不同配置。

图2是根据本文所述的一个或多个实施例的用于重新创建具有方向提示的音频信号的示例性系统(200)。系统(200)包括麦克风阵列中的四个麦克风(201-204)，包括左参考麦克风(204)和右参考麦克风(201)。在麦克风中的每个麦克风处接收音频信号，并且使用例如快速傅立叶变换(fft)(205-208)将其变换为频域表示。使用生成单个单声道信号(215)的常规方法经由波束成形器(210)来合成麦克风中的每个麦克风的信号数据。波束成形合成来自麦克风(201-204)中的每个麦克风的音频信号以放大期望的声音，并且衰减背景环境中的不需要的噪声，从而得到单个单声道信号(215)；然而，单声道信号(215)不包含可能对立体声或多个输出声道有利的方向提示信息。

根据本文所述的一个或多个实施例，使用来自参考麦克风(201,204)的每个参考麦克风的相位信息(216,217)和来自单声道信号(215)的幅度数据(218,219)的相位校正(230,231)将方向提示重新创建到fft(232,233)中以生成最终音频输出信号。将来自左参考麦克风(204)的相位信息(217)应用于放大的单声道信号(215)并且被输出到左听筒(221)。将来自右参考麦克风(201)的相位信息(216)应用于放大的单声道信号(215)并且被输出到右听筒(220)。输出到左右听筒(220,221)的最终相位校正的音频信号(232,233)包含在参考麦克风(201,204)处捕获的各自的方向提示。

图3a-d示出了常规的波束成形过程，其放大期望的声音、衰减不想要的噪声、并且生成波束成形的单声道信号。图3a图示出到达示例性麦克风阵列(303,304)中的两个麦克风中的每一个处并且在该处被合成的两个声波(301,302)。声音a是来自右方向的低频率期望声音。声音b是来自左方向的高频率不期望的声音。

在该示例性配置中，麦克风阵列包括两个麦克风(303,304)，两者均是参考麦克风。302表示来自声音a的波形。301表示来自声音b的波形。d1箭头是指声音a到达右参考麦克风rm(304)。箭头表示声音a到达左参考麦克风lm(303)。表示考虑到与rm(304)相比，声音a到达lm(303)所花费的附加时间的相位偏移。d2箭头是指声音b到达rm(304)。箭头是指声音b到达lm(303)。相位偏移表示声音b到达lm(303)比到达rm(304)花费的更少的时间。

由于信号中的每个信号传播到阵列中的麦克风(303,304)中的每个麦克风所花费的时间差异，以不同相位偏移将来自环境的声音a和声音b合成在一起。波形305反映在lm(303)处合成的声音数据，而波形306反映在rm(304)处合成的声音数据。关于这些波形，应该注意以下几点：尽管波形的形状非常不同，但对人类收听者来说，听起来与单声道流一样。然而，作为立体声流，人类收听者将听到每个频率的相位偏移差作为方向指标。

图3b图示出从由麦克风阵列接收的音频信号中提取和放大声音a的波束成形步骤。使用诸如fft的频率提取，从接收声音a的阵列中的麦克风(303,304)的波形(305,306)中的每个波形提取声音a频率(302)。对于lm(303)，从波形305中提取声音a频率(302)，得到幅度为1且相位偏移为45度的波形321。对于rm(304)，从波形306提取声音a频率(302)，得到幅度为1且相位偏移为0度的波形322。其中，相位对齐，由此声音a频率(302)被放大2倍，在0度相位处得到幅度为2。注意，新放大的频率不保持与左参考麦克风波形321的45度的相位偏移值。

图3c图示出从由麦克风阵列接收的音频信号中提取和衰减声音b的波束成形步骤。类似于上文图3b，使用频率提取，分别从用于左右麦克风(303,304)的波形305和306中提取声音b频率(301)。从波形305中提取声音b频率，得到幅度为1且相位偏移为330度的波形341。对于rm(304)，从波形306提取声音b频率(301)，得到幅度为1且相位偏移为0度的波形342。其中，相位不对齐，由此衰减声音b频率(301)，在相位200度处得到幅度0.4。注意，如波形341所示，新衰减频率不保持与左参考麦克风的330度的相位偏移值。

图3d图示出生成单声道信号360的最终波束成形步骤，其中，合成来自图3b的放大频率323与来自图3c的衰减频率343。如所示，该最终波形360比单独的任一麦克风(305,306)更接近来自声音a的波形302。然而，放大期望的声音，即声音a的最终单声道信号360不包含原始信号中的方向提示。

图4(a-b)图示出生成用于左右输出通道的具有方向提示的音频信号。图4a图示出生成用于左输出通道的具有提示的音频信号。波形401描绘具有幅度值为2且相位值为45度的声音a的音频信号。由在波形343中描绘的常规波束成形的单声道信号得出幅度值2。由在波形321中描绘的原始左参考信号得出相位值45度。

波形402描绘具有幅度值0.4和相位值330度的声音b的衰减信号。由波形323中描绘的常规波束成形的单声道信号得出0.4幅度。由波形341中描绘的原始左参考信号得出相位值330度。

合成在波形401和402中描绘的使用45度和330度的左参考相位值的信号，以生成用于左通道输出的音频信号，其被描绘为波形403并且包含来自左参考麦克风lm(303)的方向提示。

图4b图示出生成具有用于右输出通道的方向提示的音频信号。波形411描绘幅度值为2且相位值为0度的声音a的音频信号。由在波形343中描绘的常规的波束成形的单声道信号得到幅度值2。由波形322中描绘的原始右参考信号得出0度的相位值。

波形412描绘具有幅度值0.4和相位值为0度的声音b的衰减信号。由波形323中描绘的常规的波束成形的单声道信号得出0.4幅度。由波形342中描绘的原始右参考信号得出0度相位值。

合成被描绘为波形411和412的使用0度和0度的右参考相位值的信号，以生成用于右通道信号的音频信号，其被描绘为波形413并且包含来自右参考麦克风rm(304)的方向提示。

图5(a-b)是比较以下的波形模式的一组图形表示：原始参考麦克风处的音频信号、波束成形的常规信号、和包含方向提示的左/右信号。图5a示出描绘最初在左参考麦克风lm(303)处接收的音频信号、经由常规波束成形(360)生成的单声道信号、以及具有用于左通道(403)的方向提示的音频信号的波形(305,360,403)。通过比较这三个波形可以看出，与单声道波形360相比，具有方向提示的最终波形403与原始左参考波形305更相似，并且仍提供波束成形信号360的放大/衰减模式。

图5b示出描绘最初在右参考麦克风rm(304)处接收的音频信号、经由常规波束成形(360)生成的单声道信号、以及具有用于右通道(413)的方向提示的音频信号的波形(306,360,413)。如通过比较这三个波形可以看出的，与单声道波形360相比，具有方向提示的最终波形413与原始右参考波形306更相似，并且仍然提供波束成形信号360的放大/衰减模式。与常规的单声道波束成形信号相比，形成右左参考信号中的方向提示的波峰和波谷的相对对齐与右左波束成形的信号匹配。