一种红外触发的远场双麦远场语音识别方法与流程

本发明属于语音降噪技术领域，涉及一种对远场双麦远场语音识别方法，尤其是一种红外触发的远场双麦远场语音识别方法。

背景技术：

伴随智能电视的普及，语音识别功能也越来越普及，智能语音遥控器作为人和电视语音的交互工具，起到了语音采集，传输的功能，是人机交互的一个重要接口。

目前的主流为语音遥控器，主要是单个麦克风对语音进行采集，并通过蓝牙传输到电视端进行语音识别，在背景噪声低或者无噪声的情况下能获得很好的语音识别效果。中国专利201780029587.0公开了一种用于自动语音识别预处理的系统和技术，其采用的技术方案中，首先获得多个音频通道；然后从音频通道去除混响，在去除混响之后，将多个音频通道划分为诸波束。基于噪声水平选择与诸波束中的波束对应的分区。从所选分区过滤音频信号。经过滤的音频信号可以经由预处理流水线的输出接口被提供给外部实体。

在实际的技术应用中，中国专利201811323511.1公开了一种远程会议语音识别数据传输方法，包括若干个参会终端设备，每个参会终端设备包括麦克风阵列、摄像头、wifi模块、语音处理模块、声纹训练模块、存储模块、语音识别服务器、中央处理器、扬声器和显示屏，所述语音处理模块分别连接声纹训练模块和麦克风阵列，所述中央处理器分别连接存储模块、摄像头、wifi模块、扬声器和显示屏，所述wifi模块通过互联网连接语音识别服务器。该技术方案不仅构建了远程视频会议，还通过语音识别将会议上发言人的语音进行处理，并转换成文档进行存储，通过声纹识别确认发音人的身份，并对会议中不同的发言人进行身份记录。

中国专利201810541703.3公开了一种远场语音识别方法、装置及系统，涉及语音识别技术领域，其主要用于远场语音识别。主要目的在于实现一种能够较好覆盖住宅或建筑物的语音识别方法，提高远场语音识别结果的准确性而发明。具体包括：采集预设区域内的语音信息，所述语音信息是由所述预设区域内的用户发出的；识别所述语音信息是否为预设语音信息；若是，则通过无线传输将所述语音信息发送至处理端。综合比较现有技术，通过遥控器进行语音采集作为语音识别的输入，因空中带宽有限，需要对采集的语音进行压缩，通过蓝牙传输到电视端，解压后再输入给语音识别系统进行识别，而语音压缩算法会对采集的语音造成频谱损失，在一定程度上丢失原始语音的信息，也会带来延迟；因而不可避免的会带来对语音识别的影响，增加语音识别的误识别几率。

另外，在遥控器语音识别过程中，人必须对着手持麦遥控器，说话时嘴必须对着麦克风进行语音输入，使用中仍然有不方便的地方。

技术实现要素：

针对现有技术存在的问题，本发明的目的在于提供软硬件结合的更符合智能人机接口应用的一种远场双麦克阵列降噪方法。

为实现上述目的，本发明采用的技术方案为一种红外触发的远场双麦远场语音识别方法，该方法的具体实现过程如下：

1)在电视端设置两颗麦克风拾音装置，通过两颗麦克风拾音装置实时采集语音数据；

2)当需要进行语音识别时，使用电视遥控器的红外语音按键控制电视端启动两颗麦克风拾音装置，然后进入语音识别状态，此时两颗麦克风拾音装置同时采集语音数据，分别获取时域语音数据t1和t2；

3)对t1和t2进行延迟相加和延迟相减，获得t_add和t_sub。

4)分别对延迟相加t_add和延迟相减t_sub的时域语音数据进行频域加窗和傅里叶变换处理，获取频域信号数据f1和f2。进而获得频域信号能量f1_2和f2_2，由此获得两路频域语音数据。

5)对两路频域语音数据进行稳态噪声估计，获得两颗麦克风的平均稳态噪声信息的估计值n1和n2；

6)计算两颗麦克风拾音装置的信号平均能量值x1和x2，然后和稳态噪声估计值进行比较，计算信号噪声能量和参考噪声能量的比值omaga，然后通过omega的值和设定的阈值估计语音存在概率p，进而得到语音不存在概率q。

7)使用语音存在概率和语音不存在概率计算语音存在的增益g对频域数据增益调整，获得调整增益后的频域优化信号f_opt。之后再通过频域加窗和逆傅里叶变换将频域优化信号转换成时域稳态噪声优化信号t_final。

进一步，所述步骤2)中，两颗麦克风分别获取时域语音数据，采样率为16000hz，并分每帧128个语音数据进行处理；输出所述时域语音数据为t1和t2。

进一步，在所述步骤3)中，延迟相加t_add和延迟相减信号t_sub的计算公式为：

t_add＝t1+t2

t_sub＝t1-t2

进一步，所述步骤4)中，输入的是时域语音数据t_add和t_sub，输出是频域语音数据f1、f2和频域能量f1_2，f2_2，公式为：

f1＝fft(hanningwindow*t_add)

f2＝fft(hanningwindow*t_sub)

f1_2＝|f1|²

f2_2＝|f2|²

hanningwindow指的是汉宁窗函数。

进一步，所述步骤5)中，语音噪声估计的方式是采用滑动最小递归平均(mcra)算法对语音的稳态噪声进行估计，具体的实现方式计算频域信号的平方作为信号能量值，公式为：

alpha是平滑系数、n1last是1通道上一帧的噪声能量、thrsignal是噪声能量判断阈值、n2last是2通道上一帧的噪声能量。

进一步，所述步骤6)中，信号平均能量x1和x2：

m是平均窗长度、i是平均序列号。

信号和参考噪声能量比值omega的计算公式如下：

语音信号存在概率p的计算公式如下：

omegahig语音存在阈值、omegalow语音不存在阈值。

语音不存在概率q计算公式如下：

q＝1-p

进一步，所述步骤6)中，增益函数g的计算公式是：

进一步，所述步骤7)中，降噪后的频域语音数据公式为：

f1_opt＝g*f1

降噪后的时域语音数据公式为：

t1_opt＝ifft(f1_opt)

进一步，所述步骤3)中，加窗运算选择的是汉宁窗，对每帧128个乘以汉宁窗系数，用来防止后面时频转换时发生频谱混叠。

本发明硬件上结构简单，相比之前的智能语音遥控器仅简单地增加1个远场拾音装置，在使用方式上摆脱了每次拾音都需要手持遥控器对着麦克风讲话的语音识别方式，采用了遥控器按键触发加远场语音识别的方式。软件算法上通过递归平均噪声估计方法对噪声进行消除增强语音信号。

附图说明

图1为设置于产品远场双麦降噪拾音装置的示意图。

图2为本发明远场双麦克建造方法流程框架图。

图3为远场降噪和语音增强效果。

具体实施方式

以下参考附图1-3，对本发明进行更全面的说明，附图中示出了本发明的示例性实施例。然而，本发明可以体现为多种不同形式，并不应理解为局限于这里叙述的示例性实施例。而是，提供这些实施例，从而使本发明全面和完整，并将本发明的范围完全地传达给本领域的普通技术人员。

如图1至图3所示，本发明一种红外触发的远场双麦远场语音识别方法，其中，在电视端正面设置麦克1和麦克2，采用线性放置的两颗麦克风进行语音采集。

当需要进行语音识别时，使用电视遥控器的红外语音按键控制电视端启动两颗麦克风拾音装置，然后进入语音识别状态。语音输入时，2路麦克同时拾音，开始语音增强算法处理。

语音增强，背景噪声降噪算法处理主要利用前后2路麦克语音数据的频域相关性对主麦克语音数据的频域增益进行修正：

如附图2所示，前置麦克风和后置麦克风分别获取时域语音数据，采样率为16000hz，即每秒16000个时域语音数据，我们分每帧128个语音数据进行处理，即每次取128个时域语音数据进行背景噪声降噪。该部分获得输出是时域语音数据t1和t2，分别对t1和t2进行延迟相加和延迟相减获得t_add和t_sub，其中t_add用于主信号增强，而t_sub用于参考噪声估计。

分别对主信号增强t_add和参考噪声t_sub的时域语音数据进行频域加窗和傅里叶变换处理，获取频域语音数据。加窗运算选择的是汉宁窗，对每帧128个乘以汉宁窗系数，用来防止后面时频转换时发生频谱混叠，傅里叶变换是时域数据到频域数据的转换，具体算法实现中我们采用快速傅里叶变换(fft)，以减少硬件的负担。该部分的输入是时域语音数据t1和t2，输出是频域语音数据f1和f2。公式为：

f1＝fft(hanningwindow*t_add)

f2＝fft(hanningwindow*t_sub)。

对主信号和参考噪声的频域数据采用递归拼接方法进行噪声估计。首先计算主信号的参考噪声信号的频域能量f1_2和f2_2，公式为:

f1_2＝|f1|²

f2_2＝|f2|²

然后计算信号噪声估计n1和n2，公式为：

其中，alpha是平滑系数，n1last和n2last是前一次计算的噪声值，thrnoise是噪声判断阈值，能量小于改值即认为是噪声。

该部分输入是频域数据f1和f2，输出是频域噪能量估计n1和n2。

估计语音存在概率，首先计算平均信号能量x1和x2，公式如下：

然后计算信号和参考噪声能量比，公式如下：

然后计算语音信号存在概率，公式如下：

当信号和参考噪声能量比小于omegalow时，认为此时干扰噪声强，语音不存在，当信号参考噪声能量比大于omegahigh时，认为此时主信号强，语音存在。其他情况下，根据信号和参考噪声能量比与omegalow之差占比来计算语音信号存在概率。最后计算语音不存在概率，公式如下：

q＝1-p

该部分的输入为主信号能量和估计噪声、参考噪声信号能量和估计噪声，输出是语音信号存在概率。

采用信号存在概率计算增益函数g，公式如下：

其中gmin是语音不存在时的最小增益。该部分输入是语音存在概率和主信号频域数据，输出是频域增益函数。

采用增益函数对前置麦克风的频域语音数据进行增益调整，获得降噪后的主信号麦克风的频域语音数据。该部分的输入是主信号频域语音数据和增益函数，输出是降噪后的频域语音数据。公式为(其中f1是主信号麦克频域语音数据，f1_opt为降噪后的频域语音数据)：

f1_opt＝g*f1

降噪后的频域语音数据进行逆傅里叶变换，将频域语音数据变换成时域语音数据，实际采用的是快速逆傅里叶变换变换(ifft)。公式为(其中t1_opt是降噪后的时域语音数据，f1_opt是降噪后的频域语音数据)：

t1_opt＝ifft(f1_opt)。

最终输出降噪后的时域语音数据t1_opt。

本发明中通过软件算法和硬件结合的方式达到语音增强目的：通过线性阵列双麦克的方式，组成了双麦克阵列。同时软件算法利用延迟相加和相减的方式构造了主信号和参考噪声信号，然后利用主信号和参考噪声信号的差异来判断语音信号存在概率，进而获得信号增益的函数，对语音进行噪声消除和语音增强。

本发明硬件上结构简单，相比之前的智能语音遥控器仅简单地增加1个远场拾音装置就能达到很好的语音增强的功能。简化了原语音遥控器需要一直手持输入语音的使用方式为简单的按键触发加远场语音识别方式，更符合语音识别的方便使用需求。软件算法上通过语音存在概率估计的方式计算语音增益函数，抑制了背景噪声，增强的语音信号。

背景噪声效果：如图3所示，是实际录音时的前置麦克和后置麦克录制的语音，可以看到有较强的背景噪声，降噪后的语音，可以看到经过降噪后的噪声被抑制而语音被完成的保留。