一种多麦克风降噪方法、装置及终端设备与流程

文档序号:21484991发布日期:2020-07-14 17:10阅读:来源:国知局

技术特征:

1.一种多麦克风降噪方法,其特征在于,包括:

(201)对主麦克风信号进行谐波检测,获得频点静音检测vad标识信息;

(202)根据所述频点vad标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号;

(203)通过动态噪声频谱映射将所述辅麦克风噪声信号映射到所述主麦克风信号,获得所述主麦克风信号的主麦克风噪声频谱;

(204)至少根据所述主麦克风信号的主麦克风噪声频谱计算所述主麦克风信号的降噪增益,并输出降噪后的主语音信号。

2.根据权利要求1所述的方法,其特征在于,所述(201)对主麦克风信号进行谐波检测,获得频点vad标识信息包括:

根据语音数据库训练谐波模型,其中,所述谐波模型用于检测倒频谱域上的语音谐波特性;

通过所述谐波模型和状态转移概率矩阵获得所述主麦克风信号的语音状态信息,其中,所述语音状态信息包括每个频点对应的浊音状态、清音状态或静音状态;

根据所述语音状态信息计算倒频谱激励矢量;

根据所述倒频谱激励矢量和所述谐波模型对所述主麦克风信号进行谐波选择,确定所述主麦克风信号中是否存在语音谐波,并输出所述频点vad标识信息,其中,所述频点vad标识信息为用于指示所述主麦克风信号中是否存在语音谐波的布尔值。

3.根据权利要求1或2所述的方法,其特征在于,所述(202)根据所述频点vad标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号包括:

通过将所述主麦克风信号作为参考信号获得残差信号,以使用所述卡尔曼滤波器自适应去除所述辅麦克风信号中的所述目标语音信号,其中,所述残差信号为所述辅麦克风噪声信号;

根据滤波因子误差的协方差矩阵计算所述残差信号的协方差矩阵;

根据所述残差信号的协方差矩阵计算卡尔曼增益;

根据所述频点vad标识信息确定是否需要更新所述卡尔曼滤波器;

当需要更新所述卡尔曼滤波器时,根据所述卡尔曼增益更新滤波因子;

根据所述更新后的滤波因子更新所述滤波因子误差的协方差矩阵。

4.根据权利要求1至3中任一所述的方法,其特征在于,在所述(202)根据所述频点vad标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号之后,所述方法还包括:

对所述辅麦克风噪声信号进行谐波检测;

当所述辅麦克风噪声信号中存在语音谐波时,加速更新所述卡尔曼滤波器。

5.根据权利要求1至4中任一所述的方法,其特征在于,所述(203)通过动态噪声频谱映射将所述辅麦克风噪声信号映射到所述主麦克风信号,获得所述主麦克风信号的主麦克风噪声频谱包括:

根据所述主麦克风信号和所述辅麦克风信号计算所述主麦克风信号的先验全局静音概率;

根据所述主麦克风信号、所述主麦克风信号的先验全局静音概率和所述辅麦克风噪声信号计算所述主麦克风信号的动态补偿系数;

根据所述主麦克风信号的动态补偿系数和所述辅麦克风噪声信号计算所述主麦克风信号的主麦克风噪声频谱。

6.根据权利要求5所述的方法,其特征在于,所述根据所述主麦克风信号和所述辅麦克风信号计算所述主麦克风信号的先验全局静音概率包括:

根据主麦克风和辅麦克风之间的距离计算散射场的噪声的相干函数;

计算所述主麦克风信号和所述辅麦克风信号的复数相干函数;

根据所述散射场的噪声的相干函数和所述主麦克风信号的复数相干函数计算所述主麦克风信号的入射角参数;

根据所述入射角参数计算复数相干系数;

根据所述入射角参数和所述复数相干系数计算先验静音概率;

在时频域上对所述先验静音概率进行平滑处理,获得所述主麦克风信号的先验全局静音概率。

7.根据权利要求1至6中任一所述的方法,其特征在于,所述(204)至少根据所述主麦克风信号的主麦克风噪声频谱计算所述主麦克风信号的降噪增益,并输出降噪后的主语音信号包括:

获取所述主麦克风信号的单麦克风噪声频谱;

根据所述主麦克风信号的主麦克风噪声频谱和所述主麦克风信号的单麦克风噪声频谱,获得所述主麦克风信号的总噪声频谱;

根据所述主麦克风信号的总噪声频谱计算所述主麦克风信号的降噪增益,并输出所述降噪后的主语音信号。

8.根据权利要求7所述的方法,其特征在于,所述根据所述主麦克风信号的总噪声频谱计算所述主麦克风信号的降噪增益,并输出所述降噪后的主语音信号包括:

根据所述主麦克风信号和所述主麦克风信号的总噪声频谱计算所述主麦克风信号的先验信噪比snr;

根据所述主麦克风信号的先验snr计算所述主麦克风信号的初始增益,获得初始增益结果;

根据所述初始增益结果对所述主麦克风信号进行谐波增强,获得谐波增强后的主麦克风信号;

计算所述谐波增强后的主麦克风信号的二级增益,获得二级增益结果;

对所述二级增益结果进行倒频谱平滑处理,获得倒频谱平滑处理后的主麦克风信号;

当基音分布范围内的所述倒频谱平滑处理后的主麦克风信号的幅度大于预设阈值时,对所述倒频谱平滑处理后的主麦克风信号进行谐波替换,获得谐波替换后的主麦克风信号;

对所述谐波替换后的主麦克风信号逆变换到频域,获得平滑处理后的snr;

根据所述平滑处理后的snr计算所述主麦克风信号的降噪增益,并输出所述降噪后的主语音信号。

9.根据权利要求8所述的方法,其特征在于,在所述对所述二级增益结果进行倒频谱平滑处理,获得倒频谱平滑处理后的主麦克风信号之前,所述方法还包括:

根据所述主麦克风信号的主麦克风噪声频谱和所述主麦克风信号的基音信息进行谐波选择,获得谐波选择结果;

根据所述谐波选择结果确定所述二级增益结果中是否存在语音谐波;

当所述二级增益结果中不存在语音谐波时,将所述倒频谱平滑处理期间需要检测的基音信息设置为0。

10.根据权利要求7至9中任一所述的方法,其特征在于,所述获取所述主麦克风信号的单麦克风噪声频谱包括:

通过全局平滑处理计算所述主麦克风信号的后验全局snr,并通过局部平滑处理计算所述主麦克风信号的后验局部snr;

根据所述后验全局snr、所述后验局部snr和所述主麦克风信号的基音信息计算语音出现概率;

根据所述语音出现概率估计所述主麦克风信号的单麦克风噪声频谱。

11.一种多麦克风降噪装置(1100),其特征在于,包括:

第一谐波检测模块(1101),用于对主麦克风信号进行谐波检测,获得频点静音检测vad标识信息;

滤波控制模块(1102),用于根据所述频点vad标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号;

映射模块(1103),用于通过动态噪声频谱映射将所述辅麦克风噪声信号映射到所述主麦克风信号,获得所述主麦克风信号的主麦克风噪声频谱;

增益计算模块(1104),用于至少根据所述主麦克风信号的主麦克风噪声频谱计算所述主麦克风信号的降噪增益;

输出模块(1105),用于输出降噪后的主语音信号。

12.根据权利要求11所述的装置,其特征在于,所述第一谐波检测模块(1101)包括:

训练单元(11011),用于根据语音数据库训练谐波模型,其中,所述谐波模型用于检测倒频谱域上的语音谐波特性;

第一获取单元(11012),用于通过所述谐波模型和状态转移概率矩阵获得所述主麦克风信号的语音状态信息,其中,所述语音状态信息包括每个频点对应的浊音状态、清音状态或静音状态;

第一计算单元(11013),用于根据所述语音状态信息计算倒频谱激励矢量;

谐波选择单元(11014),用于根据所述倒频谱激励矢量和所述谐波模型对所述主麦克风信号进行谐波选择,确定所述主麦克风信号中是否存在语音谐波,并输出所述频点vad标识信息,其中,所述频点vad标识信息为用于指示所述主麦克风信号中是否存在语音谐波的布尔值。

13.根据权利要求11或12所述的装置,其特征在于,所述滤波控制模块(1102)包括:

滤波单元(11021),用于通过将所述主麦克风信号作为参考信号获得残差信号,以使用所述卡尔曼滤波器自适应去除所述辅麦克风信号中的所述目标语音信号,其中,所述残差信号为所述辅麦克风噪声信号;

第二计算单元(11022),用于根据滤波因子误差的协方差矩阵计算所述残差信号的协方差矩阵,并根据所述残差信号的协方差矩阵计算卡尔曼增益;

确定单元(11023),用于根据所述频点vad标识信息确定是否需要更新所述卡尔曼滤波器;

更新单元(11024),用于当需要更新所述卡尔曼滤波器时,根据所述卡尔曼增益更新滤波因子,并根据所述更新后的滤波因子更新所述滤波因子误差的协方差矩阵。

14.根据权利要求11至13中任一所述的装置,其特征在于,还包括:

第二谐波检测模块(1106),用于对所述辅麦克风噪声信号进行谐波检测;

加速模块(1107),用于当所述辅麦克风噪声信号中存在语音谐波时,加速更新所述卡尔曼滤波器。

15.根据权利要求11至14中任一所述的装置,其特征在于,所述映射模块(1103)包括:

第三计算单元(11031),用于根据所述主麦克风信号和所述辅麦克风信号计算所述主麦克风信号的先验全局静音概率;根据所述主麦克风信号、所述主麦克风信号的先验全局静音概率和所述辅麦克风噪声信号计算所述主麦克风信号的动态补偿系数;并根据所述主麦克风信号的动态补偿系数和所述辅麦克风噪声信号计算所述主麦克风信号的主麦克风噪声频谱。

16.根据权利要求15所述的装置,其特征在于,所述第三计算单元(11031)具体用于:

根据主麦克风和辅麦克风之间的距离计算散射场的噪声的相干函数;

计算所述主麦克风信号和所述辅麦克风信号的复数相干函数;

根据所述散射场的噪声的相干函数和所述主麦克风信号的复数相干函数计算所述主麦克风信号的入射角参数;

根据所述入射角参数计算复数相干系数;

根据所述入射角参数和所述复数相干系数计算先验静音概率;

在时频域上对所述先验静音概率进行平滑处理,获得所述主麦克风信号的先验全局静音概率。

17.根据权利要求11至16中任一所述的装置,其特征在于,所述增益计算模块(1104)包括:

第二获取单元(11041),用于获取所述主麦克风信号的单麦克风噪声频谱;根据所述主麦克风信号的主麦克风噪声频谱和所述主麦克风信号的单麦克风噪声频谱,获得所述主麦克风信号的总噪声频谱;

第四计算单元(11042),用于根据所述主麦克风信号的总噪声频谱计算所述主麦克风信号的降噪增益。

18.根据权利要求17所述的装置,其特征在于,所述第四计算单元(11042)具体用于:

根据所述主麦克风信号和所述主麦克风信号的总噪声频谱计算所述主麦克风信号的先验信噪比snr;

根据所述主麦克风信号的先验snr计算所述主麦克风信号的初始增益,获得初始增益结果;

根据所述初始增益结果对所述主麦克风信号进行谐波增强,获得谐波增强后的主麦克风信号;

计算所述谐波增强后的主麦克风信号的二级增益,获得二级增益结果;

对所述二级增益结果进行倒频谱平滑处理,获得倒频谱平滑处理后的主麦克风信号;

当基音分布范围内的所述倒频谱平滑处理后的主麦克风信号的幅度大于预设阈值时,对所述倒频谱平滑处理后的主麦克风信号进行谐波替换,获得谐波替换后的主麦克风信号;

对所述谐波替换后的主麦克风信号逆变换到频域,获得平滑处理后的snr;

根据所述平滑处理后的snr计算所述主麦克风信号的降噪增益。

19.根据权利要求18所述的装置,其特征在于,所述第四计算单元(11042)还用于:

根据所述主麦克风信号的主麦克风噪声频谱和所述主麦克风信号的基音信息进行谐波选择,获得谐波选择结果;

根据所述谐波选择结果确定所述二级增益结果中是否存在语音谐波;

当所述二级增益结果中不存在语音谐波时,将所述倒频谱平滑处理期间需要检测的基音信息设置为0。

20.根据权利要求17至19中任一所述的装置,其特征在于,所述第二获取单元(11041)具体用于:

通过全局平滑处理计算所述主麦克风信号的后验全局snr,并通过局部平滑处理计算所述主麦克风信号的后验局部snr;

根据所述后验全局snr、所述后验局部snr和所述主麦克风信号的基音信息计算语音出现概率;

根据所述语音出现概率估计所述主麦克风信号的单麦克风噪声频谱。

21.一种终端设备(1700),其特征在于,包括:发送器(1701)、接收器(1702)、处理器(1703)、存储器(1704)、主麦克风(1705)和辅麦克风(1706),其中,所述存储器(1704)存储有程序指令,当所述程序指令由所述处理器(1703)执行时,使得所述处理器(1703)执行根据权利要求1至10中任一所述的方法。


技术总结
公开了一种多麦克风降噪方法、装置及终端设备。所述方法包括:对主麦克风信号进行谐波检测,获得频点VAD标识信息;根据所述频点VAD标识信息控制卡尔曼滤波器从辅麦克风信号中滤除目标语音信号,获得辅麦克风噪声信号;通过动态噪声频谱映射将所述辅麦克风噪声信号映射到所述主麦克风信号,获得所述主麦克风信号的主麦克风噪声频谱;至少根据所述主麦克风信号的主麦克风噪声频谱计算所述主麦克风信号的降噪增益,并输出降噪后的主语音信号。所述方法对位置变化、各种噪声和应用场景具有良好的鲁棒性,并且可以应用于手持和免提模式。

技术研发人员:范泛;德米特里·弗拉基米罗维奇·萨拉纳;弗拉迪斯拉夫·伊戈列维奇·瓦西里耶夫
受保护的技术使用者:华为技术有限公司
技术研发日:2017.12.08
技术公布日:2020.07.14
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1