回声消除中回声路径的建模方法、装置、设备及存储介质与流程

1.本发明涉及语音处理技术领域，尤其涉及一种回声消除中回声路径的建模方法、装置、设备及存储介质。


背景技术：

2.自适应滤波器是回声消除模块中的重要模块。自适应滤波器最重要的作用是对回声路径进行建模，即“模仿”出一个尽可能像的回声路径w(n)，参见图1，是自适应滤波器对回声路径进行建模的过程示意图。通信过程中真实的回声路径主要包括三个部分(即主要有三个步骤会使原始信号x(n)发生改变)：扬声器播放音频、音频在空气声学环境中的传播和麦克风接收音频，令这三个部分的系统函数分别为w
s
(n)、w
a
(n)和w
m
(n)，则w(n)＝w
s
(n)*w
a
(n)*w
m
(n)，其中“*”代表信号与系统中的卷积运算，而经过回声路径w(n)后，输出y(n)＝x(n)*w(n)。在三个系统响应w
s
(n)、w
a
(n)和w
m
(n)中，w
s
(n)和w
m
(n)是由扬声器和麦克风自身硬件特性决定的，而w
a
(n)受声学环境影响较大。
3.本申请的发明人在实施本发明的过程中发现，现有技术存在如下问题：
4.在自适应滤波器刚开始工作，或滤波器重置后，存在6～7秒以上的学习时间，即在学习期间，自适应滤波器的回声消除效果较差；并且，如果声学环境较为复杂，自适应滤波器会出现无法收敛到一个较优值的情况。


技术实现要素：

5.本发明实施例提供一种回声消除中回声路径的建模方法、装置、设备及存储介质，能够有效提高自适应滤波器的回声消除效果。
6.为实现上述目的，本发明实施例提供了一种回声消除中回声路径的建模方法，包括：
7.控制接收端的音频输出单元在第一预设增益范围内播放第一音频信号，以及控制所述接收端的音频输入单元在第二预设增益范围内对所述第一音频信号进行接收，得到第二音频信号；
8.根据所述第一音频信号和所述第二音频信号计算得到所述接收端在不同增益组合下对应的回声路径固定函数；
9.获取所述接收端的音频输出单元和音频输入单元的当前增益组合；
10.根据所述当前增益组合获取对应的回声路径固定函数，得到当前回声路径固定函数；
11.控制所述接收端的音频输出单元在所述当前增益组合下播放第三音频信号，以及控制所述接收端的音频输入单元在所述当前增益组合下对所述第三音频信号进行接收，得到第四音频信号；
12.根据所述当前回声路径固定函数、所述第三音频信号和所述第四音频信号计算得到当前回声路径变化函数；
13.根据所述当前回声路径固定函数和所述当前回声路径变化函数计算得到当前回声路径误差函数。
14.优选地，所述根据所述第一音频信号和所述第二音频信号计算得到所述接收端在不同增益组合下对应的回声路径固定函数，具体包括：
15.根据如下公式更新得到所述回声路径固定函数：
16.e
t
(n)＝d
t
(n)
‑
x
tt
(n)w
t*
(n)；
17.w
t
(n+1)＝w
t
(n)+2μ
t
x
t
(n)/(x
th
(n)x
t
(n))e
t*
(n)；
18.其中，d
t
(n)表示第n个时刻的第二音频信号，x
t
(n)表示第n个时刻的第一音频信号，x
tt
(n)表示x
t
(n)的转置，x
th
(n)表示为x
t
(n)的共轭转置，w
t
(n)表示第n个时刻的回声固定路径固定函数，w
t*
(n)表示w
t
(n)的共轭，e
t
(n)表示第一误差信号，e
t*
(n)表示e
t
(n)的共轭，μ
t
为常数。
19.优选地，所述根据所述当前回声路径固定函数、所述第三音频信号和所述第四音频信号计算得到当前回声路径变化函数，具体包括：
20.根据所述当前回声路径固定函数和所述第三音频信号计算得到第三音频校正信号；
21.根据所述第三音频校正信号和所述第四音频信号计算得到所述当前回声路径变化函数。
22.优选地，所述根据所述当前回声路径固定函数和所述第三音频信号计算得到第三音频校正信号，具体包括：
23.根据如下公式计算得到所述第三音频校正信号：
24.x
c
(n)＝x0(n)*w
t0
(n)；
25.其中，x0(n)表示第n个时刻的第三音频信号，w
t0
(n)表示第n个时刻的当前回声路径固定函数，x
c
(n)表示第n个时刻的第三音频校正信号。
26.优选地，所述根据所述第三音频校正信号和所述第四音频信号计算得到所述当前回声路径变化函数，具体包括：
27.根据如下公式更新得到所述当前回声路径变化函数：
28.e
c
(n)＝d
c
(n)
‑
x
ct
(n)w
c*
(n)；
29.w
c
(n+1)＝w
c
(n)+2μ
c
x
c
(n)/(x
ch
(n)x
c
(n))e
c*
(n)；
30.其中，d
c
(n)表示第n个时刻的第四音频信号，x
ct
(n)表示x
c
(n)的转置，x
ch
(n)表示x
c
(n)的共轭转置，w
c
(n)表示第n个时刻的当前回声路径变化函数，w
c*
(n)表示w
c
(n)的共轭，e
c
(n)表示第二误差信号，e
c*
(n)表示e
c
(n)的共轭，μ
c
为常数。
31.优选地，所述根据所述当前回声路径固定函数和所述当前回声路径变化函数计算得到当前回声路径误差函数，具体包括：
32.将所述当前回声路径固定函数与所述当前回声路径变化函数做卷积运算，得到所述当前回声路径误差函数。
33.本发明实施例还提供一种回声消除中回声路径的建模装置，包括：
34.第一信号生成模块，用于控制接收端的音频输出单元在第一预设增益范围内播放第一音频信号，以及控制所述接收端的音频输入单元在第二预设增益范围内对所述第一音频信号进行接收，得到第二音频信号；
35.回声路径固定函数生成模块，用于根据所述第一音频信号和所述第二音频信号计算得到所述接收端在不同增益组合下对应的回声路径固定函数；
36.增益组合获取模块，用于获取所述接收端的音频输出单元和音频输入单元的当前增益组合；
37.回声路径固定函数获取模块，用于根据所述当前增益组合获取对应的回声路径固定函数，得到当前回声路径固定函数；
38.第二信号生成模块，用于控制所述接收端的音频输出单元在所述当前增益组合下播放第三音频信号，以及控制所述接收端的音频输入单元在所述当前增益组合下对所述第三音频信号进行接收，得到第四音频信号；
39.回声路径变化函数生成模块，用于根据所述当前回声路径固定函数、所述第三音频信号和所述第四音频信号计算得到当前回声路径变化函数；
40.回声路径误差函数生成模块，用于根据所述当前回声路径固定函数和所述当前回声路径变化函数计算得到当前回声路径误差函数。
41.本发明另一实施例对应提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的回声消除中回声路径的建模方法。
42.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任一项所述的回声消除中回声路径的建模方法。
43.与现有技术相比，本发明实施例提供的一种回声消除中回声路径的建模方法、装置、设备及存储介质，能够在回声路径变化函数的学习期间也能保证一定的回声消除效果，并且减小回声路径变化函数的动态环境建模压力，有效提高自适应滤波器的回声消除效果和稳定性。
附图说明
44.图1是自适应滤波器对回声路径进行建模的过程示意图；
45.图2是本发明提供的回声消除中回声路径的建模方法的一个实施例的流程示意图；
46.图3是本发明提供的回声消除中回声路径的建模装置的一个实施例的结构示意图；
47.图4是本发明提供的终端设备的一个实施例的结构示意图。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.参见图2，是本发明提供的回声消除中回声路径的建模方法的一个实施例的流程示意图，方法包括步骤s11至步骤s17：
50.s11、控制接收端的音频输出单元在第一预设增益范围内播放第一音频信号，以及控制所述接收端的音频输入单元在第二预设增益范围内对所述第一音频信号进行接收，得到第二音频信号；
51.具体地，通过在第一预设增益范围内播放第一音频信号以及在第二预设增益范围内对第一音频信号进行接收，得到第二音频信号，能够获得真实的传播路径。
52.s12、根据所述第一音频信号和所述第二音频信号计算得到所述接收端在不同增益组合下对应的回声路径固定函数；
53.进一步地，根据所述第一音频信号和所述第二音频信号计算得到所述接收端在不同增益组合下对应的回声路径固定函数，具体包括：
54.根据如下公式更新得到所述回声路径固定函数：
55.e
t
(n)＝d
t
(n)
‑
x
tt
(n)w
t*
(n)；
56.w
t
(n+1)＝w
t
(n)+2μ
t
x
t
(n)/(x
th
(n)x
t
(n))e
t*
(n)；
57.其中，d
t
(n)表示第n个时刻的第二音频信号，x
t
(n)表示第n个时刻的第一音频信号，x
tt
(n)表示x
t
(n)的转置，x
th
(n)表示为x
t
(n)的共轭转置，w
t
(n)表示第n个时刻的回声固定路径固定函数，w
t*
(n)表示w
t
(n)的共轭，e
t
(n)表示第一误差信号，e
t*
(n)表示e
t
(n)的共轭，μ
t
为常数。
58.具体地，迭代时w
t
(n)的初始值为0，μ
t
的取值范围0～1，一般可取0.2。
59.具体地，通过公式e
t
(n)＝d
t
(n)
‑
x
tt
(n)w
t*
(n)估算出第一误差信号e
t
(n)，并更新回声路径固定函数w
t
(n)。当w
t
(n)满足一定的收敛条件时，认为此时自适应滤波器已收敛，并记录下此时的回声路径固定函数w
t
(n)，在具体的实施方式中，收敛条件可以为第一误差信号较小或两次更新间回声路径固定函数差异不大等。
60.具体地，通过真实的传播路径得到符合真实回声路径的固定成分，即回声路径固定函数。
61.s13、获取所述接收端的音频输出单元和音频输入单元的当前增益组合；
62.具体地，音频输出单元可以为扬声器，音频输入单元可以为麦克风，则(扬声器，麦克风)即为一个增益组合。对每一种(扬声器，麦克风)增益组合，不断在扬声器端播出任意音频，并由麦克风采集到对应输出音频。
63.具体地，假设扬声器及麦克风的可调增益范围为0～100，共有10000种组合情况，在具体的实施方式中可选定增益间隔为10，可得到100种组合，假设回声路径固定函数w
t
(n)的阶数为m，m的阶数可以由具体实施过程确定出一个较优的解，阶数一旦确定，后续都不再改变。
64.s14、根据所述当前增益组合获取对应的回声路径固定函数，得到当前回声路径固定函数；
65.在具体的实施方式中，从上层获取到当前扬声器与麦克风实际增益值，如果之前实验时增益有取样间隔(例如上文所举例的间隔10)，则采取向下取整的方式避免“过削”，例如，采样增益间隔为10，实际中用户配置的是(72，85)，则加载(70，80)对应的回声路径固定函数w
t
(n)作为当前回声路径固定函数。
66.s15、控制所述接收端的音频输出单元在所述当前增益组合下播放第三音频信号，以及控制所述接收端的音频输入单元在所述当前增益组合下对所述第三音频信号进行接
收，得到第四音频信号；
67.s16、根据所述当前回声路径固定函数、所述第三音频信号和所述第四音频信号计算得到当前回声路径变化函数；
68.进一步地，根据所述当前回声路径固定函数、所述第三音频信号和所述第四音频信号计算得到当前回声路径变化函数，具体包括：
69.根据所述当前回声路径固定函数和所述第三音频信号计算得到第三音频校正信号；
70.根据所述第三音频校正信号和所述第四音频信号计算得到所述当前回声路径变化函数。
71.进一步地，根据所述当前回声路径固定函数和所述第三音频信号计算得到第三音频校正信号，具体包括：
72.根据如下公式计算得到所述第三音频校正信号：
73.x
c
(n)＝x0(n)*w
t0
(n)；
74.其中，x0(n)表示第n个时刻的第三音频信号，w
t0
(n)表示第n个时刻的当前回声路径固定函数，x
c
(n)表示第n个时刻的第三音频校正信号。
75.进一步地，根据所述第三音频校正信号和所述第四音频信号计算得到所述当前回声路径变化函数，具体包括：
76.根据如下公式更新得到所述当前回声路径变化函数：
77.e
c
(n)＝d
c
(n)
‑
x
ct
(n)w
c*
(n)；
78.w
c
(n+1)＝w
c
(n)+2μ
c
x
c
(n)/(x
ch
(n)x
c
(n))e
c*
(n)；
79.其中，d
c
(n)表示第n个时刻的第四音频信号，x
ct
(n)表示x
c
(n)的转置，x
ch
(n)表示x
c
(n)的共轭转置，w
c
(n)表示第n个时刻的当前回声路径变化函数，w
c*
(n)表示w
c
(n)的共轭，e
c
(n)表示第二误差信号，e
c*
(n)表示e
c
(n)的共轭，μ
c
为常数。
80.具体地，迭代时w
c
(n)的初始值为0，μ
c
的取值范围0～1，一般可取0.2。
81.s17、根据所述当前回声路径固定函数和所述当前回声路径变化函数计算得到当前回声路径误差函数。
82.进一步地，根据所述当前回声路径固定函数和所述当前回声路径变化函数计算得到当前回声路径误差函数，具体包括：
83.将所述当前回声路径固定函数与所述当前回声路径变化函数做卷积运算，得到所述当前回声路径误差函数。
84.参见图3，是本发明提供的回声消除中回声路径的建模装置的一个实施例的结构示意图，装置包括：
85.第一信号生成模块21，用于控制接收端的音频输出单元在第一预设增益范围内播放第一音频信号，以及控制所述接收端的音频输入单元在第二预设增益范围内对所述第一音频信号进行接收，得到第二音频信号；
86.回声路径固定函数生成模块22，用于根据所述第一音频信号和所述第二音频信号计算得到所述接收端在不同增益组合下对应的回声路径固定函数；
87.增益组合获取模块23，用于获取所述接收端的音频输出单元和音频输入单元的当前增益组合；
88.回声路径固定函数获取模块24，用于根据所述当前增益组合获取对应的回声路径固定函数，得到当前回声路径固定函数；
89.第二信号生成模块25，用于控制所述接收端的音频输出单元在所述当前增益组合下播放第三音频信号，以及控制所述接收端的音频输入单元在所述当前增益组合下对所述第三音频信号进行接收，得到第四音频信号；
90.回声路径变化函数生成模块26，用于根据所述当前回声路径固定函数、所述第三音频信号和所述第四音频信号计算得到当前回声路径变化函数；
91.回声路径误差函数生成模块27，用于根据所述当前回声路径固定函数和所述当前回声路径变化函数计算得到当前回声路径误差函数。
92.进一步地，所述回声路径固定函数生成模块22具体用于：
93.根据如下公式更新得到所述回声路径固定函数：
94.e
t
(n)＝d
t
(n)
‑
x
tt
(n)w
t*
(n)；
95.w
t
(n+1)＝w
t
(n)+2μ
t
x
t
(n)/(x
th
(n)x
t
(n))e
t*
(n)；
96.其中，d
t
(n)表示第n个时刻的第二音频信号，x
t
(n)表示第n个时刻的第一音频信号，x
tt
(n)表示x
t
(n)的转置，x
th
(n)表示为x
t
(n)的共轭转置，w
t
(n)表示第n个时刻的回声固定路径固定函数，w
t*
(n)表示w
t
(n)的共轭，e
t
(n)表示第一误差信号，e
t*
(n)表示e
t
(n)的共轭，μ
t
为常数。
97.进一步地，所述回声路径变化函数生成模块26具体包括：
98.校正单元261，用于根据所述当前回声路径固定函数和所述第三音频信号计算得到第三音频校正信号；
99.生成单元262，用于根据所述第三音频校正信号和所述第四音频信号计算得到所述当前回声路径变化函数。
100.进一步地，所述校正单元261具体用于：
101.根据如下公式计算得到所述第三音频校正信号：
102.x
c
(n)＝x0(n)*w
t0
(n)；
103.其中，x0(n)表示第n个时刻的第三音频信号，w
t0
(n)表示第n个时刻的当前回声路径固定函数，x
c
(n)表示第n个时刻的第三音频校正信号。
104.进一步地，所述生成单元262具体用于：
105.根据如下公式更新得到所述当前回声路径变化函数：
106.e
c
(n)＝d
c
(n)
‑
x
ct
(n)w
c*
(n)；
107.w
c
(n+1)＝w
c
(n)+2μ
c
x
c
(n)/(x
ch
(n)x
c
(n))e
c*
(n)；
108.其中，d
c
(n)表示第n个时刻的第四音频信号，x
ct
(n)表示x
c
(n)的转置，x
ch
(n)表示x
c
(n)的共轭转置，w
c
(n)表示第n个时刻的当前回声路径变化函数，w
c*
(n)表示w
c
(n)的共轭，e
c
(n)表示第二误差信号，e
c*
(n)表示e
c
(n)的共轭，μ
c
为常数。
109.进一步地，所述回声路径误差函数生成模块27具体用于：
110.将所述当前回声路径固定函数与所述当前回声路径变化函数做卷积运算，得到所述当前回声路径误差函数。
111.本发明实施例所提供的一种回声消除中回声路径的建模装置能够实现上述任一实施例的回声消除中回声路径的建模方法的所有流程，装置中的各个模块、单元的作用以
及实现的技术效果分别与上述实施例的回声消除中回声路径的建模方法的作用以及实现的技术效果对应相同，这里不再赘述。
112.参见图4，是本发明提供的终端设备的一个实施例的结构示意图，所述终端设备包括处理器41、存储器42以及存储在存储器42中且被配置为由处理器41执行的计算机程序，所述处理器41执行所述计算机程序时实现上述任一实施例的回声消除中回声路径的建模方法。
113.示例性的，所述计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器42中，并由处理器41执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在所述终端设备中的执行过程。
114.所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图4仅是一种终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
115.处理器41可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者处理器41也可以是任何常规的处理器等，处理器41是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
116.存储器42可用于存储所述计算机程序和/或模块，处理器41通过运行或执行存储在存储器42内的计算机程序和/或模块，以及调用存储在存储器42内的数据，实现所述终端设备的各种功能。存储器42可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
117.其中，所述终端设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述任一实施例所述的回声消除中回声路径的建模方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述任一实施例所述的回声消除中回声路径的建模方法的步骤。其中，上述计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、
电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
118.综上，本发明实施例所提供的一种回声消除中回声路径的建模方法、装置、设备及存储介质，通过在第一预设增益范围内播放第一音频信号以及在第二预设增益范围内对对第一音频信号进行接收，得到第二音频信号，获得真实的传播路径，并从而获得不同增益组合下对应的回声路径固定函数，实现了回声路径中固定成分的模拟；通过获取接收端的音频输出单元和音频输入单元的当前增益组合，获取了对应的回声路径固定函数，能够得到更符合实际组合情况的回声路径固定函数，能够在回声路径变化函数的学习期间也能保证一定的回声消除效果，并且减小回声路径变化函数的动态环境建模压力；通过当前回声路径固定函数和第三音频信号得到第三音频校正信号，从而根据第三音频校正信号和第四音频信号计算得到当前回声路径变化函数和第四音频信号计算得到当前回声路径变化函数，并根据当前回声路径固定函数和当前回声路径变化函数计算得到当前回声路径误差函数，有效提高了本申请实施例提供的一种回声消除中回声路径的建模方法下回声的消除效果和稳定性。
119.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。