音频信号处理方法、装置、电子设备及可读存储介质与流程

1.本技术属于音频技术领域，具体涉及一种音频信号处理方法、装置、电子设备及可读存储介质。


背景技术：

2.语音去混响已经成为音频信号处理过程中的一个重要步骤，电子设备可以通过去除混响音频信号中的晚期混响，实现对该混响音频信号的抑制，从而使语音更加饱满。
3.目前，为了得到混响音频信号中的晚期混响，电子设备可以对房间冲击响应(room inpluse reponse，rir)能量衰减曲线中的每个频带能量衰减曲线，在整个时间轴上进行线性拟合，并通过最小二乘法得到每条子带能量衰减曲线的斜率，然后可以基于得到的斜率对rir的能量衰减过程进行建模描述，从而可以推算出该晚期混响。
4.然而，按照上述方法，在直达音频的残余能量较高的前几帧中，线性拟合值的拟合误差通常较大，会使通过上述线性拟合推算的晚期混响的准确性较差，从而导致抑制混响音频信号的效果较差。


技术实现要素：

5.本技术实施例的目的是提供一种音频信号处理方法、装置、电子设备及可读存储介质，能够解决抑制混响音频信号的效果较差的问题。
6.第一方面，本技术实施例提供了一种音频信号处理方法，该方法包括：将频带能量衰减曲线划分为n段能量衰减曲线，并对每段能量衰减曲线进行线性拟合，得到n个线性拟合曲线，n为大于或等于2的整数；基于n个线性拟合曲线，确定n段能量衰减曲线中目标时间帧对应的混响抑制函数；基于混响抑制函数，抑制第一音频信号中目标时间帧的混响音频信号中的混响部分，以得到第二音频信号；其中，第一音频信号为：音频信号中处于频带能量衰减曲线对应的频带内的音频信号；频带能量衰减曲线为：rir能量衰减曲线中的一个频带能量衰减曲线。
7.第二方面，本技术实施例提供了一种音频信号处理装置，该装置包括处理模块、确定模块和抑制模块；处理模块，用于将频带能量衰减曲线划分为n段能量衰减曲线，并对每段能量衰减曲线进行线性拟合，得到n个线性拟合曲线，n为大于或等于2的整数；确定模块，用于基于处理模块处理得到的n个线性拟合曲线，确定n段能量衰减曲线中目标时间帧对应的混响抑制函数；抑制模块，用于基于确定模块确定的混响抑制函数，抑制第一音频信号中目标时间帧的混响音频信号中的混响部分，以得到第二音频信号；其中，第一音频信号为：音频信号中处于频带能量衰减曲线对应的频带内的音频信号；频带能量衰减曲线为：rir能量衰减曲线中的一个频带能量衰减曲线。
8.第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
9.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
10.第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
11.第六方面，本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
12.在本技术实施例中，可以将频带能量衰减曲线划分为n段能量衰减曲线，并对每段能量衰减曲线进行线性拟合，得到n个线性拟合曲线，n为大于或等于2的整数；且基于该n个线性拟合曲线，确定能量衰减曲线中目标时间帧对应的混响抑制函数；并基于该混响抑制函数，抑制第一音频信号中目标时间帧的混响音频信号中的混响部分，以得到第二音频信号；其中，第一音频信号为：音频信号中处于该频带能量衰减曲线对应的频带内的音频信号；该频带能量衰减曲线为：rir能量衰减曲线中的一个频带能量衰减曲线。通过该方案，由于电子设备可以将rir能量衰减曲线中的一个频带能量衰减曲线，划分为n段能量衰减曲线且分别进行线性拟合，并可以基于得到的n个线性拟合曲线，确定该n段能量衰减曲线中目标时间帧对应的混响抑制函数，以对该频带能量衰减曲线对应的频带内的音频信号中目标时间帧的混响音频信号中的混响部分进行抑制，因此可以通过拟合误差较小的分段线性拟合，以及每个时间帧对应的混响抑制函数，对各个时间帧的混响音频信号进行准确抑制，从而可以提高抑制混响音频信号的效果。
附图说明
13.图1是混响音频信号生成过程的示意图；
14.图2是rir能量衰减曲线的示意图；
15.图3是传统语音去混响中的线性拟合的示意图；
16.图4是本技术实施例提供的音频信号处理方法的流程图；
17.图5是本技术实施例提供的音频信号处理方法的示意图之一；
18.图6是本技术实施例提供的音频信号处理方法的示意图之二；
19.图7是本技术实施例提供的音频信号处理装置的示意图；
20.图8是本技术实施例提供的电子设备的示意图；
21.图9是本技术实施例提供的电子设备的硬件示意图。
具体实施方式
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
23.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可
以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
24.下面首先对本技术的说明书和权利要求书中涉及的一些名词或者术语进行解释说明。
25.rt60(即reverberation time-60db)：声场衰减60db所需要的时间。
26.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的音频信号处理方法、装置、电子设备及可读存储介质进行详细地说明。
27.语音去混响是一种广泛应用于音频设备中的技术，常见于手机、音箱以及会议通话装置等设备中。
28.在箱体空间里，一个声源持续发出音频信号，发出的音频信号在传播过程中由于障碍的存在会持续地进行反射，同时音频信号的能量会在这一过程中逐渐衰减，衰减能量后的音频信号经过一定的延迟到达拾音设备，其与当前时刻的直达音频信号一起被拾音设备采集到，使得当前时刻的直达音频信号受到反射音频信号的干扰，形成混响音频信号，且混响音频信号的能量会随着声源与拾音设备之间距离的增加而变强。
29.图1示出了混响音频信号生成过程的示意图，如图1所示，在箱体空间10中放置了一个麦克风11和一个扬声器12，传播介质为空气，假设声音在空气中传播的衰减系数为α，箱体空间10墙壁的反射系数为β，扬声器12在t1时刻发出的音频信号为在t2时刻发出的音频信号为t1时刻的音频信号经反射传播在t2时刻到达麦克风11，且忽略直达音频信号的传播时间，那么t1时刻麦克风11接收到的信号为t2时刻麦克风11接收到的信号为其中即混响音频信号。
30.由于混响音频信号的存在会极大地降低语音质量，影响用户的主观听感，且在一些智能设备中，还会影响语音识别的准确率，因此语音去混响成为音频信号处理领域中一个重要的步骤。
31.通常，混响音频信号的生成是将干净语音和rir进行卷积，如下述的公式(1)所示：
[0032][0033]
其中，z(n)为混响音频信号，h(n)为rir，s(n)为干净语音；对上述公式(1)进行傅里叶变换后转换到时域，如下述的公式(2)所示：
[0034][0035]
其中，m表示时间帧，k表示频点。而混响音频信号通常分为早期混响音频信号和晚期混响音频信号，将上述公式(2)平方后，可表示为下述的公式(3)：
[0036]
λz(m,k)＝λ
ze
(m,k)+λ
zl
(m,k)；
ꢀꢀꢀ
(3)
[0037]
其中，λz(m,k)表示第m帧第k个频点的混响音频信号的能量，即混响音频信号的谱方差，λ
ze
(m,k)表示第m帧第k个频点的早期混响能量(谱方差)，λ
zl
(m,k)表示第m帧第k个频点的晚期混响能量(谱方差)。而通常影响语音质量的部分为晚期混响音频信号，在去混响过程中只去除晚期混响音频信号而保留早期混响音频信号，可以让语音更加饱满，听感更好。一般来说，一个脉冲信号发出后50ms-80ms的延迟范围内的反射能量属于早期混响能
量，在这之后的能量均为晚期混响能量。若要较好地去除晚期混响音频信号而保留早期混响音频信号，需对rir进行精确描述和建模。
[0038]
图2示出了rir能量衰减曲线的示意图，如图2所示，该rir能量衰减曲线为一个rt60约为900ms的rir能量衰减曲线，其中横轴为时间帧，纵轴为能量db，采样率为16khz，短时傅里叶变换的帧长512，帧偏移160，该rir能量衰减曲线包括多条曲线，每条曲线表示一个子带能量随时间变化的趋势，每个子带取32个频点的平均值，其中第一个子带去除了直流分量。
[0039]
在传统的语音去混响中，是对整个时间轴上的rir能量衰减曲线进行线性拟合，例如，如图3所示，曲线31为第65号频点到第96号频点的子带能量衰减曲线，曲线32为对整个时间轴上的曲线31进行线性拟合后得到的曲线。在得到线性拟合后的曲线之后，可以通过最小二乘法得到该曲线的斜率，从而可以通过下述的公式(4)得到t60：
[0040][0041]
而频率的相关参数α(k)定义为下述的公式(5)：
[0042][0043]
其中，fs为采样率，由此可以通过下述的公式(6)，得到第m帧的直达音频信号的能量λs(m,k)在经过i帧衰减之后的能量e(i,k)：
[0044]
e(i,k)＝e-2α(k)ri
λs(m,k)；
ꢀꢀꢀ
(6)
[0045]
其中，r表示帧偏移。如此，可以对rir的能量衰减过程进行建模描述，并推算出晚期混响能量λ
zl
(m,k)。
[0046]
然而，按照上述方法，电子设备对rir能量衰减曲线的线性拟合是基于整个时间轴的，但这种全局性的线性拟合并不能够实现全局最优，具体表现如下：
[0047]
1、在直达音频的残余能量较高的前几帧中，线性拟合值的拟合误差较大；
[0048]
2、根据上述公式(5)和公式(6)，可以得到下述的公式(7)：
[0049][0050]
若记则上述公式(7)可以表示为下述的公式(8)：
[0051]
e(i,k)＝εi·
λs(m,k)；
ꢀꢀꢀ
(8)
[0052]
可以看出，0《ε《1，所以εi会随着i的增大而减小，这表示第m帧的直达音频信号在之后的时间帧内的衰减后残余的能量是不同的，且距离第m帧时间越近，残余能量越大，对于混响分量的影响越高。显然在前几帧中，直达音频信号的残余能量较高，而线性拟合值在这些时间帧中的拟合误差偏偏较大，这对于混响分量的估计影响巨大，从而导致抑制混响音频信号的效果较差。
[0053]
为了解决上述问题，在本技术实施例提供的音频信号处理方法，可以将频带能量衰减曲线划分为n段能量衰减曲线，并对每段能量衰减曲线进行线性拟合，得到n个线性拟合曲线，n为大于或等于2的整数；且基于该n个线性拟合曲线，确定n段能量衰减曲线中目标时间帧对应的混响抑制函数；并基于该混响抑制函数，抑制第一音频信号中目标时间帧的
混响音频信号中的混响部分，以得到第二音频信号；其中，第一音频信号为：音频信号中处于该频带能量衰减曲线对应的频带内的音频信号；该频带能量衰减曲线为：rir能量衰减曲线中的一个频带能量衰减曲线。通过该方案，由于电子设备可以将rir能量衰减曲线中的一个频带能量衰减曲线，划分为n段能量衰减曲线且分别进行线性拟合，并可以基于得到的n个线性拟合曲线，确定该n段能量衰减曲线中目标时间帧对应的混响抑制函数，以对该频带能量衰减曲线对应的频带内的音频信号中目标时间帧的混响音频信号中的混响部分进行抑制，因此可以通过拟合误差较小的分段线性拟合，以及每个时间帧对应的混响抑制函数，对各个时间帧的混响音频信号进行准确抑制，从而可以提高抑制混响音频信号的效果。
[0054]
本技术实施例提供一种音频信号处理方法，图4示出了本技术实施例提供的音频信号处理方法的流程图。如图4所示，本技术实施例提供的音频信号处理方法可以包括下述的步骤401至步骤403。下面以电子设备执行该方法为例对该方法进行示例性地说明。
[0055]
步骤401、电子设备将频带能量衰减曲线划分为n段能量衰减曲线，并对每段能量衰减曲线进行线性拟合，得到n个线性拟合曲线。
[0056]
其中，n为大于或等于2的整数。
[0057]
本技术实施例中，上述频带能量衰减曲线为：rir能量衰减曲线中的一个频带能量衰减曲线。
[0058]
可选地，本技术实施例中，当上述n等于3时，即将上述频带能量衰减曲线划分为3段能量衰减曲线时，可以达到最优的分段线性拟合效果；当然，实际实现中，n可以为大于或等于2的任意整数，本技术实施例不作限定。
[0059]
对电子设备将上述频带能量衰减曲线划分为n段能量衰减曲线，并进行分段线性拟合的描述，可以参照相关技术中关于分段线性回归的具体描述，为了避免重复，此处不予赘述。
[0060]
下面结合附图对本技术实施例提供的音频信号处理方法进行示例性地说明。
[0061]
示例性地，如图5所示，电子设备根据时间帧上的时间帧m1和时间帧m2，将能量衰减曲线50(即上述频带能量衰减曲线)划分为3段能量衰减曲线，并对每段能量衰减曲线进行线性拟合之后，得到线性拟合曲线51、线性拟合曲线52和线性拟合曲线53(即上述n个线性拟合曲线)。
[0062]
步骤402、电子设备基于n个线性拟合曲线，确定n段能量衰减曲线中目标时间帧对应的混响抑制函数。
[0063]
本技术实施例中，混响抑制函数用于抑制混响音频信号中的混响部分。
[0064]
需要说明的是，上述混响部分并非单独的音频信号，而是混响音频信号中的混响能量，即音频信号在箱体中传播的过程中所产生的能量；若没有rir或音频信号中的干净音频信号，则该音频信号中的混响音频信号也不存在。
[0065]
可选地，本技术实施例中，目标时间帧可以为任一时间帧。
[0066]
可选地，本技术实施例中，目标时间帧可以为第5帧之后的任一时间帧。
[0067]
可选地，本技术实施例中，上述步骤402具体可以通过下述的步骤402a至步骤402c实现。
[0068]
步骤402a、电子设备基于n个线性拟合曲线中的每个线性拟合曲线的斜率，分别计算每个线性拟合曲线对应的混响权重，以得到n个混响权重。
58db，在第21帧的能量变为-65db，若预设阈值为-60db，那么m3＝20。可以理解，当直达音频信号的能量衰减到一定程度时，对于整体的影响可以忽略不计，m3的存在也使得公式(11)是一个有限多项式，对于工程实践来说更具有可操作性。
[0086]
本技术实施例中，由于电子设备可以根据得到的每个时间帧对应的剩余能量，计算混响音频信号的早期混响能量和混响音频信号的晚期混响能量，因此可以提高电子设备计算早期混响能量和晚期混响能量的准确性。
[0087]
步骤402c、电子设备基于混响音频信号的早期混响能量和混响音频信号的晚期混响能量，确定n段能量衰减曲线中的目标时间帧对应的混响抑制函数。
[0088]
可选地，本技术实施例中，上述步骤402c具体可以通过下述的步骤402c1至步骤402c3实现。
[0089]
步骤402c1、电子设备根据混响音频信号的早期混响能量、混响音频信号的晚期混响能量，以及第一音频信号中目标时间帧的环境噪声音频信号的能量，计算目标时间帧对应的先验信噪比。
[0090]
可选地，本技术实施例中，第一音频信号可以包括直达音频信号、混响音频信号和环境噪声音频信号，那么第一音频信号可以表示为下述的公式(12)：
[0091][0092]
其中，v(n)为环境噪声音频信号；对上述公式(12)做短时傅里叶变换，且根据上述公式(2)和公式(3)可以得到下述的公式(13)：
[0093]
|y(m,k)|2＝λ
ze
(m,k)+λ
zl
(m,k)+λv(m,k)；
ꢀꢀꢀ
(13)
[0094]
其中，|y(m,k)|2表示第一音频信号的幅度谱的平方，λv(m,k)表示上述环境噪声音频信号的能量；从而可以计算得到该环境噪声音频信号的能量，并通过下述的公式(14)计算上述先验信噪比ε(m,k)：
[0095][0096]
步骤402c2、电子设备根据混响音频信号的晚期混响能量、第一音频信号中目标时间帧的环境噪声音频信号的能量，以及第一音频信号在目标时间帧的幅度谱，计算目标时间帧对应的后验信噪比。
[0097]
可选地，本技术实施例中，电子设备在得到上述λv(m,k)之后，可以通过下述的公式(15)计算上述后验信噪比ζ(m,k)：
[0098][0099]
步骤402c3、电子设备根据目标时间帧对应的先验信噪比和目标时间帧对应的后验信噪比，确定n段能量衰减曲线中的目标时间帧对应的混响抑制函数。
[0100]
可选地，本技术实施例中，电子设备在得到上述先验信噪比λv(m,k)和后验信噪比ζ(m,k)之后，可以确定上述混响抑制函数，该混响抑制函数可以表示为下述的公式(16)：
[0101]
[0102]
本技术实施例中，由于电子设备可以基于计算得到的目标时间帧对应的先验信噪比和后验信噪比，确定上述混响抑制函数，因此可以提高电子设备确定混响抑制函数的准确性，从而可以通过该混响抑制函数准确抑制目标时间帧的混响音频信号。
[0103]
本技术实施例中，由于电子设备可以基于上述n个线性拟合曲线中的每个线性拟合曲线的斜率，分别计算各个所述线性拟合曲线对应的混响权重，并基于得到的n个混响权重，计算混响音频信号的早期混响能量和所述混响音频信号的晚期混响能量，以确定上述混响抑制函数，因此可以进一步提高电子设备确定混响抑制函数的准确性。
[0104]
步骤403、电子设备基于n段能量衰减曲线中目标时间帧对应的混响抑制函数，抑制第一音频信号中目标时间帧的混响音频信号中的混响部分，以得到第二音频信号。
[0105]
本技术实施例中，第二音频信号为：抑制上述混响部分后，估计的目标时间帧的直达音频信号。
[0106]
可选地，本技术实施例中，上述步骤403具体可以通过下述的步骤403a和步骤403b实现。
[0107]
步骤403a、电子设备将n段能量衰减曲线中的目标时间帧对应的混响抑制函数，与第一音频信号在目标时间帧的幅度谱进行点乘运算，得到目标幅度谱。
[0108]
可选地，本技术实施例中，目标幅度谱为：抑制混响音频信号后的第一音频信号的幅度谱，目标幅度谱可以通过下述的公式(17)计算得到：
[0109][0110]
步骤403b、电子设备将目标幅度谱，与第一音频信号在目标时间帧的相位进行逆傅里叶变换，得到第二音频信号。
[0111]
可选地，本技术实施例中，逆傅里叶变换可以将音频信号从频域还原回时域。
[0112]
本技术实施例中，由于电子设备可以将上述混响抑制函数，与第一音频信号在目标时间帧的幅度谱进行点乘运算得到的目标幅度谱，与第一音频信号在目标时间帧的相位进行逆傅里叶变换，得到第二音频信号，因此可以通过该混响抑制函数准确抑制混响音频信号，从而可以提高抑制混响音频信号的鲁棒性和灵活性。
[0113]
需要说明的是，电子设备可以通过上述步骤，分别抑制第一音频信号中每个时间帧的混响音频信号，进而可以抑制上述采集的音频信号中每个频带内的混响音频信号，如此可以实现对采集的整个音频信号的混响抑制。
[0114]
在本技术实施例提供的音频信号处理方法中，由于电子设备可以将rir能量衰减曲线中的一个频带能量衰减曲线，划分为n段能量衰减曲线且分别进行线性拟合，并可以基于得到的n个线性拟合曲线，确定该n段能量衰减曲线中目标时间帧对应的混响抑制函数，以对该频带能量衰减曲线对应的频带内的音频信号中目标时间帧的混响音频信号中的混响部分进行抑制，因此可以通过拟合误差较小的分段线性拟合，以及每个时间帧对应的混响抑制函数，对各个时间帧的混响音频信号进行准确抑制，从而可以提高抑制混响音频信号的效果。
[0115]
下面结合附图，对本技术实施例提供的音频信号处理方法进行示例性地说明。
[0116]
示例性地，假设采样率为16khz，短时傅里叶变换的帧长为512，帧偏移为160为例，那么一帧表示的时间为10ms，取m1＝2，m2＝5，若第5帧为早期混响音频信号和晚期混响音频
信号的分界，则第1帧到第5帧为早期混响部分，第5帧以后为晚期混响部分，不考虑背景噪声，有以下推导：
[0117]
第1帧：
[0118]
λz(1,k)＝α(k)λs(1,k)
[0119]
λ
ze
(1,k)＝λz(1,k)
[0120]
λ
zl
(1,k)＝0；
[0121]
第2帧：
[0122]
λz(2,k)＝α(k)λs(2,k)+α2(k)λs(1,k)
[0123]
λ
ze
(2,k)＝λz(2,k)
[0124]
λ
zl
(2,k)＝0；
[0125]
第3帧：
[0126]
λz(3,k)＝α(k)λs(3,k)+α2(k)λs(2,k)+α2(k)β(k)λs(1,k)
[0127]
λ
ze
(3,k)＝λz(3,k)
[0128]
λ
zl
(3,k)＝0；
[0129]
第4帧：
[0130]
λz(4,k)＝α(k)λs(4,k)+α2(k)λs(3,k)+α2(k)β(k)λs(2,k)+α2(k)β2(k)λs(1,k)
[0131]
λ
ze
(4,k)＝λz(4,k)
[0132]
λ
zl
(4,k)＝0；
[0133]
第5帧：
[0134]
λz(5,k)＝α(k)λs(5,k)+α2(k)λs(4,k)+α2(k)β(k)λs(3,k)+α2(k)β2(k)λs(2,k)+α2(k)β3(k)λs(1,k)
[0135]
λ
ze
(5,k)＝λz(5,k)
[0136]
λ
zl
(5,k)＝0；
[0137]
第6帧：
[0138]
λz(6,k)＝α(k)λs(6,k)+α2(k)λs(5,k)+α2(k)β(k)λs(4,k)+α2(k)β2(k)λs(3,k)+α2(k)β3(k)λs(2,k)+α2(k)β3(k)γ(k)λs(1,k)
[0139]
λ
ze
(6,k)＝α(k)λs(6,k)+α2(k)λs(5,k)+α2(k)β(k)λs(4,k)+α2(k)β2(k)λs(3,k)+α2(k)β3(k)λs(2,k)
[0140]
λ
zl
(6,k)＝α2(k)β3(k)γ(k)λs(1,k)；
[0141]
第7帧：
[0142]
λz(7,k)＝α(k)λs(7,k)+α2(k)λs(6,k)+α2(k)β(k)λs(5,k)+α2(k)β2(k)λs(4,k)+α2(k)β3(k)λs(3,k)+α2(k)β3(k)γ(k)λs(2,k)+α2(k)β3(k)γ2(k)λs(1,k)
[0143]
λ
ze
(7,k)＝α(k)λs(7,k)+α2(k)λs(6,k)+α2(k)β(k)λs(5,k)+α2(k)β2(k)λs(4,k)+α2(k)β3(k)λs(3,k)
[0144]
λ
zl
(7,k)＝α2(k)β3(k)γ(k)λs(2,k)+α2(k)β3(k)γ2(k)λs(1,k)；
[0145]
……
[0146]
依此类推，由以上的推导可知，在m1＝2，m2＝5的情况下，从第6帧开始，λ
ze
的项数恒定为5项，λ
zl
的项数随帧数增加而增加，但当每一帧的新加项的能量小于设置的阈值(通常为-60db)时就不考虑在内，即λ
zl
的项数此时也恒定，这里对应上述第m3帧，且对应上述公
式(11)。
[0147]
图6示出了采用本技术实施例的音频信号处理方法抑制混响音频信号中的混响部分的效果的示意图，如图6所示，区域61中为干净语音(即直达音频信号)的语谱图，区域62中为干净语音和rir卷积后得到的混响语音(即混响音频信号)，区域62中为去混响后的语音(即第二音频信号)；可以看出，去混响后的语音基本还原出了干净语音的谐波结构，混响语音得到了有效抑制，从而可以提升语音质量及语音的可懂度。
[0148]
本技术实施例提供的音频信号处理方法，执行主体可以为音频信号处理装置。本技术实施例中以音频信号处理装置执行音频信号处理方法为例，说明本技术实施例提供的音频信号处理装置。
[0149]
结合图7，本技术实施例提供一种音频信号处理装置70，该音频信号处理装置70可以包括处理模块71、确定模块72和抑制模块73。处理模块71，可以用于将频带能量衰减曲线划分为n段能量衰减曲线，并对每段能量衰减曲线进行线性拟合，得到n个线性拟合曲线，n为大于或等于2的整数。确定模块72，可以用于基于处理模块71处理得到的该n个线性拟合曲线，确定n段能量衰减曲线中目标时间帧对应的混响抑制函数。抑制模块73，可以用于基于确定模块72确定的该混响抑制函数，抑制第一音频信号中目标时间帧的混响音频信号中的混响部分，以得到第二音频信号。其中，第一音频信号为：音频信号中处于该频带能量衰减曲线对应的频带内的音频信号；该频带能量衰减曲线为：rir能量衰减曲线中的一个频带能量衰减曲线。
[0150]
一种可能的实现方式中，确定模块72，具体可以用于基于上述n个线性拟合曲线中的每个线性拟合曲线的斜率，分别计算每个线性拟合曲线对应的混响权重，以得到n个混响权重；且基于该n个混响权重，计算上述混响音频信号的早期混响能量和该混响音频信号的晚期混响能量；并基于该早期混响能量和晚期混响能量，确定上述混响抑制函数。
[0151]
一种可能的实现方式中，确定模块72，具体可以用于对于目标时间帧之前的每个时间帧，根据一个时间帧以及该一个时间帧对应的混响权重，计算第一音频信号中该一个时间帧的直达音频信号的能量在目标时间帧的剩余能量，得到该每个时间帧对应的剩余能量；并根据该每个时间帧对应的剩余能量，计算上述早期混响能量和晚期混响能量。
[0152]
一种可能的实现方式中，确定模块72，具体可以用于根据上述早期混响能量、晚期混响能量，以及第一音频信号中目标时间帧的环境噪声音频信号的能量，计算目标时间帧对应的先验信噪比；且根据该晚期混响能量、该环境噪声音频信号的能量，以及第一音频信号在目标时间帧的幅度谱，计算目标时间帧对应的后验信噪比；并根据该先验信噪比和后验信噪比，确定上述混响抑制函数。
[0153]
一种可能的实现方式中，抑制模块73，具体可以用于将上述混响抑制函数，与第一音频信号在目标时间帧的幅度谱进行点乘运算，得到目标幅度谱；并将目标幅度谱，与第一音频信号在目标时间帧的相位进行逆傅里叶变换，得到第二音频信号。
[0154]
在本技术实施例提供的音频信号处理装置中，由于该音频信号处理装置可以将rir能量衰减曲线中的一个频带能量衰减曲线，划分为n段能量衰减曲线且分别进行线性拟合，并可以基于得到的n个线性拟合曲线，确定该n段能量衰减曲线中目标时间帧对应的混响抑制函数，以对该频带能量衰减曲线对应的频带内的音频信号中目标时间帧的混响音频信号中的混响部分进行抑制，因此可以通过拟合误差较小的分段线性拟合，以及每个时间
帧对应的混响抑制函数，对各个时间帧的混响音频信号进行准确抑制，从而可以提高抑制混响音频信号的效果。
[0155]
本技术实施例中的音频信号处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，mid)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
[0156]
本技术实施例中的音频信号处理装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
[0157]
本技术实施例提供的音频信号处理装置能够实现图4至图6的方法实施例实现的各个过程，为避免重复，这里不再赘述。
[0158]
如图8所示，本技术实施例还提供一种电子设备800，包括处理器801和存储器802，存储器802上存储有可在所述处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现如上述音频信号处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0159]
需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
[0160]
图9为实现本技术实施例的一种电子设备的硬件结构示意图。
[0161]
该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
[0162]
本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
[0163]
其中，处理器1010，可以用于将频带能量衰减曲线划分为n段能量衰减曲线，并对每段能量衰减曲线进行线性拟合，得到n个线性拟合曲线，n为大于或等于2的整数；且基于处理得到的该n个线性拟合曲线，确定n段能量衰减曲线中目标时间帧对应的混响抑制函数；并基于确定的该混响抑制函数，抑制第一音频信号中目标时间帧的混响音频信号中的混响部分，以得到第二音频信号。其中，第一音频信号为：音频信号中处于该频带能量衰减曲线对应的频带内的音频信号；该频带能量衰减曲线为：rir能量衰减曲线中的一个频带能量衰减曲线。
[0164]
一种可能的实现方式中，处理器1010，具体可以用于基于上述n个线性拟合曲线中
的每个线性拟合曲线的斜率，分别计算每个线性拟合曲线对应的混响权重，以得到n个混响权重；且基于该n个混响权重，计算上述混响音频信号的早期混响能量和该混响音频信号的晚期混响能量；并基于该早期混响能量和晚期混响能量，确定上述混响抑制函数。
[0165]
一种可能的实现方式中，处理器1010，具体可以用于对于目标时间帧之前的每个时间帧，根据一个时间帧以及该一个时间帧对应的混响权重，计算第一音频信号中该一个时间帧的直达音频信号的能量在目标时间帧的剩余能量，得到该每个时间帧对应的剩余能量；并根据该每个时间帧对应的剩余能量，计算上述早期混响能量和晚期混响能量。
[0166]
一种可能的实现方式中，处理器1010，具体可以用于根据上述早期混响能量、晚期混响能量，以及第一音频信号中目标时间帧的环境噪声音频信号的能量，计算目标时间帧对应的先验信噪比；且根据该晚期混响能量、该环境噪声音频信号的能量，以及第一音频信号在目标时间帧的幅度谱，计算目标时间帧对应的后验信噪比；并根据该先验信噪比和后验信噪比，确定上述混响抑制函数。
[0167]
一种可能的实现方式中，处理器1010，具体可以用于将上述混响抑制函数，与第一音频信号在目标时间帧的幅度谱进行点乘运算，得到目标幅度谱；并将目标幅度谱，与第一音频信号在目标时间帧的相位进行逆傅里叶变换，得到第二音频信号。
[0168]
在本技术实施例提供的电子设备中，由于该电子设备可以将rir能量衰减曲线中的一个频带能量衰减曲线，划分为n段能量衰减曲线且分别进行线性拟合，并可以基于得到的n个线性拟合曲线，确定该n段能量衰减曲线中目标时间帧对应的混响抑制函数，以对该频带能量衰减曲线对应的频带内的音频信号中目标时间帧的混响音频信号中的混响部分进行抑制，因此可以通过拟合误差较小的分段线性拟合，以及每个时间帧对应的混响抑制函数，对各个时间帧的混响音频信号进行准确抑制，从而可以提高抑制混响音频信号的效果。
[0169]
本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。
[0170]
应理解的是，本技术实施例中，输入单元1004可以包括图形处理器(graphics processing unit，gpu)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
[0171]
存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1009可以包括易失性存储器或非易失性存储器，或者，存储器1009可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是
随机存取存储器(random access memory，ram)，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。
[0172]
处理器1010可包括一个或多个处理单元；可选的，处理器1010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。
[0173]
本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现如上述音频信号处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0174]
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
[0175]
本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如上述音频信号处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0176]
应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
[0177]
本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述音频信号处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0178]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
[0179]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0180]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。