音频数据的补偿方法、音频接收设备及存储介质与流程

本技术实施例涉及信号处理，尤其涉及一种音频数据的补偿方法、音频接收设备及存储介质。

背景技术：

1、在实时语音通讯中，传输数据的丢包问题难以避免。由于网络状况不稳定或其他因素的干扰，传输的语音数据包可能会在传输过程中丢失。如果语音丢包问题无法得到有效处理，通话双方的体验将会受到极大影响。为了应对这个问题，需要采用数据丢包补偿技术。丢包补偿技术主要分为两种方法：基于发送端的补偿和基于接收端的补偿。

2、然而，在一种接收端常用的音频丢包补偿方式中，采用单一的合成信号对丢包时间内的不同时间段进行补偿，在面对不同丢包时长时容易存在补偿后的音频失真、不连贯等缺陷，导致补偿效果不佳。

技术实现思路

1、本技术实施例的一个目的旨在提供一种音频数据的补偿方法、音频接收设备及存储介质，以解决丢包补偿效果不佳的技术问题。

2、在一方面，本技术实施例提供一种音频数据的补偿方法，包括：

3、获取丢包时间及历史正常音频数据；

4、在预设的多个丢包补偿模式中，确定与所述丢包时间对应的丢包补偿模式为目标丢包补偿模式；

5、根据所述历史正常音频数据，生成匹配所述目标丢包补偿模式的音频补偿信号。

6、可选地，所述根据所述历史正常音频数据，生成匹配所述目标丢包补偿模式的音频补偿信号包括：

7、基于所述历史正常音频数据确定目标基音周期；

8、根据所述目标基音周期，生成匹配所述目标丢包补偿模式的所述音频补偿信号。

9、可选地，所述基于所述历史正常音频数据确定目标基音周期包括：

10、获取目标检测信号与基准信号之间的归一化互相关函数，所述基准信号是最接近的目标时长的部分所述历史正常音频数据，所述目标检测信号是所述基准信号后的部分所述历史正常音频数据经抽取采样得到的；

11、在预设的第一搜索范围内，以第一预设步长初次搜索最大归一化互相关系数，获得对应最大归一化互相关系数的第一索引；

12、在第二搜索范围内，以第二预设步长二次搜索最大归一化互相关系数，获得对应最大归一化互相关系数的第二索引，所述第二搜索范围是基于所述第一索引确定的，所述第二预设步长小于所述第一预设步长；

13、根据所述第二索引获得所述目标基音周期。

14、可选地，所述第一搜索范围是基于预设的最大基音周期和最小基音周期确定的。

15、可选地，所述目标检测信号是通过数倍降抽取采样获得的。

16、可选地，所述获取目标检测信号与基准信号之间的归一化互相关函数包括：

17、基于所述目标检测信号的时域能量特征及所述目标检测信号、所述基准信号之间的相关系数，获得所述归一化互相关函数。

18、可选地，所述目标丢包补偿模式包括第一丢包补偿模式，所述根据所述历史正常音频数据，生成匹配所述目标丢包补偿模式的音频补偿信号包括：

19、根据所述历史正常音频数据生成目标线性预测信号及第一合成信号；

20、融合所述目标线性预测信号与所述第一合成信号，得到所述音频补偿信号。

21、可选地，所述根据所述历史正常音频数据生成目标线性预测信号包括：

22、从所述历史正常音频数据中获取尾帧信号，所述尾帧信号为丢包之前完整接收的单帧时长的信号；

23、基于预设的第一窗函数，对所述尾帧信号进行线性预测分析，获得线性预测系数；

24、根据所述线性预测系数获得所述目标线性预测信号。

25、可选地，所述对所述尾帧信号进行线性预测分析，获得线性预测系数包括：

26、通过对所述尾帧信号加窗，获得所述尾帧信号的初始自相关系数；

27、对所述初始自相关系数进行频谱平滑及白噪声校正，获得目标自相关系数；

28、根据预设算法将所述目标自相关系数转换为线性预测系数。

29、可选地，所述根据所述线性预测系数获得所述目标线性预测信号包括：

30、将所述线性预测系数转换为线性预测频谱系数；

31、根据所述线性预测频谱系数获取所述尾帧信号的初始线性预测信号；

32、将滤波器输出信号替换至所述初始线性预测信号中的对应位置，获得目标线性预测信号，所述滤波器输出信号为所述历史正常音频数据中的第一预设时长的信号。

33、可选地，所述根据所述历史正常音频数据生成第一合成信号包括：

34、对最接近的部分所述历史正常音频数据进行平滑处理，并更新所述历史正常音频数据；

35、基于更新后的所述历史正常音频数据，从丢包之前的首个所述目标基音周期中获取第一合成信号。

36、可选地，所述对最接近的部分所述历史正常音频数据进行平滑处理，并更新所述历史正常音频数据包括：

37、从丢包之前的首个所述目标基音周期的开头获取预设重叠时长的第一重叠信号；

38、从最接近的部分所述历史正常音频数据中获取所述预设重叠时长的第二重叠信号；

39、融合所述第一重叠信号和所述第二重叠信号，得到第一融合信号；

40、将所述第一融合信号替换所述历史正常音频数据中的所述第二重叠信号。

41、可选地，音频数据的补偿方法还包括：

42、生成基音数据，所述基音数据包括所述历史正常音频数据最接近的三个所述目标基音周期的数据。

43、可选地，所述目标丢包补偿模式包括第二丢包补偿模式，所述根据所述历史正常音频数据，生成匹配所述目标丢包补偿模式的音频补偿信号包括：

44、基于所述基音数据，从丢包之前的首个所述目标基音周期的开头获取预设重叠时长的第三重叠信号；

45、对最接近的部分所述基音数据进行平滑处理，并更新所述基音数据；

46、基于更新后的所述基音数据，从丢包之前的首个所述目标基音周期中获取第二合成信号；

47、融合所述第三重叠信号与所述第二合成信号，得到所述音频补偿信号。

48、可选地，所述对最接近的部分所述基音数据进行平滑处理，并更新所述基音数据包括；

49、基于所述基音数据，从丢包之前的第二个所述目标基音周期的开头获取预设重叠时长的第四重叠信号；

50、从最接近的部分所述历史正常音频数据中获取所述预设重叠时长的第五重叠信号；

51、融合所述第四重叠信号和所述第五重叠信号，得到第二融合信号；

52、将所述第二融合信号替换最接近的所述预设重叠时长的部分所述基音数据。

53、可选地，所述目标丢包补偿模式包括第三丢包补偿模式，所述根据所述历史正常音频数据，生成匹配所述目标丢包补偿模式的音频补偿信号包括：

54、基于所述基音数据，从丢包之前的第三个所述目标基音周期中获取音频补偿信号。

55、可选地，在所述生成匹配所述目标丢包补偿模式的音频补偿信号之后，补偿方法还包括：

56、对所述音频补偿信号逐帧线性衰减。

57、可选地，音频数据的补偿方法还包括：

58、基于所述基音数据，从丢包之前的第二个所述目标基音周期的开头获取第二预设时长的第六重叠信号；

59、融合所述第六重叠信号与真实信号，得到第三合成信号，所述真实信号为丢包之后接收的正常信号；

60、将所述第三合成信号替换所述真实信号。

61、在第二方面，本技术实施例提供一种音频接收设备，包括存储器及处理器，所述存储器连接至所述处理器，所述处理器用于执行存储在所述存储器中的一个或多个计算机程序，所述处理器在执行所述一个或多个计算机程序时，使得所述音频接收设备实现如上述任一项所述的方法。

62、在第三方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如上述任一项所述的方法。

63、本技术实施例可以实现如下技术效果：本技术实施例通过应对不同的丢包时间获取对应的音频补偿信号进行丢包补偿，相较于采用单一音频补偿信号的补偿方式更具有针对性，也能避免采用单一音频补偿信号的补偿方式带来的突兀感，有利于提升完整丢包时长前后的音频数据的连续性，从而更灵活适用于多个不同的完整丢包时长的丢包补偿，提高丢包补偿效果。