一种无速率编码及空间音频不等差错保护系统与方法

文档序号:35806104发布日期:2023-10-22 03:03阅读:93来源:国知局

本发明涉及通信中的编解码以及音视频,尤其涉及一种无速率编码及空间音频不等差错保护系统与方法。


背景技术:

1、随着音频技术的不断发展,空间音频逐渐成为未来音频制作与重建的主流方式,如杜比全景声、360°临场音频和双耳音频等,这些技术都能实现空间音频的编码与重建。空间音频主要由空间边信息和单声道信号组成,空间边信息包括音源的距离、方位角及环境信息等,单声道信号主要描述音频本身的特征。在音频传输与重建时,空间边信息是否能够被高质量恢复尤为重要,是决定空间音频沉浸感好坏的关键所在。业界主流的空间压缩环绕声编码(spatially squeezed surround audio coding,s^3ac)和方向性音频编码(directional audio coding,dirac)通过空间定位量化点或同心球空间参数量化等技术对空间音频信号采样后,对空间边信息进行无损压缩,对音频信号进行有损压缩,再对两种信息进行混合后传输,从而达到对空间边信息保护的目的。然而,传统空间音频编码方法通常会将空间边信息以低码率进行传输,随着空间分辨率和通道数的迅速增加,空间边信息的数据量也随之变大。在带宽有限的移动传输网络中传统编码策略无法有效保证空间边信息的高质量重建。

2、针对上述问题,现有技术采用传统空间音频编码与扩展窗不等差错保护无速率编码级联的方式对空间边信息进行保护,通过对传统空间音频编码后的空间边信息增加保护度从而提高其重建质量,但并未针对特定场景中特定边信息设计保护策略。扩展窗不等差错保护通过对音源数据加窗的方法,让重要数据被更多的窗口所覆盖,提高其在编码时被选中的概率,从而降低重要数据的译码失败概率。无速率编码的核心组成部分是度分布(对每个编码符号随机抽样一个度值d,而形成的概率分布函数)。不同音源及不同的传统空间音频编码方式所产生的数据包大小、传输速率等要求不同,而传统固定度分布由于其在短码区间的编译码性能较差,无法满足多样的空间音频场景需求,不能保证传输的高可靠性。

3、因此,本领域的技术人员致力于开发一种无速率编码及空间音频不等差错保护系统与方法。


技术实现思路

1、有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是传统空间音频编码针对不同的空间边信息在不同场景中的重要程度的差异性,无法实现对空间边信息以及在多样化场景中进一步加强对特定空间边信息的灵活保护,以及固定度分布在短码区间编译码性能较差的问题。

2、发明人对现有技术进行了深入分析,现有技术使用传统空间音频编码方法,将空间边信息以低码率进行传输,随着空间分辨率和通道数的迅速增加,空间边信息的数据量也随之变大。在带宽有限的移动传输网络中传统编码策略无法有效保证空间边信息的高质量重建。现有技术使用不等差错保护无速率编码进行级联的方案,仅对空间边信息进行了保护,无法针对特定空间音频场景对特定的空间边信息进行保护。并且由于不同声源及不同的传统空间音频编码方式所产生的数据包大小、传输速率等要求不同,而传统固定度分布由于其在短码区间的编译码性能较差,无法满足多样的空间音频场景需求,不能保证传输的高可靠性。

3、发明人基于传统空间音频编码和不等差错保护无速率编码,针对不同场景中的不同空间边信息进行二级不等差错保护,在保护空间边信息的基础上实现对特定空间边信息的进一步保护,提高重建质量。发明人提出自适应度分布函数,将输入码长k作为影响因子添加到固定度分布的选择权重系数中,使得度值1出现的概率随着k的减小而增加,在保持固定度分布在长码区间性能的前提下,显著改善了其在短码区间的性能。

4、本发明的一个实施例中,提供了一种无速率编码及空间音频不等差错保护系统,包括:

5、音频采集模块,通过音频采集技术在多样化的空间音频场景采集原始音频信号;

6、预处理模块,对原始音频信号进行预处理,输出空间音频信号;

7、空间音频信号分离模块,分析空间音频信号的x,y,z轴的强度关系,通过分离公式计算空间边信息指标;

8、缩混编码模块,将空间音频信号进行压缩,混合成带有空间边信息的音频信号;

9、窗口划分模块,对空间边信息分类,对空间边信息和音频信号划分重要等级窗口;

10、编码器模块,对划分过重要等级窗口的音频信号进行自适应度分布编码,并在编码时使用小度值编码策略,输出编码符号;

11、解码重建模块,对收到的编码符号进行反向传播解码,使用传统空间音频解码技术,进行空间音频的解码与重建,生成立体声信号并输出;

12、音频采集模块、预处理模块、空间音频信号分离模块、缩混编码模块、窗口划分模块、编码器模块和解码重建模块依次通信连接;

13、响应于音频采集模块采集的原始音频信号,预处理模块后对原始音频信号进行预处理,输出空间音频信号,空间音频信号分离模块计算空间边信息指标,缩混编码模块将空间音频信号进行压缩,混合成带有空间边信息的音频信号,窗口划分模块对空间边信息和音频信号划分重要等级窗口,编码器模块对划分过重要等级窗口的音频信号进行自适应度分布编码,输出编码符号,解码重建模块进行空间音频的解码与重建,生成并输出立体声信号。

14、可选地,在上述实施例中的无速率编码及空间音频不等差错保护系统中,音频采集技术包括立体声采集、多声道采集或者头部定位采集。

15、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护系统中,预处理包括滤除噪声,并从时域变换到频域。

16、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护系统中,从时域变换到频域采用短时傅里叶变换。

17、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护系统中,空间边信息指标包括空间音频信号的水平角θ和高度角

18、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护系统中,空间音频信号分离模块使用的分离公式如下:

19、

20、

21、其中,ix(n,f)代表在x轴的信号强度,iy(n,f)代表在y轴的信号强度,iz(n,f)代表在z轴的信号强度,(n,f)代表每一个时频点,n为大于0的整数。

22、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护系统中,空间音频信号分离模块分析空间音频信号的x,y,z轴的强度关系,得到分离的信号r*(n,f)和对应的空间边信息rs*(n,f),以及扩散信号dif(n,f)。

23、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护系统中,空间边信息包含距离、环境信息、方位。

24、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护系统中,窗口划分模块划分重要等级窗口的依据包括特定空间边信息在空间边信息中所占的比例和空间边信息占音频的比例,重要等级窗口为r个,πi代表第i个重要等级窗口的比重,其中r和i为大于0的整数。

25、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护系统中,自适应度分布编码包括:

26、s1000、确定编码码长k,根据传统空间音频编码确定编码码长k、各个重要等级窗口长度ki(k=kr)及重要等级窗口覆盖顺序,并确定编码冗余ε;

27、s2000、确定选择权重系数,对不同的重要等级窗口赋予不同的选择权重系数γi,其中

28、s3000、分配度值,采用小度值编码策略,为重要数据分配较小的度值,提高译码成功率;

29、s4000、设置度值阈值,对第i个重要等级窗口设置度值阈值γi;

30、s5000、生成度值,度值生成方法中采用自适应度分布,将编码码长k值作为影响因子添加到选择权重系数γi中,在保证编码复杂度不变,即保证ω'(1)为常数不变的条件下,得到度值1出现的概率随着k的减小而增加的自适应度分布;

31、s6000、选取度值,通过选择权重系数γi判断选取的重要等级窗口ki,根据度分布ω(x)随机产生度值d,若ki-1<d<ki,则先将重要等级窗口ki-1中的音频信号全部选取,剩下(d-ki-1)个数据在重要等级窗口(ki-ki-1)中选取,若ki<d<ki+1,则先将重要等级窗口ki中的音频信号全部选取,剩下(d-ki)个数据在重要等级窗口(ki+1-ki)中选取,若d>ki+1,选取音频信号的方法以此类推;

32、s7000、生成编码符号,若d<ki-1,则进入重要等级窗口ki-1中,随机选取d个缩混编码后的音频信号进行异或编码,生成编码符号,即将小度值分配给重要数据,提高其译码成功率;

33、s8000、传输编码符号,重复执行s5000、s6000,直至编码器模块生成(1+ε)k个编码符号,并传输给解码重建模块。

34、发明人对度值生成方法举例说明,例如将作为影响因子,得到如下自适应度分布:

35、ω(x)=(0.007969+17p)x1+(0.493570-5p)x2+(0.166220-p)x3

36、+(0.072646+p)x4+(0.082558-5p)x5+(0.056058-9p)x8

37、+(0.037229-5p)x9+(0.055590+7p)x19

38、+(0.025023-6p)x64+(0.003135+6p)x66

39、由上述公式知,p随着k值的减小而增大,所以度值1出现的概率(0.007969+17p)也会随着k值的减小而增大。

40、基于上述任一实施例,本发明的另一个实施例中,提供了一种无速率编码及空间音频不等差错保护方法,包括如下步骤:

41、s100、采集音频信号,通过音频采集技术在多样化的空间音频场景采集原始音频信号;

42、s200、预处理空间音频信号,对原始音频信号进行预处理,输出空间音频信号;

43、s300、计算空间边信息指标,分析空间音频信号的x,y,z轴的强度关系,通过分离公式计算空间边信息指标;

44、s400、压缩混合编码,将空间音频信号进行压缩,混合成带有空间边信息的音频信号;

45、s500、划分重要等级窗口,对空间边信息分类,对空间边信息和音频信号划分重要等级窗口;

46、s600、自适应度分布编码,对划分过重要等级窗口的音频信号进行自适应度分布编码,并在编码时使用小度值编码策略,输出编码符号;

47、s700、解码重建,对收到的编码符号进行反向传播解码,使用传统空间音频解码技术,进行空间音频的解码与重建,生成立体声信号并输出。

48、可选地,在上述实施例中的无速率编码及空间音频不等差错保护方法中,音频采集技术包括立体声采集、多声道采集或者头部定位采集。

49、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护方法中,步骤s200包括:

50、s210、滤除噪声,对原始音频信号去除噪声;

51、s220、频域变化,对去除噪声的音频信号从时域变换到频域。

52、进一步地,在上述实施例中的无速率编码及空间音频不等差错保护方法中,从时域变换到频域采用短时傅里叶变换。

53、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护方法中,步骤s300中的分离公式使用如下公式:

54、

55、

56、其中,ix(n,f)代表在x轴的信号强度,iy(n,f)代表在y轴的信号强度,iz(n,f)代表在z轴的信号强度,(n,f)代表每一个时频点,n为大于0的整数。

57、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护方法中,空间音频信号分离模块分析空间音频信号的x,y,z轴的强度关系,得到分离的信号r*(n,f)和对应的空间边信息rs*(n,f),以及扩散信号dif(n,f)。

58、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护方法中,步骤s300中的空间边信息指标包括空间音频信号的水平角θ和高度角

59、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护方法中,空间边信息包含距离、环境信息、方位。

60、可选地,在上述任一实施例中的无速率编码及空间音频不等差错保护方法中,步骤s500划分重要等级窗口的依据包括特定空间边信息在空间边信息中所占的比例和空间边信息占音频的比例,重要等级窗口为r个,πi代表第i个重要等级窗口的比重,其中r和i为大于0的整数。

61、可选地,在上述实施例中的无速率编码及空间音频不等差错保护方法中,步骤s600包括:

62、s610、确定编码码长k,根据传统空间音频编码确定编码码长k、各个重要等级窗口长度ki(k=kr)及重要等级窗口覆盖顺序,并确定编码冗余ε;

63、s620、确定选择权重系数,对不同的重要等级窗口赋予不同的选择权重系数γi,其中

64、s630、分配度值,采用小度值编码策略,为重要数据分配较小的度值,提高译码成功率;

65、s640、设置度值阈值,对第i个重要等级窗口设置度值阈值γi;

66、s650、生成度值,度值生成方法中采用自适应度分布,将编码码长k值作为影响因子添加到选择权重系数γi中,在保证编码复杂度不变,即保证ω'(1)为常数不变的条件下,得到度值1出现的概率随着k的减小而增加的自适应度分布;

67、s660、选取度值,通过选择权重系数γi判断选取的重要等级窗口ki,根据度分布ω(x)随机产生度值d,若ki-1<d<ki,则先将重要等级窗口ki-1中的音频信号全部选取,剩下(d-ki-1)个数据在重要等级窗口(ki-ki-1)中选取,若ki<d<ki+1,则先将重要等级窗口ki中的音频信号全部选取,剩下(d-ki)个数据在重要等级窗口(ki+1-ki)中选取,若d>ki+1,选取音频信号的方法以此类推;

68、s670、生成编码符号,若d<ki-1,则进入重要等级窗口ki-1中,随机选取d个缩混编码后的音频信号进行异或编码,生成编码符号,即将小度值分配给重要数据,提高其译码成功率;

69、s680、传输编码符号,重复执行s650、s660,直至编码器模块生成(1+ε)k个编码符号,输出编码符号。

70、发明人对度值生成方法举例说明,例如将作为影响因子,得到如下自适应度分布:

71、ω(x)=(0.007969+17p)x1+(0.493570-5p)x2+(0.166220-p)x3

72、+(0.072646+p)x4+(0.082558-5p)x5+(0.056058-9p)x8

73、+(0.037229-5p)x9+(0.055590+7p)x19

74、+(0.025023-6p)x64+(0.003135+6p)x66

75、由上述公式知,p随着k值的减小而增大,所以度值1出现的概率(0.007969+17p)也会随着k值的减小而增大。

76、本发明基于传统空间音频编码模块和不等差错保护无速率编码模块,针对不同场景中的不同空间边信息设计不等差错保护方案,在保护空间边信息的基础上实现对特定空间边信息的进一步保护,提高其重建质量;本发明提出自适应度分布函数,将输入码长k作为影响因子添加到固定度分布的选择权重系数中,使得度值1出现的概率随着k的减小而增加,在保持固定度分布在长码区间性能的前提下,显著改善了其在短码区间的性能。

77、以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。

当前第1页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!