用于TWS无线耳机的降噪系统及其方法与流程

本技术涉及无线耳机降噪，且更为具体地，涉及一种用于tws无线耳机的降噪系统及其方法。

背景技术：

1、tws的全称是true wireless stereo，意思是真正无线立体声。tws技术是基于蓝牙芯片技术发展而来的，其工作原理是指手机通过连接主耳机，再由主耳机通过无线方式快速地连接副耳机，实现真正的蓝牙左右声道无线分离使用。也就是，音频数据首先从手机传输到主耳机，再由主耳机传输到副耳机。

2、在用户运动过程中使用tws无线耳机的应用场景中，因一方面周围环境本身存在大量噪声，另一方面，处于运动模式的用户会使得声音数据在传播时发生频移等偏差，这使得配戴tws无线耳机的用户无法听到令人满意的音效。

3、因此，期待一种优化的用于tws无线耳机的降噪方案。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种用于tws无线耳机的降噪系统及其方法，其利用基于深度学习的人工智能技术，以通过从用户的重心数据中捕捉用户的运动模式动作变化，并借此来优化补偿tws无线耳机在使用过程中产生的频移偏差。这样，能够充分地对于所述音频信号进行降噪优化，从而使得tws无线耳机的音效满足运动模式用户的需求。

2、相应地，根据本技术的一个方面，提供了一种用于tws无线耳机的降噪系统，其包括：

3、待处理信号接收模块，用于获取预定时间段内传播至左耳机的音频信号；

4、用户运动数据监控模块，用于获取所述预定时间段内多个预定时间点的用户的重心数据；

5、一级降噪模块，用于将所述音频信号通过基于自动编解码器的降噪器以得到降噪后音频信号；

6、音频波形特征提取模块，用于将所述降噪后音频信号通过作为过滤器的卷积神经网络模型以得到音频波形特征向量；

7、运动模式特征提取模块，用于将所述多个预定时间点的用户的重心数据按照时间维度排列为重心输入向量后通过多尺度邻域特征提取模块以得到重心时序特征向量；

8、多模态关联模块，用于对所述重心时序特征向量和所述音频波形特征向量进行关联编码以得到多模态关联特征矩阵；

9、特征优化模块，用于对所述多模态关联特征矩阵进行高维数据流形优化以得到优化多模态关联特征矩阵；以及

10、二级降噪模块，用于将所述优化多模态关联特征矩阵通过基于扩散模型的降噪生成器以得到优化后音频信号。

11、在上述用于tws无线耳机的降噪系统中，所述自动编解码器包括声音特征编码器和声音特征解码器。

12、在上述用于tws无线耳机的降噪系统中，所述一级降噪模块，包括：声音信号编码单元，用于将所述音频信号输入所述降噪器的声音特征编码器，其中，所述声音特征编码器使用卷积层对所述音频信号进行显式空间编码以得到声音特征；以及，声音特征解码单元，用于将所述声音特征输入所述降噪器的声音特征解码器，其中，所述声音特征解码器使用反卷积层对所述声音特征进行反卷积处理以得到所述降噪后音频信号。

13、在上述用于tws无线耳机的降噪系统中，所述音频波形特征提取模块，进一步用于：使用所述卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述音频波形特征向量，所述卷积神经网络模型的第一层的输入为所述降噪后音频信号。

14、在上述用于tws无线耳机的降噪系统中，所述多尺度邻域特征提取模块，包括：相互并行的第一卷积层和第二卷积层，以及与所述第一卷积层和所述第二卷积层连接的多尺度融合层，其中，所述第一卷积层和所述第二卷积层分别使用具有不同尺度的一维卷积核。

15、在上述用于tws无线耳机的降噪系统中，所述运动模式特征提取模块，包括：第一尺度编码单元，用于使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述重心输入向量进行一维卷积编码以得到第一尺度重心特征向量；其中，所述公式为：

16、

17、其中，a为第一卷积核在x方向上的宽度、f(a)为第一卷积核参数向量、g(x-a)为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，x表示所述重心输入向量，cov1(x)表示对所述重心输入向量进行一维卷积编码；第二尺度编码单元，用于使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述重心输入向量进行一维卷积编码以得到第二尺度重心特征向量；其中，所述公式为：

18、

19、其中，b为第二卷积核在x方向上的宽度、f(b)为第二卷积核参数向量、g(x-b)为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，x表示所述重心输入向量，cov2(x)表示对所述重心输入向量进行一维卷积编码；以及，多尺度特征融合单元，用于使用所述多尺度邻域特征提取模块的多尺度融合层将所述第一尺度重心特征向量和所述第二尺度重心特征向量进行级联以得到所述重心时序特征向量。

20、在上述用于tws无线耳机的降噪系统中，所述多模态关联模块，进一步用于：以如下公式对所述重心时序特征向量和所述音频波形特征向量进行关联编码以得到多模态关联特征矩阵；其中，所述公式为：

21、

22、其中表示所述音频波形特征向量的转置向量，vb表示所述重心时序特征向量，m表示所述多模态关联特征矩阵，表示矩阵相乘。

23、在上述用于tws无线耳机的降噪系统中，所述特征优化模块，包括：特征矩阵展开单元，用于将所述多模态关联特征矩阵展开为多模态关联特征向量；向量优化单元，用于以如下公式对所述多模态关联特征向量进行向量赋范的希尔伯特概率空间化以得到优化后多模态关联特征向量；其中，所述公式为：

24、

25、其中v是所述多模态关联特征向量，||v||2表示所述多模态关联特征向量的二范数，表示所述多模态关联特征向量的二范数的平方，vi是所述多模态关联特征向量的第i个特征值，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，且vi'是所述优化后多模态关联特征向量的第i个特征值；以及，维度重构单元，用于将所述优化后多模态关联特征向量进行维度重构以得到所述优化多模态关联特征矩阵。

26、根据本技术的另一方面，还提供了一种用于tws无线耳机的降噪方法，其包括：

27、获取预定时间段内传播至左耳机的音频信号；

28、获取所述预定时间段内多个预定时间点的用户的重心数据；

29、将所述音频信号通过基于自动编解码器的降噪器以得到降噪后音频信号；

30、将所述降噪后音频信号通过作为过滤器的卷积神经网络模型以得到音频波形特征向量；

31、将所述多个预定时间点的用户的重心数据按照时间维度排列为重心输入向量后通过多尺度邻域特征提取模块以得到重心时序特征向量；

32、对所述重心时序特征向量和所述音频波形特征向量进行关联编码以得到多模态关联特征矩阵；

33、对所述多模态关联特征矩阵进行高维数据流形优化以得到优化多模态关联特征矩阵；以及

34、将所述优化多模态关联特征矩阵通过基于扩散模型的降噪生成器以得到优化后音频信号。

35、在上述用于tws无线耳机的降噪方法中，所述自动编解码器包括声音特征编码器和声音特征解码器。

36、在上述用于tws无线耳机的降噪方法中，所述将所述音频信号通过基于自动编解码器的降噪器以得到降噪后音频信号，包括：将所述音频信号输入所述降噪器的声音特征编码器，其中，所述声音特征编码器使用卷积层对所述音频信号进行显式空间编码以得到声音特征；以及，将所述声音特征输入所述降噪器的声音特征解码器，其中，所述声音特征解码器使用反卷积层对所述声音特征进行反卷积处理以得到所述降噪后音频信号。

37、在上述用于tws无线耳机的降噪方法中，所述将所述降噪后音频信号通过作为过滤器的卷积神经网络模型以得到音频波形特征向量，包括：使用所述卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述音频波形特征向量，所述卷积神经网络模型的第一层的输入为所述降噪后音频信号。

38、在上述用于tws无线耳机的降噪方法中，所述多尺度邻域特征提取模块，包括：相互并行的第一卷积层和第二卷积层，以及与所述第一卷积层和所述第二卷积层连接的多尺度融合层，其中，所述第一卷积层和所述第二卷积层分别使用具有不同尺度的一维卷积核。

39、在上述用于tws无线耳机的降噪方法中，所述将所述多个预定时间点的用户的重心数据按照时间维度排列为重心输入向量后通过多尺度邻域特征提取模块以得到重心时序特征向量，包括：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述重心输入向量进行一维卷积编码以得到第一尺度重心特征向量；其中，所述公式为：

40、

41、其中，a为第一卷积核在x方向上的宽度、f(a)为第一卷积核参数向量、g(x-a)为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，x表示所述重心输入向量，cov1(x)表示对所述重心输入向量进行一维卷积编码；使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述重心输入向量进行一维卷积编码以得到第二尺度重心特征向量；其中，所述公式为：

42、

43、其中，b为第二卷积核在x方向上的宽度、f(b)为第二卷积核参数向量、g(x-b)为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，x表示所述重心输入向量，cov2(x)表示对所述重心输入向量进行一维卷积编码；以及，使用所述多尺度邻域特征提取模块的多尺度融合层将所述第一尺度重心特征向量和所述第二尺度重心特征向量进行级联以得到所述重心时序特征向量。

44、在上述用于tws无线耳机的降噪方法中，所述对所述重心时序特征向量和所述音频波形特征向量进行关联编码以得到多模态关联特征矩阵，包括：以如下公式对所述重心时序特征向量和所述音频波形特征向量进行关联编码以得到多模态关联特征矩阵；其中，所述公式为：

45、

46、其中表示所述音频波形特征向量的转置向量，vb表示所述重心时序特征向量，m表示所述多模态关联特征矩阵，表示矩阵相乘。

47、在上述用于tws无线耳机的降噪方法中，所述对所述多模态关联特征矩阵进行高维数据流形优化以得到优化多模态关联特征矩阵，包括：将所述多模态关联特征矩阵展开为多模态关联特征向量；以如下公式对所述多模态关联特征向量进行向量赋范的希尔伯特概率空间化以得到优化后多模态关联特征向量；其中，所述公式为：

48、

49、其中v是所述多模态关联特征向量，||v||2表示所述多模态关联特征向量的二范数，表示所述多模态关联特征向量的二范数的平方，vi是所述多模态关联特征向量的第i个特征值，exp(·)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，且vi'是所述优化后多模态关联特征向量的第i个特征值；以及，将所述优化后多模态关联特征向量进行维度重构以得到所述优化多模态关联特征矩阵。

50、根据本技术的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的用于tws无线耳机的降噪方法。

51、根据本技术的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的用于tws无线耳机的降噪方法。

52、与现有技术相比，本技术提供的用于tws无线耳机的降噪系统及其方法，其利用基于深度学习的人工智能技术，以通过从用户的重心数据中捕捉用户的运动模式动作变化，并借此来优化补偿tws无线耳机在使用过程中产生的频移偏差。这样，能够充分地对于所述音频信号进行降噪优化，从而使得tws无线耳机的音效满足运动模式用户的需求。