一种基于多任务对抗解耦学习的语音隐私保护方法及系统

文档序号:37925357发布日期:2024-05-11 00:04阅读:来源:国知局

技术特征:

1.一种基于多任务对抗解耦学习的语音隐私保护方法,其特征在于,包括下述步骤:

2.根据权利要求1所述基于多任务对抗解耦学习的语音隐私保护方法,其特征在于,所述基于编码器对语音信号进行声学特征提取,采用wav2vec 2.0编码器对语音信号进行声学特征提取。

3.根据权利要求1所述基于多任务对抗解耦学习的语音隐私保护方法,其特征在于,全局统计量经过三个并行的通道注意力计算模块的一维卷积运算,得到三个不同的注意力权重,具体表示为:

4.根据权利要求1所述基于多任务对抗解耦学习的语音隐私保护方法,其特征在于,所述一维卷积运算的卷积核大小与通道维度成正比,具体表示为:

5.根据权利要求1所述基于多任务对抗解耦学习的语音隐私保护方法,其特征在于,分别使用两个全连接层对特征信息和特征信息进行编码,得到特征信息和特征信息,具体表示为:

6.根据权利要求1所述基于多任务对抗解耦学习的语音隐私保护方法,其特征在于,多分类交叉熵损失函数表示为:

7.根据权利要求1所述基于多任务对抗解耦学习的语音隐私保护方法,其特征在于,对特征信息、特征信息、特征信息中同一时间步的特征向量两两计算余弦相似度,将所有时间步的相似度进行累加及求和,得到整体相似度:

8.根据权利要求1所述基于多任务对抗解耦学习的语音隐私保护方法,其特征在于,所述hifi-gan生成器包括依次连接的转置卷积层、自注意力计算模块、多感受野融合模块;

9.根据权利要求1所述基于多任务对抗解耦学习的语音隐私保护方法,其特征在于,将特征信息、特征信息和特征信息进行特征相加,相加后的特征信息输入至hifi-gan生成器中进行隐秘音频重建,输出隐秘音频,具体包括:

10.一种基于多任务对抗解耦学习的语音隐私保护系统,其特征在于,用于实现上述权利要求1-9任一项所述的基于多任务对抗解耦学习的语音隐私保护方法,该系统包括:语音信号获取模块、编码器、信息解耦模块、混淆模块、年龄段分类器、自动语音解码器、身份识别器、监督训练模块、整体相似度计算模块、最小-最大目标构建模块、隐秘音频重建模块;


技术总结
本发明公开了一种基于多任务对抗解耦学习的语音隐私保护方法及系统,该方法包括下述步骤:对语音信号提取声学特征得到特征编码结果,基于三个并行的通道注意力计算模块构建信息解耦模块,将特征编码结果进行多任务解耦特征学习,进行年龄段分类、自动语音解码和身份识别,并基于年龄段分类、自动语音解码和身份识别对应的损失函数进行监督训练,计算解耦特征信息的整体相似度并构建最小‑最大目标,HiFi‑GAN生成器将相加后的特征信息进行隐秘音频重建,输出隐秘音频。本发明在维护隐私的同时避免丢失其中的年龄属性,并确保下游的年龄估计任务具有良好的预测精度,并且从隐私保护的角度出发添加相似度约束,实现高精度的年龄识别。

技术研发人员:林舒源,廖海良,翁健,潘涛
受保护的技术使用者:暨南大学
技术研发日:
技术公布日:2024/5/10
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1