本发明涉及音频处理,尤其涉及一种基于隐私安全的音频处理方法及系统、设备、存储介质。
背景技术:
1、随着智能穿戴设备的快速发展,耳机、智能眼镜等音频设备已成为日常生活的重要组成部分。
2、然而,传统音频设备在隐私保护、环境适应性及人机交互方面存在显著缺陷,现有降噪技术主要针对全频段环境噪声,但缺乏对特定方向干扰声源的定向抑制能力。用户在使用耳机或智能眼镜时,往往面临音频数据泄露、环境噪声干扰及个性化体验不足的问题,且隐私保护与音频体验难以兼得。
技术实现思路
1、本发明实施例提供了一种基于隐私安全的音频处理方法及系统、设备、存储介质,以解决用户在使用耳机或智能眼镜时,隐私保护与音频体验难以兼得的问题。
2、第一方面,本发明实施例提供了一种基于隐私安全的音频处理方法,应用于智能眼镜,该智能眼镜包括麦克风阵列、行为识别传感器模块和可变扬声器;该方法包括:
3、基于麦克风阵列采集的声音信号,确定外部音源坐标;
4、基于行为识别传感器模块采集的用户行为信息,确定用户的注意力程度和隐私保护需求等级;
5、基于外部音源坐标、注意力程度和隐私保护等级,确定音频信号的音量调整量和波束宽度,以对初始的音频信号进行处理并通过可变扬声器播放处理后的音频信号。
6、在一种可能的实现方式中,基于行为识别传感器模块采集的用户行为信息,确定用户的注意力程度和隐私保护需求等级,包括:
7、基于用户注视目标方向的累计时长、用户视线方向与外部音源方向的夹角和瞳孔直径变化量,确定用户对外部音源的注意力程度;
8、基于人脸识别置信度、眨眼频率、音频信号的内容分类和外部音源距离,确定用户的隐私保护需求等级。
9、在一种可能的实现方式中,注意力程度的计算公式为:
10、
11、其中,为用户在一个监测周期内对目标方向的注意力程度,为用户注视目标方向的累计时长,为监测周期时长,为用户视线方向与外部音源方向的夹角,为瞳孔直径变化量,为瞳孔直径基准值,、、为权重。
12、在一种可能的实现方式中,在基于行为识别传感器模块采集的用户行为信息,确定用户的注意力程度和隐私保护需求等级之前,还包括:
13、获取用户的多组历史使用数据;其中,每组使用数据包括用户行为信息和对应的用户输入的音量调整量和音频输出方向;
14、基于多组历史使用数据,对注意力程度的计算公式中的权重进行优化。
15、在一种可能的实现方式中,基于人脸识别置信度、眨眼频率、音频信号的内容分类和外部音源距离,确定用户的隐私保护需求等级,包括:
16、基于人脸识别置信度计算环境风险系数;
17、基于眨眼频率计算用户状态系数;
18、基于音频信号的内容分类和外部音源距离计算音源敏感度;
19、将环境风险系数、用户状态系数和音源敏感度输入隐私等级决策树,得到用户的隐私保护需求等级。
20、在一种可能的实现方式中,基于外部音源坐标、注意力程度和隐私保护等级,确定音频信号的音量调整量和波束宽度,包括:
21、基于音量调整量公式计算音频信号的音量调整量;其中,音量调整量公式为:
22、
23、其中,为音量调整量,为初始音量,为外部音源距离,为用户视线方向与外部音源方向的夹角,为用户对目标方向的注意力程度,、、为调节系数;
24、基于音源的水平方向角和用户视线方向的水平角之差确定方向差异度等级,并将方向差异度等级对应的波束宽度作为音频信号的波束宽度。
25、在一种可能的实现方式中,基于麦克风阵列采集的声音信号,确定外部音源坐标,包括:
26、基于时延估计算法和最小二乘法对麦克风阵列采集的声音信号求解,确定外部音源坐标。
27、第二方面,本发明实施例提供了一种基于隐私安全的音频处理系统,应用于智能眼镜,该智能眼镜包括麦克风阵列、行为识别传感器模块和可变扬声器;该系统包括:
28、音源确定模块,用于基于麦克风阵列采集的声音信号,确定外部音源坐标;
29、需求确定模块,用于基于行为识别传感器模块采集的用户行为信息,确定用户的注意力程度和隐私保护需求等级;
30、音频处理模块,用于基于外部音源坐标、注意力程度和隐私保护等级,确定音频信号的音量调整量和波束宽度,以对初始的音频信号进行处理并通过可变扬声器播放处理后的音频信号。
31、第三方面,本发明实施例提供了一种设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
32、第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
33、本发明实施例提供一种基于隐私安全的音频处理方法及系统、设备、存储介质,通过智能眼镜的麦克风阵列和行为识别传感器对环境和用户状态进行多模态感知,从中提取用户注意力与隐私需求,并精确计算音频信号的音量调整量和波束宽度,综合环境风险、用户状态和内容敏感度、用户隐私保护偏好等多方面进行音频处理,实现个性化的动态隐私保护,兼顾用户的隐私保护与音频体验。
1.一种基于隐私安全的音频处理方法,其特征在于,应用于智能眼镜,所述智能眼镜包括麦克风阵列、行为识别传感器模块和可变扬声器;所述方法包括:
2.根据权利要求1所述的基于隐私安全的音频处理方法,其特征在于,所述基于行为识别传感器模块采集的用户行为信息,确定用户的注意力程度和隐私保护需求等级,包括:
3.根据权利要求2所述的基于隐私安全的音频处理方法,其特征在于,注意力程度的计算公式为:
4.根据权利要求3所述的基于隐私安全的音频处理方法,其特征在于,在所述基于行为识别传感器模块采集的用户行为信息,确定用户的注意力程度和隐私保护需求等级之前,还包括:
5.根据权利要求2所述的基于隐私安全的音频处理方法,其特征在于,所述基于人脸识别置信度、眨眼频率、音频信号的内容分类和外部音源距离,确定用户的隐私保护需求等级,包括:
6.根据权利要求1所述的基于隐私安全的音频处理方法,其特征在于,所述基于所述外部音源坐标、所述注意力程度和所述隐私保护等级,确定音频信号的音量调整量和波束宽度,包括:
7.根据权利要求1所述的基于隐私安全的音频处理方法,其特征在于,所述基于麦克风阵列采集的声音信号,确定外部音源坐标,包括:
8.一种基于隐私安全的音频处理系统,其特征在于,应用于智能眼镜,所述智能眼镜包括麦克风阵列、行为识别传感器模块和可变扬声器;所述系统包括:
9.一种设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上的权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上的权利要求1至7中任一项所述方法的步骤。