基于声音序列来预测并触发对预测背景噪声的未来响应的制作方法

本公开涉及例如在在线会议期间主动消除或减少麦克风信号中存在的噪声的电子设备。

背景技术：

1、存在用于听力保护、噪声消除的若干解决方案以及用于处理与在线会议相关的不想要的声音的解决方案。

2、一个示例是降噪耳机，其抑制或阻挡外部噪声并允许佩戴者专注于喜欢的歌曲或正在进行的对话。被称为主动噪声控制(anc)的技术的工作原理是通过使用麦克风拾取(低频)噪声并在噪声到达耳朵之前对其进行中和。也被称为噪声消除或主动降噪(anr)的主动噪声控制(anc)是一种用于通过添加被专门设计为抵消第一声音的第二声音来减少不想要的声音的方法。该耳机生成与不想要的噪声发生180度的相位反转的声音信号，从而导致彼此抵消的两个声音。

3、另一示例是听力保护设备(hpd)，其通过电子器件和结构组件的组合来减少到达耳膜的声音。hpd是一种在暴露于有害噪声时佩戴在耳朵中或耳朵上以有助于防止噪声引起的听力损失的耳朵保护设备。hpd降低(而不是清除)进入耳朵的噪声的水平。hpd还可以防止噪声暴露的其他影响，例如耳鸣和听觉过敏。存在可用于使用的许多不同类型的hpd，包括耳罩、耳塞、电子听力保护设备和半插入式设备。被称为听力增强保护系统的一些电子hpd提供听力保护以免受高电平声音的影响，同时允许其他声音(如语音)的传输。一些电子hpd还具有放大低电平声音的能力。该类型对于在嘈杂环境中但仍需要访问较低电平声音的用户可能是有益的。例如，依靠检测并定位野生动物的微弱声音的猎人仍希望保护他们的听力免受枪支爆炸的影响。

4、微软已经展示了在通话期间使用人工智能(ai)来检测并抑制分散注意力的背景噪声的实时噪声抑制。实时噪声抑制将过滤掉会议中某些人敲击其键盘的声音、一袋薯片的沙沙声以及在后台运行的真空吸尘器。ai将实时移除背景噪声，因此您只能听到通话中的语音。

5、噪声抑制在microsoft teams、skype和skype for business应用中已经存在多年了。其他通信工具和视频会议应用也具有某种形式的噪声抑制。但该噪声抑制涵盖了静态噪声，例如在后台运行的电脑风扇或空调。传统的噪声抑制方法是寻找语音停顿，估计噪声的基线，假设连续的背景噪声不随时间改变并将其过滤掉。

6、将人类语音的声音与不想要的背景声音隔离并非易事，因为它们可能在相同的频率上重叠。在语音信号的频谱图上，不想要的噪声出现在语音之间的间隙中并且与该语音重叠。因此几乎不可能过滤掉噪声——如果语音和噪声重叠，则算法无法区分二者。相反，算法可能需要事先训练神经网络来了解噪声是什么样的并因此了解语音是什么样的。微软训练了一种机器学习模型来理解噪声与语音之间的区别，然后机器学习模型尝试在推理期间抑制噪声，同时保持语音不受影响。

7、机器学习包括通过经验自动改进的计算机算法。它被视为人工智能的一部分。机器学习算法基于被称为“训练数据”的样本数据来构建模型，以便在没有显式编程为这样做的情况下做出预测或决策。机器学习算法用于诸如电子邮件过滤和计算机视觉之类的各种应用，在这些应用中难以或无法开发常规算法来执行所需的任务。

技术实现思路

1、本文公开的一些实施例涉及一种设备，该设备包括：至少一个处理器，被配置为从至少一个麦克风接收至少一个麦克风信号；以及至少一个存储器，存储能够由至少一个处理器执行的程序代码。由至少一个处理器执行的操作包括：识别至少一个麦克风信号中出现触发声音。操作还包括：在触发声音出现之后，预测具有定义的干扰特性的后续声音在至少一个麦克风信号中出现的概率。操作还包括：当具有定义的干扰特性的后续声音出现的概率满足补救动作规则时，触发要执行的补救动作以使至少一个麦克风信号静音或抑制至少一个麦克风信号中的后续声音。

2、一些实施例涉及一种由设备执行的方法，该方法包括：识别从至少一个麦克风接收的至少一个麦克风信号中出现触发声音。该方法还包括：在触发声音出现之后，预测具有定义的干扰特性的后续声音在至少一个麦克风信号中出现的概率。该方法还包括：当具有定义的干扰特性的后续声音出现的概率满足补救动作规则时，触发要执行的补救动作以使至少一个麦克风信号静音或抑制至少一个麦克风信号中的后续声音。

3、一些实施例涉及一种包括非暂时性计算机可读介质的计算机程序产品，该非暂时性计算机可读介质存储能够由设备的至少一个处理器执行以执行操作的程序代码。操作包括：识别从至少一个麦克风接收的至少一个麦克风信号中出现触发声音。操作还包括：在触发声音出现之后，预测具有定义的干扰特性的后续声音在至少一个麦克风信号中出现的概率。操作还包括：当具有定义的干扰特性的后续声音出现的概率满足补救动作规则时，触发要执行的补救动作以使至少一个麦克风信号静音或抑制至少一个麦克风信号中的后续声音。

4、本文公开的设备的这些和另外的操作可以提供许多潜在的优点。本公开的潜在优点包括：在涉及在线会议时对不想要的声音更快做出响应，因为这些操作预测具有定义的干扰特性的后续声音出现的概率，然后可以通过触发补救动作规则对其进行响应以在后续声音出现之前使后续声音静音或抑制后续声音。在具有定义的干扰特性的后续声音出现之前执行这种补救动作可以避免后续声音的任何部分被发送给在线会议中的远程参与者。

5、在查看以下附图和详细描述之后，根据实施例的其他设备、方法和计算机程序产品对于本领域技术人员将是显而易见的或将变得显而易见。所有这种设备、方法和计算机程序产品都旨在包括在本说明书中，在本公开的范围内，并受所附权利要求保护。此外，意图是本文公开的所有实施例可以单独实施或以任何方式和/或组合组合。

技术特征：

1.一种设备(200、210、900、910)，包括：

2.根据权利要求1所述的设备(200、210、900、910)，其中，所述预测具有定义的干扰特性的后续声音在所述至少一个麦克风信号中出现的概率的操作包括：预测满足定义的干扰水平的后续声音出现的概率。

3.根据权利要求2所述的设备(200、210、900、910)，其中，所述预测满足定义的干扰水平的后续声音出现的概率的操作包括确定以下条件中的至少一个条件被满足的概率：

4.根据权利要求1至3中任一项所述的设备(200、210、900、910)，其中，确定具有所述定义的干扰特性的后续声音出现的概率何时满足所述补救动作规则的操作包括确定以下上下文参数中的至少一个上下文参数是否满足所述补救动作规则：

5.根据权利要求1至4中任一项所述的设备(200、210、900、910)，其中，所述触发要执行的补救动作以使所述至少一个麦克风信号静音或抑制所述至少一个麦克风信号中的所述后续声音的操作包括：

6.根据权利要求1至5中任一项所述的设备(200、210、900、910)，其中，所述触发要执行的补救动作以使所述至少一个麦克风信号静音或抑制所述至少一个麦克风信号中的所述后续声音的操作包括：

7.根据权利要求1至6中任一项所述的设备(200、210、900、910)，其中，所述操作还包括：

8.根据权利要求7所述的设备(200、210、900、910)，其中，所述操作还包括：

9.根据权利要求7至8中任一项所述的设备(200、210、900、910)，其中，所述训练机器学习算法的操作还包括：基于指示要分类的声音是否具有定义的干扰特性的用户反馈来训练所述机器学习算法。

10.根据权利要求7至9中任一项所述的设备(200、210、900、910)，其中，所述训练机器学习算法的操作还包括：

11.根据权利要求7至10中任一项所述的设备(200、210、900、910)，所述操作还包括：

12.根据权利要求1至11中任一项所述的设备(200、210、900、910)，其中，所述操作还包括：

13.根据权利要求12所述的设备(200、210、900、910)，其中，训练所述机器学习算法的操作还包括：基于指示所述补救动作何时由所述用户触发的用户反馈来训练所述机器学习算法。

14.根据权利要求13所述的设备(200、210、900、910)，其中，训练所述机器学习算法的操作还包括基于指示所述用户已经执行以下补救动作中的至少一个补救动作的用户反馈来训练所述机器学习算法：

15.根据权利要求1至14中任一项所述的设备(200、210、900、910)，其中，所述操作还包括：

16.根据权利要求1至15中任一项所述的设备(200、210、900、910)，其中，所述操作还包括：

17.根据权利要求16所述的设备(200、210、900、910)，其中，由所述家庭代理系统观察到的触发事件包括以下中的至少一项：

18.一种由设备执行的方法，所述方法包括：

19.根据权利要求18所述的方法，所述预测(302)具有定义的干扰特性的后续声音在所述至少一个麦克风信号中出现的概率包括：预测满足定义的干扰水平的后续声音出现的概率。

20.根据权利要求19所述的方法，其中，所述预测(302)满足定义的干扰水平的后续声音出现的概率包括确定以下条件中的至少一个条件被满足的概率：

21.根据权利要求18至20中任一项所述的方法，其中，确定具有所述定义的干扰特性的后续声音出现的概率何时满足所述补救动作规则的操作包括确定以下上下文参数中的至少一个上下文参数是否满足所述补救动作规则：

22.根据权利要求18至21中任一项所述的方法，其中，所述触发(304)要执行的补救动作以使所述至少一个麦克风信号静音或抑制所述至少一个麦克风信号中的所述后续声音包括：

23.根据权利要求18至22中任一项所述的方法，其中，所述触发(304)要执行的补救动作以使所述至少一个麦克风信号静音或抑制所述至少一个麦克风信号中的所述后续声音包括：

24.根据权利要求18至23中任一项所述的方法，还包括：

25.根据权利要求24所述的方法，还包括：

26.根据权利要求24至25中任一项所述的方法，其中，所述训练(600)机器学习算法还包括：基于指示要分类的声音是否具有定义的干扰特性的用户反馈来训练所述机器学习算法。

27.根据权利要求24至26中任一项所述的方法，其中，所述训练(600)机器学习算法还包括：

28.根据权利要求24至27中任一项所述的方法，还包括：

29.根据权利要求18至28中任一项所述的方法，还包括：

30.根据权利要求29所述的方法，其中，所述训练所述机器学习算法还包括：基于指示所述补救动作何时由所述用户触发的用户反馈来训练所述机器学习算法。

31.根据权利要求30所述的方法，其中，所述训练所述机器学习算法还包括基于指示所述用户已经执行以下补救动作中的至少一个补救动作的用户反馈来训练所述机器学习算法：

32.根据权利要求18至31中任一项所述的方法，还包括：

33.根据权利要求18至32中任一项所述的方法，还包括：

34.根据权利要求33所述的方法，其中，由所述家庭代理系统观察到的触发事件包括以下中的至少一项：

35.一种计算机程序产品，包括：

36.根据权利要求35所述的计算机程序产品，其中，能够由所述设备的至少一个处理器执行的程序代码还执行根据权利要求19至34所述的方法中的任一方法的操作。

37.一种设备(200、210、900、910)，适于执行根据权利要求18至34中任一项所述的方法。

技术总结
一种执行操作的设备，操作包括识别至少一个麦克风信号中出现触发声音。操作还包括：在触发声音出现之后，预测具有定义的干扰特性的后续声音在至少一个麦克风信号中出现的概率。操作还包括：当具有定义的干扰特性的后续声音出现的概率满足补救动作规则时，触发要执行的补救动作以使至少一个麦克风信号静音或抑制至少一个麦克风信号中的后续声音。

技术研发人员：汤米·福克,托米·阿格伦,皮特·奥奎斯特,安德烈亚斯·克里斯滕松
受保护的技术使用者：瑞典爱立信有限公司
技术研发日：
技术公布日：2024/1/15