一种分离式场景的回声消除方法和音频设备与流程

本技术涉及音频信号处理，尤其涉及一种分离式场景的回声消除方法和音频设备。

背景技术：

1、回声是由于空间声学反射产生的声学回音，例如远端的喇叭发出声音，语音信号传到近端的麦克风所在的位置，重新从麦克风输入，同时叠加了远端的喇叭发出声音。此时用户将会听到回声，影响了用户的体验。

2、相关技术一般采用回声消除算法来进行回声消除工作。回声消除算法的原理是基于播放的声音估计回声，然后从采集到的信号中减掉回声。自适应滤波是一种常用的回声估计算法，可以根据输入的远端数据估计出产生的回声。

3、回声消除的难点是估计延时参数，只有准确获取延时参数才能根据延时读取播放数据。因此相关技术往往只适用于麦克风和喇叭为一体式的场景，因为此场景下回声路径是固定的，厂家会提供参考延时参数，此场景的延时参数的获取难度不大。生活中往往存在麦克风与喇叭分离的分离式场景，例如安卓盒子内置了麦克风，用hdmi线连接电视播放声音，此场景下回声路径不固定。更何况由于安卓盒子和电视的摆放问题，存在多种回声路径变化，因此相关技术估计延时参数及其困难，对回声的消除不准确，使用户的体验糟糕。

技术实现思路

1、本技术提供了一种分离式场景的回声消除方法和音频设备，在分离式场景下获得准确的延时参数，使得回声消除的效果更好，提高用户的使用体验。

2、第一方面，本技术提供了一种分离式场景的回声消除方法，包括：在参考时间节点下使功放后端播放参考音频；功放前端和功放后端同步录制参考音频得到功放前端的对比波形图和功放后端的参考波形图；从对比波形图中提取对比声波轮廓以及从参考波形图中提取出参考声波轮廓；根据对比声波轮廓得到对比声波特征以及根据参考声波轮廓得到参考声波特征，声波特征为声波轮廓中的每一个波对应的波长、振幅、波形；更改对比波形图中的时间节点，使对比波形图中的对比声波轮廓进行移动；在每一个更改的时间节点下计算对比声波特征与参考声波特征的对比度，对比声波轮廓与参考声波轮廓越相似对比度越高；计算对比度最高的情况下对比波形图的时间节点与参考时间节点的差值作为延时参数，对比度最高为多个对比度选择中的最高值。

3、在上述实施例中，对于同一参考音频，功放前端与功放后端同步录制波形图。然后更改功放前端的对比波形图的时间节点，使其与功放后端的参考波形图大体一致，对比波形图的时间节点的变化量作为延时参数。因此在分离式的场景下，能准确的获取延时参数，加强回声消除的效果，提高用户的使用体验。

4、结合第一方面的一些实施例，在一些实施例中，在每一个更改的时间节点下计算对比声波特征与参考声波特征的对比度之后，计算对比度最高的情况下对比波形图的时间节点与参考时间节点的差值作为延时参数之前，还包括：根据对比度的变化特征确定对比度最高的情况是否为对比度最佳的情况，对比度最佳为理论上对比度的最高值；若对比度最高的情况也是对比度最佳的情况，则继续执行计算对比度最高的情况下对比波形图的时间节点与参考时间节点的差值作为延时参数步骤；若对比度最高的情况不是对比度最佳的情况，则扩大对比波形图中的时间节点的更改范围，使对比波形图中的对比声波轮廓进行第二次移动；直至对比度最高的情况也是对比度最佳的情况；在移动的过程中，对对比度最高的情况进行更新；继续执行计算对比度最高的情况下对比波形图的时间节点与参考时间节点的差值作为延时参数步骤。

5、上述实施例中，确定对比度最高的情况是否为对比度最佳的情况，当对比度最高的情况不是对比度最佳的情况，则扩大对比波形图中的时间节点的更改范围，使对比波形图中的对比声波轮廓进行第二次移动，进而使获取的延时参数更为准确，使得回声消除的效果更好，提高用户的使用体验。

6、结合第一方面的一些实施例，在一些实施例中，对比度的变化特征确定对比度最高的情况是否为对比度最佳的情况，具体包括：确定对比度的变化特征为先差变好或先差变好再变差中的哪一种情况；若对比度的变化特征为先差变好再差的情况，则对比度最佳的情况在对比度选择的范围内，执行计算对比度最高的情况下对比波形图的时间节点与参考时间节点的差值作为延时参数步骤；若对比度的变化特征为先差变好的情况，则对比度最佳的情况不在对比度选择的范围内，执行扩大对比波形图中的时间节点的更改范围，使对比波形图中的对比声波轮廓进行第二次移动的步骤。

7、上述实施例中，通过对比度的变化特征为先差变好再差，来确定对比度最佳的情况在对比度选择的范围内，对比度的变化特征从差变好，意味着距离对比度最佳的情况越近，对比度的变化特征从好变差，意味着距离对比度最佳的情况越远，来找到对比度最佳的情况，进而使获取的延时参数更为准确，使得回声消除的效果更好，提高用户的使用体验。

8、结合第一方面的一些实施例，在一些实施例中，更改对比波形图中的时间节点，使对比波形图中的对比声波轮廓进行移动，在每一个更改的时间节点下计算对比声波特征与参考声波特征的对比度，具体包括：按照预设的大时间参数更改对比波形图中的时间节点，使对比波形图中的声波轮廓进行第一次移动；在每一个更改的大时间参数时间节点范围下计算对比声波特征与参考声波特征的对比度；确定对比度最高的情况下对比波形图的时间节点所在的大时间参数时间节点范围，该大时间参数时间节点范围也就是需要关注的大时间参数时间节点范围；按照预设的中时间参数更改对比波形图中的时间节点，使对比波形图中的声波轮廓在需要关注的大时间参数时间节点范围进行第二次移动；在每一个更改的中时间参数时间节点范围下计算对比声波特征与参考声波特征的对比度；确定对比度最高的情况下对比波形图的时间节点所在的中时间参数时间节点范围，该中时间参数时间节点范围也就是需要关注的中时间参数时间节点范围；按照预设的小时间参数更改对比波形图中的时间节点，使对比波形图中的声波轮廓在需要关注的中时间参数时间节点范围进行第三次移动；在每一个更改的小时间参数时间节点范围下计算对比声波特征与参考声波特征的对比度。

9、上述实施例中，通过一种逐级缩小范围的方式，将在一个总体范围内部以一种大时间参数更改对比波形图中的时间节点，并找到需要关注的大时间参数时间节点范围。然后在需要关注的大时间参数时间节点范围以一种中时间参数更改对比波形图中的时间节点，并找到需要关注的中时间参数时间节点范围。在需要关注的中时间参数时间节点范围以一种具体时间参数更改对比波形图中的时间节点，找到对比度最高的情况下对比波形图的时间节点。来减少计算量，提高回声消除的效率。

10、结合第一方面的一些实施例，在一些实施例中，根据对比声波轮廓得到对比声波特征以及根据参考声波轮廓得到参考声波特征，具体包括：将对比声波轮廓划分成密部和稀部；按照先后顺序将这些密部和稀部进行排列，得到对比波形图密度表；将参考声波轮廓划分成密部和稀部；按照先后顺序将这些密部和稀部进行排列，得到参考波形图密度表；声波特征还包括密度表。

11、上述实施例中，通过将声波轮廓划分成密部和稀部，得到密度表，后续对比声波特征与参考声波特征进行比对可以直接比对对比波形图密度表与参考波形图密度表即可，因此可以减少计算量，提高回声消除的效率。

12、结合第一方面的一些实施例，在一些实施例中，声波轮廓划分成密部和稀部，具体包括：将声波轮廓划分为若干个长条区域；提取长条区域中的全部像素点；判断长条区域中的全部像素点的密度是否大于所设定的阈值；若大于阈值，则该长条区域为密部区域；若小于阈值，则该长条区域为稀部区域。

13、上述实施例中，通过判断像素点的密度来将声波轮廓划分成密部和稀部，可以将功放前端录取的杂音划分到稀部，来减少杂音所带来的干扰。

14、结合第一方面的一些实施例，在一些实施例中，功放前端和功放后端同步录制参考音频得到功放前端的对比波形图和功放后端的参考波形图之前，从对比波形图中提取对比声波轮廓以及从参考波形图中提取出参考声波轮廓之后；还包括：分别提取出对比波形图和参考波形图中每一个像素点的灰度值；分别计算对比波形图和参考波形图的平均灰度值,将对比波形图中的每一个像素点的灰度值与对比波形图中的平均灰度值进行比对，以及将参考波形图中的每一个像素点的灰度值与参考波形图中的平均灰度值进行比对；将对比波形图和参考波形图中超过平均灰度值的像素点的颜色改变成白色，低于平均灰度值的像素点的颜色改变成黑色。

15、上述实施例中，将对比波形图和参考波形图转换为只有两种取值的图像，从而简化后续处理的复杂度，提高效率。同时将对比波形图和参考波形图进行清晰化处理，避免在提取声波轮廓的过程中，遗漏特征或者增加特征。

16、本技术还提供了一种分离式场景的回声消除音频设备，该音频设备包括：

17、播放模块，用于在参考时间节点下使功放后端播放参考音频；

18、录制模块，用于使功放前端和功放后端同步录制参考音频得到功放前端的对比波形图和功放后端的参考波形图；

19、声波轮廓提取模块，用于从对比波形图中提取对比声波轮廓以及从参考波形图中提取出参考声波轮廓；

20、声波特征提取模块；用于根据对比声波轮廓得到对比声波特征以及根据参考声波轮廓得到参考声波特征；

21、时间更改模块，用于更改对比波形图中的时间节点，使对比波形图中的对比声波轮廓进行移动；

22、对比模块，用于在每一个更改的时间节点下计算对比声波特征与参考声波特征的对比度；

23、计算模块，用于计算对比度最高的情况下对比波形图的时间节点与参考时间节点的差值作为延时参数。

24、结合第二方面的一些实施例，在一些实施例中，该音频设备还包括：

25、判断模块，判断模块包括第一判断子模块和第二判断子模块；第一判断子模块用于根据对比度的变化特征确定对比度最高的情况是否为对比度最佳的情况；若对比度最高的情况也是对比度最佳的情况；则使计算模块执行所预设的方法；若对比度最高的情况不是对比度最佳的情况，则使第二判断子模块执行所预设的方法；

26、第二判断子模块，用于扩大对比波形图中的时间节点的更改范围，使对比波形图中的对比声波轮廓进行第二次移动；直至对比度最高的情况也是对比度最佳的情况；在移动的过程中，对对比度最高的情况进行更新；则使计算模块执行所预设的方法。

27、结合第二方面的一些实施例，在一些实施例中，判断模块还包括：第三判断子模块；

28、第三判断子模块，用于确定对比度的变化特征为先差变好或先差变好再变差中的哪一种情况，若对比度的变化特征为先差变好再差的情况，则对比度最佳的情况在对比度选择的范围内，使计算模块执行所预设的方法；若对比度的变化特征为先差变好的情况，则对比度最佳的情况不在对比度选择的范围内，扩大对比波形图中的时间节点的更改范围，使对比波形图中的对比声波轮廓进行第二次移动。

29、结合第二方面的一些实施例，在一些实施例中，时间更改模块还包括：第一时间更改子模块、第二时间更改子模块、第三时间更改子模块；

30、第一时间更改子模块，用于按照预设的大时间参数更改对比波形图中的时间节点，使对比波形图中的声波轮廓进行第一次移动；

31、第二时间更改子模块，用于按照预设的中时间参数更改对比波形图中的时间节点，使对比波形图中的声波轮廓在需要关注的大时间参数时间节点范围进行第二次移动；

32、第三时间更改子模块，按照预设的小时间参数更改对比波形图中的时间节点，使对比波形图中的声波轮廓在需要关注的中时间参数时间节点范围进行第三次移动；

33、对比模块还包括：第一对比子模块、第二对比子模块、第三对比子模块；

34、第一对比子模块，用于在每一个更改的大时间参数时间节点范围下计算对比声波特征与参考声波特征的对比度；确定对比度最高的情况下对比波形图的时间节点所在的大时间参数时间节点范围，该大时间参数时间节点范围也就是需要关注的大时间参数时间节点范围；

35、第二对比子模块，用于在每一个更改的中时间参数时间节点范围下计算对比声波特征与参考声波特征的对比度；确定对比度最高的情况下对比波形图的时间节点所在的中时间参数时间节点范围，该中时间参数时间节点范围也就是需要关注的中时间参数时间节点范围；

36、第三对比子模块，用于在每一个更改的小时间参数时间节点范围下计算对比声波特征与参考声波特征的对比度。

37、结合第二方面的一些实施例，在一些实施例中，声波特征提取模块还包括：

38、密度表子模块，用于按照先后顺序将这些密部和稀部进行排列，得到对比波形图密度表；将参考声波轮廓划分成密部和稀部；按照先后顺序将这些密部和稀部进行排列，得到参考波形图密度表。

39、结合第二方面的一些实施例，在一些实施例中，声波特征提取模块还包括：

40、划分子模块，用于将声波轮廓划分为若干个长条区域；提取长条区域中的全部像素点；判断长条区域中的全部像素点的密度是否大于所设定的阈值；若大于阈值，则该长条区域为密部区域；若小于阈值，则该长条区域为稀部区域。

41、结合第二方面的一些实施例，在一些实施例中，该音频设备还包括：

42、像素点处理模块，用于分别提取出对比波形图和参考波形图中每一个像素点的灰度值；分别计算对比波形图和参考波形图的平均灰度值将对比波形图中的每一个像素点的灰度值与对比波形图中的平均灰度值进行比对，以及将参考波形图中的每一个像素点的灰度值与参考波形图中的平均灰度值进行比对；将对比波形图和参考波形图中超过平均灰度值的像素点的颜色改变成白色，低于平均灰度值的像素点的颜色改变成黑色。

43、第三方面，本技术实施例提供了一种电子设备，该电子设备包括：一个或多个处理器和存储器；

44、该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

45、第四方面，本技术实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

46、第五方面，本技术实施例提供一种计算机可读存储介质，包括指令，当上述指令在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

47、可以理解地，上述第二方面提供的分离式场景的回声消除音频设备、第三方面提供的电子设备、第四方面提供的计算机程序产品和第五方面提供的计算机存储介质均用于执行本技术实施例所提供的无线热点连接方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

48、本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

49、1、本技术提供的分离式场景的回声消除方法，对于同一参考音频，功放前端与功放后端同步录制波形图。然后更改功放前端的对比波形图的时间节点，使其与功放后端的参考波形图大体一致，对比波形图的时间节点的变化量作为延时参数。因此在分离式的场景下，能准确的获取延时参数，加强回声消除的效果，提高用户的使用体验。

50、2、本技术提供的分离式场景的回声消除方法，确定对比度最高的情况是否为对比度最佳的情况，当对比度最高的情况不是对比度最佳的情况，则扩大对比波形图中的时间节点的更改范围，使对比波形图中的对比声波轮廓进行第二次移动。进而使获取的延时参数更为准确，使得回声消除的效果更好，提高用户的使用体验。

51、3、本技术提供的分离式场景的回声消除方法，通过一种逐级缩小范围的方式，将在一个总体范围内部以一种大时间参数更改对比波形图中的时间节点，并找到需要关注的大时间参数时间节点范围。然后在需要关注的大时间参数时间节点范围以一种中时间参数更改对比波形图中的时间节点，并找到需要关注的中时间参数时间节点范围。在需要关注的中时间参数时间节点范围以一种具体时间参数更改对比波形图中的时间节点，找到对比度最高的情况下对比波形图的时间节点。来减少计算量，提高回声消除的效率。