一种发声状态的检测方法、装置、电子设备及存储介质与流程

本发明涉及检测技术，具体涉及一种发声状态的检测方法、装置、电子设备及存储介质。

背景技术：

1、双讲检测技术用于检测通话两端的发声状态，是影响回声消除效果的一项重要因素。目前主流的双讲检测技术是基于能量检测方法或者互相关(cross-correlation)方法。其中，基于能量的双讲检测和基于互相关的双讲检测都采用了静态的门限值来判断是否发生了双讲。但是，当环境中存在较为明显的噪声或者麦克风采集信号与参考信号之间的信号延迟估计不准的时候，上述两种方法的双讲检测效果就会大受影响，从而导致回声消除效果较差。

技术实现思路

1、为解决现有存在的技术问题，本申请的技术方案是这样实现的：

2、根据本申请的一方面，提供一种发声状态的检测方法，所述方法包括：

3、获取在同一时间通过第一麦克风采集的第一音频信号和通过第二麦克风采集的第二音频信号；其中，所述第一音频信号和所述第二音频信号中均包括远端声音的回声信号以及近端声音信号；所述第一麦克风与扬声器的第一距离小于所述第二麦克风与所述扬声器的第二距离；

4、基于所述第一音频信号的第一能量、所述第二音频信号的第二能量和所述回声信号的第三能量确定设备的当前发声状态。

5、上述方案中，所述方法还包括：

6、基于所述第一音频信号确定所述回声信号的残差信号；

7、将所述残差信号的能量作为所述第三能量。

8、上述方案中，所述基于所述第一音频信号的第一能量、所述第二音频信号的第二能量和所述回声信号的第三能量确定设备的当前发声状态，包括：

9、将所述第一音频信号的第一能量和所述第二音频信号的第二能量分别与所述回声信号的第三能量进行第一比较；

10、如果所述第一比较的结果表征所述第一能量远大于所述第三能量，且所述第二能量远大于所述第三能量，确定设备的当前发声状态是仅远端发声状态。

11、上述方案中，所述基于所述第一能量、所述第二能量和所述第三能量确定设备的当前发声状态，包括：

12、将所述二能量与所述第三能量进行第二比较；

13、如果所述第二比较的结果表征所述第二能量小于或等于所述第三能量，确定设备的当前发声状态是双端发声状态，其中，所述双端发声状态表征当前设备即有近端发声又有远端发声。

14、上述方案中，所述基于所述第一能量、所述第二能量和所述第三能量确定设备的当前发声状态，包括：

15、确定所述第二能量与所述第三能量的能量差；

16、将所述能量差与第一能量阈值进行第三比较；

17、如果所述第三比较的结果表征所述能量差小于或等于所述第一能量阈值，确定设备的当前发声状态是双端发声状态，其中，所述双端发声状态表征当前设备即有近端发声又有远端发声。

18、根据本申请的另一方面，提供一种发声状态的检测装置，所述装置包括：

19、发声单元，用于输出远端声音；

20、第一采集单元，设置于所述发声单元的一侧，与所述发声单元具有第一距离；用于采集第一音频信号，所述第一音频信号中包括所述远端声音的回声信号和近端声音信号；

21、第二采集单元，设置于所述第一采集单元的一侧，与所述发声单元具有第二距离；所述第一距离小于所述第二距离；用于采集第二音频信号，所述第二音频信号中包括所述远端声音的回声信号和近端声音信号；

22、获取单元，用于获取在同一时间采集的所述第一音频信号和所述第二音频信号；

23、确定单元，用于基于所述第一音频信号的第一能量、所述第二音频信号的第二能量和所述回声信号的第三能量确定设备的当前发声状态。

24、上述方案中，所述确定单元，还用于基于所述第一音频信号确定所述回声信号的残差信号；将所述残差信号的能量作为所述第三能量。

25、上述方案中，所述装置还包括：

26、比较单元，用于比较所述第一音频信号的第一能量、所述第二音频信号的第二能量和所述回声信号的第三能量；

27、所述确定单元，具体用于如果比较结果表征所述第一能量远大于所述第三能量，且所述第二能量远大于所述第三能量，确定设备的当前发声状态是仅远端发声状态；如果比较结果表征所述第二能量小于或等于所述第三能量，确定设备的当前发声状态是双端发声状态；如果比较结果表征所述二能量与所述第三能量的能量差小于或等于第一能量阈值，确定设备的当前发声状态是双端发声状态，其中，所述双端发声状态表征当前设备即有近端发声又有远端发声。

28、根据本申请的第三方面，提供一种电子设备，所述电子设备包括：第一麦克风、第二麦克风、扬声器、处理器和用于存储能够在处理器上运行的计算机程序的存储器，

29、其中，所述第一麦克风设置于所述扬声器的一侧，所述第二麦克风设置于所述第一麦克风的一侧；所述第一麦克风与所述扬声器的第一距离小于所述第二麦克风与所述扬声器的第二距离；

30、所述处理器与所述第一麦克风、第二麦克风、所述扬声器连接，用于运行所述计算机程序时，执行上述任一种发声状态的检测方法中的任一项方法步骤。

31、根据本申请的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器运行时，执行上述任一种发声状态的检测方法中的任一项方法步骤。

32、本发明实施例提供的发声状态的检测方法、装置、电子设备及存储介质，通过采用近端双麦克风进行信号采集，并对近端和远端的信号能量进行比较来确定设备通话两端的发声状态，由于双麦克风是同时进行信号采集，所以不存在信号延时估计不准的问题；且由于双麦克风采集的背景噪声相同，所以在信号能量比较中可以将其忽略，因此对近端存在明显的背景噪声情况有更高的容错率，从而提高了回声消除的效果。

技术特征：

1.一种发声状态的检测方法，其特征在于，所述方法包括：

2.根据权利要求1述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一音频信号的第一能量、所述第二音频信号的第二能量和所述回声信号的第三能量确定设备的当前发声状态，包括：

4.根据权利要求2所述的方法，其特征在于，所述基于所述第一能量、所述第二能量和所述第三能量确定设备的当前发声状态，包括：

5.根据权利要求2述的方法，其特征在于，所述基于所述第一能量、所述第二能量和所述第三能量确定设备的当前发声状态，包括：

6.一种发声状态的检测装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述确定单元，还用于基于所述第一音频信号确定所述回声信号的残差信号；将所述残差信号的能量作为所述第三能量。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

9.一种电子设备，其特征在于，所述电子设备包括：第一麦克风、第二麦克风、扬声器、处理器和用于存储能够在处理器上运行的计算机程序的存储器，

10.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器运行时，执行上述权利要求1至5所述的任一种发声状态的检测方法中的任一项方法步骤。

技术总结
本申请提供一种发声状态的检测方法，所述方法包括：获取在同一时间通过第一麦克风采集的第一音频信号和通过第二麦克风采集的第二音频信号；其中，所述第一音频信号和所述第二音频信号中均包括远端声音的回声信号以及近端声音信号；所述第一麦克风与扬声器的第一距离小于所述第二麦克风与所述扬声器的第二距离；基于所述第一音频信号的第一能量、所述第二音频信号的第二能量和所述回声信号的第三能量确定设备的当前发声状态。可以避免环境噪声以及信号延时估计不准的问题，提高了设备发声状态的检测效果和回声消除效果。

技术研发人员：王贺,张贵生,周骏华,陈民,程宝平
受保护的技术使用者：中移（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/1/15