一种音频信号调整方法、装置、设备、系统及介质与流程

本技术涉及数据处理，尤其涉及一种音频信号调整方法、装置、设备、系统及介质。

背景技术：

1、在现代化的办公场景中，远程会议得到了广泛的应用。通过远程会议技术，位于不同地理位置的人员可以通过网络进行实时沟通。在远程会议技术中，可以通过麦克风获取音频信号，并通过网络将音频信号发送给参加会议的其他用户。可见，为了保证远程会议的质量，需要提高音频信号的质量。

2、目前，可以通过麦克风阵列来提升远程会议中音频信号的质量。麦克风阵列包括多个麦克风阵元。每个麦克风阵元都可以采集音频信号。这样，通过多个麦克风阵元采集会议中的音频，得到的音频信号的相对清晰稳定，从而提升了远程会议的质量。

3、但是，在远程会议等应用场景中，发出声音的对象(后称声源或发声对象)的位置和朝向可能发生改变。当发声对象的位置和朝向发生改变之后，麦克风阵列的拾音质量会受到影响。

技术实现思路

1、有鉴于此，本技术提供了一种音频信号调整方法，用于根据发声对象的朝向调整麦克风阵列获取的音频信号，以提高麦克风阵列的拾音品质。本技术还提供了对应的装置、设备、系统、计算机可读存储介质以及计算机程序产品。

2、第一方面，本技术提供了一种音频信号调整方法，该方法可以应用于会议终端或服务器，用于对第一麦克风阵列采集到的音频信号进行调整，以提高第一麦克风阵列的拾音质量。具体地，首先可以获取第一麦克风阵列采集的第一音频信号。第一音频信号中包括第一麦克风阵列对第一对象发出的声音进行采集得到的音频信号。接着，可以确定第一对象的朝向与第一麦克风阵列之间的角度关系，该角度关系可以被称为朝向对应关系。第一对象的朝向为第一对象发出的声音的主要方向。在确定朝向对应关系之后，可以根据朝向对应关系对第一音频信号进行调整，得到第二音频信号。这样，即使作为声源的第一对象的位置和/或朝向发生了改变，仍然可以通过分析第一麦克风阵列与第一对象之间的朝向对应关系，对第一音频信号进行自适应调整。如此，基于第一对象的位置和朝向对第一麦克风阵列所采集的音频信号进行自适应调整，可以提升第一麦克风阵列的拾音质量。

3、在一些可能的实施方式中，朝向对应关系用于指示从第一向量到第二向量的旋转角度。其中，第一向量对应第一对象的朝向，第二向量对应从第一对象到第一麦克风阵列的连线的方向。从第一向量到第二向量的旋转角度，例如可以是第二向量在基于第一向量建立的坐标系中的方位角和俯仰角。这样，分别通过向量表示第一对象的朝向和从第一对象到第一麦克风阵列的连线，有利于计算朝向对应关系。

4、在一些可能的实施方式中，朝向对应关系是基于第一音频信号确定的。具体地，在确定朝向对应关系时，首先可以对第一音频信号进行分析，确定第一麦克风阵列与第一对象之间的相对位置关系。然后，可以基于第一麦克风阵列与第一对象之间的相对位置关系确定朝向对应关系。这样，基于第一音频信号确定角度对应关系，可以简化角度对应关系的确定方式。

5、在一些可能的实施方式中，可以基于第一麦克风阵列中不同麦克风阵元接收到的音频信号的差异确定第一麦克风阵列与第一对象之间的相对位置关系。具体地，第一麦克风阵列包括多个麦克风阵元，第一音频信号包括多个麦克风阵列分别采集到的多个音频信号。在确定第一麦克风阵列与第一对象之间的相对位置关系时，可以对多个麦克风阵元分别采集到的音频信号之间的差异进行分析，从而确定第一麦克风阵列和第一对象之间的相对位置关系。如此，无需其他设备，就能够确定第一麦克风阵列和第一对象之间的相对位置关系。

6、在一些可能的实施方式中，可以先对第一麦克风阵列的多个麦克风阵元采集的音频信号之间的差异进行分析，从第一麦克风阵列到第一对象的向量，与第一麦克风阵列的法向量之间的夹角，该夹角可以被称为第一角度。在确定第一角度之后，可以基于预设高度和第一角度确定目标位置点，然后根据目标位置点确定第一对象与第一麦克风阵列的相对位置关系。这样，基于发声位置的预设高度，结合第一角度确定相对位置关系，可以简化相对位置关系的确定方式。

7、在一些可能的实施方式中，可以先根据预设高度和第一角度确定多个预测位置点。每个预测未知点的高度与预设高度相匹配，且每个预测位置点到第一麦克风阵列的连线，与第一麦克风阵列的法向量的夹角与预设角度匹配。接着，可以确定每个预测位置点相对第一麦克风阵列的距离，并将距离第一麦克风阵列最远的预测位置点确定为目标位置点。这样，将距离第一麦克风阵列最远的预测位置点确定为目标位置点，可以减少对第一音频信号的调整幅度，从而避免对第一音频信号过调整。

8、在一些可能的实施方式中，可以基于相机获取的深度信息确定目标位置点。具体地，可以通过第一相机获取第一深度信息，第一深度信息用于指示第一对象到第一相机的像平面的距离，即第一对象到第一相机的像平面的连线，在第一相机的焦轴上的投影长度。第一相机包括至少两个摄像头。在确定第一深度信息之后，可以根据第一深度信息、预设高度和第一角度确定两个位置点，然后通过左右判断确定目标位置点。

9、在一些可能的实施方式中，可以基于多个麦克风阵列采集的音频信号确定目标位置点。具体地，会议终端(或服务器)还可以获取第二麦克风阵列采集的第三音频信号，第三音频信号包括第二麦克风阵列对第一对象发出的声音进行采集得到的音频信号。接着，可以根据第三音频信号确定第二角度，第二角度为从第二麦克风阵列到第一对象的向量，与第二麦克风阵列的法向量之间的夹角。在确定目标位置点时，可以结合第一角度、第二角度和预设高度确定目标位置点。这样，基于两个麦克风阵列对第一对象进行定位，得到的目标位置点更加精确。

10、在一些可能的实施方式中，可能存在多个发声对象，那么可以结合多个麦克风阵列与深度信息，确定发声强度最高的发声对象的位置。那么第一音频信号还包括第一麦克风阵列对第二对象发出的声音采集得到的音频信号，第三音频信号还包括第二麦克风阵列对第二对象发出的声音采集得到的音频信号。假设第一对象发出的声音的强度高于第二对象发出的声音的强度，那么在确定目标位置点之前，可以先获取第二深度信息和第三深度信息。第二深度信息用于指示第一对象到第二相机的像平面的距离，第三深度信息用于指示第二对象到第二相机的像平面的距离。接着，可以结合第二深度信息和第三深度信息分贝确定第一对象可能的位置，与第二对象可能的位置。然后根据第一角度和第二角度，确定发声强度最高的声源的位置。即，可以结合第二深度信息、第三深度信息、第一角度、第二角度和预设高度，确定第一对象所发出的声音的强度高于第二对象所发出的声音的强度。这样，通过多个麦克风阵列和深度信息，可以从多个声源中确定发出声音的强度最高的声源。所述第二相机和上文的第一相机可以是相同的相机。

11、在一些可能的实施方式中，上述深度信息是基于至少两个摄像头采集的图像信息确定的。具体地，假设第二相机包括第一摄像头和第二摄像头。那么在确定第二深度信息时，首先可以获取第一摄像头采集的第一图像以及第二摄像头采集的第二图像。接着，可以分别对第一图像和第二图像进行发声状态识别，从而确定发出声音的第一对象和第二对象分别在第一图像和第二图像中的位置。接着，可以根据第一对象在第一图像中的位置、第一对象在第二图像中的位置，以及第一相机的双目距离确定第二深度信息。第一相机的双目距离为第一摄像头与第二摄像头的距离。这样，通过双目相机结合发声状态识别技术，可以确定声源的深度信息。

12、在一些可能的实施方式中，在确定第一对象和第一麦克风的相对位置关系之后，可以根据第一对象的位置和第一麦克风阵列的位置确定从第一对象指向第一麦克风阵列的第三向量。接着，可以根据第三向量与水平方向的夹角确定朝向对应关系所指示的角度关系。这样，在没有相机辅助的情况下，将第一对象视为正对第一麦克风阵列发生，考虑第一对象与第一麦克风阵列之间相对位置关系对第一对象发出的声音的朝向的影响。上述第三向量可以为前述第二向量。

13、在一些可能的实施方式中，可以基于图像识别确定朝向对应关系。具体地，可以吸纳获取第一对象的图像，然后对第一对象的图像进行识别，确定第一对象在图像所拍摄的场景中的朝向，得到第一对象的法向量。第一对象的法向量可以为前述第一向量。接着，可以第一麦克风阵列与第一对象的相对位置关系确定第二向量，从而确定第一向量与第二向量之间的夹角，得到朝向对应关系。

14、第二方面，本技术还提供了一种资源规划装置，包括：获取模块，用于获取第一音频信号，所述第一音频信号包括第一麦克风阵列对第一对象发出的声音进行采集得到的音频信号；朝向确定模块，用于确定朝向对应关系，所述朝向对应关系指示所述第一对象的朝向与所述第一麦克风阵列之间的角度关系；调整模块，用于根据所述朝向对应关系对所述第一音频信号进行调整，得到第二音频信号。

15、在一些可能的实施方式中，所述朝向对应关系用于指示从第一向量到第二向量的旋转角度，所述第一向量对应所述第一对象的朝向，所述第二向量对应从所述第一对象到所述第一麦克风阵列的方向。

16、在一些可能的实施方式中，所述朝向确定模块，具体用于对所述第一音频信号进行分析，确定所述第一麦克风阵列与所述第一对象的相对位置关系；根据所述第一麦克风阵列与所述第一对象的相对位置关系，确定所述朝向对应关系。

17、在一些可能的实施方式中，所述第一麦克风阵列包括多个麦克风阵元，所述第一音频信号包括所述多个麦克风阵元分别采集到的音频信号；所述朝向确定模块，具体用于对所述多个麦克风阵元分别采集到的音频信号之间的差异进行分析，确定所述第一麦克风阵列与所述第一对象的相对位置关系。

18、在一些可能的实施方式中，所述朝向确定模块，具体用于对所述多个麦克风阵元采集到的音频信号之间的差异进行分析，确定第一角度，所述第一角度为从所述第一麦克风阵列到所述第一对象的向量，与所述第一麦克风阵列的法向量之间的夹角；根据预设高度和所述第一角度确定目标位置点；根据所述目标位置点确定所述第一对象和所述第一麦克风阵列的相对位置关系。

19、在一些可能的实施方式中，所述朝向确定模块，具体用于根据所述预设高度和所述第一角度确定多个预测位置点，所述预测位置点的高度与所述预设高度匹配，从所述第一麦克风阵列到所述预测位置点的向量，与所述第一麦克风阵列的法向量的夹角与所述第一角度匹配；确定所述多个预测位置点中每个预测位置点与所述第一麦克风阵列的距离；将距离所述第一麦克风阵列最远的预测位置点确定为目标位置点。

20、在一些可能的实施方式中，所述朝向确定模块，具体用于通过第一相机获取第一深度信息，所述第一深度信息用于指示所述第一对象到所述第一相机的像平面的距离；根据所述第一深度信息、所述预设高度和所述第一角度确定目标位置点。

21、在一些可能的实施方式中，所述获取模块，还用于获取第三音频信号，所述第三音频信号包括第二麦克风阵列对所述第一对象发出的声音进行采集得到的音频信号；所述朝向确定模块，还用于根据所述第三音频信号确定第二角度，所述第二角度为所述第二麦克风阵列到所述第一对象的向量与所述第二麦克风阵列的法向量之间的夹角；根据所述预设高度、所述第一角度和所述第二角度确定所述目标位置点。

22、在一些可能的实施方式中，所述第一音频信号还包括第一麦克风阵列对第二对象发出的声音进行采集得到的音频信号，所述第三音频信号还包括第二麦克风阵列对第二对象发出的声音进行采集得到的音频信号，所述第一对象所发出的声音的强度高于所述第二对象所发出的声音的强度；

23、所述获取模块，还用于获取第二深度信息和第三深度信息，所述第二深度信息用于指示所述第一对象到第二相机的像平面的距离，所述第三深度信息用于指示所述第二对象到所述第二相机的像平面的距离；所述朝向确定模块，还用于根据所述第二深度信息、第三深度信息、所述预设高度、所述第一角度和所述第二角度确定所述第一对象所发出的声音的强度高于所述第二对象所发出的声音的强度。

24、在一些可能的实施方式中，所述第二相机包括第一摄像头和第二摄像头，所述获取模块，具体用于获取所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像，所述第一图像和所述第二图像均包括至少两个对象的图像；所述朝向确定模块，具体用于对所述第一图像和所述第二图像分别进行发声状态识别，确定所述第一对象在所述第一图像和所述第二图像中的位置，所述第一对象处于发声状态；根据确定所述第一对象分别在所述第一图像和所述第二图像中的位置，以及所述第一摄像机和所述第二摄像机的相对位置，确定所述第二深度信息。

25、在一些可能的实施方式中，所述朝向确定模块，还用于确定根据所述第一麦克风阵列的位置与所述第一对象的位置确定第三向量，所述第三向量为从所述第一对象指向所述第一麦克风阵列的向量；根据所述第一向量与水平方向的夹角，确定所述第一麦克风阵列与所述第一对象之间的朝向对应关系。

26、在一些可能的实施方式中，所述获取模块，还用于获取第一对象的图像；所述朝向确定模块，还用于对所述第一对象的图像进行识别，确定所述第一对象的法向量，所述第一对象的法向量用于指示所述第一对象的朝向；根据所述第一对象的法向量、所述第一麦克风阵列的法向量和所述第一麦克风阵列与所述第一对象的相对位置关系，确定所述朝向对应关系。

27、第三方面，本技术提供一种计算设备集群，所述计算设备包括至少一个计算设备，所述至少一个计算设备包括至少一个处理器和至少一个存储器；所述至少一个存储器用于存储指令，所述至少一个处理器执行所述至少一个存储器存储的该指令，以使所述计算设备集群执行上述第一方面或第一方面任一种可能实现方式中的资源规划方法。需要说明的是，该存储器可以集成于处理器中，也可以是独立于处理器之外。所述至少一个计算设备还可以包括总线。其中，处理器通过总线连接存储器。其中，存储器可以包括可读存储器以及随机存取存储器。

28、第四方面，本技术提供一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令，所述处理器用于运行所述指令，以使得所述设备执行上述第一方面或第一方面的任一种实现方式所述的方法。

29、第五方面，本技术提供一种系统，所述系统包括第一麦克风阵列和第一设备，所述第一麦克风阵列用于采集音频信号，所述第一设备存储器和处理器，所述存储器用于存储指令，所述处理器用于运行所述指令，以使得所述第一设备执行上述第一方面或第一方面的任一种实现方式所述的方法。

30、在一些可能的实施方式中，所述系统还包括图像采集设备，所述图像采集设备可以是单目相机或双目相机。可选地，所述系统还可以包括第二麦克风阵列。

31、第六方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在至少一个计算设备上运行时，使得所述至少一个计算设备执行上述第一方面或第一方面的任一种实现方式所述的方法。

32、第七方面，本技术提供了一种包含指令的计算机程序产品，当其在至少一个计算设备上运行时，使得所述至少一个计算设备执行上述第一方面或第一方面的任一种实现方式所述的方法。

33、本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。