混音方法、装置、计算机设备以及混音处理系统与流程

本申请涉及计算机，特别是涉及一种混音方法、装置、计算机设备以及混音处理系统。

背景技术：

1、随着网络技术的发展，基于网络技术的音视频技术也得到了不断的发展，例如对于远程会议的产品，就需要借助音视频技术，来实现跨区域召开会议的目的。而在在会议进行的过程中通常情况下会有多路音频流通过软件应用或者硬件终端通过网络传输上行到媒体服务器进行处理。

2、目前，对于基于网络的混音处理，一般在远程终端与媒体服务器之间维护一个长链接，所有远程终端通过该长链接实时上传的音频数据流到媒体服务器，媒体服务器实时计算各个终端的音频数据流能量，然后取能量较高的几路音频数据流进行混音计算处理，最终的混音结果再同步给各个会议终端。然而这种混音方法下，需要将全量的音频数据都直接通过网络传输给到媒体服务器端，混音占用的媒体服务器网卡带宽较高，从而影响媒体服务器其他媒体数据传输质量。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够保证媒体数据传输质量的混音方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本申请提供了一种混音方法。所述方法包括：

3、获取多音频汇合场景下的多个音频数据流；

4、按照所述音频数据流所携带的场景标识，将所述场景标识相同的音频数据流导入至同一缓冲队列；

5、确定每一缓冲队列中每个音频数据流的音频能量，所述音频能量用于表征所述音频数据流的脉冲编码调制总幅值；

6、从每一所述缓冲队列中，筛选出所述音频能量满足能量筛选条件的目标音频数据流；

7、对所述场景标识相同的目标音频数据流进行混音处理，得到所述多音频汇合场景的输出音频。

8、第二方面，本申请还提供了一种混音装置。所述装置包括：

9、音频数据获取模块，用于获取多音频汇合场景下的多个音频数据流；

10、音频数据导入模块，用于按照所述音频数据流所携带的场景标识，将所述场景标识相同的音频数据流导入至同一缓冲队列；

11、音频能量识别模块，用于确定每一缓冲队列中每个音频数据流的音频能量，所述音频能量用于表征所述音频数据流的脉冲编码调制总幅值；

12、目标音频数据识别模块，用于从每一所述缓冲队列中，筛选出所述音频能量满足能量筛选条件的目标音频数据流；

13、混音处理模块，用于对所述场景标识相同的目标音频数据流进行混音处理，得到所述多音频汇合场景的输出音频。

14、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

15、获取多音频汇合场景下的多个音频数据流；

16、按照所述音频数据流所携带的场景标识，将所述场景标识相同的音频数据流导入至同一缓冲队列；

17、确定每一缓冲队列中每个音频数据流的音频能量，所述音频能量用于表征所述音频数据流的脉冲编码调制总幅值；

18、从每一所述缓冲队列中，筛选出所述音频能量满足能量筛选条件的目标音频数据流；

19、对所述场景标识相同的目标音频数据流进行混音处理，得到所述多音频汇合场景的输出音频。

20、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

21、获取多音频汇合场景下的多个音频数据流；

22、按照所述音频数据流所携带的场景标识，将所述场景标识相同的音频数据流导入至同一缓冲队列；

23、确定每一缓冲队列中每个音频数据流的音频能量，所述音频能量用于表征所述音频数据流的脉冲编码调制总幅值；

24、从每一所述缓冲队列中，筛选出所述音频能量满足能量筛选条件的目标音频数据流；

25、对所述场景标识相同的目标音频数据流进行混音处理，得到所述多音频汇合场景的输出音频。

26、第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

27、获取多音频汇合场景下的多个音频数据流；

28、按照所述音频数据流所携带的场景标识，将所述场景标识相同的音频数据流导入至同一缓冲队列；

29、确定每一缓冲队列中每个音频数据流的音频能量，所述音频能量用于表征所述音频数据流的脉冲编码调制总幅值；

30、从每一所述缓冲队列中，筛选出所述音频能量满足能量筛选条件的目标音频数据流；

31、对所述场景标识相同的目标音频数据流进行混音处理，得到所述多音频汇合场景的输出音频。

32、上述混音方法、装置、计算机设备、存储介质和计算机程序产品，通过在获取多音频汇合场景下的多个音频数据流后；先按照所述音频数据流所携带的场景标识，将所述场景标识相同的音频数据流导入至同一缓冲队列，从而根据音频数据流所属的场景对其进行分类；再确定各个缓冲队列中每个音频数据流所对应的音频能量；而后通过音频能量可以从每一所述缓冲队列的多个音频数据流提取出音频能量满足能量筛选条件，需要进行混音的目标音频数据流，保证混音处理的有效性，再通过对所述场景标识相同的目标音频数据流进行混音处理，来得到所述多音频汇合场景的输出音频，从而可以有效减少混音过程中音频数据的参与量，从而保证媒体数据传输质量。

33、第六方面，本申请还提供了一种混音处理系统，所述系统包括多个音频采集器，多个音频过滤器和混音处理器；

34、所述音频采集器用于采集的多音频汇合场景下的多个音频数据流，并将所述的多个音频数据流发送至音频过滤器；

35、所述音频过滤器用于按照所述音频数据流所携带的场景标识，将所述场景标识相同的音频数据流导入至同一缓冲队列，确定每一缓冲队列中每个音频数据流的音频能量，所述音频能量用于表征所述音频数据流的脉冲编码调制总幅值，再从每一所述缓冲队列中，筛选出所述音频能量满足能量筛选条件的目标音频数据流，并将得到的目标音频数据流发送至混音处理器；

36、所述混音处理器，用于对所述场景标识相同的目标音频数据流进行混音处理，得到所述多音频汇合场景的输出音频。

37、上述混音处理系统，先通过音频采集器采集多音频汇合场景下的多个音频数据流，而后通过音频过滤器来按照音频数据流所携带的场景标识，将场景标识相同的音频数据流导入至同一缓冲队列，从而根据音频数据流所属的场景对其进行分类；再确定各个缓冲队列中每个音频数据流所对应的音频能量；而后通过音频能量可以从每一缓冲队列的多个音频数据流提取出音频能量满足能量筛选条件，需要进行混音的目标音频数据流，保证混音处理的有效性，再通过混音处理器来对场景标识相同的目标音频数据流进行混音处理，来得到多音频汇合场景的输出音频，从而可以有效减少混音过程中音频数据的参与量，从而保证媒体数据传输质量。

技术特征：

1.一种混音方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定每一缓冲队列中每个音频数据流的音频能量包括：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述从与所述能量数据存储队列对应的缓冲队列中，筛选出所述音频能量满足能量筛选条件的目标音频数据流包括：

5.根据权利要求3所述的方法，其特征在于，所述将所述缓冲队列中每个音频数据流进行数据对齐处理，得到音频数据对齐结果包括：

6.根据权利要求1所述的方法，其特征在于，所述场景标识包括网络会议标识，所述按照所述音频数据流所携带的场景标识，将所述场景标识相同的音频数据流导入至同一缓冲队列包括：

7.根据权利要求1-6中任意一项所述的方法，其特征在于，所述获取多音频汇合场景下的多个音频数据流，包括：

8.根据权利要求7所述的方法，其特征在于，所述对每一所述数据处理进程各自筛选出的所述目标音频数据流进行混音处理，得到所述多音频汇合场景的输出音频包括：

9.一种混音处理系统，其特征在于，所述系统包括多个音频采集器，多个音频过滤器和混音处理器；

10.一种混音装置，其特征在于，所述装置包括：

11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

技术总结
本申请涉及一种混音方法、装置、计算机设备、存储介质和计算机程序产品以及一种混音处理系统。方法获取多音频汇合场景下的多个音频数据流；按照音频数据流所携带的场景标识，将场景标识相同的音频数据流导入至同一缓冲队列；确定每一缓冲队列中每个音频数据流的音频能量，音频能量用于表征音频数据流的脉冲编码调制总幅值；从每一缓冲队列中，筛选出音频能量满足能量筛选条件的目标音频数据流；对场景标识相同的目标音频数据流进行混音处理，得到多音频汇合场景的输出音频，从而可以有效减少混音过程中音频数据的参与量，从而保证媒体数据传输质量。

技术研发人员：王自昊
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/16