一种混音方法、混音设备及系统的制作方法
【技术领域】
[0001]本发明涉及音频技术领域，具体涉及一种混音方法、混音设备及系统。
【背景技术】
[0002]混音是指多人通话场景下，将多人的音频混合成一个混音信号的过程，混音主要应用在语音会议，在线多人聊天等场景中。
[0003]目前的混音方式主要是采用混音设备和客户端实现，混音设备可接收各客户端发送的音频;且针对各个作为接收方的客户端，混音设备分别执行如下过程:将所接收的音频中除接收方的音频进行混合处理，整合成一个混音信号，再将该混音信号发送给接收方的客户端。如在一有N个客户端参与的多人通话场景下，该N个客户端均会向混音设备发送音频，对于该N个客户端中作为接收方的客户端，混音设备会将所接收的N个客户端发送的音频中除该接收方的音频进行混合处理，并向该接收方发送混合处理后的混音信号;针对每个接收方均作此处理，则可实现多人通话场景下，各接收方的客户端对相应混音结果的接收。
[0004]可以看出，目前的混音方式中，混音设备所进行的混音是基于所有客户端发送的音频中除接收方的音频实现，这涉及大量的需处理数据，导致混音设备的数据处理量较大，混音设备的cpu(中央处理器)负载较高。
【发明内容】
[0005]有鉴于此，本发明实施例提供一种混音方法、混音设备及系统，以减小混音设备的数据处理量，降低混音设备的cpu负载。
[0006]为实现上述目的，本发明实施例提供如下技术方案:
[0007]—种混音方法，包括:
[0008]接收至少两个源节点发送的音频信号；
[0009]分别对各源节点发送的音频信号进行检测，确定音频信号中携带语音数据的源节点数量；
[0010]当确定音频信号中携带语音数据的源节点数量为多个时，对相应多个源节点的至少语音数据部分进行混音处理；
[0011]当确定音频信号中携带语音数据的源节点数量为一个时，直接传输相应源节点的至少语音数据部分。
[0012]本发明实施例还提供一种混音设备，包括:
[0013]音频信号接收模块，用于接收至少两个源节点发送的音频信号；
[0014]检测模块，用于分别对各源节点发送的音频信号进行检测，确定音频信号中携带语音数据的源节点数量；
[0015]第一处理模块，用于当确定音频信号中携带语音数据的源节点数量为多个时，对相应多个源节点的至少语音数据部分进行混音处理；
[0016]第二处理模块，用于当确定音频信号中携带语音数据的源节点数量为一个时，直接传输相应源节点的至少语音数据部分。
[0017]本发明实施例还提供一种混音系统，包括:
[0018]混音设备，用于接收至少两个源节点发送的音频信号；分别对各源节点发送的音频信号进行检测，确定音频信号中携带语音数据的源节点数量；当确定音频信号中携带语音数据的源节点数量为多个时，对相应多个源节点的至少语音数据部分进行混音处理；当确定音频信号中携带语音数据的源节点数量为一个时，直接传输相应源节点的至少语音数据部分；
[0019]源节点，用于向所述混音设备发送音频信号。
[0020]基于上述技术方案，本发明实施例提供的混音方法包括:接收至少两个源节点发送的音频信号;分别对各源节点发送的音频信号进行检测，确定音频信号中携带语音数据的源节点数量；当确定音频信号中携带语音数据的源节点数量为多个时，对相应多个源节点的至少语音数据部分进行混音处理；当确定音频信号中携带语音数据的源节点数量为一个时，直接传输相应源节点的至少语音数据部分。由于本发明实施例仅会在携带语音数据的源节点数量为多个时，才对相应多个源节点的至少语音数据部分进行混音处理，同时，在当前携带语音数据的源节点数量为一个时，本发明实施例可直接传输相应源节点的至少语音数据部分，而不再进行混音，因此减小了单人发言时，现有技术仍采用混音形式处理语音所带来的数据处理量。可以看出，本发明实施例提供的混音方法能够大幅减小数据处理量，且能够大幅降低cpu负载。
【附图说明】
[0021]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0022]图1为本发明实施例提供的混音系统的结构框图；
[0023]图2为本发明实施例提供的混音方法的流程图；
[0024]图3为本发明实施例提供的混音方法的另一流程图；
[0025]图4为本发明实施例提供的混音方法的再一流程图；
[0026]图5为本发明实施例提供的混音设备的结构框图；
[0027]图6为本发明实施例提供的检测模块的结构框图；
[0028]图7为本发明实施例提供的检测模块的另一结构框图；
[0029]图8为本发明实施例提供的混音设备的另一结构框图；
[0030]图9为本发明实施例提供的检测模块的再一结构框图；
[0031 ]图10为本发明实施例提供的第一处理模块的结构框图；
[0032]图11为本发明实施例提供的第二处理模块的结构框图；
[0033]图12为本发明实施例提供的混音设备的硬件结构框图。
【具体实施方式】
[0034]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035]图1为本发明实施例提供的混音系统的结构框图，本发明实施例提供的混音方法可基于图1所示混音系统实现，参照图1，本发明实施例提供的混音系统可以包括:源节点10，混音设备20;
[0036]源节点10为音频的采集源，可以对应具有语音输入、输出能力的终端设备，可以是应用在语音会议、在线聊天场景中的用户终端；
[0037]混音设备20为本发明实施例用于进行混音的设备，混音设备可以是服务器，也可以是多个源节点10中的一个；
[0038]如果混音设备采用服务器，则在进行混音前，服务器可采用握手协议等方式，将服务器的通信地址(如IP地址)通知给各源节点，使得在混音过程中，各源节点可将自身采集的音频信号发送给该服务器；
[0039]如果混音设备采用源节点，则本发明实施例可在进行混音前，检测各源节点的数据处理能力，网络传输能力，以及与其他源节点之间的时延，从所有的源节点中选择数据处理能力，网络传输能力，及所述时延符合要求的源节点作为混音设备;被选择的源节点可通过握手协议等方式将其通信地址(如IP地址)通知给其他的源节点，以便在混音过程中，该被选择的源节点可接收到其他源节点发送的音频信号。
[0040]基于图1所示混音系统，本发明实施例进行混音的过程可以如下:
[0041]混音设备接收至少两个源节点发送的音频信号；可选的，音频信号可能由语音数据(对应所采集的用户声音)，背景音数据(对应所采集的环境噪音)等构成，即音频信号应由语音数据和背景音数据中的至少一种构成;各源节点可采集对应用户的语音，和/或，用户所在环境的背景音，并编码成音频信号传输给混音设备；
[0042]混音设备分别检测各源节点发送的音频信号，确定音频信号中携带语音数据的源节点数量；
[0043]音频信号中携带语音数据，则表示发送该音频信号的源节点对应的用户当前正发言;音频信号中未携带语音数据，则表示发送该音频信号的源节点对应的用户当前未发言；
[0044]可选的，混音设备可解码各源节点发送的音频信号，对于解码后的各音频信号，混音设备可采用vad(语音活动检测)等算法检测解码后的各音频信号，确定出各音频信号是否携带有语音数据，进而确定音频信号中携带语音数据的源节点数量；
[0045]可选的，音频信号中也可携带有表示音频信号具有语音数据的语音标识，本发明实施例可分别对各源节点发送的音频信号进行语音标识检测，基于所识别到具有语音标识的音频信号数量，确定音频信号中携带语音数据的源节点数量。
[0046]当音频信号中携带语音数据的源节点数量为一个时，本发明数量可直接传输相应源节点的至少语音数据部分；
[0047]当音频信号中携带语音数据的源节点数量为多个时，本发明实施例可对相应多个源节点的至少语音数据部分进行混音处理后再传输。
[0048]由于多人通话场景下，大部分时间都是处于单人发言，其他人收听的状态，所以实际上多人同时发言的场景所占的时间比例在多人通话场景中是较低的，因此多人通话场景大部分情况下是不需要做多人混音的，即在单人发言时，仅需把发言人的声音发送给其他收听者即可。正是基于此种情况，本发明实施例中混音设备可基于所接收的各源节点发送的音频信号，识别音频信号中携带语音数据的源节点数量，并在一个时不进行混音，直接传输相应源节点的至少语音数据部分;混音设备仅在音频信号中携带语音数据的源节点数量