一种混音方法、混音设备及系统的制作方法_2

文档序号:9924000阅读:来源:国知局
为多个时,才对相应多个源节点的至少语音数据部分进行混音处理。
[0049]由于混音设备仅会在当前为多人发言时,对相应多个源节点的至少语音数据部分进行混音处理,在当前为单人发言时,是直接传输相应源节点的至少语音数据部分,而不再进行混音,因此本发明实施例减小了单人发言时的数据处理量。可以看出,本发明实施例中混音设备的数据处理量可大幅减小,混音设备的cpu负载可大幅降低。
[0050]下面以混音设备的角度,对本发明实施例提供的混音方法进行介绍,下文描述的混音方法可与上文描述内容相互对应参照。
[0051]图2为本发明实施例提供的混音方法的流程图,该方法可应用于混音设备,该混音设备可以为服务器或多个源节点中选取的一源节点;参照图2,本发明实施例提供的混音方法可以包括:
[0052]步骤S100、接收至少两个源节点发送的音频信号;
[0053]步骤S110、分别对各源节点发送的音频信号进行检测,确定音频信号中携带语音数据的源节点数量;
[0054]可选的,本发明实施例可采用语音检测技术,对各源节点发送的音频信号进行语音检测,进而确定音频信号中携带语音数据的源节点数量;
[0055]可选的,语音检测方式可以采用vad等算法实现,如本发明实施例可采用vad算法,分别对各源节点发送的音频信号进行语音检测;具体的,在一个检测周期内,本发明实施例对于各源节点发送的设定帧的音频信号,可以解码所述设定帧的音频信号,以vad算法检测解码后的所述设定帧的音频信号(即以vad算法对解码后的设定帧的音频信号相应的线性音频进行语音检测),实现音频信号中语音数据的检测;
[0056]对应的,一方面,本发明实施例可通过分别对各源节点发送的音频信号进行语音检测,确定携带语音数据的音频信号数量,来确定音频信号中携带语音数据的源节点数量;
[0057]另一方面,本发明实施例可分别对各源节点发送的音频信号进行语音检测,并对检测到的所有语音数据进行语音特征识别处理,当识别到所有语音数据的语音特征不同,则确定音频信号中携带语音数据的源节点数量为多个,当识别到所有语音数据的语音特征相同,则确定音频信号中携带语音数据的源节点数量为一个;
[0058]可以理解的是,语音特征为区别不同用户语音的依据,相同的语音特征对应同一用户的语音;如果对各音频信号进行语音检测,检测到语音数据,且识别到的各语音数据的语音特征相同,则说明当前发言的用户为同一人,即携带语音数据的源节点数量为一个;如识别到的各语音数据的语音特征不同,如包括了男人和女人的声音,则认为当前发言的用户为多人,即携带语音数据的源节点数量为多个;
[0059]可选的,具有语音数据的音频信号中可携带语音标识(语音标识可设置于音频信号的设定位置,如语音标识可设置于音频信号数据包的包头,以便语音标识的检测),所述语音标识表示对应源节点发送的音频信号中携带有语音数据;语音标识可以是源节点采集到音频并识别到采集的音频中具有语音后添加,然后再携带在音频信号中发送给混音设备;
[0060]则本发明实施例可分别对各源节点发送的音频信号进行语音标识检测,确定音频信号中携带语音数据的源节点数量,所述语音标识表示对应源节点发送的音频信号中携带有语音数据;从而以所确定携带语音标识的音频信号的数量,确定音频信号中携带语音数据的源节点数量。
[0061 ]步骤S120、当确定音频信号中携带语音数据的源节点数量为多个时,对相应多个源节点的至少语音数据部分进行混音处理;
[0062]可选的,音频信号中携带语音数据的源节点数量为多个可能是:携带语音数据的音频信号数量为多个,或,识别到的各语音数据的语音特征不同,或,携带语音标识的音频信号的数量为多个;
[0063]可选的,如果对音频信号进行语音标识检测确定携带语音数据的源节点数量,则源节点的至少语音数据部分可从具有语音标识的音频信号中解析;如果通过对音频信号进行语音检测,确定携带语音数据的源节点数量,则可在语音检测过程中记录检测到的语音数据,可在步骤S120中使用;
[0064]携带语音数据的源节点数量为多个,则本发明实施例进行混音处理。
[0065]步骤S130、当确定音频信号中携带语音数据的源节点数量为一个时,直接传输相应源节点的至少语音数据部分。
[0066]可选的,音频信号中携带语音数据的源节点数量为一个可能是:携带语音数据的音频信号数量为一个,或,识别到的各语音数据的语音特征相同,或,携带语音标识的音频信号的数量为一个;
[0067]携带语音数据的源节点数量为一个,则本发明实施例不进行混音处理,直接向需接收语音数据的目标节点,传输相应源节点的至少语音数据部分。
[0068]为便于理解,以一个多人通话场景中有4个源节点参与,且该4个源节点分为A、B、C和D为例;则A源节点、B源节点工源节点和D源节点均需将所采集的音频信号传输给混音设备;
[0069]混音设备对A源节点传输的音频信号进行检测,识别A源节点的音频信号中是否携带有语音数据(即A源节点的用户当前是正在发言还是未发言),同理,对B源节点、C源节点和D源节点传输的音频信号作类似处理,分别确认B源节点、C源节点和D源节点的音频信号中是否携带有语音数据;进而确认出当前音频信号中携带语音数据的源节点数量;
[0070]如果数量为一个,则直接传输相应源节点的至少语音数据部分给各目标节点,目标节点为需接收语音数据的节点;可以理解的是,客户端可在源节点和目标节点间切换,以携带语音数据的源节点数量为一个为例,则目标节点可以认为是除该携带语音数据的源节点外的其他源节点,即发言人不需听到自身的发言,只需将发言人的发言传输给其他用户;
[0071]如当前仅有A源节点的用户发言(S卩A源节点对应的用户当前正在发言,其他用户未发言),则本发明实施例可直接将A源节点的语音数据部分转发给B源节点、C源节点和D源节点;
[0072]如果携带语音数据的源节点数量为多个,则对于各目标节点,本发明实施例需将相应多个源节点的至少语音数据部分中除目标节点的语音数据进行混音,将混音后的语音数据传输给目标节点;
[0073]如当前A、B和C源节点为携带语音数据的源节点,则对于目标节点为A的情况(A需收听语音),本发明实施例需将B、C源节点的语音数据混音后传输给A,对于B和C为目标节点的情况类似,而对于D为目标节点的情况,本发明实施例需将A、B和C源节点的语音数据混音后传输给D。
[0074]本发明实施例提供的混音方法包括:接收至少两个源节点发送的音频信号;分别对各源节点发送的音频信号进行检测,确定音频信号中携带语音数据的源节点数量;当确定音频信号中携带语音数据的源节点数量为多个时,对相应多个源节点的至少语音数据部分进行混音处理;当确定音频信号中携带语音数据的源节点数量为一个时,直接传输相应源节点的至少语音数据部分。由于本发明实施例仅会在携带语音数据的源节点数量为多个时,才对相应多个源节点的至少语音数据部分进行混音处理,同时,在当前携带语音数据的源节点数量为一个时,本发明实施例可直接传输相应源节点的至少语音数据部分,而不再进行混音,因此减小了单人发言时,现有技术仍采用混音形式处理语音所带来的数据处理量。可以看出,本发明实施例提供的混音方法能够大幅减小数据处理量,且能够大幅降低cpu负载。
[0075]可选的,如果当前没有携带语音数据的源节点,则本发明实施例不进行混音,也不进行语音的传输。
[0076]可选的,若以语音检测方式确定音频信号中携带语音数据的源节点数量,则图1所示混音方法的流程可以具体为:
[0077]接收至少两个源节点发送的音频信号;
[0078]分别对各源节点发送的音频信号进行语音检测,确定音频信号中携带语音数据的源节点数量;
[0079]当确定音频信号中携带语音数据的源节点数量为多个时,对相应多个源节点的至少语音数据部分进行混音处理;
[0080]当确定音频信号中携带语音数据的源节点数量为一个时,直接传输相应源节点的至少语音数据部分。
[0081]可选的,分别对各源节点发送的音频信号进行语音检测,确定音频信号中携带语音数据的源节点数量包括:
[0082]分别对各源节点发送的音频信号进行语音检测,确定携带语音数据的音频信号数量,以所确定的携带语音数据的音频信号数量,确定音频信号中携带语音数据的源节点数量;
[0083]或,分别对各源节点发送的音频信号进行语音检测,并对检测到的所有语音数据进行语音特征识别处理,当识别到所有语音数据的语音特征不同,则确定音频信号中携带语音数据的源节点数量为多个,当识别到所有语音数据的语音特征相同,则确定音频信号中携带语音数据的源节点数量为一个。
[0084]可选的,若以音频信号中的语音标识,确定音频信号中携带语音数据的源节点数量,则图1所示混音方法的流程可以具体为:
[0085]接收至少两个源节点发送的音频信号;
[0086]分别对各源节点发送的音频信号进行语音标识检测,确定音频信号中携带语音数据的源节点数量,所述语音标识表示对应源节点发送的音频信号中携带有语音数据;
[0087]当确
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1