一种基于声音评价的会议舒适噪音混音系统及其方法与流程

本发明涉及计算机信息处理技术领域，具体涉及一种基于声音评价的会议舒适噪音混音系统及其方法。

背景技术：

随着音频终端技术快速发展，出现不同音频终端对噪声抑制效果千差万别。音频会议应用中出现两种差体验。一：所有的音频终端的无人说话时，与会的音频终端完全听不任何声音，怀疑会议已经断线，当会议中音频终端开始说话，其他的与会音频终端突兀听到突然响起声音，严重影响体验。二:有个别音频终端的噪音特别大，其他与会音频终端始终在会场听到该噪音，严重影响会议品质。这里需要一种对噪音自适应的音频混音技术，控制音频会议的会场噪音，让其噪音始终达到比较舒适状态。

技术实现要素：

本发明的目的是提供一种基于声音评价的会议舒适噪音混音系统及其方法，适配各种音频终端的各种场景的噪音，让音频会议的噪音始终处于一种舒适状态。

为实现上述目的，本发明提供如下技术方案：

一种基于声音评价的会议舒适噪音混音系统，包括音频输入模块，音频输出模块，噪音分类模块，声音衰减模块，噪音截断模块，噪音控制模块，混音模块，白噪声产生模块，声音检测模块，以及多个音频终端；

所述音频终端：是能够进行双向语音采集、播放、传输的设备；如手机，电话机，会议终端机等；音频终端的语音发送到音频输入模块，音频终端的语音从音频输出模块接收；

所述音频输入模块是用于接收来自网络、音频线等的语音模块；音频输入模块接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块与声音检测模块；

所述音频输出模块是用于把语音输出到网络、音频线等的模块；音频输出模块接收来自混音模块的语音的音频数据；音频输出模块并把语音输出到音频终端；

所述噪音分类模块是用于检测输入音频流的噪音进行分类的模块；噪音分类模块把输入音频流噪音的评价分为四类：可衰减降噪，噪音过大，噪音正常，噪音偏小；噪音分类模块接收音频输入模块发来输入音频流；噪音分类模块接收声音检测模块的是否有语音的检测结果，以及音频流无语音的声音能量值(即为噪音能量值)与有语音的声音能量值(即为语音能量值)，以及语音能量值与噪音能量值的除数(即为音频信噪比)；根据音频信噪比与语音能量值进行评价分为四类音频；噪音分类模块把可衰减降噪的音频输出到声音衰减模块进行衰减降噪，声音衰减模块音频衰减音频流返回给噪音分类模块，噪音分类模块进行重新音频分类；噪音分类模块把噪音过大的音频流输出给噪音截断模块；噪音分类模块把正常噪音与无噪音的音频流输出给噪音控制模块；

所述声音衰减模块用于对语音的音频数据进行衰减处理，以达到减低噪音效果；声音衰减模块接收噪音分类模块的音频流，衰减后把音频流重新发给噪音分类模块；

所述噪音截断模块用于处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块接收噪音分类模块的音频流，噪音截断模块接收声音检测模块的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块；噪音截断模块把有语音的音频流输出给噪音控制模块；

所述噪音控制模块：通过计算噪音能量控制参与混音，让所有与会的音频终端的听到噪音舒适的模块；

所述噪音控制模块用于接收来自噪音分类模块与噪音截断模块的音频流；噪音控制模块接收声音检测模块的是否有语音的检测结果，没有语音的根据噪音能量值确定是否参与混音；噪音控制模块把需要需要混音的音频流输出到混音模块；

所述混音模块是分别为所有与会音频终端混合的听到声音的模块；混音模块接收噪音控制模块与白噪声产生模块的音频流进行混音；混音模块把混音后的音频流发送给音频输出模块；

所述白噪声产生模块是用于产生的整个频域内均匀分布的噪声音频流的模块；白噪声产生模块接收噪音控制模块的控制消息，产生符合噪音能量值的音频流；白噪声产生模块把白噪音的音频流输出到混音模块；

所述声音检测模块是使用声音跳变限位自适应检测方法(结合声音能量值检测法与声音跳变自适应检测法方法)检测音频流是噪音还是语音的模块；声音检测模块接收来自的音频输入模块的音频流；声音检测模块把语音的检测结果分别输出到噪音分类模块、噪音截断模块和噪音控制模块。

本发明还提供一种基于声音评价的会议舒适噪音混音方法，包括如下步骤：

步骤(1)、音频输入模块接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块和声音检测模块；

步骤(2)、声音检测模块使用声音跳变限位自适应检测方法(结合声音能量值检测法与声音跳变自适应检测法方法)来确定音频流是噪音还是语音；如果只按声音能量值检测法容易把比较大噪音当成语音；声音能量值为一段时间的声音的数据绝对值的平均值，如30毫秒的音频数据绝对值的平均值；而声音跳变自适应检测法，使用声音能量值的迭代均值，判断声音能量值忽然提高判断是否为语音，虽然有效检测较大噪音中的语音，但容易把音乐这类声音能量值比较均衡的声音误判为噪音；声音跳变限位自适应检测方法是结合声音能量值检测法与声音跳变自适应检测法，解决较大噪音与均衡声音的误判问题；

声音跳变限位自适应检测方法设置一个能量值检测值区间(t1～t2)，初始能量值检测阀值为t，t在t1～t2区间内；能量值检测值调整策略，使用初始能量值检测阀值t检测到无语音，当按照t(n)＝(t(n－1)+噪音能量值×2)÷2公式计算新能量检测阀值，使用公式较快获取噪音下限，如果t(n)小于能量值检测值区间下限t1，则t(n)取值t1，如t(n)大于能量值检测值区间上限t2，则t(n)取值t2；使用初始能量值检测阀值t检测到有语音，语音持续时间超过预设时间(人声音在两个字间有能力值低谷，所以预设时间不要过大，如10秒)，有可能把噪音(即无人说法、只有背景为噪音)误识别为语音(有人说话)，需要增大阀值，按照t(n)＝(t(n－1)+语音能量值)÷2公式计算增大能量检测阀值；

步骤(3)、噪音分类模块把音频流的噪音进行评价分类

(3.1)、噪音分类模块接收音频输入模块发来输入音频流；

(3.2)、噪音分类模块接收声音检测模块的是否有语音的检测结果，输入音频流无语音的声音能量值(即为噪音能量值)与有语音的声音能量值(即为语音能量值)，以及语音能量值与噪音能量值的除数(即为音频信噪比)；

(3.3)、噪音分类模块判断噪音能量值大于噪音阈值tz，判断语音能量值是否大于语音阈值tv，语音能量值小于则判断此音频为噪音过大类型，如果语音能量值大则认为可衰减降噪类型；

(3.5)、噪音分类模块把可衰减降噪的音频输出到声音衰减模块进行衰减降噪，声音衰减模块把声音按照语音阈值tv除以语音能量值的比例进行衰减，声音衰减模块音频衰减音频流返回给噪音分类模块；

(3.6)、噪音分类模块把噪音过大的音频流输出给噪音截断模块；

(3.7)、噪音分类模块判断噪音能量值小于噪音阈值tz时，再与静音闸值tj判断，噪音能量值大于静音闸值tj，则认为噪音正常类型，噪音能量值小于静音闸值tj则认为噪音偏小类型；

(3.8)、噪音分类模块把正常噪音与无噪音的音频流输出给噪音控制模块；

步骤(4)、噪音截断模块处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块接收噪音分类模块的音频流，噪音截断模块接收声音检测模块的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块；噪音截断模块把有语音的音频流输出给噪音控制模块；

步骤(5)、噪音控制模块通过计算噪音能量控制参与混音，让所有与会的音频终端的听到噪音舒适的方法；

(5.1)、噪音控制模块接收来自噪音分类模块与噪音截断模块的音频流；

(5.2)、噪音控制模块接收声音检测模块的是否有语音的检测结果；并累加各个音频流的有语音的时长；

(5.3)、噪音控制模块在会议中所有的音频流都没有语音，则开始计算会议噪音值，会议无语音时噪音控制噪音下限n1以上，选择正常噪音的音频流噪音能量值进行累加，累加值超过噪音区间下限n1停止累加，参与累加的音频流进行下一步混音，优先选择有语音的时间长的音频流进行累加，会议有语音时背景噪音与无语音的噪音的一致性更强；当噪音累加值达不到下限n1时，控制白噪声产生模块产生白噪音进行补偿，白噪音的噪音能量值为n1－累加值；

(5.4)、白噪声产生模块产生的整个频域内均匀分布的噪声音频流；白噪声产生模块接收噪音控制模块的控制消息，产生符合n1－累加值噪音能量值的音频流；白噪声产生模块把白噪音的音频流输出到混音模块；

(5.5)、噪音控制模块在会议中所有的音频流有语音时，则所有有语音的音频流参与下一步混音；

(5.6)、噪音控制模块把需要需要混音的音频流输出到混音模块；

步骤(6)、混音模块分别为所有与会音频终端混合的听到声音；混音模块接收噪音控制模块与白噪声产生模块的音频流进行混音；混音模块对参与音频流的音频流的每采样pcm数据进行累加，计算混音后的声音能力值，如大于声音闸值th，则混音后进行按每采样pcm数据衰减幅度为声音闸值th除以声音能力值的比值；混音模块把混音后的音频流发送给音频输出模块；

步骤(7)、音频输出模块把混音的音频流复制分发给各个音频终端。

与现有技术相比，本发明的有益效果是：

采用本发明的技术方案，能够适配各种音频终端的各种场景的噪音，更加准确识别出噪音与语音，避免出现死静的音频会议，避免单的终端噪音过大以及多个终端噪音叠加影响会议质量，同时调节会议噪音值让音频会议的噪音始终处于一种比较舒适状态。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中一种基于声音评价的会议舒适噪音混音系统的功能结构框图；

附图数字标注：音频输入模块(1)，音频输出模块(2)，噪音分类模块(3)，声音衰减模块(4)，噪音截断模块(5)，噪音控制模块(6)，混音模块(7)，白噪声产生模块(8)，声音检测模块(9)。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示：本发明提供一种基于声音评价的会议舒适噪音混音系统的具体实施例，包括音频输入模块(1)，音频输出模块(2)，噪音分类模块(3)，声音衰减模块(4)，噪音截断模块(5)，噪音控制模块(6)，混音模块(7)，白噪声产生模块(8)，声音检测模块(9)，音频终端；

所述音频终端：是能够进行双向语音采集、播放、传输的设备；如手机，电话机，会议终端机等；音频终端的语音发送到音频输入模块(1)，音频终端的语音从音频输出模块(2)接收；

所述音频输入模块(1)是用于接收来自网络、音频线等语音模块；音频输入模块(1)接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块(3)与声音检测模块(9)；

所述音频输出模块(2)是用于把语音输出到网络、音频线等的模块；音频输出模块(2)接收来自混音模块(7)的语音的音频数据；音频输出模块(2)并把语音输出到音频终端；

所述噪音分类模块(3)是用于检测输入音频流的噪音进行分类的模块；噪音分类模块(3)把输入音频流噪音的评价分为四类：可衰减降噪，噪音过大，噪音正常，噪音偏小；噪音分类模块(3)接收音频输入模块(1)发来输入音频流；噪音分类模块(3)接收声音检测模块(9)的是否有语音的检测结果，以及音频流无语音的声音能量值(即为噪音能量值)与有语音的声音能量值(即为语音能量值)，以及语音能量值与噪音能量值的除数(即为音频信噪比)；根据音频信噪比与语音能量值进行评价分为四类音频；噪音分类模块(3)把可衰减降噪的音频输出到声音衰减器(4)进行衰减降噪，声音衰减器(4)音频衰减音频流返回给噪音分类模块(3)，噪音分类模块(3)进行重新音频分类；噪音分类模块(3)把噪音过大的音频流输出给噪音截断模块(5)；噪音分类模块(3)把正常噪音与无噪音的音频流输出给噪音控制模块(6)；

所述声音衰减模块(4)用于对语音的音频数据进行衰减处理，以达到减低噪音效果；声音衰减模块(4)接收噪音分类模块(3)的音频流，衰减后把音频流重新发给噪音分类模块(3)；

所述噪音截断模块(5)用于处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块(5)接收噪音分类模块(3)的音频流，噪音截断模块(5)接收声音检测模块(9)的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块(6)；噪音截断模块(5)把有语音的音频流输出给噪音控制模块(6)；

所述噪音控制模块(6)：通过计算噪音能量控制参与混音，让所有与会的音频终端的听到噪音舒适的模块；

所述噪音控制模块(6)用于接收来自噪音分类模块(3)与噪音截断模块(5)的音频流；噪音控制模块(6)接收声音检测模块(9)的是否有语音的检测结果，没有语音的根据噪音能量值确定是否参与混音；噪音控制模块(6)把需要需要混音的音频流输出到混音模块(7)；

所述混音模块(7)是分别为所有与会音频终端混合的听到声音的模块；混音模块(7)接收噪音控制模块(6)与白噪声产生模块(8)的音频流进行混音；混音模块(7)把混音后的音频流发送给音频输出模块(2)；

所述白噪声产生模块(8)是用于产生的整个频域内均匀分布的噪声音频流的模块；白噪声产生模块(8)接收噪音控制模块(6)的控制消息，产生符合噪音能量值的音频流；白噪声产生模块(8)把白噪音的音频流输出到混音模块(7)；

所述声音检测模块(9)是使用声音跳变限位自适应检测方法来检测音频流是噪音还是语音的模块；声音检测模块(9)接收来自的音频输入模块(1)的音频流；声音检测模块(9)把语音的检测结果分别输出到噪音分类模块(3)、噪音截断模块(5)和噪音控制模块(6)。

本发明还提供一种基于声音评价的会议舒适噪音混音方法的具体实施例，包括如下步骤：

步骤(1)、音频输入模块(1)接收来自音频终端的语音，并把语音的音频数据同时复制转发给噪音频分类模块(3)和声音检测模块(9)；

步骤(2)、声音检测模块(9)使用声音跳变限位自适应检测方法来确定音频流是噪音还是语音；如果只按传统的声音能量值检测法容易把比较大噪音当成语音；声音能量值为一段时间的声音的数据绝对值的平均值，如30毫秒的音频数据绝对值的平均值；而传统的声音跳变自适应检测法，使用声音能量值的迭代均值，判断声音能量值忽然提高判断是否为语音，虽然有效检测较大噪音中的语音，但容易把音乐这类声音能量值比较均衡的声音误判为噪音；声音跳变限位自适应检测方法结合声音能量值检测法与声音跳变自适应检测法，解决较大噪音与均衡声音的误判问题；

声音跳变限位自适应检测方法设置一个能量值检测值区间(t1～t2)，初始能量值检测阀值为t，t在t1～t2区间内；能量值检测值调整策略，使用初始能量值检测阀值t检测到无语音，当按照t(n)＝(t(n－1)+噪音能量值×2)÷2公式计算新能量检测阀值，使用公式较快获取噪音下限，如果t(n)小于能量值检测值区间下限t1，则t(n)取值t1，如t(n)大于能量值检测值区间上限t2，则t(n)取值t2；使用初始能量值检测阀值t检测到有语音，语音持续时间超过预设一定时间，有可能把噪音误识别为语音，需要增大阀值，按照t(n)＝(t(n－1)+语音能量值)÷2公式计算增大能量检测阀值；

步骤(3)、噪音分类模块(3)把音频流的噪音进行评价分类

(3.1)、噪音分类模块(3)接收音频输入模块(1)发来输入音频流；

(3.2)、噪音分类模块(3)接收声音检测模块(9)的是否有语音的检测结果，输入音频流无语音的声音能量值(即为噪音能量值)与有语音的声音能量值(即为语音能量值)，以及语音能量值与噪音能量值的除数(即为音频信噪比)；

(3.3)、噪音分类模块(3)判断噪音能量值大于噪音阈值tz，判断语音能量值是否大于语音阈值tv，语音能量值小于则判断此音频为噪音过大类型，如果语音能量值大则认为可衰减降噪类型；

(3.5)、噪音分类模块(3)把可衰减降噪的音频输出到声音衰减器(4)进行衰减降噪，声音衰减器(4)把声音按照语音阈值tv除以语音能量值的比例进行衰减，声音衰减器(4)音频衰减音频流返回给噪音分类模块(3)；

(3.6)、噪音分类模块(3)把噪音过大的音频流输出给噪音截断模块(5)；

(3.7)、噪音分类模块(3)判断噪音能量值小于噪音阈值tz时，再与静音闸值tj判断，噪音能量值大于静音闸值tj，则认为噪音正常类型，噪音能量值小于静音闸值tj则认为噪音偏小类型；

(3.8)、噪音分类模块(3)把正常噪音与无噪音的音频流输出给噪音控制模块(6)；

步骤(4)、噪音截断模块(5)处理信噪比差的音频流，避免这些音频流影响会议质量；噪音截断模块(5)接收噪音分类模块(3)的音频流，噪音截断模块(5)接收声音检测模块(9)的是否有语音的检测结果，没有语音的音频流将被截断，不输出到噪音控制模块(6)；噪音截断模块(5)把有语音的音频流输出给噪音控制模块(6)；

步骤(5)、噪音控制模块(6)通过计算噪音能量控制参与混音，让所有与会的音频终端的听到噪音舒适的方法；

(5.1)、噪音控制模块(6)接收来自噪音分类模块(3)与噪音截断模块(5)的音频流；

(5.2)、噪音控制模块(6)接收声音检测模块(9)的是否有语音的检测结果；并累加各个音频流的有语音的时长；

(5.3)、噪音控制模块(6)在会议中所有的音频流都没有语音，则开始计算会议噪音值，会议无语音时噪音控制噪音下限n1以上，选择正常噪音的音频流噪音能量值进行累加，累加值超过噪音区间下限n1停止累加，参与累加的音频流进行下一步混音，优先选择有语音的时间长的音频流进行累加，会议有语音时背景噪音与无语音的噪音的一致性更强；当噪音累加值达不到下限n1时，控制白噪声产生模块(8)产生白噪音进行补偿，白噪音的噪音能量值为n1－累加值；

(5.4)、白噪声产生模块(8)产生的整个频域内均匀分布的噪声音频流；白噪声产生模块(8)接收噪音控制模块(6)的控制消息，产生符合n1－累加值噪音能量值的音频流；白噪声产生模块(8)把白噪音的音频流输出到混音模块(7)；

(5.5)、噪音控制模块(6)在会议中所有的音频流有语音时，则所有有语音的音频流参与下一步混音；

(5.6)、噪音控制模块(6)把需要需要混音的音频流输出到混音模块(7)；

步骤(6)、混音模块(7)分别为所有与会音频终端混合的听到声音；混音模块(7)接收噪音控制模块(6)与白噪声产生模块(8)的音频流进行混音；混音模块(7)对参与音频流的音频流的每采样pcm数据进行累加，计算混音后的声音能力值，如大于声音闸值th，则混音后进行按每采样pcm数据衰减幅度为声音闸值th除以声音能力值的比值；混音模块(7)把混音后的音频流发送给音频输出模块(2)；

步骤(7)、音频输出模块(2)把混音的音频流复制分发给各个音频终端。

采用本发明的技术方案，能够适配各种音频终端的各种场景的噪音，更加准确识别出噪音与语音，避免出现死静的音频会议，避免单的终端噪音过大以及多个终端噪音叠加影响会议质量，同时调节会议噪音值让音频会议的噪音始终处于一种比较舒适状态。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包括”或者其任何其他变体意在涵盖非排他性的包括，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。