网络电话会议中的音频处理方法、服务器以及系统与流程

本发明涉及网络电话技术领域，特别涉及一种网络电话会议中的音频处理方法、服务器以及系统。

背景技术：

网络电话会议是两个以上的用户通过网络电话，同时进行语音交流，实现电话会议的一种服务。

目前关于网络电话会议的质量保证，主要有以下两种实现方法：一是基于噪声检测的与会人员屏蔽。检测高噪音的参会人员，对其进行屏蔽，以保证电话会议的整体质量。另一种是电话会议的分布式混音技术。将电话会议服务器的混音功能分层级分布式部署，可以降低单个服务器的带宽和混音负载，在带宽和服务器性能受限时仍能实现混音，保证电话会议的音质，降低会议延迟。

然而，现有技术通常只涉及利用一些技术手段提高电话会议的某几个质量指标，不涉及整体的服务质量提升。

技术实现要素：

本发明实施例所要解决的一个技术问题是：提升网络电话会议整体的服务质量。

根据本发明实施例的一个方面，提供的一种网络电话会议中的音频处理方法，包括：服务器将各个客户端上传的音频由时域转换到频域；服务器检测各个客户端的音频是否存在冲突；如果存在冲突，服务器则根据预设规则提高高优先级的客户端的音频在混音音频中所占的比例；服务器将混音后的音频下发至各个客户端。

根据本发明实施例的第二个方面，提供的一种网络电话会议中的音 频处理方法，包括：服务器将各个客户端上传的音频由时域转换到频域；服务器将各个客户端的音频进行混音；服务器将混音后的音频转换为适用于不同的带宽的多种版本的音频文件；服务器确定各个客户端的带宽，并选择适合客户端带宽的版本的音频文件下发至对应的客户端。

根据本发明实施例的第三个方面，提供的一种网络电话会议中的音频处理服务器，包括：时频转换单元，用于将各个客户端上传的音频由时域转换到频域；冲突检测单元，用于检测各个客户端的音频是否存在冲突；混音单元，用于在各个客户端的音频存在冲突的情况下，根据预设规则提高高优先级的客户端的音频在混音音频中所占的比例；音频下发单元，用于将混音后的音频下发至各个客户端。

根据本发明实施例的第四个方面，提供的一种网络电话会议中的音频处理服务器，包括：时频转换单元，用于将各个客户端上传的音频由时域转换到频域；混音单元，用于将频域的各个客户端的音频进行混音；音频转换单元，用于将混音后的音频转换为适用于不同的带宽的多种版本的音频文件；带宽确定单元，用于确定各个客户端的带宽，并选择适合客户端带宽的版本的音频文件由音频下发单元下发至对应的客户端；音频下发单元，用于向各个客户端下发音频文件。

根据本发明实施例的第五个方面，提供的一种网络电话会议中的音频处理系统，包括：前述第三个方面的服务器或者前述第四个方面的服务器。

本发明一方面通过对各个客户端的音频进行冲突检测，当发生冲突时针对客户端不同的服务优先级进行混音，提高高优先级的客户端的音频在混音音频中所占的比例，保证了高优先级客户端的服务质量，同时兼顾低优先级客户端的可用性，提升网络电话会议整体的服务质量。另一方面通过对不同客户端带宽的推测，针对不同的客户端选择最合适的音频版本，保证各个客户端的音频质量、减少了音频的延迟，保证话音完整性，提升了网络电话会议整体的服务质量。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明 的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开的示例性实施例的网络电话会议中的音频处理方法的流程示意图。

图2示出本公开的另一种示例性实施例的网络电话会议中的音频处理方法的流程示意图。

图3示出本公开的又一种示例性实施例的网络电话会议中的音频处理方法的流程示意图。

图4示出本公开的示例性实施例的网络电话会议中的音频处理服务器的结构示意图。

图5示出本公开的另一种示例性实施例的网络电话会议中的音频处理服务器的结构示意图。

图6示出本公开的又一种示例性实施例的网络电话会议中的音频处理服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对现有技术网络电话会议中不能根据客户服务质量的优先级进 行音频处理的问题，提出本方案。

下面结合图1对本发明网络电话会议中的音频处理方法的一个实施例进行描述。

图1为本发明网络电话会议中的音频处理方法一个实施例的流程图。如图1所示，该实施例的方法包括：

步骤S102，服务器将各个客户端上传的音频由时域转换到频域。

其中，客户端例如可以为PC(Personal Computer，个人计算机)、手机、固定电话等，客户端例如上传Aud格式的时域采样音频到服务器端；服务器端对各客户端上传的音频利用FFT(Fast Fourier Transformation，快速傅氏变换)算法将时域的音频转换到频域，便于后续对音频进行处理。

步骤S104，服务器检测各个客户端的音频是否存在冲突，如果存在冲突，则执行步骤S106。

其中，在电话会议中，通常一个时间点只有一名参会用户发言，服务器检测是否存在两个或两个以上的客户端的音频强度比各个客户端平均音频强度大50％以上，如果是，则认为各个客户端的音频存在冲突。

步骤S106，服务器根据预设规则提高高优先级的客户端的音频在混音音频中所占的比例。

其中，客户端的优先级例如根据客户端的QoS(Quality of Service，服务质量)级别进行确定，但不限于所举示例。可以预先设定高优先级的客户端的音频在混音音频中所占的比例，也可以根据实际情况中音频的清晰度对各个客户端在混音中所占的比例进行调节。

步骤S108，服务器将混音后的音频下发至各个客户端。

其中，混音时例如采用归一化混音算法进行混音，但不限于所举示例。

上述实施例的方法，通过对各个客户端的音频进行冲突检测，当发生冲突时针对客户端不同的服务优先级进行混音，提高高优先级的客户端的音频在混音音频中所占的比例，保证了高优先级客户端的服务质量， 同时兼顾低优先级客户端的可用性，提升网络电话会议整体的服务质量。

下面结合图2对本发明网络电话会议中的音频处理方法的另一个实施例进行描述。

图2为本发明网络电话会议中的音频处理方法另一个实施例的流程图。如图2所示，该实施例的方法包括：

步骤S202，服务器将各个客户端上传的音频由时域转换到频域。

步骤S204，服务器将各个客户端的音频进行混音。

步骤S206，服务器将混音后的音频转换为适用于不同的带宽的多种版本的音频文件。

其中，服务器例如根据MPEG(Moving Picture Experts Group，动态图像专家组)音频文件处理规范从混音结果中产生多种带宽的音频文件。

步骤S208，服务器确定各个客户端的带宽，并选择适合客户端带宽的版本的音频文件下发至对应的客户端。

其中，服务器将多种带宽的音频文件按时间顺序进行切分，并将切分后的音频文件片段下发至各个客户端，根据音频文件片段到各个客户端的传输速率推测各个客户端的带宽。推测出各个客户端的带宽后则针对不同的客户端分别选择最合适的音频版本进行下发。后续下发过程仍然采用切分的小的音频文件。

上述实施例的方法，通过对不同客户端带宽的推测，针对不同的客户端选择最合适的音频版本，保证各个客户端的音频质量、减少了音频的延迟，保证话音完整性，提升了网络电话会议整体的服务质量。

下面结合图3对本发明网络电话会议中的音频处理方法一个具体的实施例进行描述。

图3为本发明网络电话会议中的音频处理方法又一个实施例的流程图。如图3所示，该实施例的方法包括：

步骤S302，服务器接收各个客户端上传的音频，并将音频由时域转换到频域。

步骤S304，服务器将各个客户端的音频过滤掉噪声部分。

其中，例如人声部分的频率男性为400Hz-600Hz，女性为1000Hz-1200Hz，过滤掉这两个频段以外的部分实现去噪。

步骤S306，服务器检测各个客户端的音频是否存在冲突，如果存在冲突，则执行步骤S308。

步骤S308，服务器将各个客户端的音频进行混音并根据预设规则提高高优先级的客户端的音频在混音音频中所占的比例。

步骤S310，服务器将混音后的音频转换为适用于不同的带宽的多种版本的音频文件。

步骤S312，服务器将音频文件按时间顺序进行切分，并将切分后的音频文件片段下发至各个客户端，根据音频文件片段到各个客户端的传输速率推测各个客户端的带宽。

步骤S314，服务器根据推测的各个客户端的带宽，选择适合客户端带宽的版本的音频文件下发至对应的客户端。

上述实施例的方法，一方面通过对各个客户端的音频进行冲突检测，当发生冲突时针对客户端不同的服务优先级进行混音，提高高优先级的客户端的音频在混音音频中所占的比例，保证了高优先级客户端的服务质量，同时兼顾低优先级客户端的可用性，提升网络电话会议整体的服务质量。另一方面通过对不同客户端带宽的推测，针对不同的客户端选择最合适的音频版本，保证各个客户端的音频质量、减少了音频的延迟，保证话音完整性，提升了网络电话会议整体的服务质量。

下面结合图4对本发明网络电话会议中的音频处理服务器的一个实施例进行描述。

图4为本发明网络电话会议中的音频处理服务器一个实施例的结构图。如图4所示，该服务器40包括：

时频转换单元402，用于将各个客户端上传的音频由时域转换到频域。

冲突检测单元404，用于检测各个客户端的音频是否存在冲突。

其中，冲突检测单元404，用于检测是否存在多个客户端的音频强度比各个客户端平均音频强度大50％以上，如果是，则认为该各个 客户端的音频存在冲突。

混音单元406，用于在各个客户端的音频存在冲突的情况下，根据预设规则提高高优先级的客户端的音频在混音音频中所占的比例。

音频下发单元408，用于将混音后的音频下发至各个客户端。

在一个实施例中，服务器40还可以包括：

音频转换单元，用于将混音后的音频转换为适用于不同的带宽的多种版本的音频文件。

音频切分单元，用于将音频文件按时间顺序进行切分。

带宽确定单元，用于确定各个客户端的带宽，并选择适合客户端带宽的版本的音频文件由音频下发单元下发至对应的客户端。

其中，带宽确定单元，具体用于音频下发单元408将切分后的音频文件片段下发至各个客户端时，根据音频文件片段到各个客户端的传输速率推测各个客户端的带宽。

噪声去除单元，用于时频转换单元402将客户端上传的音频由时域转换到频域之后，过滤掉噪声部分。

下面结合图5对本发明网络电话会议中的音频处理服务器的另一个实施例进行描述。

图5为本发明网络电话会议中的音频处理服务器另一个实施例的结构图。如图5所示，该服务器50包括：

时频转换单元502，用于将各个客户端上传的音频由时域转换到频域。

混音单元504，用于将频域的各个客户端的音频进行混音。

音频转换单元506，用于将混音后的音频转换为适用于不同的带宽的多种版本的音频文件。

带宽确定单元508，用于确定各个客户端的带宽，并选择适合客户端带宽的版本的音频文件由音频下发单元下发至对应的客户端。

音频下发单元510，用于向各个客户端下发音频文件。

在一个实施例中，服务器50还可以包括：

音频切分单元，用于将音频文件按时间顺序进行切分。带宽确定 单元508，用于音频下发单元将切分后的音频文件片段下发至各个客户端时，根据音频文件片段到各个客户端的传输速率推测各个客户端的带宽。

冲突检测单元，用于检测各个客户端的音频是否存在冲突。混音单元504，用于在多个客户端的音频存在冲突的情况下，根据预设规则提高高优先级的客户端的音频在混音音频中所占的比例。

其中，冲突检测单元，用于检测是否存在多个客户端的音频强度比各个客户端平均音频强度大50％以上，如果是，则认为该多个客户端的音频存在冲突。

噪声去除单元，用于时频转换单元将客户端上传的音频由时域转换到频域之后，过滤掉噪声部分。

下面结合图6对本发明网络电话会议中的音频处理服务器的一个具体实施例进行描述。

图6为本发明网络电话会议中的音频处理服务器又一个实施例的结构图。如图6所示，该服务器60包括：

时频转换单元602，用于将各个客户端上传的音频由时域转换到频域。

噪声去除单元604，用于时频转换单元将客户端上传的音频由时域转换到频域之后，过滤掉噪声部分。

冲突检测单元606，用于检测各个客户端的音频是否存在冲突。

混音单元608，用于将各个客户端的音频进行混音，并在各个客户端的音频存在冲突的情况下，根据预设规则提高高优先级的客户端的音频在混音音频中所占的比例。

音频转换单元610，用于将混音后的音频转换为适用于不同的带宽的多种版本的音频文件。

音频切分单元612，用于将音频文件按时间顺序进行切分.

带宽确定单元614，用于音频下发单元616将切分后的音频文件片段下发至各个客户端时，根据音频文件片段到各个客户端的传输速率推测各个客户端的带宽。

音频下发单元616，用于将混音后的音频下发至各个客户端。

本发明还提供一种网络电话会议中的音频处理系统，该系统包括：前述实施例中的服务器40或者前述实施例中服务器50或者前述实施例中服务器60，以及客户端。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。