低延时分布式音频处理方法及系统与流程

本发明涉及一种视频通信技术领域，尤其涉及一种低延时分布式音频处理方法及系统。

背景技术：

随着多媒体技术的发展，国家经济水平的提高，专业视频会议系统不仅在传统应用上需求旺盛，还在远程教育，数字法庭等行业产生了新的需求，对专业视频会议终端也有了更高的要求，用户希望提供更多路的音视频处理能力，来满足用户的各种不同应用场景。同时，由于视频会议系统属于强交互性的应用，多媒体处理的质量对用户体验是至关重要的。对音视频等连续数据流，不仅要求传输的实时性，还要保证很好的语音质量及视频清晰度，还要保证音视频的同步。在现实中的视频会议系统，要保证产品的使用效果，相对视频来说，音频的处理尤为关键。

由于视频会议中音频应用场景相对复杂，包含本地声音编码发送远端，本地声音本地播放，通过播放器播放远端声音，远端声音和本地声音混音后本地播放等使用场景，为了保证音频效果需要通过音频算法进行音频处理，包括：回声抵消，背景噪音抑制，啸叫抑制，自动增益补偿等。传统的单台视频会议终端使用一个处理器来进行多路音频算法处理，但随着音频接入路数增加到几十路，还有各种音频算法处理能力的不同要求，一个cpu已经无法同时处理音频和其它业务，而是需要同一台视频会议终端，内部有多个处理器进行协同作业，来分担音频处理的cpu性能需求，进而降低音频延时，为用户提供更好的效果体验。而如何采用多个处理器进行协同作业，以使视频处理的效果更好，成为本方案所要解决的技术问题。

技术实现要素：

为解决上述至少一技术问题，本发明的主要目的是提供一种低延时分布式音频处理方法及装置。

为实现上述目的，本发明采用的一个技术方案为：提供一种低延时分布式音频处理方法，包括如下步骤：

从两个处理器中指定任意一处理器作为主处理器，另一处理器作为从处理器；

接收经FPGA输送的音频信号，所述音频信号据包括远端音频信号及本地音频信号；

在主处理器上，对音频信号中的远端音频信号进行解码处理得到解码音频数据，并对解码音频数据进行音效处理生成第一音频数据，以及在从处理器上，对音频信号中的本地音频信号进行音频处理生成第二音频数据；

将第一音频处理数据及第二音频处理数据传送至FPGA进行混音处理，并由FPGA对混音处理的第一音频处理数据及第二音频处理数据进行分发。

优选地，所述从两个处理器指定任意一处理器作为主处理器，另一处理器作为从处理器的步骤之后，还包括：

为主处理器及从处理器提供同步时钟信号。

优选地，所述对解码音频数据进行音效处理生成第一音频数据的步骤，具体包括：

对解码音频数据进行自动混音、自动增益、回声抵消及噪声抑制处理，生成第一音频数据。

优选地，所述对音频信号中的本地音频信号进行音频处理生成第二音频数据的步骤，具体包括：

对音频数据中的本地音频信号进行自动混音、自动增益、啸声抑制及噪声抑制处理，生成第二音频数据。

优选地，在主处理器上，还包括对本地音频信号进行编码处理，并将编码处理的本地音频信号传送至FPGA，并通过FPGA分发至远端。

为实现上述目的，本发明采用的另一个技术方案为：提供一种低延时分布式音频处理系统，包括：

至少一AD/DA芯片组，一组所述AD/DA芯片包括两片呈菊花链连接的AD/DA芯片，用以采集音频信号，以及播放经加权混音处理的第一音频信号及第二音频信号，所述音频信号包括远端音频信号、本地音频信号；

FPGA器件，所述FPGA器件与AD/DA芯片组电连接，用以接收并转发音频信号，以及对第一音频信号及第二音频信号进行加权混音处理并分发；

主处理器，所述主处理器与FPGA器件电连接，用以对音频信号中的远端音频信号进行解码处理得到解码音频数据，并对解码音频数据进行音效处理生成第一音频数据并传送至FPGA器件；

从处理器，所述从处理器与FPGA器件电连接，用以对音频信号中的本地音频信号进行音频处理生成第二音频数据并传送至FPGA器件。

优选地，所述低延时分布式音频处理系统还包括音频同步时钟，用以为主处理器及从处理器提供同步时钟信号。

优选地，所述主服务器，用以对音频信号中的远端音频信号进行解码处理得到解码音频数据，并对解码音频数据进行音效处理，生成第一音频数据并传送至FPGA器件。

优选地，所述从服务器，用以对音频数据中的本地音频信号进行自动混音、自动增益、啸声抑制及噪声抑制处理，生成第二音频数据并传送至FPGA器件。

优选地，所述主服务器，还用以对本地音频信号进行编码处理，并将编码处理的本地音频信号传送至FPGA器件，并通过FPGA器件分发至远端。

本发明的技术方案通过采用两个处理器来分别处理远端音频信号及本地音频信号，具体的，从两个处理器指定一处理器为主处理器，另一处理器为从处理器，该主处理器负责进行远端信号进行音频解码，以及解码的音频数据进行回声抵消、背景噪声抑制、自动增益控制以及自动混音处理生成第一音频数据，该从处理器负责对本地音频信号进行噪声抑制、啸叫抑制、自动增益控制及自动混音处理生成第二音频数据，通过FPGA对第一音频数据及第二音频数据的混音后分发，如此，通过音频任务在主从cpu的分配，充分利用了cpu性能，降低了音频处理延时，提高了系统稳定性，给用户呈现更好的使用体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明一实施例低延时分布式音频处理方法的流程示意图；

图2为本发明一实施例低延时分布式音频处理系统的模块方框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

区别于现有技术中传统的单台视频会议终端使用一个处理器来进行多路音频算法处理，但随着音频接入路数增加到几十路，还有各种音频算法处理能力的不同要求，一个cpu已经无法同时处理音频和其它业务问题，本方案采用至少两个处理器来完成远程音频信号和本地音频信号的处理，具体的方法及装置请参照下述的实施例。

请参照图1，在本发明实施例中，该低延时分布式音频处理方法，包括如下步骤：

步骤S10、从两个处理器中指定任意一处理器作为主处理器，另一处理器作为从处理器；

步骤S20、接收经FPGA输送的音频信号，所述音频信号据包括远端音频信号及本地音频信号；

步骤S30、在主处理器上，对音频信号中的远端音频信号进行解码处理得到解码音频数据，并对解码音频数据进行音效处理生成第一音频数据，以及在从处理器上，对音频信号中的本地音频信号进行音频处理生成第二音频数据；

步骤S40、将第一音频处理数据及第二音频处理数据传送至FPGA进行混音处理，并由FPGA对混音处理的第一音频处理数据及第二音频处理数据进行分发。

本实施例中，通过主处理器可以处理远端音频信号，通过从处理器可以处理本地音频信号，如此，通过将远端音频信号与本地音频信号分开处理，可以充分利用各处理器的性能，避免了单块CPU同时处理回声抵消和啸叫抑制会跑不起来或出现延时问题的，，提高了系统稳定性，给用户呈现更好的使用体验。该FPGA进行加权混音处理，混音处理的权重可根据实际的要求灵活配置。在音频信号传输时，该方法采用时分复用的方式进行音频数据传输，每个数据链路支持16通道，4个数据链路支持64通道音频数据输入输出。

本发明的技术方案通过采用两个处理器来分别处理远端音频信号及本地音频信号，具体的，从两个处理器指定一处理器为主处理器，另一处理器为从处理器，该主处理器负责进行远端信号进行音频解码，以及解码的音频数据进行回声抵消、背景噪声抑制、自动增益控制以及自动混音处理生成第一音频数据，该从处理器负责对本地音频信号进行噪声抑制、啸叫抑制、自动增益控制及自动混音处理生成第二音频数据，通过FPGA对第一音频数据及第二音频数据的混音后分发，如此，通过音频任务在主从cpu的分配，充分利用了cpu性能，降低了音频处理延时，提高了系统稳定性，给用户呈现更好的使用体验。

在一具体的实施例中，所述从两个处理器指定任意一处理器作为主处理器，另一处理器作为从处理器的步骤S10之后，还包括：

为主处理器及从处理器提供同步时钟信号。

为保证不同芯片之间的时钟同步，本实施例中，均需为主处理器及从处理器提供时钟同步信号，该时钟同步信号使主处理器及从处理器同步。

在一具体的实施例中，所述对解码音频数据进行音效处理生成第一音频数据的步骤，具体包括：

对解码音频数据进行自动混音、自动增益、回声抵消及噪声抑制处理，生成第一音频数据。

本实施例中，主处理器接收到远端音频信号时，先对远端音频信号进行解码处理，得到解码音频数据，然后经过对解码音频数据进行自动混音、自动增益控制、回声抵消及噪声抑制，得到第一音频数据，如此，可以充分利用主处理器的工作性能。

进一步的，所述对音频信号中的本地音频信号进行音频处理生成第二音频数据的步骤，具体包括：

对音频数据中的本地音频信号进行自动混音、自动增益、啸声抑制及噪声抑制处理，生成第二音频数据。

本实施例中，从处理器接收到本地音频信号时，对本地音频信号进行自动混音、自动增益控制、回声抵消及噪声抑制，得到第二音频数据，如此，可以充分利用从处理器的工作性能。

通过上述的两个实施例的比较，可知区别点在于：利用主处理器对远端音频信号进行回声抵消处理，利用从处理器对本地频信号进行啸声抑制，可以避免一个CPU上同时运行啸声抑制及回声抵消出现的延时问题，以使主处理器及从处理器充分利用各自的性能。

在一具体的实施例中，在主处理器上，还包括对本地音频信号进行编码处理，并将编码处理的本地音频信号传送至FPGA，并通过FPGA分发至远端。通过本地音频信号进行编码，能够将本地音频信号的传输。

请参照图2，本发明的实施例中，该低延时分布式音频处理系统，包括：

至少一AD/DA芯片组10，一组所述AD/DA芯片包括两片呈菊花链连接的AD/DA芯片，用以采集音频信号，以及播放经加权混音处理的第一音频信号及第二音频信号，所述音频信号包括远端音频信号、本地音频信号；

FPGA器件20，所述FPGA器件20与AD/DA芯片组10电连接，用以接收并转发音频信号，以及对第一音频信号及第二音频信号进行加权混音处理并分发；

主处理器30，所述主处理器30与FPGA器件20电连接，用以对音频信号中的远端音频信号进行解码处理得到解码音频数据，并对解码音频数据进行音效处理生成第一音频数据并传送至FPGA器件20；

从处理器40，所述从处理器40与FPGA器件20电连接，用以对音频信号中的本地音频信号进行音频处理生成第二音频数据并传送至FPGA器件20。

本实施例中，该系统采用ti公司的ti8168作为处理器，它是一款多通道高清soc系统芯片，其中集成了lGHz主频的C674x DSP核，同一台终端内我们搭配了2个ti8168芯片来进行并行的音频处理，为了方便描述，分别称作主8168，主DSP(主处理器30)，从8168，从DSP(从处理器40)。音频算法就运行在主从DSP上。基于ti8168芯片强大的音频处理能力和系统设计的多处理器协同合作的实现方案，使得产品完全可以为客户提供良好的使用体验。在音频信号传输时，该系统采用时分复用的方式进行音频数据传输，每个数据链路支持16通道，4个数据链路支持64通道音频数据输入输出。为保证数据交互低延时，本系统采用EDMA快速数据交换进行音频信号的收发。另外，本系统对音频处理具有更好的拓展性，由于主处理器30及从处理器40上有3个音频接入接出接口，每个音频接入接出接口又有多个收发通道，很方便进行音频扩展板的研发。

在一具体的实施例中，所述低延时分布式音频处理系统还包括音频同步时钟，用以为主处理器30及从处理器40提供同步时钟信号。

本实施例中，该音频同步时钟还包括为多块AD/DA芯片提供时钟同步信号，以使不同的芯片的同步工作。

在一具体的实施例中，所述主服务器，用以对音频信号中的远端音频信号进行解码处理得到解码音频数据，并对解码音频数据进行音效处理，生成第一音频数据并传送至FPGA器件20。

本实施例中，主处理器30接收到远端音频信号时，先对远端音频信号进行解码处理，得到解码音频数据，然后经过对解码音频数据进行自动混音、自动增益控制、回声抵消及噪声抑制，得到第一音频数据，如此，可以充分利用主处理器30的工作性能。

进一步的，所述从服务器，用以对音频数据中的本地音频信号进行自动混音、自动增益、啸声抑制及噪声抑制处理，生成第二音频数据并传送至FPGA器件20。

本实施例中，从处理器40接收到本地音频信号时，对本地音频信号进行自动混音、自动增益控制、回声抵消及噪声抑制，得到第二音频数据，如此，可以充分利用从处理器40的工作性能。

通过上述的两个实施例的比较，可知区别点在于：利用主处理器30对远端音频信号进行回声抵消处理，利用从处理器40对本地频信号进行啸声抑制，可以避免一个CPU上同时运行啸声抑制及回声抵消出现的延时问题，以使主处理器30及从处理器40充分利用各自的性能。

在一具体的实施例中，所述主服务器30，还用以对本地音频信号进行编码处理，并将编码处理的本地音频信号传送至FPGA器件20，并通过FPGA器件20分发至远端。通过本地音频信号进行编码，能够将本地音频信号的传输至远端。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。