音频处理方法、装置及系统与流程

本发明涉及多媒体技术领域，尤其涉及一种音频处理方法、装置及系统。

背景技术：

在语音应用系统中，随着语音识别应用的发展，对麦克风同时输入的路数要求比较多，但是后端处理系统基本没有支持麦克风多路同时输入的接口。如在当前应用系统中，要有8路麦克风再加3路音频采集信号同时输入到后端处理系统中，但后端处理系统只有一路IIS接口或PCM接口，无法满足上述多路信号同时输入的需求。

技术实现要素：

本发明的主要目的在于提供一种音频处理方法，旨在解决现有语音应用的后端处理系统无法满足多路信号同时输入的技术问题。

为实现上述目的，本发明提出的音频处理方法，包括以下步骤：

将麦克风阵列拾取的语音信号转换成多路数字信号；

接收所述多路数字信号中的左通道数据和右通道数据的依次输入；

将所述左通道数据和右通道数据分别缓存预设时间后，输出带有同步识别信号的单路数字信号；

依据所述同步识别信号将所述单路数字信号还原至各通道进行音频处理。

进一步地，所述接收所述多路数字信号中的左通道数据和右通道数据的依次输入的步骤，具体包括：

以第一采样率同步接收经IIS输入的所述多路数字信号；

判断所述多路数字信号的帧时钟是否为预设电平，若是，则接收的多路数字信号为左通道数据，若否，则接收的多路数字信号为右通道数据；

在预设间隔之后，切换接收的多路数字信号的通道数据类型。

进一步地，所述将左通道数据和右通道数据分别缓存预设时间后，输出带有同步识别信号的单路数字信号的步骤，具体包括：

依据接收的左通道数据或右通道数据的通道数量，设定第二采样率；

将依次接收到的左通道数据和右通道数据按照顺序分别缓存，并对最后一组通道数据作同步识别处理；

在预设时间之后，按照左通道数据和右通道数据的缓存顺序，以所述第二采样率单路输出。

进一步地，所述第一采样率设为f₁，所述第二采样率设为f₂，所述通道数量设为n，则f₂＝n*f₁。

本发明的另一目的在于提出一种音频处理装置，该音频处理装置包括：

模数转换模块，将麦克风阵列拾取的语音信号转换成多路数字信号；

音频合并模块，接收所述多路数字信号中的左通道数据和右通道数据的依次输入，将所述左通道数据和右通道数据分别缓存预设时间后输出为带有同步识别信号的单路数字信号；

音频处理模块，依据所述同步识别信号将所述单路数字信号还原至各通道进行音频处理。

进一步地，所述音频合并模块包括：

接收单元，以第一采样率同步接收经IIS输入的所述多路数字信号；

判断单元，判断所述多路数字信号的帧时钟是否为预设电平，若是，则接收的多路数字信号为左通道数据，若否，则接收的多路数字信号为右通道数据；

切换单元，在预设间隔之后，切换接收的多路数字信号的通道数据类型。

进一步地，所述音频合并模块还包括：

设定单元，依据接收的左通道数据或右通道数据的通道数量，设定第二采样率；

缓存单元，将依次接收到的左通道数据和右通道数据按照顺序分别缓存，并对最后一组通道数据作同步识别处理；

输出单元，在预设时间之后，按照左通道数据和右通道数据的缓存顺序，以所述第二采样率单路输出。

进一步地，所述第一采样率设为f₁，所述第二采样率设为f₂，所述通道数量设为n，则f₂＝n*f₁。

进一步地，所述音频合并模块为FPGA芯片或MCU芯片。

本发明还提出一种音频处理系统，该音频处理系统包括模数转换器、音频处理器、及如上所述的音频处理装置，所述音频处理装置连接所述模数转换器和音频处理器，接收多个模数转换器输入的多路数字信号，输出单路数字信号至音频处理器。

本发明的音频处理方法，首先将麦克风阵列拾取的语音信号经ADC转换成多路数字信号，然后依据所述多路数字信号的时钟的电平值接收左通道数据和右通道数据的依次输入，再将所述左通道数据和右通道数据分别缓存预设时间后，输出带有同步识别信号的单路数字信号，最后依据所述同步识别信号将所述单路数字信号还原至各通道进行音频处理。本发明的音频处理方法通过软件或硬件方式将前端输入的多路数字信号处理为单路数字信号后输出至后端处理系统，提高了系统设计的兼容性，节省了开发周期和成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明音频处理方法一实施例的流程图；

图2为图1中步骤S20的具体流程图；

图3为图1中步骤S30的具体流程图；

图4为本发明音频处理装置一实施例的功能模块图。

附图标号说明：

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出一种音频处理方法。

参照图1，图1为本发明的音频处理方法一实施例的流程图。

在本实施例中，该音频处理方法包括以下步骤：

S10：将麦克风阵列拾取的语音信号转换成多路数字信号；

S20：接收所述多路数字信号中的左通道数据和右通道数据的依次输入；

S30：将所述左通道数据和右通道数据分别缓存预设时间后，输出带有同步识别信号的单路数字信号；

S40：依据所述同步识别信号将所述单路数字信号还原至各通道进行音频处理。

本实施例的音频处理方法主要用于语音应用系统中前端采集的多路信号合并为单路信号，以便输入至后端的音频处理器中进行音频处理，在一实施例中，设定MIC₁到MIC₈为语音采集的MIC阵列，每个MIC接入到ADC的一路输入上，MIC的输入共需要4组IIS，而内部音频采样也需要2组IIS，总共为6组IIS同时输入到音频处理系统，但大部分音频处理系统只有1组IIS或PCM接口输入，这么多组同时输入的IIS无法直接输入到音频处理系统中，所以需要将多组IIS信号合成一路信号输入到音频处理系统中，以解决现有的系统中配置的硬件大多只存在一个IIS接口或PCM输入或输出接口，从而导致在系统开发的周期延长，兼容性降低。

本实施例的音频处理方法，在进行操作时，首先将麦克风阵列拾取的语音信号模拟信号发送至与所述麦克风阵列连接的ADC(模数转换器)转换成数字信号，一般来说，每两组麦克风对应一ADC，两组麦克风在经过ADC转换后分别输入左通道数据和右通道数据，ADC将多路语音模拟信号转换成多路数字信号后，通过IIS接口将所述多路数字信号经过软件处理模式或硬件处理模式进行数据数据合并和融合，软件处理模式如MCU等通过构建缓存区，将全部数据接收至所述缓存区后，通过对全部数据进行打包，将打包后的数据包通过唯一的IIS输出接口或PCM输出接口，输出至音频处理系统进行应用；硬件处理模式一般采用FGPA(现场可编辑门阵列)，通过增大输出时的传输速率，在相同时间内输出单路数字信号。

在获取ADC通过IIS将多路数字信号输入的操作时，执行接收所述多路数字信号的操作命令，由于语音模拟信号在经ADC进行模数转换时，可以直接根据语音模拟信号的电平高低转换为高电平数字信号和低电平数字信号，在经IIS接口输入时，根据数字信号内时钟的电平值的高低输入左通道数据或右通道数据，一般LRCK为高电平时同时输入多路数字信号中的左通道数据，当LRCK为低电平时同时输入多路数字信号中的右通道数据，在接收到所述多路数字信号的左通道数据和右通道数据后，对所述左通道数据和右通道数据进行缓存，并对最后一组输入的左通道数据或右通道数据进行同时识别处理，在预设时间之后，将该次缓存的左通道数据、右通道数据、及同步识别信号数据依次从唯一的IIS输出接口或PCM输出接口输出，形成单路数字信号输出至后端的音频处理器进行下一步音频处理。

在接收到所述单路数字信号后，依据所述单路数字信号携带的同步识别信号数据将所述单路数字信号还原至各通道后，就可以进行后续的音频处理了，解决了在进行多路音频处理时还需专门配置多路输入或输出接口，节省了开发时间和成本，提高了系统应用的兼容性。

本发明的音频处理方法，首先将麦克风阵列拾取的语音信号经ADC转换成多路数字信号，然后依据所述多路数字信号的时钟的电平值接收左通道数据和右通道数据的依次输入，再将所述左通道数据和右通道数据分别缓存预设时间后，输出带有同步识别信号的单路数字信号，最后依据所述同步识别信号将所述单路数字信号还原至各通道进行音频处理。本发明的音频处理方法通过软件或硬件方式将前端输入的多路数字信号处理为单路数字信号后输出至后端处理系统，提高了系统设计的兼容性，节省了开发周期和成本。

进一步地，参照图2，基于上述实施例的音频处理方法，步骤S20，具体包括：

S21：以第一采样率同步接收经IIS输入的所述多路数字信号；

S22：判断所述多路数字信号的帧时钟是否为预设电平，若是，则接收的多路数字信号为左通道数据，若否，则接收的多路数字信号为右通道数据；

S23：在预设间隔之后，切换接收的多路数字信号的通道数据类型。

在本实施例中，对经由ADC转换后的多路数字信号进行接收时，首先根据ADC的组数，通过IIS接口连接于后续处理的CPU、FPGA、或MCU的多个接口，按照第一采样率，也即标准的采样传输速率同步接收每一路的数字信号输入，由于每路数字信号由两组麦克风拾取的语音信号模拟信号转换而来，并且区分了左通道数据和右通道数据，所以在多路的数字信号输入时，需判断该路数字信号的帧时钟是否为预设电平，也即电子工程学中的高电平，一般对于TTL来说高电平是2.4V-5.0V、低电平是0.0V-0.4V，对于CMOS来说高电平是4.99-5.0v、低电平是0.0-0.01v，若是，则接收的多路数字信号为左通道数据，若否则接收的多路数字信号为右通道数据，当然，在预设间隔之后，需要切换接收的多路数字信号的通道数据类型，也即在预设间隔之后，将接收左通道数据切换为接收右通道数据。

进一步参照上述实施例，以左对齐IIS信号为例，LRCK为高电平时，ADC的DATA数据为左通道的数据，LRCK为低电平时，DATA数据为右通道数据；由于ADC的时钟是连接在一起的，所以当LRCK为高时，输入MIC₁、MIC₃、MIC₅、MIC₇等ADC上的左通道数据；当LRCK为低时，输入MIC₂、MIC₄、MIC₆、MIC₈等ADC上的右通道数据。

进一步地，参照图3，基于上述实施例的音频处理方法，步骤S30，具体包括：

S31：依据接收的左通道数据或右通道数据的通道数量，设定第二采样率；

S32：将依次接收到的左通道数据和右通道数据按照顺序分别缓存，并对最后一组通道数据作同步识别处理；

S33：在预设时间之后，按照左通道数据和右通道数据的缓存顺序，以所述第二采样率单路输出。

在本实施例中，在接收多组左通道数据或右通道数据时，还需要依据所述左通道或右通道的通道数量设定左通道数据和右通道数据的第二采样路，也即输出时的速率，然后将依次接收到的左通道数据和右通道数据按照输入时的顺序进行缓存，并将最后输入的那一组数据替换为具有识别功能的同步识别数据，在缓存预设时间会后，按照左通道数据和右通道数据的缓存数据，以上述设定的第二采样率从一个IIS输出接口或PCM输出接口输出，两组同步识别数据之间的数据设定为一个帧节，每次输出一个帧节的音频数据。

进一步参照上述实施例，同一时刻会有6个ADC的左通道或右通道数据输入，然后对收到的当前数据进行缓存，直到把当前数据接收完成后，采用PCM接口把收到数据，一般缓存1/2fs后以6倍(多少通道就多少倍)速率从PCM或IIS接口顺序地输出给后端的音频处理系统，在输出的同时，同步缓存各ADC另一通道数据，而另一通道的数据发送也是采用相同的方式。

由于输出的单路数据是根据通道顺序进行传送的，为了区分识别所传送的数据的通道识别，需要在PCM发送的右通道的最后一组数据，换为同步识别数据，也就是牺牲ADC₆右的数据，用于同步识别用，两个同步识别数据之间的数据视为一帧，每一帧就是各通道每次采样的数据。

进一步地，所述第一采样率设为f₁，所述第二采样率设为f₂，所述通道数量设为n，则f₂＝n*f₁，也即将接收到的多路数字信号在相同的时间内以单路输出。

本发明进一步提出一种音频处理装置。

参照图4，图4为本发明的音频处理装置一实施例的功能模块图。

在本实施例中，该音频处理装置100包括：

模数转换模块10，将麦克风阵列拾取的语音信号转换成多路数字信号；

音频合并模块20，接收所述多路数字信号中的左通道数据和右通道数据的依次输入，将所述左通道数据和右通道数据分别缓存预设时间后输出为带有同步识别信号的单路数字信号；

音频处理模块30，依据所述同步识别信号将所述单路数字信号还原至各通道进行音频处理。

本实施例的音频处理装置主要用于语音应用系统中前端采集的多路信号经FPGA或MCU合并为单路信号，以便输入至后端的音频处理器中进行音频处理，在一实施例中设定MIC₁到MIC₈为语音采集的MIC阵列，每个MIC接入到ADC的一路输入上，MIC的输入共需要4组IIS，而内部音频采样也需要2组IIS，总共为6组IIS同时输入到音频处理系统，但大部分音频处理系统只有1组IIS或PCM接口输入，这么多组同时输入的IIS无法直接输入到音频处理系统中，所以需要将多组IIS信号合成一路信号输入到音频处理系统中，以解决现有的系统中配置的硬件大多只存在一个IIS接口或PCM输入或输出接口，从而导致在系统开发的周期延长，兼容性降低。

本实施例的音频处理装置100，在进行操作时，首先由模数转换模块10将麦克风阵列拾取的语音信号模拟信号转换成数字信号，一般来说，每两组麦克风对应一ADC，两组麦克风在经过ADC转换后分别输入左通道数据和右通道数据，ADC将多路语音模拟信号转换成多路数字信号后，通过IIS接口将所述多路数字信号经过软件处理模式或硬件处理模式进行数据数据合并和融合，软件处理模式如MCU等通过构建缓存区，将全部数据接收至所述缓存区后，通过对全部数据进行打包，将打包后的数据包通过唯一的IIS输出接口或PCM输出接口，输出至音频处理器进行应用；硬件处理模式一般采用FGPA(现场可编辑门阵列)，通过增大输出时的传输速率，在相同时间内输出单路数字信号。

音频合并模块20在获取ADC通过IIS将多路数字信号输入的操作时，执行接收所述多路数字信号的操作命令，由于语音模拟信号在经ADC进行模数转换时，可以直接根据语音模拟信号的电平高低转换为高电平数字信号和低电平数字信号，在经IIS接口输入时，根据数字信号内时钟的电平值的高低输入左通道数据或右通道数据，一般LRCK为高电平时同时输入多路数字信号中的左通道数据，当LRCK为低电平时同时输入多路数字信号中的右通道数据，在接收到所述多路数字信号的左通道数据和右通道数据后，对所述左通道数据和右通道数据进行缓存，并对最后一组输入的左通道数据或右通道数据进行同时识别处理，在预设时间之后，将该次缓存的左通道数据、右通道数据、及同步识别信号数据依次从唯一的IIS输出接口或PCM输出接口输出，形成单路数字信号输出至后端的音频处理器进行下一步音频处理，本实施例中的音频合并模块20可以是FPGA芯片，也可以是MCU芯片。

音频处理模块30在接收到所述单路数字信号后，依据所述单路数字信号携带的同步识别信号数据将所述单路数字信号还原至各通道后，就可以进行后续的音频处理了，解决了在进行多路音频处理时还需专门配置多路输入或输出接口，节省了开发时间和成本，提高了系统应用的兼容性。

本发明的音频处理装置100，首先由模数转换模块10将麦克风阵列拾取的语音信号经ADC转换成多路数字信号，然后由音频合并模块20依据所述多路数字信号的时钟的电平值接收左通道数据和右通道数据的依次输入，再将所述左通道数据和右通道数据分别缓存预设时间后，输出带有同步识别信号的单路数字信号，最后由音频处理模块30依据所述同步识别信号将所述单路数字信号还原至各通道进行音频处理。本发明的音频处理装置100通过软件或硬件方式将前端输入的多路数字信号处理为单路数字信号后输出至后端处理系统，提高了系统设计的兼容性，节省了开发周期和成本。

进一步地，参照图4，所述音频合并模块20包括：

接收单元21，以第一采样率同步接收经IIS输入的所述多路数字信号；

判断单元22，判断所述多路数字信号的帧时钟是否为预设电平，若是，则接收的多路数字信号为左通道数据，若否，则接收的多路数字信号为右通道数据；

切换单元23，在预设间隔之后，切换接收的多路数字信号的通道数据类型。

在本实施例中，对经由ADC转换后的多路数字信号进行接收时，首先接收单元21根据ADC的组数，通过IIS接口连接于后续处理的CPU、FPGA、或MCU的多个接口，按照第一采样率，也即标准的采样传输速率同步接收每一路的数字信号输入，由于每路数字信号由两组麦克风拾取的语音信号模拟信号转换而来，并且区分了左通道数据和右通道数据，所以在多路的数字信号输入时，需判断单元22判断该路数字信号的帧时钟是否为预设电平，也即电子工程学中的高电平，一般对于TTL来说高电平是2.4V-5.0V、低电平是0.0V-0.4V，对于CMOS来说高电平是4.99-5.0v、低电平是0.0-0.01v，若是，则接收的多路数字信号为左通道数据，若否则接收的多路数字信号为右通道数据，当然，在预设间隔之后，需要切换单元23切换接收的多路数字信号的通道数据类型，也即在预设间隔之后，将接收左通道数据切换为接收右通道数据。

进一步参照上述实施例，以左对齐IIS信号为例，LRCK为高电平时，ADC的DATA数据为左通道的数据，LRCK为低电平时，DATA数据为右通道数据；由于ADC的时钟是连接在一起的，所以当LRCK为高时，输入MIC₁、MIC₃、MIC₅、MIC₇等ADC上的左通道数据；当LRCK为低时，输入MIC₂、MIC₄、MIC₆、MIC₈等ADC上的右通道数据。

进一步地，参照图4，所述音频合并模块20还包括：

设定单元24，依据接收的左通道数据或右通道数据的通道数量，设定第二采样率；

缓存单元25，将依次接收到的左通道数据和右通道数据按照顺序分别缓存，并对最后一组通道数据作同步识别处理；

输出单元26，在预设时间之后，按照左通道数据和右通道数据的缓存顺序，以所述第二采样率单路输出。

在本实施例中，在接收多组左通道数据或右通道数据时，还需要设定单元24依据所述左通道或右通道的通道数量设定左通道数据和右通道数据的第二采样路，也即输出时的速率，然后由缓存单元25将依次接收到的左通道数据和右通道数据按照输入时的顺序进行缓存，并将最后输入的那一组数据替换为具有识别功能的同步识别数据，最后由输出单元26在缓存预设时间会后，按照左通道数据和右通道数据的缓存数据，以上述设定的第二采样率从一个IIS输出接口或PCM输出接口输出，两组同步识别数据之间的数据设定为一个帧节，每次输出一个帧节的音频数据。

进一步参照上述实施例，同一时刻会有6个ADC的左通道或右通道数据输入到音频合并模块20，缓存单元25把当前收到的数据进行缓存，直到把当前数据接收完成后，由输出单元26采用PCM接口将收到的数据，一般缓存1/2fs后，以6倍(多少通道就多少倍)速率从PCM或IIS接口顺序地输出给音频处理系统；在输出给音频处理系统的同时，合并模块同步缓存各ADC另一通道数据，而另一通道的数据发送也是采用相同的方式。

由于音频合并模块20转给音频处理模块30的数据是根据通道顺序进行传送的，为了区分识别所传送的数据的通道识别，需要在PCM发送的右通道的最后一组数据，换为同步识别数据，也就是牺牲ADC₆右的数据，用于同步识别用，两个同步识别数据之间的数据视为一帧，每一帧就是各通道每次采样的数据，音频处理模块30根据同步识别信号，就可以把输出的单路数据还原至各通道进行音频处理。

进一步地，所述第一采样率设为f₁，所述第二采样率设为f₂，所述通道数量设为n，则f₂＝n*f₁，也即将接收到的多路数字信号在相同的时间内以单路输出。

本发明还提出一种音频处理系统，该音频处理系统包括模数转换器200、音频处理器300、及如上所述的音频处理装置100，所述音频处理装置100连接所述模数转换器200和音频处理器300，接收多个模数转换器200输入的多路数字信号，输出单路数字信号至音频处理器300，在进行音频处理时，首先由模数转换模块10将麦克风阵列拾取的语音信号经模数转换器200转换成多路数字信号，然后由音频合并模块20依据所述多路数字信号的时钟的电平值接收左通道数据和右通道数据的依次输入，再将所述左通道数据和右通道数据分别缓存预设时间后，输出带有同步识别信号的单路数字信号，最后由音频处理模块30控制音频处理器300依据所述同步识别信号将所述单路数字信号还原至各通道进行音频处理，提高了系统设计的兼容性，节省了开发周期和成本。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。