AEC音频控制系统及其时钟协商方法与流程

本发明涉及AEC音频控制技术领域，尤其是一种AEC音频控制系统及其时钟协商方法。

背景技术：

目前AEC(Automatic Echo Cancellation，回声消除)音频控制系统一般采用主从模式，而主从关系是系统设计时就确定的，其中有两种情况，第一种情况是，在设计时明确AP(Application Processor，应用处理器)为主机，而回声消除模块为从机，在工作过程中由AP向回声消除模块提供时钟；第二种情况是，在设计时明确AP为从机，而回声消除模块为主机，在工作过程中由回声消除模块向AP提供时钟。

但是目前的技术方案在设计时已经确定主从关系了，意味着在一些具有多主从设计要求的音频系统中，则不能切换主从关系，导致音频系统不可用，从而限制了现有技术的应用场合。

技术实现要素：

为解决上述技术问题，本发明的目的在于：提供一种AEC音频控制系统及其时钟协商方法，以实现AEC音频控制系统的时钟协商，从而使得AEC音频控制系统可以适用在多主从设计的方案中。

本发明实施例的第一方面提供了：

一种AEC音频控制系统的时钟协商方法，包括以下步骤：

确定应用处理器与回声消除模块之间需要启用的上行通道；其中，应用处理器与回声消除模块之间的上行通道包括一个主通道和若干个次通道；

检测主通道和次通道之中的若干个通道的工作状态；

根据需要启用的上行通道以及所述主通道和次通道之中的若干个通道的工作状态，确定主从模式；

根据主从模式配置应用处理器的时钟模式以及通知回声消除模块按照所述主从模式配置时钟模式。

进一步，所述根据需要启用的上行通道以及所述主通道和次通道之中的若干个通道的工作状态，确定主从模式，其具体包括：

在确定主通道需要启用后，根据次通道的工作状态确定主从模式。

进一步，所述根据需要启用的上行通道以及所述主通道和次通道之中的若干个通道的工作状态，确定主从模式，其具体包括：

在确定主通道不需要启用，且确定至少一个次通道需要启用后，根据主通道的工作状态确定主从模式。

进一步，在根据主从模式配置应用处理器的时钟模式以及通知回声消除模块按照所述主从模式配置时钟模式后，还包括以下步骤：

确定需要退出业务的上行通道；

检测主通道和次通道之中的若干个通道的新的工作状态；

根据需要退出业务的上行通道以及主通道和次通道之中的若干个通道的新的工作状态，关闭或者维持时钟。

进一步，所述根据需要退出业务的上行通道以及主通道和次通道之中的若干个通道的新的工作状态，关闭或者维持时钟，其具体包括：

在确定主通道需要退出业务后，根据次通道的新的工作状态，关闭或者维持时钟。

进一步，所述根据需要退出业务的上行通道以及主通道和次通道之中的若干个通道的新的工作状态，关闭或者维持时钟，其具体包括：

在确定主通道不需要退出业务，且确定至少一个次通道需要退出业务后，根据主通道和次通道的新的工作状态，关闭或者维持时钟。

本发明实施例的第二方面提供了：

一种AEC音频控制系统，包括应用处理器和回声消除模块，所述应用处理器和回声消除模块之间的上行通道包括一个主通道和若干个次通道；

所述应用处理器用于确定需要启用的上行通道；然后检测主通道和次通道之中的若干个通道的工作状态；并根据需要启用的上行通道以及所述主通道和次通道之中的若干个通道的工作状态，确定主从模式；随后根据主从模式配置应用处理器的时钟模式以及通知回声消除模块进入所述主从模式；

回声消除模块，用于进行回声消除处理，以及根据应用处理器确定的主从模式配置时钟

模式。

进一步，所述根据需要启用的上行通道以及所述主通道和次通道之中的若干个通道的工作状态，确定主从模式，其具体包括：

在确定主通道需要启用后，根据次通道的工作状态确定主从模式。

进一步，所述根据需要启用的上行通道以及所述主通道和次通道之中的若干个通道的工作状态，确定主从模式，其具体包括：

在确定主通道不需要启用，且确定至少一个次通道需要启用后，根据主通道的工作状态确定主从模式。

进一步，所述应用处理器，在根据主从模式配置应用处理器的时钟模式以及通知回声消除模块进入所述主从模式后，还用于：

确定需要退出业务的上行通道；

检测主通道和次通道之中的若干个通道的新的工作状态；

根据需要退出业务的上行通道以及主通道和次通道之中的若干个通道的新的工作状态，关闭或者维持时钟。

本发明的有益效果是：根据应用处理器和回声消除模块之间的上行通道的工作状态以及需要使用的上行通道，进行时钟协商，能够在不同的应用场景中，切换应用处理器和回声消除模块之间的主从关系，从而改变时钟的提供方，本发明相对于现有技术能够适用于多主从设计的AEC音频控制方案之中，因而在实际应用中可以更加灵活地配置主从模式，具有更广的应用场景。

附图说明

图1为本发明一种具体实施例的AEC音频控制系统的模块框图；

图2为本发明一种具体实施例的AEC音频控制系统的时钟协商方法的主要步骤的流程图；

图3为本发明一种具体实施例的AEC音频控制系统的时钟协商方法的具体步骤的流程图；

图4为本发明一种具体实施例的AEC音频控制系统的时钟协商方法的销毁步骤的主要步骤的流程图；

图5为本发明一种具体实施例的AEC音频控制系统的时钟协商方法的销毁步骤的具体步骤的流程图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。

在对本实施例中的时钟协商方法进行说明之前，首先对所述AEC音频控制系统的基本工作过程进行说明。

参照图1，在本实施例中的AEC音频控制系统包括应用处理器100、编解码器200以及回声消除模块300构成，所述应用处理器100也被称作AP，而回声消除模块300也可以被称作AEC模块。

其中，回声消除模块包括数字处理器301、缓存器302、时钟接口303、输入通道304和参考信号通道选择器305。

在本实施例中的AEC音频控制系统在工作时，回声消除模块300中的数字处理器301，会从输入通道304获取待处理音频。所述待处理音频可以是从输入设备中获取的，例如，从麦克风获取，所述待处理音频数字化后也可以从缓存器等部件中通过上行通道被应用处理器读取。

随后数字处理器301从参考信号通道选择器305所选择的参考信号通道中获取数据作为参考信号，并根据所述参考信号对待处理音频进行回声消除以及噪声抑制等处理，至于进行回声消除处理和噪声抑制时所用到的算法可以采用现有技术实现。一般情况下经过数字处理器301的回声消除处理后的音频，会被输出到缓存器302或者直接输出至应用处理器100。至于缓存器302，其可以存储多种数据，包括但不限于参考信号、待处理音频以及回声消除处理后的音频。所述参考信号通道选择器305可以根据预先设置的规则选择参考信号通道。例如，设定参考信号通道选择器305在输入通道304所接的设备为麦克风时，选择第一参考信号通道，设定参考信号通道选择器305在输入通道304所接的设备为其他设备时，选择第二参考信号通道。当然，参考信号通道选择器305也可以根据应用处理器100的控制信号选择参考信号通道，例如，应用处理器100向参考信号通道选择器305发送控制信号，控制参考信号通道选择器305选择不同的参考信号通道作为参考信号源。

而关于所述参考信号通道，如图1所示，其可以由编解码器200提供，而编解码器200的工作是从编解码器200与应用处理器100之间的若干条下行通道(也称作downlink path)获取待解码的信号，然后再对待解码的信号进行解码渲染处理，最终变成模拟信号呈现给用户。回声消除模块300用于对待处理音频进行回声消除处理时所使用到的参考信号，是从若干条下行通道之中选择获取的。例如，参考信号通道选择器305可以选择downlink path 1作为输入到数字处理器301的参考信号，也可以选择downlink path N作为输入到数字处理器301的参考信号。

所述回声消除模块300中的时钟接口303，用于提供回声消除模块的工作时钟，在回声消除模块300作为主机时，时钟由时钟接口303提供。

关于编解码器200，其主要用于将应用处理器100通过downlink path所下发的信号进行解码渲染等处理。例如，编解码器200可以是将数字信号转换为模拟信号的D/A转换器。在一些实施例中，所述编解码器的功能由应用处理器所实现，或者所述编解码器为应用处理器的一部分。

而应用处理器100从回声消除模块300中获取数据时，应用处理器100有可能需要获取多种不同的数据，例如，需要同时获取待处理音频和经过回声消除处理后的音频。此时，应用处理器100需要通过其与回声消除模块300之间的上行通道(也称作uplink path)来实现。一般情况下，上行通道会将第一个通道作为主通道，而主通道主要用于发送经过回声消除处理后的音频，如果应用处理器100还需要从回声消除模块300处获取其他数据，如待处理音频，则会通过第2到第N上行通道进行上传，这里将第2至第N上行通道称作次通道。

而应用处理器100在从回声消除模块300获取数据时，两者之中的一方需要为对方提供时钟，在现有技术中，两者的主从关系是预先设计好的，就是说提供时钟的一方和接受时钟的一方是不能在系统运行过程中相互切换，从而导致在一些多主从的应用场景中，现有技术无法满足。

基于此，参照图2，本实施例提供一种针对前述AEC音频控制系统的时钟协商方法，其应用在应用处理器之中，以使得应用处理器和回声消除模块之间的主从关系可以通过时钟协商的方式进行确定，在不同的应用场景下实现不同的主从方式。

本实施例的方法包括步骤S201～S204。

S201、确定应用处理器与回声消除模块之间需要启用的上行通道。

在本步骤中，应用处理器可以根据用户或者上位机所发出的指令，确定本次业务中需要用到的上行通道。例如，本次业务需要同时获取经过回声消除处理的音频和原始音频。那么需要用到主通道和一个次通道。当然，本次业务也有可能只需要获取经过回声消除处理的音频，因此只需要启用主通道。在确认哪些通道需要启用时，是可以分步确认的，例如本步骤先确认主通道是否需要启用，在确定主通道需要启用或者不启用且满足一些条件时，才对其他的次通道是否需要启用进行确定。

S202、检测主通道和次通道之中的若干个通道的工作状态。

在本步骤中，应用处理器通过检测主通道和次通道的工作状态，可以确定目前有哪些上行通道正在工作，而检测的方法有很多种，例如，应用处理器检测相关的通道是否有数据上传。或者应用处理器和回声消除模块之间约定在某上行通道工作时，回声消除模块会改变某些引脚的电平来指示该上行通道的工作状态，或者回声消除模块会将某些寄存器置位来表示该上行通道正在工作。

同理，在检测主通道和次通道之中的若干个通道的工作状态时，也可以分步进行的，例如，在一些实施例中，先检查了主通道的工作状态，并且在满足设定条件时才会去检测次通道的工作状态。并且次通道的工作状态并一定要全部检测，其可以是个别检测，例如一共有5个次通道，而在一些实施例中，只检测前两个次通道。

而在本实施例中，步骤S201和步骤S202之间的顺序并不是严格的先后顺序，两者是可以置换或者交叉进行的。例如，可以先检测主通道是否需要启用，在满足一定条件后，再检测主通道的工作状态，在满足另一些条件后，再检测次要通道是否需要启用或者是否正在工作。

S203、根据需要启用的上行通道以及所述主通道和次通道之中的若干个通道的工作状态，确定主从模式。

在本步骤中，根据需要启用的上行通道以及所述主通道和次通道之中的若干个通道的工作状态可以检测到不同的场景组合，然后根据不同的场景来确定应用处理器和回声消除模块之间的主从状态。

S204、根据主从模式配置应用处理器的时钟模式以及通知回声消除模块按照所述主从模式配置时钟模式。

在应用处理器在确定主从模式后，会通知回声消除模块确定好的主从模式，以便于双方分别配置时钟模式。例如，应用处理器确定自身为主机，回声消除模块为从机，则应用处理器将自身的时钟提供给回声消除模块。在接收应用处理器确定的主从模式后，回声消除模块得知自身被配置为从机，则自己不产生时钟，而是将应用处理器提供的时钟作为时钟。

应用处理器在通知回声消除模块时，可以通过预先约定的I2C命令来实现通知过程，也可以通过向回声消除模块发送一个电平信号来实现通知过程。

在时钟可协商的系统之中，通信双方在通信开始之前，一般双方均会默认为从机状态。所述通信开始之前是指通信双方均处于刚上电初始化的状态或者双方已经结束之前的通信的状态。

而在本实施例之中，应用处理器和回声消除模块在通信开始之前均处于默认的从机状态。但是在实际应用中，应用处理器在协商时钟时，有可能部分上行通道正在被使用，而并非全部上行通道都处于通信结束的状态。例如，经过回声消除处理的音频已经通过主通道上传至应用处理器了，但是次通道仍然在发送待处理的音频。此时，主通道已经退出业务了，但是双方的时钟并未关闭。如果应用处理器再次接收到用户的新的请求时，无论之前的业务是否完全结束，都需要重新协商时钟。但是在主从关系已经确定的情况下，为了不打乱之前的业务，时钟协商时会采用正在使用的主从方式。可以预料到的是，在业务未结束之前改变时钟，会导致正在执行的业务执行失败。因而有需要结合需要启用的上行通道和各个上行通道的工作状态来进行时钟协商。

参照图3，作为优选的实施例，所述步骤S203，其具体包括：

在确定主通道需要启用后，根据次通道的工作状态确定主从模式。

在确定主通道在本次业务中需要启动后，先对次通道的工作状态进行检测，在本实施例中，只要有任意一个次通道处于工作状态，就可以认为回声消除模块已经能够自举时钟了，此时，规定以回声消除模块作为主机，而应用处理器作为从机。通信的时钟采用回声消除模块内部的时钟接口所产生的时钟。而如果所有的次通道均没有被使用，则采用应用处理器作为主机而回声消除模块作为从机的主从关系。

参照图3，作为优选的实施例，所述步骤S203，其具体包括：

在确定主通道不需要启用，且确定至少一个次通道需要启用后，根据主通道的工作状态确定主从模式。

在本实施例中，在先启用主通道时，会采用以应用处理器作为主机、回声消除模块作为从机的主从方式。因此，如果某个业务中，至需要启用次通道，其需要检测当前主通道是否正在工作，如果主通道正在工作，那么在这种情况下，说明已经确定了以应用处理器作为时钟的提供方，而回声消除模块作为时钟的接收方。而如果主通道没有在工作，则通知回声消除模块提供时钟，即让回声消除模块作为主机，由应用处理器作为从机。

下面，针对图3中的整体方案进行说明，在开始时，应用处理器和回声消除模块均处于从机状态。当应用处理器接收到业务指令后，首先，判断在本次业务中，是否需要启动主通道。如果在主通道需要启动的情况下，检测是否有至少一个次通道正在工作，如果是，就确定主从关系为回声消除模块为主机，应用处理器为从机；如果不是，就确定主从关系为回声消除模块为从机，应用处理器为主机。

如果在主通道不需要启动的情况下，先确认是否有次通道需要启用，如果次通道也不需要启用，则结束协商。如果次通道需要启用，则检测主通道是否在工作，如果主通道在工作，说明主从模式已经确定了，就是以应用处理器作为主机而回声消除模块作为从机。如果主通道没有在工作，此时则判定以应用处理器作为从机而回声消除模块作为主机。

在协商结束后，如果确定了主从关系，则由应用处理器通知回声消除模块进行时钟模式的配置。同时，应用处理器也根据确定的主从关系来配置时钟模式。

当时钟协商结束后，双方的主从关系会得到确认。当应用处理器和回声消除模块的通信业务完成以后，双方可以回归到默认模式，即双方均默认为从机状态。

然而，由于AEC音频控制系统所需要处理的业务可能是交叉进行的，业务和业务之间的完成时间也有可能存在差异，因此，有可能在一个业务结束时，另一个业务仍然还没有结束。例如，AEC音频控制系统同时在处理录音业务和抓取回声消除模块缓存器中的数据的任务，其中录音业务占用主通道，而抓取回声消除模块缓存器中的数据的业务占用其中一个次通道，而录音任务先于数据抓取的业务结束，如果在录音业务结束后就直接关闭时钟，会导致数据抓取业务由于时钟信号丢失而导致业务中断。因此在时钟协商后，还需要相关的退出机制，以使得系统可以在适当的时机关闭时钟，节省系统功耗。

参照图4，作为优选的实施例，在所述步骤S204之后，还包括销毁步骤，所述销毁步骤包括步骤S401～S403：

S401、确定需要退出业务的上行通道。

在本实施例中，退出业务的上行通道可能是主通道或者是次通道，也有可能是多个通道同时退出。当通道退出后，其会停止工作。如果需要再次启用，需要由应用处理器来确定。

S402、检测主通道和次通道之中的若干个通道的新的工作状态。

在检测时，检测顺序可以按照预先约定的顺序进行，例如先检测主通道的工作状态，然后再依次检测次通道的工作状态。而在本实施例中，可以选择在检测到一个次通道正在工作时，就停止检测，以减少处理延迟和节省计算资源。

S403、根据需要退出业务的上行通道以及主通道和次通道之中的若干个通道的新的工作状态，关闭或者维持时钟。

本步骤结合步骤S401所确定需要退出业务的上行通道和步骤S402所检测的各通道的新的工作状态，可以判断出当前的应用场景，从而决定是不是要关闭时钟，以及在关闭时钟时是关闭应用处理器提供的时钟还是关闭回声消除模块提供的时钟。当然，如果是关闭的是应用处理器提供的时钟，其不需要通知回声消除模块，应用处理器可以直接关闭。而如果关闭的是回声消除模块提供的时钟，则需要应用处理器在确定要关闭回声消除模块提供的时钟后，通知回声消除模块。与通知回声消除模块主从模式的方法类似，可以通过I2C命令或者电平信号等实现通知过程。

本实施例能够在适当的场合中关闭时钟，以降低系统的功耗。

参照图5，作为优选的实施例，所述步骤S403，其具体包括：

在确定主通道需要退出业务后，根据次通道的新的工作状态，关闭或者维持时钟。

在本实施例中如果确定主通道需要退出业务，那么意味着如果存在次通道正在工作，无论当前使用的是何种主从模式，都不应该关闭时钟，否则会影响次通道的业务。因此，本实施例在确定主通道需要退出业务后，先确定次通道的工作状态，如果没有任何一个次通道在当前处于工作状态，则可以直接关闭时钟。而在本实施例中，在主通道退出业务时，如果没有次通道在工作，关闭的时钟是应用处理器所提供的时钟。

参照图5，作为优选的实施例，所述步骤S403，其具体包括：

在确定主通道不需要退出业务，且确定至少一个次通道需要退出业务后，根据主通道和次通道的新的工作状态，关闭或者维持时钟。

在本实施例中，确定主通道不需要退出业务，那么说明主通道可能本来就没有启用，或者主通道当前还在处理业务，如果是主通道正在处理业务，则此时无论主从关系是何种状态，均不应该关闭时钟。而如果主通道是处于没有工作的状态，则需要确认其他次通道(即除了当前需要退出业务的通道以外的次通道)是否在工作，如果还有其他次通道在工作，也不应该关闭时钟。而根据前面对时钟协商的实施例的描述，在主通道没有在工作的条件下，可以确认当前正在提供时钟的是回声消除模块，此时，被关闭时钟的对象应该是回声消除模块。应用处理器在确定需要关闭回声消除模块提供的时钟后，通知回声消除模块执行。

在上述关于销毁步骤的实施例的描述中，新的工作状态是指最新或者最近一次检测的工作状态，新是相对于协商主从模式时检测的状态。

下面针对图5的整体方案进行描述。在销毁步骤中，首先判断主通道是否需要退出业务。在主通道需要退出业务的情况下判断是否有次通道在工作，如果有，则结束步骤，不关闭时钟；如果没有，则关闭应用处理器所提供的时钟。

而如果主通道不需要退出业务，即应用处理器收到的指令没有要求主通道退出业务，那么需要判断是否有次通道需要退出业务，如果也没有任何次通道需要退出业务，则结束步骤。而如果在有次通道需要退出业务的条件下，则需要确认主通道和次通道是否存在正在工作的上行通道。如果没有任何上行通道正在工作，则可以关闭时钟，而在本条件下，所关闭的时钟由回声消除模块提供。

本实施例提供一种完善的销毁机制，能够在合适的条件下关闭时钟，以减少系统功耗。

应当说明的是，上述各实施例所提及的通道，仅表示信号/数据传输的通道，其具体实现方式包括但是不限于I2C、I2S或者SPI等方式。

本实施例公开一种AEC音频控制系统，其结构如图1所示，本实施例的AEC音频控制系统中的应用处理器可以实现上述方法实施例中的时钟协商方法。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而配置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。