一种音频数据的处理方法、装置和系统与流程

文档序号:18162316发布日期:2019-07-13 09:23阅读:298来源:国知局
一种音频数据的处理方法、装置和系统与流程

本发明涉及信息处理技术领域,特别是涉及一种音频数据的处理方法、装置和系统。



背景技术:

在数字电视系统领域中,为了实现音频数据的正常播放,现有技术中采用环形缓冲区的方式对捕获的音频数据进行存储,然后对捕获到的音频数据进行播放。但是,在采用环形缓冲区对待播放音频数据进行存储时,当写指针达到环形缓冲区的尾地址时,会立即返回到起始地址继续捕获。同时,由于捕获和读取是并行执行的,因此,若先前缓冲区起始地址的音频数据没有被及时读取播放,会造成未被读取的音频数据被新捕获的数据覆盖的情况,进而导致声音跳播的问题。

为了避免上述情况,现有方案中会将每笔捕获到的音频数拷贝到另外一块内存空间(或内存池)上,通过读取拷贝后的内存空间上的音频数据进行播放。虽然上述方案解决了音频数据被覆盖的问题,但采用内存池的方案也引入一系列的其他问题:需要再开辟一块内存空间以供单独存储或备份数据,频繁的内存拷贝动作也会在一定程度上降低系统性能,复杂了操作流程,同时,对新开辟的内存空间上的每笔数据的维护,会增加系统设计的复杂度,不易于后期维护。



技术实现要素:

本发明实施例提供了一种音频数据的处理方法、装置和系统,用于避免设置内存池的同时实现待播放音频数据不会被覆盖的问题。

第一方面,本发明实施例提供了一种音频数据的处理方法,包括:

当接收到触发指令时,从第一队列中卸载单位数据的待配置的信息控制节点,并对所述卸载的待配置的信息控制节点进行配置,已配置的信息控制节点包含待播放音频数据的属性信息,所述第一队列中包含至少一个待配置的信息控制节点;

将所述已配置的信息控制节点链接到第二队列和第三队列中,所述第二队列和所述第三队列均用于管理已配置的信息控制节点;

从所述第三队列中卸载单位数据的已配置的信息控制节点;

根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;

将所述卸载的已配置的信息控制节点链接到第四队列,所述第四队列用于管理已播放音频数据的信息控制节点。

第二方面,本发明实施例提供了一种音频数据的处理装置,包括:

节点卸载单元,用于当接收到触发指令时,从第一队列中卸载单位数据的待配置的信息控制节点,并对所述卸载的待配置的信息控制节点进行配置,已配置的信息控制节点包含待播放音频数据的属性信息,所述第一队列中包含至少一个待配置的信息控制节点;

节点链接单元,用于将所述已配置的信息控制节点链接到第二队列和第三队列中,所述第二队列和所述第三队列均用于管理已配置的信息控制节点;

所述节点卸载单元,用于从所述第三队列中卸载单位数据的已配置的信息控制节点;

读取单元,用于根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;

所述节点链接单元,还用于将所述卸载的已配置的信息控制节点链接到第四队列,所述第四队列用于管理已播放音频数据的信息控制节点。

第三方面,本发明实施例提供了一种音频数据的处理系统,包括:

输入模块,用于接收多个电视通路输入的音频数据;

通路切换模块,用于切换不同的电视通路;

音频捕获模块,用于捕获不同通路的音频数据;

缓冲区,用于缓存所述音频捕获模块捕获的音频数据;以及,

控制读取模块,用于控制读取所述缓冲区中的音频数据;

其中,所述控制读取模块包括:

节点卸载单元,用于当接收到触发指令时,从第一队列中卸载单位数据的待配置的信息控制节点,并对所述卸载的待配置的信息控制节点进行配置,已配置的信息控制节点包含待播放音频数据的属性信息,所述第一队列中包含至少一个待配置的信息控制节点;

节点链接单元,用于将所述已配置的信息控制节点链接到第二队列和第三队列中,所述第二队列和所述第三队列均用于管理已配置的信息控制节点;

所述节点卸载单元,用于从所述第三队列中卸载单位数据的已配置的信息控制节点;

读取单元,用于根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;

所述节点链接单元,还用于将所述卸载的已配置的信息控制节点链接到第四队列,所述第四队列用于管理已播放音频数据的信息控制节点;

所述系统还包括音频后处理模块,用于对所述读取单元读取的音频数据进行预设音效处理;以及

音频播放模块,用于播放所述音频后处理模块处理的音频数据。

本发明实施例提供了一种音频数据的处理方法、装置和系统,通过设定用于管理待配置的信息控制节点的第一队列,当阈值中断触发时,从第一队列中卸载单位数据的待配置的信息控制节点,并根据阈值中断时捕获的待播放音频数据对卸载的待配置的信息控制节点进行配置,将已配置的信息控制节点链接到用于管理已配置的信息控制节点的第二队列和第三队列中,在第三队列非空时,从第三队列中卸载单位数据的已配置的信息控制节点,根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,播放对应的待播放音频数据,进而将卸载的已配置的信息控制节点链接到管理已播放音频数据的信息控制节点的第四队列中。通过队列的形式,可以实时地对待播放音频数据的属性信息进行配置,并对待播放音频数据和已播放音频数据分别进行管理,同时,根据已配置的信息控制节点,读取相应的待播放音频数据,无需像现有技术那样,将待播放音频数据拷贝到另外一块内存空间上,读取拷贝后的内存空间上的待播放音频数据所带来的问题。采用本发明实施例所述的技术方案,在待播音频数据不会被覆盖的同时,省去之前备份用的内存空间的开辟和使用,剔除频繁的内存拷贝对系统性能的影响,省去了内存对齐动作进而简化操作流程,规避复杂的内存池实现、管理及后期维护的开销,简化了设计思路,即本发明实施例在避免设置内存池的同时实现待播放音频数据不会被覆盖的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种音频数据的处理方法的流程示意图一;

图2为本发明实施例提供的一种音频数据的处理方法的流程示意图二;

图3为本发明实施例提供的一种音频数据的处理方法的流程示意图三;

图4为本发明实施例提供的与WDMA对应的第一缓冲区的示意图;

图5为本发明实施例提供的第一缓冲区中读指针和写指针之间音频数据的示意图一;

图6为本发明实施例提供的第一缓冲区中读指针和写指针之间音频数据的示意图二;

图7为本发明实施例提供的第三队列和第四队列的交互示意图;

图8为本发明实施例提供的与WDMA对应的第二缓冲区的示意图;

图9为本发明实施例提供的一种音频数据的处理装置的结构示意图一;

图10为本发明实施例提供的一种音频数据的处理装置的结构示意图二;

图11为本发明实施例提供的一种音频数据的处理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例一

本发明实施例提供了一种音频数据的处理方法,如图1所示,包括:

步骤101、当接收到触发指令时,从第一队列中卸载单位数据的待配置的信息控制节点,并对卸载的待配置的信息控制节点进行配置,已配置的信息控制节点包含待播放音频数据的属性信息。

其中,第一队列用于管理待配置的信息控制节点,第一队列中包含至少一个待配置的信息控制节点。

具体的,队列是一种特殊的线性表,它只允许在表的前端进行删除操作,在表的后端进行插入操作。进行插入操作的端称为队尾,进行删除操作的端称为队头。队列中没有元素时,称为空队列。在队列这种数据结构中,最先插入的元素将是最先被删除的元素,反之最后插入的元素将是最后被删除的元素,因此,队列又被称为“先进先出”的线性表。队列的存储方式可以使用线性表进行存储,也可以使用链表进行存储。本发明实施例以队列采用链表进行存储进行示例性说明。其中,链表是一种物理存储单元上非连续、非顺序的存储结构,数据元素的逻辑顺序是通过队列中的指针链接次序实现的。链表由一系列结点(链表中每一个元素称为结点(结点也可以称为节点))组成,结点可以在运行时动态生成。通常,每个结点包括两个部分:一个是存储数据元素的数据域(设域名为data),另一个是存储下一个结点地址的指针域(设域名为next),指针域中存储的信息又称为指针或链。使用链表结构可以充分利用计算机内存空间,实现灵活的内存动态管理。

本发明实施例中的第一队列用于管理待配置的信息控制节点,初始化时,可以分配N个信息控制节点,通过尾插法插入到第一队列中,N大于等于1。

另外,在步骤101中,已配置的信息控制节点中包含待播放音频数据的属性信息。也就是说,根据接收到触发指令时对应的待播放音频数据,对卸载的待配置的信息控制节点进行配置,配置后的信息控制节点中包含待播放音频数据的属性信息。需要说明的是,上述触发指令可以是阈值中断指令,也可以是其他能够实现上述触发动作的操作,以便根据该触发操作执行后续步骤。

步骤102、将已配置的信息控制节点链接到第二队列和第三队列中。

其中,第二队列和第三队列均用于管理已配置的信息控制节点。对于第二队列和第三队列可以在初始化时设置为空。

步骤103、从第三队列中卸载单位数据的已配置的信息控制节点。

在具体实现中,在第三队列非空时,从第三队列的队列头卸载单位数据的已配置的信息控制节点。

步骤104、根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据。

步骤105、将卸载的已配置的信息控制节点链接到第四队列。

其中,第四队列用于管理已播放音频数据的信息控制节点。

基于步骤101-步骤105所提供的音频数据的处理方法,通过设定用于管理待配置的信息控制节点的第一队列,当阈值中断触发时,从第一队列中卸载单位数据的待配置的信息控制节点,并根据阈值中断时捕获的待播放音频数据对卸载的待配置的信息控制节点进行配置,将已配置的信息控制节点链接到用于管理已配置的信息控制节点的第二队列和第三队列中,在第三队列非空时,从第三队列中卸载单位数据的已配置的信息控制节点,根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,播放对应的待播放音频数据,进而将卸载的已配置的信息控制节点链接到管理已播放音频数据的信息控制节点的第四队列中。通过队列的形式,可以实时地对待播放音频数据的属性信息进行配置,并对待播放音频数据和已播放音频数据分别进行管理,同时,根据已配置的信息控制节点,读取相应的待播放音频数据,无需像现有技术那样,将待播放音频数据拷贝到另外一块内存空间上,读取拷贝后的内存空间上的待播放音频数据所带来的问题。采用本发明实施例所述的技术方案,在待播音频数据不会被覆盖的同时,省去之前备份用的内存空间的开辟和使用,剔除频繁的内存拷贝对系统性能的影响,省去了内存对齐动作进而简化操作流程,规避复杂的内存池实现、管理及后期维护的开销,简化了设计思路,即本发明实施例在避免设置内存池的同时实现待播放音频数据不会被覆盖的问题。

实施例二

在实施例一的基础上,本发明实施例提供一种具体的实现方式,如图2所示,包括:

步骤201、设定第一队列、第二队列、第三队列和第四队列。

其中,第一队列用于管理待配置的信息控制节点,第二队列和第三队列均用于管理已配置的信息控制节点,第四队列用于管理已播放音频数据的信息控制节点。为后续描述方便,将第一队列称为tobe_pushed队列,第二队列称为pushed队列,第三队列称为tobe_played队列,第四队列称为played队列。初始化时,分配N个信息控制节点,通过尾插法插入到tobe_pushed队列中,N大于等于1;pushed队列、tobe_played队列和played队列初始化时为空。

需要说明的是,对于第一队列、第二队列、第三队列和第四队列的设定,可以是在初始化时同时进行设置,也可以是在需要的时候再进行设置,本发明实施例以在初始化时同时进行设置为例进行说明。

步骤202、采用直接内存写入WDMA捕获待播放音频数据。

其中,直接内存写入(Write Direct Memory Access,简称WDMA)与第一缓冲区对应,第一缓冲区中包括读指针和写指针。

在本发明的一个优选的实施例中,第一缓冲区为环形缓冲区(Ring Buffer),该环形缓冲区中包括写指针(write pointer,wpt)和读指针(read pointer,rpt),其中,wpt表示捕获到的音频数据在Ring Buffer的存储位置,rpt表示读取的音频数据在Ring Buffer的存储位置。因此,WDMA的音频捕获及处理工作主要是依靠其写指针和读指针来完成的。其中,写指针主要由WDMA自己维护,读指针主要由CPU控制。

具体的,参照图4所示为WDMA的wpt、rpt及其维护的Ring Buffer的逻辑关系示意图。其中,st_addr(start address)表示Ring Buffer的起始地址(或首地址),end表示Ring Buffer的尾地址。初始化时,wpt和rpt均为0,即相当于对应Ring Buffer的起始地址。当WDMA捕获所在通路的音频数据时,捕获到的音频数据会从wpt的起始地址进行存储,另外,由于该缓冲区为环形缓冲区,因此,当wpt到达该Ring Buffer的尾地址时,会自动跳转到Ring Buffer的首地址,继续从Ring Buffer的起始位置开始存储音频数据,如此以Ring Buffer式管理捕获到的音频数据的存储空间,可以有效解决用于捕获的内存空间浪费的问题,同时,也取消了音频捕获的时间限制,支持无限时间长度的音频捕获。

步骤203、检测第一缓冲区中的写指针和读指针的差值是否大于或等于第一预设阈值。

其中,第一预设阈值小于第一缓冲区的长度。可选的,第一预设阈值的大小可以根据Ring Buffer的长度进行设定。示例的,若Ring Buffer的长度为N*M,则可以将第一预设阈值设置为M,也就是说,将WDMA对应的第一缓冲区分成N个第一预设阈值长度的缓冲区。另外,初始化时,可以分配同样个数(即N个)的信息控制节点,通过尾插法链接到tobe_pushed队列中。

步骤204、若检测到第一缓冲区中的写指针和读指针的差值大于或等于第一预设阈值,则触发阈值中断,生成触发指令。

步骤205、根据触发指令,从第一队列中卸载单位数据的待配置的信息控制节点,并对卸载的待配置的信息控制节点进行配置。

在本发明的一个优选的实施例中,步骤205具体包括如下子步骤:

205a、根据所述阈值中断,从第一队列中卸载单位数据的待配置的信息控制节点。

其中,待配置的信息控制节点中主要包括以下信息:所在通路,如ATV Demod、AV、Component、VGA或HDMI;声道数,如8声道、6声道、2声道等;采样率,如32Khz、35.15625Khz、48Khz等;待播放音频数据的起始地址;待播放音频数据的数据长度。

对于待配置的信息控制节点的数据结构可以定义如下:

当然,可以根据实际所需的信息,对待配置的信息控制节点的数据结构进行删除或增加,以满足用户的实际需求。

205b、根据第一缓冲区中从读指针到写指针之间的待播放音频数据,对卸载的待配置的信息控制节点进行配置。

由于第一缓冲区为环形缓冲区,因此,会出现写指针大于读指针的情况、以及写指针小于读指针的情况。具体的,参照图5和图6所示,其中,图5为写指针大于读指针的情况,当写指针大于读指针时,则从读指针到写指针之间的音频数据为[rpt,wpt]之间的音频数据,如图5中斜线所示部分,进而根据[rpt,wpt]之间的音频数据,对卸载的待配置的信息控制节点进行配置;图6为读指针大于写指针的情况,当写指针小于读指针时,则从读指针到写指针之间的音频数据为:从读指针到缓冲区的尾地址之间的音频数据、以及从缓冲区的首地址到写指针之间的音频数据,即从[rpt,end]以及[st_addr,wpt]两段音频数据,如图6中双斜线所示部分,进而根据[rpt,end]以及[st_addr,wpt]两段音频数据,对卸载的待配置的信息控制节点进行配置。

也就是说,每次阈值中断触发时,根据第一缓冲区中从读指针到写指针之间的待播放音频数据,对卸载的信息控制节点进行配置,配置后的信息控制节点中包含待播放音频数据的属性信息。

步骤206、将已配置的信息控制节点链接到第二队列和第三队列中。

其中,已配置的信息控制节点中包含待播放音频数据的属性信息,即已配置的信息控制节点中包含对应的待播放音频数据的起始地址、待播放音频数据的长度,当然,已配置的信息控制节点中还可以包含所在通路、采样率、声道数等。

在具体实现中,如图7所示,将接收的已配置的信息控制节点链接(chain)到pushed队列和tobe_played队列的队列尾。其中,将接收的已配置的信息控制节点链接到tobe_played队列的队列尾是通过deliver接口传递的,同时,pushed队列中已配置的信息控制节点仍然存在。

步骤207、从第三队列中卸载单位数据的已配置的信息控制节点。

在具体的实现中,在执行步骤207之前,首先判断tobe_played队列是否为空,如果为空,则继续chain新到来的待播放音频数据的已配置的信息控制节点(如图7中的new_tobe_played_data所示)到tobe_played队列的尾部(如图7中的tobe_played_tail所示);如果非空,则从第三队列中unchain单位数据的已配置的信息控制节点,具体是从tobe_played队列的队列头(如图7中的tobe_played_head所示)unchain单位数据的已配置的信息控制节点,此时,新到来的待播音频数据的已配置的信息控制节点会继续链接到tobe_played队列的尾部。其中,单位数据优选为一个信息控制节点,与该信息控制节点对应的待播放音频数据,也可称为一笔数据。

步骤208、根据卸载的已配置的信息控制节点,对直接内存读取RDMA对应的第二缓冲区中的配置节点进行配置。

在具体实现中,来源于多个通道的音频数据可以存储在第一缓冲区(即音频缓冲区)中,在音频缓冲区的音频数据属于待播放音频数据。本发明实施例采用RDMA(Read Direct Memory Access,直接内存读取)来读取音频缓冲区中的待播放的音频数据,其中,RDMA实际上是读取DMA,DMA便于不同的硬件装置间的沟通,而无需依赖于CPU的大量中断负载。

在具体实现中,RDMA具有对应的第二缓冲区buffer,该第二缓冲区buffer包括写指针(write pointer,wpt)、读指针(read pointer,rpt)以及多个配置节点item,每个配置节点item具有控制信息。RDMA的音频数据读取工作主要是依靠其写指针和读指针来控制完成的。其中,写指针主要由CPU控制,读指针由RDMA自己维护。

在实际中,对于RDMA,IC(Integrated Circuit,即集成电路)可以将其对应的缓冲区buffer实现为一个环形缓冲区,其中,环形缓冲区是一种数据结构用于表示一个固定尺寸、头尾相连的缓冲区,适合缓存数据流,环形缓冲区的一个有用特性是:其存储空间可以被循环利用。

应用于本发明实施例,可以将该环形缓冲区实现为一个一个的配置节点item,该item主要是用来控制RDMA读取音频数据的,其中,每个item由64bit组成,第一个32bit,即第一个字,为起始地址参数start address(简写为st_addr),指向RDMA要读取的PCM音频数据存储于内存的物理地址;第二个32bit,即第二个字,主要包括长度参数length成员,该length表示该待读取的PCM音频数据的长度。RDMA的写指针、读指针以及环形缓冲区的配置节点item的关系如图8所示,在环形缓冲区中,读指针指向环形缓冲区中已配置好、待读取的item,写指针指向环形缓冲区中正在配置或待配置的item。

需要说明的是,环形缓冲区中item的个数由CPU决定,每个item的start address以及lengh等控制信息,也由CPU实时更新。

在本发明的一个优选的实施例中,步骤208具体包括如下子步骤:

208a、确定第二缓冲区中的写指针所指向的目标配置节点。

在具体实现中,可以采用两种方式来确定目标item,一是读取wpt所对应的寄存器,寄存器中保存有对应的item信息;二是将RDMA的item(假如为20个)实现为一个结构体数组,通过该数组wpt所对应的索引即可获取wpt所在位置的目标item。

208b、将目标配置节点的起始地址参数设置为待播放音频数据的起始地址。

208c、将目标配置节点的长度参数设置为待播放音频数据的长度。

具体而言,本发明实施例获取目标配置节点后,配置该目标配置节点item的第一个字(即起始地址参数),使之指向该笔待播音频数据所在的DDR的物理地址,再配置该item的第二个字(即长度参数),使其存储该单位数据的待播放音频数据的长度。需要说明的是,该长度优选可以为硬件要求的128字节的倍数。

需要说明的时,为了保证第二缓冲区中的写指针有可写入的item,读指针有可读取的item,进而确保不会出现写的快(即CPU配置RDMA的item并更新其wpt)、读的慢(即RDMA读取item对应的指定地址、指定长度的数据并更新其rpt)导致的声音跳播(漏播)的问题,以及写的慢、读的快导致的声音卡顿的问题,可以计算第二缓冲区中写指针与读指针的差值,若第二缓冲区中写指针与读指针的差值在满足一定的条件时,则从第三队列中卸载单位数据的已配置的信息控制节点,并根据卸载的已配置的信息控制节点对对应的item进行配置。另外,对于第二缓冲区中写指针与读指针的差值在满足一定的条件可以为写指针与读指针的差值大于或等于第四预设阈值,该第四预设阈值可以根据第二缓冲区中item的个数、CPU的处理能力等进行设置,以满足实际需求,本发明对第四预设阈值的设置方式不加限定。

步骤209、根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据。

在本发明的一种优选的实施例中,步骤209包括如下子步骤:

209a、更新第二缓冲区中的写指针。

由于RDMA对应的第二缓冲区为环形缓冲区,因此,步骤209a包括:

209a1、判断目标配置节点是否为环形缓冲区的最后一个配置节点。

若是,则执行步骤209a2;若不是,则执行步骤209a3。

209a2、若是,则配置第二缓冲区中的写指针为第二缓冲区的起始地址对应的第一个配置节点所在的位置。

209a3、若否,则配置第二缓冲区中的写指针为环形缓冲区中目标配置节点紧邻的下一个配置节点的位置。

具体来说,由于RDMA被实现为Ring Buffer,因此,可以判断该目标item是否是Ring Buffer中的最后一个item,如果该目标item为Ring Buffer中的最后一个item,则配置其wpt为RDMA起始位置的第一个item所在的位置。否则,配置其wpt为该目标item的紧接着的下一个item的位置。

209b、计算第二缓冲区中的写指针与读指针的差值。

209c、若第二缓冲区中的写指针与读指针的差值大于或等于第二预设阈值,则读取读指针所指向的配置节点对应的待播放音频数据。

由于RDMA的wpt由CPU控制,其rpt由硬件自己维护。在上述配置完目标item,更新了写指针wpt后,当更新了位置的wpt与RDMA的rpt的差值大于等于第二预设阈值(例如1个item)时,RDMA便会自动读取其rpt指向的item对应的内存位置中的指定长度的音频数据,这样,可以保证此时有可以读取的配置节点,进而读取第二缓冲区中读指针指向的配置节点所对应的待播放音频数据。当wpt与RDMA的rpt的差值小于第四预设阈值时,意味着RDMA中的rpt快追上其wpt了,提醒CPU音频数据不够播了,需要CPU及时地配置新的item以指向新的待播放音频数据,以免出现由于暂时无数据可读而出现的声音卡顿,甚至无声等问题。其中,第四预设阈值可以根据第二缓冲区中item的个数、CPU的处理能力等因素进行设定。需要说明的时,第四预设阈值可以和第二预设阈值相同,也可以不同。

同时,本发明实施例的RDMA还可以更新读指针rpt,将rpt自动更新至rpt所在位置的下一个item的位置上。由于RDMA的buffer为环形buffer,当其rpt走到buffer尾部时,会自动ring到该buffer的起始位置,而wpt则需要软件维护至环形buffer头,从而循环利用该段内存空间。

步骤210、将卸载的已配置的信息控制节点链接到第四队列中。

如图7所示,当对卸载的已配置的信息控制节点对应的待播放音频数据属性信息进行配置后,将该节点(如图7中new_played_data所示)chain到played队列的队列尾(如图7中played_tail所示)。

根据上述步骤所描述的技术方案,在WDMA开始捕获待播放音频数据后,每到一个threshold中断,从tobe_pushed队列的队列头unchain下待配置的信息控制节点,然后对该threshold中断对应的[rpt,wpt]之间的待播放音频数据建立控制信息(即上述的待播放音频数据的起始地址、长度、采样率等信息),这样,从tobe_pushed队列unchain下的信息控制节点就具备了这些信息,并且这些信息对应的是该笔中断所要读取的待播放音频数据,然后pushed队列接收(或对接)该信息控制节点,并调用后端提供的deliver接口,该接口将该信息控制节点给后端,后端接收后将其chain到tobe_played队列的队列尾(注意,此时并未将该信息控制节点从pushed队列中卸载),后端RDMA开始读取数据以送给功放,播放前需调用paly_item接口,该接口从tobe_played队列头unchian下信息控制节点,将其所携带的待播放音频数据的属性信息配置给与RDMA对应的第二缓冲区的item后,将该信息控制节点chain到played队列尾部。

为了使信息控制节点在合适的时机进行卸载和添加,以利于初始化时分配的信息控制节点的循环利用,解决系统内存空间浪费及实施频繁分配信息控制节点导致的内存碎片过多的问题。如图3所示,该方法还包括:

步骤211、确定第二缓冲区中读指针所在的位置。

步骤212、计算第二缓冲区中第一标记指针和第二标记指针的差值。

其中,第一标记指针指向第二缓冲区中的读指针所在的位置的上一个配置节点所在的位置,第二标记指针为上一次释放时第一标记指针所在的位置。

步骤213、若第二缓冲区中第一标记指针和第二标记指针的差值大于或等于第三预设阈值,则将第四队列中与第一标记指针和第二标记指针之间已配置的配置节点对应的已播放的音频数据的信息控制节点卸载。

其中,第三预设阈值可以根据第二缓冲区中item的个数、CPU的处理能力等进行设定。

进一步的,在将第四队列中的已播放音频数据的信息控制节点卸载的同时或者之后,如图3所示,该方法还包括:

步骤214、将第二队列中与已播放音频数据对应的已配置的信息控制节点卸载并释放。

步骤215、将第二队列中卸载并释放的信息控制节点链接到第一队列中。

根据步骤211-215所描述的步骤,在具体的实现中,在播放完一笔音频数据后,调用play_item接口,通过判定第一标记指针和第二标记指针,在满足条件的情况下,判定played队列是否非空;若played队列非空,则从played队列头unchain一个已播音频数据对应的信息控制节点;同时,由于第二队列pushed队列中包含与已播放的音频数据对应的信息控制节点,在该待播放音频数据被播放后,通过回调机制(回调释放接口,该接口用于完成对tobe_pushed队列和pushed队列中信息控制节点的操作)将pushed队列中与已播放的音频数据对应的信息控制节点进行卸载,并释放(该释放是指清空信息控制节点中的配置信息),紧接着将其链接到tobe_pushed队列的队列尾,这样,可以达到初始化时分配的固定个数的信息控制节点能够循环往复利用的目的,解决系统内存空间浪费及实施频繁分配信息控制节点导致的内存碎片过多的问题,避免系统资源的浪费。

需要说明的是,tobe_played队列在接收到deliver接口传递过来的已配置的信息控制节点时,未将该已配置的信息控制节点从pushed队列中卸载的原因是:如果此时将该已配置的信息控制节点从pushed队列中卸载,同时将其chain到tobe_pushed队列上,那意味着tobe_pushed队列可以使用该信息控制节点制定新内存位置上的待播放音频数据,如果前端在后端tobe_played队列配置信息控制节点携带的待播放音频数据的属性信息给RDMA的item之前,重新配置了该信息控制节点,当RDMA读取该新位置上的数据并播放时,会出现声音跳播的问题。因此,要确保该信息控制节点对应的DDR上的音频数据已被播放,再将其从pushed队列上卸载,同时chain到tobe_pushed队列的队列尾。

进一步的,由于音频数据为来源于不同通路上的音频数据,因此,当待播放音频数据为第一通路的音频数据时,在步骤209之后,如图3所示,该方法还包括:

216、检测是否从第一通路切换到第二通路。

217、若检测到从第一通路切换到第二通路,则卸载并释放第三队列中剩余的已配置的信息控制节点。

本发明实施例中的第二通道异于第一通道,在检测到从第一通道切换为第二通道时,卸载并释放第三队列中剩余的已配置的信息控制节点。具体来说,因为在通路切换前分配的音频数据,对应的是上一通路中的音频数据,而通路切换完毕开始新切换到的通路的音频数据的播放时,会先从tobe_played队列头unchain下一个结点,如果该队列上仍然有未释放的上个通路的音频数据,这些音频数据会先配置给RDMA的item,从而RDMA会先读走这些item对应的音频数据,再播放实时配置的新通路的音频数据。因此,会产生通路切换后,先播放一会上一通路残留的音频数据,再播放新切换到的通路的音频数据的现象。本发明实施例在每次通路切换时,可以将chain到tobe_played队列上从队列头到队列尾的每笔未配置给RDMA的item,即剩余的未播放的音频数据对应的已配置的信息控制节点卸载并释放掉,以解决切换通路时,先播放一会上一通路残留的音频数据再播放新切换到的通路的音频数据的问题。另外,该卸载及释放的动作非常迅速,以毫秒级计算,如此,可以大大降低用户的等待通道切换的时间,进而提升用户的视听体验。

本发明实施例提供了一种音频数据的处理方法,通过设定用于管理待配置的信息控制节点的第一队列,当阈值中断触发时,从第一队列中卸载单位数据的待配置的信息控制节点,并根据阈值中断时捕获的待播放音频数据对卸载的待配置的信息控制节点进行配置,将已配置的信息控制节点链接到用于管理已配置的信息控制节点的第二队列和第三队列中,在第三队列非空时,从第三队列中卸载单位数据的已配置的信息控制节点,根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,播放对应的待播放音频数据,进而将卸载的已配置的信息控制节点链接到管理已播放音频数据的信息控制节点的第四队列中。通过队列的形式,可以实时地对待播放音频数据的属性信息进行配置,并对待播放音频数据和已播放音频数据分别进行管理,同时,根据已配置的信息控制节点,读取相应的待播放音频数据,无需像现有技术那样,将待播放音频数据拷贝到另外一块内存空间上,读取拷贝后的内存空间上的待播放音频数据所带来的问题。采用本发明实施例所述的技术方案,在待播音频数据不会被覆盖的同时,省去之前备份用的内存空间的开辟和使用,剔除频繁的内存拷贝对系统性能的影响,省去了内存对齐动作进而简化操作流程,规避复杂的内存池实现、管理及后期维护的开销,简化了设计思路,即本发明实施例在避免设置内存池的同时实现待播放音频数据不会被覆盖的问题。

实施例三

本发明实施例提供了一种音频数据的处理装置,该音频数据的处理装置中各个功能单元执行实施例一或实施例二中相对应的方法步骤,具体可参考实施例一或实施例二所描述的,在此不再赘述。如图9所示,该音频数据的捕获装置110包括:

节点卸载单元1101,用于当接收到触发指令时,从第一队列中卸载单位数据的待配置的信息控制节点,并对卸载的待配置的信息控制节点进行配置,已配置的信息控制节点包含待播放音频数据的属性信息,第一队列中包含至少一个待配置的信息控制节点;

节点链接单元1102,用于将已配置的信息控制节点链接到第二队列和第三队列中,第二队列和第三队列均用于管理已配置的信息控制节点;

节点卸载单元1101,用于从第三队列中卸载单位数据的已配置的信息控制节点;

读取单元1103,用于根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;

节点链接单元1102,还用于将卸载的已配置的信息控制节点链接到第四队列,第四队列用于管理已播放音频数据的信息控制节点。

可选的,如图10所示,该装置110还包括:

捕获单元1104,用于采用直接内存写入WDMA捕获待播放音频数据,其中,WDMA与第一缓冲区对应,第一缓冲区中包括读指针和写指针;

检测单元1105,用于检测第一缓冲区中写指针和读指针的差值是否大于或等于第一预设阈值;

触发单元1106,用于若第一缓冲区中写指针和读指针的差值大于或等于第一预设阈值,则触发阈值中断,生成触发指令。

可选的,如图10所示,该装置110还包括:第一配置单元1107;

节点卸载单元1101,具体用于根据触发指令,从第一队列中卸载单位数据的待配置的信息控制节点;

第一配置单元1107,具体用于根据第一缓冲区中从读指针到写指针之间的待播放音频数据,对卸载的待配置的信息控制节点进行配置。

可选的,第一配置单元1107具体用于将待播放音频数据的起始地址、待播放音频数据的长度配置在卸载的待配置的信息控制节点中。

可选的,如图10所示,该装置110还包括:第二配置节点1108;

第二配置单元1108,用于根据卸载的已配置的信息控制节点,对与直接内存读取RDMA对应的第二缓冲区中的配置节点进行配置,第二缓冲区中包括读指针、写指针以及多个配置节点,配置节点具有配置信息。

可选的,待播放音频数据的属性信息中包括待播放音频数据的起始地址,以及待播放音频数据的长度,配置信息中包括配置节点的起始地址参数,以及对应的长度参数;

具体的,如图10所示,该第二配置单元1108包括:

确定子单元1108a,用于确定第二缓冲区中的写指针所指向的目标配置节点;

配置子单元1108b,用于将目标配置节点的起始地址参数设置为待播放音频数据的起始地址;

配置子单元1108b,还用于将目标配置节点的长度参数设置为待播放音频数据的数据长度。

可选的,如图10所示,读取单元1103包括:

更新子单元1103a,用于更新第二缓冲区中的写指针;

计算子单元1103b,用于计算第二缓冲区中的写指针与读指针的差值;

读取子单元1103c,用于若第二缓冲区中的写指针与读指针的差值大于或等于第二预设阈值,则读取第二缓冲区中的读指针所指向的配置节点对应的待播放音频数据。

可选的,更新子单元1103a,具体用于:

判断目标配置节点是否为第二缓冲区的最后一个配置节点;

若是,则配置第二缓冲区中的写指针为第二缓冲区的起始地址对应的第一个配置节点所在的位置;

若否,则配置第二缓冲区中的写指针为第二缓冲区中目标配置节点紧邻的下一个配置节点的位置。

可选的,如图10所示,该装置110还包括:确定单元1109和计算单元1110;

确定单元1109,用于确定第二缓冲区中读指针所在的位置;

计算单元1110,用于确定第二缓冲区中第一标记指针和第二标记指针的差值,第一标记指针指向第二缓冲区中的读指针所在位置的上一个配置节点所在的位置,第二标记指针为上一次释放时第一标记指针所在的位置;

节点卸载单元1101,还用于若计算单元1110计算第二缓冲区中第一标记指针和第二标记指针的差值大于或等于第三预设阈值,则将第四队列中与第一标记指针和第二标记指针之间已配置的配置节点对应的已播放音频数据的信息控制节点卸载。

可选的,节点卸载单元1101,还用于将第二队列中与已播放音频数据对应的已配置的信息控制节点卸载并释放;

节点链接单元1102,还用于将所述第二队列中卸载并释放的信息控制节点链接到第一队列中。

可选的,待播放音频数据为第一通路的音频数据;

检测单元1105,用于检测是否从第一通路切换到第二通路;

节点卸载单元1102,还用于若检测单元1105检测到从第一通路切换到第二通路,则卸载并释放第三队列中剩余的已配置的信息控制节点。

本发明实施例提供了一种音频数据的处理装置,通过设定用于管理待配置的信息控制节点的第一队列,当阈值中断触发时,从第一队列中卸载单位数据的待配置的信息控制节点,并根据阈值中断时捕获的待播放音频数据对卸载的待配置的信息控制节点进行配置,将已配置的信息控制节点链接到用于管理已配置的信息控制节点的第二队列和第三队列中,在第三队列非空时,从第三队列中卸载单位数据的已配置的信息控制节点,根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,播放对应的待播放音频数据,进而将卸载的已配置的信息控制节点链接到管理已播放音频数据的信息控制节点的第四队列中。通过队列的形式,可以实时地对待播放音频数据的属性信息进行配置,并对待播放音频数据和已播放音频数据分别进行管理,同时,根据已配置的信息控制节点,读取相应的待播放音频数据,无需像现有技术那样,将待播放音频数据拷贝到另外一块内存空间上,读取拷贝后的内存空间上的待播放音频数据所带来的问题。采用本发明实施例所述的技术方案,在待播音频数据不会被覆盖的同时,省去之前备份用的内存空间的开辟和使用,剔除频繁的内存拷贝对系统性能的影响,省去了内存对齐动作进而简化操作流程,规避复杂的内存池实现、管理及后期维护的开销,简化了设计思路,即本发明实施例在避免设置内存池的同时实现待播放音频数据不会被覆盖的问题。

实施例四

本发明实施例还提供一种音频数据的处理系统,如图11所示,该系统160包括:

输入模块1601,用于接收多个电视通路输入的音频数据;

通路切换模块1602,用于切换不同的电视通路;

音频捕获模块1603,用于捕获不同通路的音频数据;

缓冲区1604,用于缓存音频捕获模块1603捕获的音频数据;以及,

控制读取模块1605,用于控制读取缓冲区1604中的音频数据;

其中,控制读取模块1605包括:

节点卸载单元,用于当接收到触发指令时,从第一队列中卸载单位数据的待配置的信息控制节点,并对卸载的待配置的信息控制节点进行配置,已配置的信息控制节点包含待播放音频数据的属性信息,第一队列中包含至少一个待配置的信息控制节点;

节点链接单元,用于将已配置的信息控制节点链接到第二队列和第三队列中,第二队列和第三队列均用于管理已配置的信息控制节点;

节点卸载单元,用于从第三队列中卸载单位数据的已配置的信息控制节点;

读取单元,用于根据卸载的已配置的信息控制节点中待播放音频数据的属性信息,读取对应的待播放音频数据;

节点链接单元,还用于将卸载的已配置的信息控制节点链接到第四队列,第四队列用于管理已播放音频数据的信息控制节点;

该系统160还包括音频后处理模块1606,用于对读取单元读取的音频数据进行预设音效处理;以及

音频播放模块1607,用于播放音频后处理模块1606处理的音频数据。

进一步的,如图11所示,该系统160还包括:文件存储模块1608;其中,文件存储模块1608,用于将音频捕获模块1603捕获的音频数据存储在文件中;

音频播放模块1607还用于播放文件存储模块1608中存储的音频数据。

其中,对于控制读取模块1605的描述,可以参考实施例一至实施例三中对音频数据的处理装置所描述的,在此不再赘述。

具体的,对于输入模块1601为音频数据的输入来源,包括ATV Demod、AV、Component、VGA、HDMI等电视通路;

通路切换模块1602负责上述各电视通路进行切换,并打通所切换的电视通路;

音频捕获模块1603负责捕获各电视通路中的音频数据,该模块主要由CPU控制WDMA实现,其中包括音频缓冲区,音频缓冲区为一片暂存捕获的音频数据的内存区域;

文件存储模块1608将音频捕获模块1603捕获的所切换到的电视通路上的音频数据实时存储在文件中,该音频数据可以用作电视产品的开机音乐,也可以通过网络或USB接口,作为本地音频进行播放,播放的过程中可以通过感官验证音频捕获模块捕获到的音频数据的正确性。另外,还可以作为软硬件研发人员实现相关音频后处理功能(例如:采样率转换(英文:Sample Rate Convert)的测试源用;

控制读取模块1605将音频数据由音频缓冲区经由AXI(Advanced eXtensible Interface)高速总线读取到音频信号线上,该模块主要由CPU控制RDMA实现,读取音频捕获模块捕获到的音频数据,并将其通过音频数据传输线送往音频后处理模块1606;

音频后处理模块1606用于对控制读取模块1605读取的音频数据进行一系列音效方面的处理,如AVC(Automatic Volume Control,自动音量控制)、SRC、EQ(Equalizer,均衡)、Balance(均衡)等;

音频播放模块1607,将经过音频后处理单元1606处理后的音频数据,或文件存储模块1608存储的音频数据经由喇叭、耳机、Spdif或Subwoofer播放输出。

对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1