一种音频数据与参考信号的时间对齐方法及装置的制造方法
【技术领域】
[0001] 本发明设及通信领域，特别设及一种音频数据与参考信号的时间对齐方法及装 置。
【背景技术】
[0002] 语音通话软件是一种能够拨打网络电话或网络音频会议的应用，目前越来越多地 被用户安装在移动终端中。同时，随着移动终端的物理尺寸往小型化方向发展，扬声器与麦 克风之间的声禪合问题变得更为突出，使得麦克风采集的声音中包含扬声器播放的声音， 让对方听到的声音中感觉有自己说话的回声，影响双方通话效果。
[0003] 为了避免影响双方的通话效果，需要消除麦克风采集的音频数据中包含的回声， 具体过程如下；移动终端接收一帖音频数据，将该帖音频数据作为参考信号缓存在参考队 列中，并通过扬声器播放该帖音频数据；移动终端获取麦克风采集的一帖音频数据，其中该 帖音频数据对应一参考信号，该帖音频数据包含的回声即为扬声器播放该一参考信号产生 的声音；然后移动终端从参考队列中获取与该帖音频数据相关性最大的参考信号，将找出 的参考信号作为该帖音频数据对应的参考信号，通过该参考信号消除该帖音频数据中的回 声，然后将消除回声的该帖音频数据发送给对方用户对应的移动终端。
[0004] 其中，需要说明的是；语音通话软件工作在操作系统之上，由应用处理器来对音频 数据中的回声进行消除；当应用处理器的负荷较大时就会丢弃一部分接收的音频数据不输 入到参考队列或丢弃一部分麦克风采集的音频数据不进行回声消除，如此就可能出现当麦 克风采集一帖音频数据后，参考队列中没有该帖音频数据对应的参考信号，即出现了差拍 现象；而移动终端从参考队列中找出的与该帖音频数据相关性最大的参考信号并非该帖音 频数据对应的参考信号，利用该参考信号将无法消除该帖音频数据中的回声。
[0005] 出现了差拍现象后，由于移动终端每接收到音频数据便将该音频数据作为参考 信号缓存在参考对列中，而参考队列中缓存时间最长的参考信号被移出参考队列，使得在 出现差拍后，参考队列中可能都没有麦克风每次采集的音频数据对应的参考信号，导致回 声会一直延续下去，降低回声消除的鲁椿性。
【发明内容】
[0006] 为了提高回声消除的鲁椿性，本发明提供了一种音频数据与参考信号的时间对齐 方法及装置。所述技术方案如下：
[0007] 一种音频数据与参考信号的时间对齐方法，所述方法包括：
[000引获取当前采集的音频数据W及从参考队列中获取所述音频数据对应的参考信 号；
[0009] 根据所述音频数据和所述参考信号之间的相关值，计算第一延时估计期望值；
[0010] 根据第二延时估计期望值和所述第一延时估计期望值检测所述音频数据与所述 参考队列中的参考信号之间是否存在差拍现象，所述第二延时估计期望值是在当前之前最 近一次计算得到的延时估计期望值；
[0011] 如果存在，则对齐所述音频数据与所述参考队列中的参考信号之间的时间关系。
[0012] 一种音频数据与参考信号的时间对齐装置，所述装置包括：
[0013] 获取模块，用于获取当前采集的音频数据W及从参考队列中获取所述音频数据对 应的参考信号；
[0014] 计算模块，用于根据所述音频数据和所述参考信号之间的相关值，计算第一延时 估计期望值；
[0015] 检测模块，用于根据第二延时估计期望值和所述第一延时估计期望值检测所述音 频数据与所述参考队列中的参考信号之间是否存在差拍现象，所述第二延时估计期望值是 在当前之前最近一次计算得到的延时估计期望值；
[0016] 对齐模块，用于如果存在，则对齐所述音频数据与所述参考队列中的参考信号之 间的时间关系。
[0017] 在本发明实施例中，由于根据第二延时估计期望值和第一延时估计期望值能够检 测出该音频数据与参考队列中的参考信号之间是否存在差拍现象，从而在一出现差拍现象 便能被检测出，然后对齐该音频数据与参考队列中的参考信号之间的时间关系，W消除该 差拍现象，从而使得终端能够消除音频数据中的回声，提高了回声消除的鲁椿性。
【附图说明】
[0018] 图1-1是本发明实施例提供的一种网络架构示意图；
[0019] 图1-2是本发明实施例提供的一种终端结构示意图；
[0020] 图1-3是本发明实施例1提供的一种音频数据与参考信号的时间对齐方法流程 图；
[0021] 图2-1是本发明实施例2提供的一种音频数据与参考信号的时间对齐方法流程 图；
[0022] 图2-2是本发明实施例2提供的一种参考队列结构示意图；
[0023] 图3是本发明实施例3提供的一种音频数据与参考信号的时间对齐装置结构示意 图；
[0024] 图4是本发明实施例4提供的一种终端结构示意图。
【具体实施方式】
[0025] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方 式作进一步地详细描述。
[0026] 参见图1-1，图1-1为本发明实施例应用的网络架构图，在该网络架构图中任意两 个终端接入通信网络，通过通信网络进行通话。通话过程大体如下：终端通过通信网络接收 与其通话的对端终端发送的音频数据，播放该音频数据。终端采集音频数据，通过通信网络 将采集的音频数据发送给对端终端，实现其与对端终端之间的通话。
[0027] 参见图1-2所示的终端结构，终端包括扬声器S、麦克风M和回声消除模块。其中， 终端接收对端终端发送的音频数据，对该音频数据进行解码，然后交由扬声器S对解码的 音频数据进行播放。麦克风M用于采集音频数据。麦克风M采集的音频数据中可能包括扬 声器s播放的播放声音，该播放声音即为回声。
[002引回声消除模块用于消除该音频数据中包含的回声。回声消除模块中包括参考队 列，每当终端解码出接收的音频数据时便将解码的音频数据作为参考信号，将该参考信号 从该参考队列的队头入队，缓存在该参考队列中，同时该参考队列位于队尾的参考信号出 队。回声消除模块实时获取麦克风M采集的音频数据，从参考队列中获取该音频数据对应 的参考信号，通过该参考信号消除该音频数据中的回声。然后终端对消除回声的音频数据 进行编码并发送给对端终端。
[0029] 其中，有时终端的负荷较大，终端可能丢失接收的音频数据或采集的音频数据，导 致采集的音频数据与参考队列中的参考信号之间产生差拍现象，使得回声消除模块无法消 除音频数据中的回声，降低了回声消除的鲁椿性。为了在差拍现象出现时，消除差拍现象， 提高回声消除的鲁椿性，可W通过如下任一实施例来对齐采集的音频数据与参考队列中的 参考信号之间的时间关系。
[0030] 实施例1
[0031] 参见图1-3,本发明实施例提供了一种音频数据与参考信号的时间对齐方法，包 括：
[0032] 步骤101 ;获取当前采集的音频数据W及从参考队列中获取该音频数据对应的参 考信号。
[0033] 步骤102 ;根据该音频数据和该参考信号之间的相关值，计算第一延时估计期望 值。
[0034] 步骤103 ;根据第二延时估计期望值和第一延时估计期望值检测该音频数据与参 考队列中的参考信号之间是否存在差拍现象，第二延时估计期望值是在当前之前最近一次 计算得到的延时估计期望值。
[003引步骤104 ;如果存在，则对齐该音频数据与参考队列中的参考信号之间的时间关 系。
[0036] 在本发明实施例中，由于根据第二延时估计期望值和第一延时估计期望值能够检 测出该音频数据与参考队列中的参考信号之间是否存在差拍现象，从而在一出现差拍现象 便能被检测出，然后对齐该音频数据与参考队列中的参考信号之间的时间关系，W消除该 差拍现象，从而使得终端能够消除音频数据中的回声，提高了回声消除的鲁椿性。
[0037] 实施例2
[003引参见图2-1，本发明实施例提供了一种音频数据与参考信号的时间对齐方法，包 括：
[0039] 步骤201 ;获取当前采集的音频数据d(n)W及从参考队列中获取该音频数据d(n) 对应的参考信号x(i)。
[0040] 参见图1-2,终端中包括麦克风和扬声器，该麦克风用于实时采集音频数据d(n)， 扬声器用于播放终端接收的音频数据x(n)。麦克风采集的音频数据d(n)中包括用户的声 音、用户所在周围环境的声音，还可能包括扬声器播放的播放声音。
[0041] 相应的，获取当前采集的音频数据d(n)，可W为：获取终端的麦克风当前采集的 音频数据d(n)。
[0042] 终端每接收到与其通话的对端终端发送的音频数据x(n)时，将该音频数据x(n) 作为参考信号，从回声消除模块中的参考队列的队头入队，即输入到参考队列中，同时参考 队列中位于队尾的参考信号出队。例如，参见