一种音频数据与参考信号的时间对齐方法及装置的制造方法_2

文档序号:8925373阅读:来源:国知局
图2-2所示的参考队列,该参考队列的长度为 L终端接收到音频数据X(n),将音频数据X(n)作为参考信号并从该参考队列的队头入队, 缓存的该参考队列中。
[0043]相应的,从参考队列中获取该音频数据d(n)对应的参考信号x(i),可W为;分别 对该音频数据x(n)和参考队列中的每个参考信号x(j)进行傅立叶变化,得到各自对应的 频域信号D(n)和X(j),j的取值范围为从n-L至n;根据该音频数据d(n)对应的频域信 号D(n)和每个参考信号x(j)对应的频域信号X(j),按如下公式(1)分别计算该音频数据 d(n)与参考队列中的每个参考信号x(j)之间的相关值;从参考队列中选择与该音频数据 d(n)之间的相关值最大的参考信号x(i)作为该音频数据d(n)对应的参考信号。
[0044] F=I护(n) ?X(j)|2……(1);
[0045] 在上述公式(1)中,F为相关值,护(n)为频域信号D(n)的共辆。相关值用于表示 参考信号与音频数据中的回声之间的相似程度,相关值越大,表示参考信号与音频数据中 的回声之间的相似程度就越大。
[0046] 步骤202;根据该音频数据d(n)与该参考信号x(i)之间的相关值,计算第一延时 估计期望值T化)。
[0047] 具体地,本步骤可W通过如下(1)-(4)的步骤来实现,包括:
[0048] (1);将该音频数据d(n)与该参考信号x(i)之间的相关值确定为该音频数据 d(n)的延时估计。
[0049] (2);获取在第一时间段内麦克风采集的各音频数据的延时估计,第一时间段是在 当前之前且离当前最近的预设时间长度的时间段。
[0050] 在本发明实施例中,每当麦克风采集到音频数据时,便从上述步骤201开始执行, 所W在当前之前已得到麦克风采集的各音频数据的延时估计。
[005U(3);根据该音频数据d(n)的延时估计和第一时间段内麦克风采集的各音频数据 的延时估计,计算第一延时估计期望值T化)。
[0052]具体地,计算该音频数据d(n)的延时估计和第一时间段内麦克风采集的各音频 数据的延时估计的平均值,该平均值即为第一延时估计期望值T化)。
[0化3] 其中,参见图1-2,回声消除模块包括延时估计器1、差拍检测单元2和自适应滤波 器3。其中,延时估计器1用于执行上述步骤201和202,来计算第一延时估计期望值T化), 将检测到的第一延时估计期望值T(k)输入给差拍检测单元2。差拍检测单元2用于执行如 下步骤来检测出麦克风采集的音频数据与参考队列中的参考信号之间的是否存在差拍现 象。自适应滤波器3中包括参考队列,用于消除麦克风采集的音频数据中的回声。
[0化4]步骤203;根据第一延时估计期望值T化),确定该音频数据d(n)是否包括本端用 户声音,如果不包括,执行步骤204。
[0055] 具体地,本步骤可W通过如下(A)-做的步骤来实现,包括:
[0化6] (A);根据第一延时估计期望值T(k)和第二延时估计期望值T化-1),计算第一延 时估计一阶差分值Ti化),其中,第二延时估计期望值T化-1)是在当前之前最近一次计算得 到的延时估计期望值。
[0化7] 其中,第一延时估计一阶差分值Ti化)=T(k)-T化-1)。
[005引 做;获取在第一时间段内计算得到的第二延时估计一阶差分值,分别为Ti(k-l)、 Ti化-2)......。
[0化9] (C);根据第一延时估计一阶差分值Ti(k)和获取的第二延时估计一阶差分值 Ti化-1)、Ti化-2)......,计算延时估计稳定度指标T2化)。
[0060] 其中,延时估计稳定度指标
;N为第一延时估计一阶差 分值和获取的第二延时估计一阶差分值的数目。
[006U 值);如果该延时估计稳定度指标T2GO小于预设阔值,则确定音频数据d(n)包 括本端用户声音,否则,确定音频数据d(n)不包括本端用户声音。
[0062] 其中,音频数据d(n)中包括本端用户声音的情况,分为如下两种;第一、本端用户 在说话,对方用户未说话;第二、本端用户和对方用户相互同时在说话。本端用户为终端对 应的用户,本端用户声音为终端对应的用户发出的声音。对方用户即为对端终端对应的用 户。
[0063] 对于本端用户在说话,对方用户未说话的情况,由于对端终端对本端用户说话的 回声进行消除,使得对端终端不会发送音频数据给终端,终端的扬声器不会发出声音,即采 集的音频数据d(n)中不包括回声,根据音频数据d(n)并通过上述步骤计算得到的第一延 时估计期望值T(k)存在在很大的误差,不宜进行差拍检测。
[0064] 对于本端用户和对方用户相互同时在说话的情况,麦克风采集的音频数据d(n) 中包括本端用户声音和扬声器播放的播放声音,本端用户声音的大小在不断变化,时而超 过扬声器的播放声音,即覆盖了播放声音,时而未超过扬声器的播放声音,使得根据音频数 据d(n)并通过上述步骤计算得到的第一延时估计期望值T(k)也存在在很大的误差,不宜 进行差拍检测。
[00化]进一步地,由于回声消除模块是一直不断地对麦克风采集的音频数据进行回声消 除,所W当确定出音频数据d(n)包括本调用户声音时,仍继续从参考队列的队头入队接收 的参考信号,W及继续向回声消除模块输入麦克风采集的音频数据,并根据第二延时估计 期望值T(k-l)和该音频数据d(n)的采集时间,从参考队列中选择一参考信号,根据选择的 参考信号对该音频数据d(n)中的进行回声消除处理。
[0066]步骤204;根据第一延时估计期望值T(k)和第二延时估计期望值T化-1),检测该 音频数据d(n)与参考队列中的参考信号之间是否存在差拍现象,如果存在,执行步骤205, 如果不存在,执行步骤207。
[0067] 具体地,比较第一延时估计期望值和第二延时估计期望值,如果两者不等,则检测 出该音频数据d(n)与参考队列中的参考信号之间的存在差拍现象,如果两者相同,则检测 出该音频数据d(n)与参考队列中的参考信号之间的不存在差拍现象。
[0068] 步骤205 ;对齐音频数据d(n)与参考队列中的参考信号之间的时间关系。
[0069] 具体地,如果第一延时估计期望值T化)小于第二延时估计期望值T化-1),则停 止向参考队列输入参考信号并继续向回声消除模块输入采集的音频数据,W对齐音频数据 d(n)与参考队列中的参考信号之间的时间关系;如果第一延时估计期望值T(k)大于第二 延时估计期望值T化-1),则停止向回声消除模块输入采集的音频数据并继续向参考队列输 入参考信号,W对齐音频数据d(n)与参考队列中的参考信号之间的时间关系。
[0070] 其中,回声消除模块中包括的自适应滤波器3负责消除音频数据中的回声,且其 中包括参考队列。参见图1-2,自适应滤波器3通过开关K1连接至麦克风,通过开关K2连 接至终端的接收天线,可W通过关断开关K2W及闭合开关K1,W停止向自适应滤波器3中 的参考队列输入参考信号并继续向自适应滤波器3输入采集的音频数据;或者,可W通过 关断开关K1闭合开关K2,W停止向自适应滤波器3输入采集的音频数据并继续向参考队列 输入参考信号。
[0071] 其中,需要说明的是;如果第一延时估计期望值T(k)小于第二延时估计期望值 T化-1),则表明终端丢失了麦克风采集的音频数据,然而参考信号未丢失,且参考信号一直 从队头输入到参考队列中,所W导致参考队列中的参考信号快于麦克风采集的音频数据, 因此停止向参考队列输入参考信号,来对齐音频数据d(n)与参考队列中的参考信号之间 的时间关系。如果第一延时估计期望值T化)大于第二延时估计期望值T化-1),则表明终端 丢失了接收的参考信号,然而麦克风集的音频数据未丢失,音频数据一直输入回声消除模 块,所W导致参考队列中的参考信号慢于麦克风采集的音频数据,因此停止向回声消除模 块输入麦克风采集的音频数据,来对齐音频数据d(n)与参考队列中的参考信号之间的时 间关系。
[0072] 步骤206;根据第一延时估计期望值T化),消除音频数据d(n)中的回声。
[0073] 具体地,根据第一延时估计期望值T(k)和该音频数据d(n)的采集时间,从参考队 列中选择一参考信号,根据选择的参考信号消除该音频数据d(n)中的回声。
[0074] 步骤207 ;继续从参考队列的队头输入接收的参考信号,W及继续向回声消除模 块输入麦克风采集的音频数据,并根据第二延时估计期望值T化-1),消除音频数据d(n)中 的回声。
[0075] 具体地,参见图1-2,可W控制开关K1和K2闭合,W继续从参考队列的队头输入接 收的参考信号,W及继续向回声消除模块输入麦克风采集的音频数据,根据第二延时估计 期望值T(k-l)和该音频数据d(n)
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1