一种时延检测方法及装置与流程

本发明涉及语音信号处理领域，具体涉及一种时延检测方法及装置。

背景技术：

在许多音频设备，例如视频会议系统中，往往会出现时延大、时延不稳定、甚至出现负时延现象，这使得远近端信号无法对齐，从而无法更好地进行回波抵消处理。现有的时延检测方法有很多，如脉冲法在本地终端预设脉冲，并通过本地播放端播放，再通过本地采集端采集，从而获取时延。脉冲法虽简单，但只可在语音设备对通前进行时延估计，不能在其使用过程中实时检测时延漂移现象。

语音特征参数，包括线性预测倒谱系数(Linear Predictive Cepstral Coefficients，LPCC)、美尔倒谱系数(Mel Frequency Cepstral Coefficients,MFCC)，LPCC计算量较小，MFCC基于人耳听觉机理，抗噪性好，稳定性高。此外，还有一种线性预测美尔倒谱系数(LPC Mel Cepstral Coefficients，LPCMCC)融合了LPCC和MFCC的优点，此外还具有算法复杂度低、抗噪性好、稳定性高等优点，适合于信号的实时处理。目前，语音特征参数往往仅被用来做语音识别、语音检索。

本发明旨在提供一种时延检测方法，将此类信号特征参数应用于时延检测，能够在设备使用过程中实时检测时延现象。

技术实现要素：

本发明要解决的技术问题在于将信号特征参数应用于信号时延检测。

为此，本发明实施例提供一种时延检测方法，包括如下步骤：分别采集来自不同信号端的第一信号和第二信号，并对其分帧；计算所述第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算所述第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算所述第一信号特征参数和所述第二信号特征参数的差方和；所述第一预定信号帧和所述第二预定信号帧为同一时刻的信号帧；依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算所述第一信号特征参数和所述第二信号特征参数的差方和；获取所述差方和中的最小值；若所述最小值小于预定阈值,则获取所述最小值对应的所述第二信号的起始帧的序号；根据所述起始帧的序号计算时延值。

优选地，所述计算所述第一信号特征参数和所述第二信号特征参数的差方和的公式为其中，k为所述第二信号的起始帧的序号,N为预设帧数；x_i为所述第一信号从第一预定信号帧开始的第i个信号帧的第一信号特征参数；y_i为所述第二信号从起始帧开始的第i个信号帧的第二信号特征参数。

优选地，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数的类型包括线性预测倒谱系数LPCC、美尔倒谱系数MFCC、线性预测美尔倒谱系数LPCMCC中的任一者。

优选地，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数为线性预测美尔倒谱系数LPCMCC；所述计算所述第一信号特征参数和所述第二信号特征参数的差方和的公式为其中，k为所述第二信号的起始帧的序号,N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x_(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC，y_(i,j)为所述第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。

优选地，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数为线性预测美尔倒谱系数LPCMCC；所述计算所述第一信号特征参数和所述第二信号特征参数的差方和的步骤还包括：计算所述第一信号从第一预定信号帧开始的预设帧数的方差，其计算公式为其中，N为预设帧数，x_(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC；所述计算所述第一信号特征参数和所述第二信号特征参数的差方和的公式为其中，k为所述第二信号的起始帧的序号，N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x_(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC,y_(i,j)为所述第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。

优选地，对所述第一信号和所述第二信号分帧时，相邻帧重叠。

优选地，所述根据所述起始帧的序号计算时延值的公式为其中，f_sample为1ms的采样点数，Y为所述差方和中的最小值对应的所述第二信号的起始帧的序号，Y₀为所述第二预定信号帧的序号，f_not-overlap为相邻帧不重叠的点数。

相应地，本发明实施例提供一种时延检测装置，包括：采集分帧单元，用于分别采集来自不同信号端的第一信号和第二信号，并对其分帧；差方和计算单元，用于计算所述第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算所述第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算所述第一信号特征参数和所述第二信号特征参数的差方和；所述第一预定信号帧和所述第二预定信号帧为同一时刻的信号帧；所述差方和计算单元，还用于依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算所述第一信号特征参数和所述第二信号特征参数的差方和；最小值获取单元，用于获取所述差方和中的最小值；序号获取单元，用于若所述最小值小于预定阈值,则获取所述最小值对应的所述第二信号的起始帧的序号；时延计算单元，用于根据所述起始帧的序号计算时延值。

优选地，所述差方和计算单元计算所述第一信号特征参数和所述第二信号特征参数的差方和的公式为其中，k为所述第二信号的起始帧的序号,N为预设帧数；x_i为所述第一信号从第一预定信号帧开始的第i个信号帧的第一信号特征参数；y_i为所述第二信号从起始帧开始的第i个信号帧的第二信号特征参数。

优选地，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数的类型包括线性预测倒谱系数LPCC、美尔倒谱系数MFCC、线性预测美尔倒谱系数LPCMCC中的任一者。

优选地，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数为线性预测美尔倒谱系数LPCMCC；所述差方和计算单元包括：第一计算子单元，用于计算所述第一信号特征参数和所述第二信号特征参数的差方和，其计算公式为其中，k为所述第二信号的起始帧的序号,N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x_(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC，y_(i,j)为所述第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。

优选地，所述第一信号和所述第二信号为语音信号，所述第一信号特征参数和所述第二信号特征参数为线性预测美尔倒谱系数LPCMCC；所述差方和计算单元包括：第二计算子单元，用于计算所述第一信号从第一预定信号帧开始的预设帧数的方差，其计算公式为其中，N为预设帧数，x_(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC；第三计算子单元，用于计算所述第一信号特征参数和所述第二信号特征参数的差方和，其计算公式为其中，k为所述第二信号的起始帧的序号，N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x_(i,j)为所述第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC,y_(i,j)为所述第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。

优选地，所述采集分帧单元对所述第一信号和所述第二信号分帧时，相邻帧重叠。

优选地，所述时延计算单元计算根据所述起始帧的序号计算时延值的公式为其中，f_sample为1ms的采样点数，Y为所述差方和中的最小值对应的所述第二信号的起始帧的序号，Y₀为所述第二预定信号帧的序号，f_not-overlap为相邻帧不重叠的点数。

本发明技术方案，具有如下优点：

1.本发明实施例提供的时延检测方法及装置，采集信号并分帧后，计算第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算该第一信号特征参数和第二信号特征参数的差方和；再依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和，然后获取差方和中的最小值，若最小值小于预定阈值，则获取最小值对应的第二信号的起始帧的序号，根据该起始帧的序号计算时延值。该方法及装置可以实时检测时延现象并求取时延值。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为本发明实施例1中时延检测方法的流程图；

图1B-1E为本发明实施例1中时延检测方法计算差方和的示意图；

图1F为本发明实施例1中时延检测方法帧重叠及时延值计算的示意图；

图2A为本发明实施例2中时延检测装置的原理框图；

图2B为本发明实施例2中时延检测装置的一个具体示例的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本实施例提供一种时延检测方法，如图1A所示，包括如下步骤：

S10：分别采集来自不同信号端的第一信号和第二信号，并对其分帧。

S20：计算第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和，该第一预定信号帧和该第二预定信号帧为同一时刻的信号帧。

第一信号特征参数和第二信号特征参数是能够识别信号特征的信号参数。

例如，如图1B至图1D所示，选定预定帧数为3帧。如图1B所示，分别计算黑色方框所示的对应信号帧的差方和。

S30：依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和。

例如，如图1C所示，在图1B所示的步骤之后，将第二信号的起始帧向后移动一帧，再分别计算黑色方框所示的对应信号帧的差方和。

S40：获取该差方和中的最小值。

例如，依次执行步骤S30，并获取差方和中的最小值。

S50：若该最小值小于预定阈值,则获取该最小值对应的第二信号的起始帧的序号。

当最小值小于预定阈值时，即可认为第二信号从起始帧开始的预设帧数的信号帧与第一信号从第一预定信号帧开始的预设帧数的信号帧相同。

S60：根据起始帧的序号计算时延值。

本发明实施例提供的上述时延检测方法，采集信号并分帧后，计算第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算该第一信号特征参数和第二信号特征参数的差方和；再依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和，然后获取差方和中的最小值，若最小值小于预定阈值，则获取最小值对应的第二信号的起始帧的序号，根据该起始帧的序号计算时延值。该方法可以实时检测时延现象并求取时延值。

作为本实施例的一种优选实施方式，计算第一信号特征参数和第二信号特征参数的差方和的公式为：其中，k为第二信号的起始帧的序号,N为预设帧数；x_i为第一信号从第一预定信号帧开始的第i个信号帧的第一信号特征参数；y_i为第二信号从起始帧开始的第i个信号帧的第二信号特征参数。

如图1C所示，预设帧数为3帧，当前第二信号的起始帧的序号为2，则差方和为其中，x₁至x₃分别为图中所示第一信号的第1帧至第3帧的第一信号特征参数，y₁至y₃分别为图中所示第二信号的第2帧至第4帧的第二信号特征参数。

需要补充说明的是，第一信号的信号帧顺序编号，第二信号的信号帧顺序编号，第一信号和第二信号的相同序号的信号帧可以为相同时刻的信号帧，也可以是不同时刻的信号帧。

优选地，第一信号和第二信号为语音信号，第一信号特征参数和第二信号特征参数的类型包括线性预测倒谱系数LPCC、美尔倒谱系数MFCC、线性预测美尔倒谱系数LPCMCC中的任一者。LPCC计算量较小，MFCC基于人耳听觉机理，抗噪性好，稳定性高。LPCMCC融合了LPCC和MFCC的优点，此外，由于LPCMCC计算过程无需进行傅立叶变换，因此算法复杂度低。

优选地，第一信号和第二信号为语音信号，第一信号特征参数和第二信号特征参数为线性预测美尔倒谱系数LPCMCC。采用LPCMCC作为第一信号特征参数和第二信号特征参数，算法复杂度低，计算量较小、抗噪性好、稳定性高。

对于每帧语音信号，其包括了多个采样点，LPCMCC采用了前面时刻的采样点预测后面时刻的采样点，因此，每一帧语音信号都可以有多个LPCMCC，其数量为预测的阶数。

进一步地，作为本实施例的一种优选实施方式，计算第一信号特征参数和第二信号特征参数的差方和的公式为：其中，k为第二信号的起始帧的序号,N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x_(i,j)为第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC，y_(i,j)为第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。

以图1B计算差方和的步骤为例，假设LPCMCC的阶数为4，即每帧有4个LPCMCC，则其详细步骤如图1E所示。先求取第一信号和第二信号如图所示的三帧的第1个LPCMCC的差方和，再求取如图所示的三帧的第2个LPCMCC的差方和，求取如图所示的三帧的第3个LPCMCC的差方和，求取如图所示的三帧的第4个LPCMCC的差方和，最后将上述四个差方和相加作为图1B所示步骤所求取的差方和结果。

作为上述优选实施方式的并列实施方式，计算第一信号特征参数和第二信号特征参数的差方和的步骤还包括：计算第一信号从第一预定信号帧开始的预设帧数的方差，其计算公式为：其中，N为预设帧数，x_(i,j)为第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。

计算第一信号特征参数和第二信号特征参数的差方和的公式为：其中，k为第二信号的起始帧的序号，N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x_(i,j)为第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC,y_(i,j)为第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。

仍旧以图1B计算差方和的步骤为例，假设LPCMCC的阶数为4，即每帧有4个LPCMCC，则其详细步骤如图1E所示。求取第一信号如图所示的三帧的第1个LPCMCC的方差，求取第一信号和第二信号如图所示的三帧的第1个LPCMCC的协方差，用该协方差除以该方差；求取第一信号如图所示的三帧的第2个LPCMCC的方差，求取第一信号和第二信号如图所示的三帧的第2个LPCMCC的协方差，用该协方差除以该方差；求取第一信号如图所示的三帧的第3个LPCMCC的方差，求取第一信号和第二信号如图所示的三帧的第3个LPCMCC的协方差，用该协方差除以该方差；求取第一信号如图所示的三帧的第4个LPCMCC的方差，求取第一信号和第二信号如图所示的三帧的第4个LPCMCC的协方差，用该协方差除以该方差。最后将上述四个比值相加，作为图1B所示步骤所求取的差方和结果。

上述求取第一信号和第二信号每帧的预定位置的LPCMCC的差方和之后，再比上第一信号每帧的该预定位置的LPCMCC的方差，通过第一信号的LPCMCC的方差对第一信号和第二信号LPCMCC的差方和进行归一化，一方面减小计算结果的数量级，另一方面提高算法的准确性。

优选地，对第一信号和第二信号分帧时，相邻帧重叠。相邻帧重叠使帧与帧之间特征参数过渡平缓，不会丢失边缘信号，从而提高时延检测的准确性。假设每帧有5个采样点，其重叠方式如图1F所示，相邻帧重叠2个点，不重叠的有3个点。

通常情况下，相邻帧重叠的点数与不重叠的点数相同。例如每帧有512个采样点，重叠的点数为256个点，不重叠的点数也是256个点。

进一步地，步骤S60计算时延值的公式为：其中，f_sample为1ms的采样点数，Y为差方和中的最小值对应的第二信号的起始帧的序号，Y₀为第二预定信号帧的序号，f_not-overlap为相邻帧不重叠的点数。时延值T_delay的单位为ms。

由于第一预定信号帧和第二预定信号帧为同一时刻的信号帧，则认为第二信号的第Y帧开始的预定帧数与第一信号的第一预定信号帧开始的预定帧数是相同的。Y-Y₀表示时延的帧数。帧重叠情况下，时延的点数为(Y-Y₀)*f_not-overlap，乘以采样间隔时间即可得上述时延值计算公式。

如图1F所示，帧重叠存储情况下第二信号的第二预定信号帧序号为1，差方和最小时对应的第二信号的起始帧序号为5，则时延帧数为4。相邻帧重叠点数为2，不重叠点数为3，时延的点数为12，假设1ms的采样点数为3，则时延值为4ms。

实施例2

本实施例提供一种时延检测装置，如图2A所示，包括采集分帧单元10、差方和计算单元20、最小值获取单元40、序号获取单元50和时延计算单元60。

采集分帧单元10，用于分别采集来自不同信号端的第一信号和第二信号，并对其分帧。

差方和计算单元20，用于计算第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和。第一预定信号帧和第二预定信号帧为同一时刻的信号帧。

该差方和计算单元20，还用于依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和。

最小值获取单元40，用于获取差方和中的最小值。

序号获取单元50，用于若最小值小于预定阈值,则获取最小值对应的第二信号的起始帧的序号。

时延计算单元60，用于根据起始帧的序号计算时延值。

本发明实施例提供的上述时延检测方法，通过采集分帧单元采集信号并分帧后，通过差方和计算单元计算第一信号从第一预定信号帧开始的预设帧数的第一信号特征参数，计算第二信号从第二预定信号帧开始的预设帧数的第二信号特征参数，计算该第一信号特征参数和第二信号特征参数的差方和；再依次循环从第二预定信号帧的下一帧开始计算预设帧数的第二信号特征参数，计算第一信号特征参数和第二信号特征参数的差方和，然后通过最小值获取单元获取差方和中的最小值，若最小值小于预定阈值，则通过序号获取单元获取最小值对应的第二信号的起始帧的序号，通过时延计算单元根据该起始帧的序号计算时延值。该装置可以实时检测时延现象并求取时延值。

作为本实施例的一种优选实施方式，差方和计算单元20计算第一信号特征参数和第二信号特征参数的差方和的公式为其中，k为第二信号的起始帧的序号,N为预设帧数；x_i为第一信号从第一预定信号帧开始的第i个信号帧的第一信号特征参数；y_i为第二信号从起始帧开始的第i个信号帧的第二信号特征参数。

优选地，第一信号和第二信号为语音信号，第一信号特征参数和第二信号特征参数的类型包括线性预测倒谱系数LPCC、美尔倒谱系数MFCC、线性预测美尔倒谱系数LPCMCC中的任一者。LPCC计算量较小，MFCC基于人耳听觉机理，抗噪性好，稳定性高。LPCMCC融合了LPCC和MFCC的优点，此外还具有算法复杂度低、抗噪性好、稳定性高等优点。

优选地，第一信号和第二信号为语音信号，第一信号特征参数和第二信号特征参数为线性预测美尔倒谱系数LPCMCC。

进一步地，作为本实施例的一种优选实施方式，差方和计算单元20包括第一计算子单元21。

第一计算子单元21，用于计算第一信号特征参数和第二信号特征参数的差方和，其计算公式为其中，k为第二信号的起始帧的序号,N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x_(i,j)为第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC，y_(i,j)为第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。

作为上述优选实施方式的并列实施方式，差方和计算单元20包括第二计算子单元22和第三计算子单元23。

第二计算子单元22，用于计算第一信号从第一预定信号帧开始的预设帧数的方差，其计算公式为其中，N为预设帧数，x_(i,j)为第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。

第三计算子单元23，用于计算第一信号特征参数和第二信号特征参数的差方和，其计算公式为其中，k为第二信号的起始帧的序号，N为预设帧数，J为线性预测美尔倒谱系数LPCMCC的阶数，x_(i,j)为第一信号从第一预定信号帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC,y_(i,j)为第二信号从起始帧开始的第i个信号帧的第j个线性预测美尔倒谱系数LPCMCC。

优选地，采集分帧单元10对第一信号和第二信号分帧时，相邻帧重叠。

进一步地，时延计算单元60计算根据起始帧的序号计算时延值的公式为其中，f_sample为1ms的采样点数，Y为差方和中的最小值对应的第二信号的起始帧的序号，Y₀为第二预定信号帧的序号，f_not-overlap为相邻帧不重叠的点数。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。