专利名称：一种媒体流时延检测方法及装置的制作方法
技术领域：
本发明涉及媒体流信号处理领域，尤其涉及一种媒体流时延检测方法及装置。
背景技术：
在媒体流的传输过程中，因编解码时延、传输时延等影响，可能造成通讯 的双方感觉信号不畅，影响交流，即所谓的唇音同步问题，为了尽量避免出现 唇音不同步的问题，往往需要准确把握媒体流耗时的关键路径，以及准确把握 图像码流以及声音码流在各关键路径中的流经时延，从而为改进流媒体系统的 性能提供准确可靠的依据。现有的视频/音频延迟时间的统计和检测，大都采用宏观估计或者代码局 部分析分段统计的方法，但是代码中每个函数的消耗时间同函数所处理的媒体 数据并非一一对应，由于程序中緩冲区的影响，中断的影响，总线传输的影响， 以及人为计算的主观偏差等都可能累积出较大的错误偏差，而且采用代码局部 分析的方法通用性很差，每次的代码修改可能都会对媒体流延迟产生影响。发明内容本发明实施例提供了 一种媒体流时延检测方法及装置，用以对媒体流实现 准确可靠地时延检测。本发明实施例提供的一种媒体流时延检测方法，包括 在待测路径的输入点，向输入的媒体码流中加入预设的特征码流，并记录 当前第一时间；在待测路径的输出点，对输出的所述媒体码流进行检测；当检测到所述特征码流时，记录当前第二时间；计算所述第二时间与所述第一时间之差，得到所述待测路径的媒体流时延。所述向媒体码流中加入预设的特征码流，包括将流经待测路径的输入点的一段与所述预设的特征码流长度相等的媒体 码流替换成所述特征码流；或在流经待测路径的输入点的媒体码流之中插入预设的特征码流。 所述特征码流的长度与士某体码流的帧长一致； 对输出的所述4某体码流进行检测，包括对输出的媒体码流逐帧进行检测，计算每一帧输出的媒体码流与所述特征 码流之间的相关程度值；所述相关程度值表征所述々某体码流与所述特征码流之 间的相关程度，所述相关程度值为(M之间的数；所述相关程度值取值越大， 表征所述媒体码流与所述特征码流之间相关程度越高；将计算出的相关程度值与预设的门限值相比较，当所述相关程度值大于等 于所述门限值时，确定当前检测的一帧媒体码流为所述特征码流。通过下述公式计算每一帧输出的媒体码流与所述特征码流之间的相关程A=<X,Y>/ ( W*|Y|) 上式中-.A为每一帧输出的々某体码流与所述特征码流之间的相关程度值；X为所述特征码流的矢量表达式；Y为每一帧输出的媒体码流的矢量表达式；〈X,Y〉为矢量X与矢量Y的内积；闪为矢量X的模；IYI为矢量Y的才莫。所述特征码流的矢量表达式为X-10(^cos(PI/4承N)+10(^cos(PL^N)或<formula>formula see original document page 7</formula>其中PI=3.14159; N=0 239。本发明实施例提供的媒体流时延检测方法，还包括重复多次检测所述待 测路径的媒体流时延；对多次的检测结果进行统计，得到多次检测结果的均值。本发明实施例提供的一种媒体流时延检测装置，包括添加单元，用于在待测路径的输入点，向输入的媒体码流中加入预设的特 征码流，并记录当前第一时间；检测单元，用于对输出的所述媒体码流进行检测；当4企测到所迷特征码流 时，记录当前第二时间；计算单元，计算所述第二时间与所述第一时间之差，得到所述待测路径的 媒体流时延。所述添加单元，还用于将流经待测路径的输入点的一段与所述预设的特征码流长度相等的々某体码流替换成所述特征码流；或在流经待测路径的输入点的媒体码流之中插入预设的特征码流。 所述检测单元，还用于对输出的媒体码流逐帧进行检测，计算每一帧输出的媒体码流与所述特征码流之间的相关程度值；所述相关程度值表征所述媒体码流与所述特征码流之间的相关程度；所述特征码流的长度与々某体码流的帧长一致；将计算出的相关程度值与预设的门限值相比较，当所述相关程度值大于等 于所述门限值时，确定当前检测的一帧媒体码流为所述特征码流。所述检测单元，还用于通过下述公式计算每一帧输出的媒体码流与所述特 征码流之间的相关程度值A=<X，Y>/ (jX鬥YI)上式中A为每一帧输出的媒体码流与所述特征码流之间的相关程度值X为所述特征码流的矢量表达式；Y为每一帧输出的々某体码流的矢量表达式；〈X，Y〉为矢量X与矢量Y的内积；pq为矢量x的模；IYI为矢量Y的模。本发明实施例的有益效果如下本发明实施例提供的一种媒体流时延检测方法及装置，在待测路径的输入 点，向媒体码流中加入预设的特征码流，记录当前的第一时间，在待测路径的 输出点，对输出的媒体码流进行检测，当检测到特征码流时，记录当前的第二 时间，计算第二时间与第一时间之差，作为待测路径的4某体流时延，本发明实 施例提供的媒体流时延检测方法及装置，对纟某体码流进行信号的处理和分析， 通过计算添加特征码流，以及从媒体码流中检测出特征码流之间的时间差，得到待测路径的媒体流时延，与现有技术采用的宏观估计和代码分析分段统计的 方法相比，检测方法较为客观，检测结果也更为准确和可靠，并且，本发明实 施例提供的媒体流时延检测方法及装置，可以对不同待测路径上的媒体流时延 进行检测，例如可以媒体码流流经单个设备的时延进行检测，也可以对々某体码 流流经多个设备的总时延进行检测，检测方法均相同，与现有4支术采用的代码 局部分析的方法相比，更具有通用性。
图1为本发明实施例提供的媒体流时延检测方法的流程图； 图2为本发明实施例提供的实例中信号流的走向图； 图3为本发明实施例提供的实例的具体流程图；图4为本发明实施例提供的实例中加入特征码流之后的媒体码流的示意图；征码流的示意图；图6为本发明实施例提供的媒体流时延检测装置的结构示意图。
具体实施方式
下面结合附图，用对本发明提供的一种媒体流时延检测方法及装置的具体 实施方式进行详细的i兌明。本发明实施例提供的媒体流时延检测方法，如图l所示，包括下述步骤5101、 在待测路径的输入点，向输入的媒体码流中加入预设的特征码流， 并记录当前第一时间；5102、 在待测路径的输出点，对输出的媒体码流进行检测；当检测到特征 码流时，记录当前第二时间；5103、 计算第二时间与第一时间之差，得到待测路径的媒体流时延。 利用本发明实施例提供的上迷流程，可以对一些々某体码流关键的处理过程的时延进行检测，例如检测音频码流输入数字信号处理器(Digital Signal Processor, DSP)到输出DSP之间的时延，或者其他关键路径的时延。尤其对 于较复杂的系统来说，如果媒体码流流经多个独立的设备，可以对媒体码流流 经单个设备的时延进行检测，或者对媒体码流流经多个设备的时延进行检测， 测i式方法冲目同。在上述步骤S101中，向媒体码流中加入预设的特征码流，可以采用将流 经待测路径的输入点的一段与该预设的特征码流长度相等的媒体码流替换成 预设的特征码流的方式；或者，采用在流经待测路径的输入点的媒体码流之中 插入该预设的特征码流的方式。在上述步骤S102中，为了便于检测，特征码流的长度可以选择与媒体码 流的帧长一致，检测过程中，不断地对输出的媒体码流逐帧进行检测，每输出 一帧媒体码流，就计算一次当前输出的这一帧々某体码流与特征码流之间的相关 程度值；相关程度值越高，则表明当前输出的这一帧媒体码流与特征码流之间越近似。
将计算出的媒体码流与特征码流之间的相关程度值与预设的门限值相比 较，当计算出的相关程度值大于等于预设的门限值时，就可以确定当前检测的 这一帧媒体码流就是特征码流。
计算相关程度值通过采用归一化互相关函数来计算。具体函数的表达式
为A=<X，Y>/( pq*|Y| )，上式中
A为每一帧输出的媒体码流与特征码流之间的相关程度值；
X为特征码流的矢量表达式；
Y为每一帧输出的々某体码流的矢量表达式；
〈X,Y〉为矢量X与矢量Y的内积；
闪为矢量X的模；
IYI为矢量Y的模。
归一化互相关函数是用来描述两个随机矢量信号X和Y在任意两个不同 时刻tl和t2取值之间的相关程度。如果计算结果A等于零，表示输出的媒体 码流信号与特征码流信号完全不相千；如果计算结果A等于1，表示输出的媒 体码流信号与特征码流信号完全相千。A越趋近于l,说明两个信号的相似性 越高。归一化互相关函数给出了在频域内两个信号是否相关的一个判断指标。
如果当前输出码流同特征码流的相关程度很高，可以根据实际情况选取一 个门限值，比如0.95,当计算出的相关程度值A超过0.95,则可以确定当前输 出的这一帧媒体码流就是特征码流。
为了更好地说明本发明实施例提供的媒体流时延检测方法，在此，举一个 具体的实例说明。
在本实例中，以会议电视系统中音频处理的时延检测的实际应用场景为例 来介绍，但本发明实施例提供的媒体流时延检测方法并不局限音频的时延的检 测过程，同样适用于其他媒体流例如视频、图像等的检测。
图2是本实例中信号流的走向图，在本实例中，需要检测的是媒体码流从终端设备出发后，到达局端设备MCU，然后又从局端设备MCU流出后到达终 端设备这一段待测路径的总时延。
在检测开始之前，选择终端设备中音频数据采样后生成的线性音频码流 (即该待测路径的输入点输入的媒体码流)插入特征码流，线性媒体码流经过 编码后发送至局端设备MCU,然后再返回至终端设备，在检测时，选择对终 端设备中解码之后准备播放的线性媒体流(即该待测路径的输出点输出的媒体 码流)进行检测。
下面结合附图3说明下本实例中媒体流时延检测的具体流程，包括下述步
骤
5301、
流，并记录当前时间T1。
图4所示的是一賴j口入特征码流之后的媒体(音频)码流的示意图。图4 中的方框内所示的是加入的特征码流。
特征码流的选取，较佳地，选择与常规的媒体码流区别较大的码流，另夕卜， 为了检测的方便，可以选择特征码流的长度等于媒体码流的帧长。
一个典型的特征码流的矢量表达式为X=100*cos(PI/4*N)+100*cos(PI/8* N),其中，PI=3.14159， N=0~239，特征码流共选取了 240个点，对于采样率 8K的语音来说相当于准备了 30ms的媒体数据。
特征码流的矢量表达式中选取了两种余弦分量10(^cos(PI/WN)和100*cos (PI/8*N)，目的是使得特征码流更特殊，以区别与常M^的媒体码流，并且能够 增加特征码流的抗千扰特性，另外，这两个余弦分量在240点内正交，方便测 试时进行计算。
或者为了更进一步地简化运算，例如还可以选择下述特征码流，该特征码 流为单一的余弦信号，矢量表达式为X=100*cos(PI/8*N)，其中，PI-3.14159, N=0~239，该特征码流共选取了 240个点。
5302、
ii行检测。
在本步骤S302中，当每收到一帧的々某体码流时(240点)，就检测一次， 把接收的一帧即240个点的媒体码流用Y表示，然后与特征码流X按照下述 公式进行计算A=<X,Y>/ ()。
计算过程如下<X，Y>= x(0)* y(0)+ x(l)* y(l)+...+x(239)* y(239);
闪-sqrt(x(0)承x(0)+x(l)* x(l).,.+x(239)* x(239));
|Y|=sqrt(y(0)* y(0)+ y(l)* y(l)...+y(239)* y(239))。
上述计算过程中函数sqrt表示求算术根，由于A的值越接近于1 ，则表明 特征码流与当前检测的这一帧媒体码流越近似，将A=<X,Y>/ (pq*|Y|)计算 出的结果，与设定的阈值例如0.9相比，如果A的值大于等于0.9则认为当前 检测的这一帧码流即为先前加入的特征码流。
5303、 当检测到特征码流时，记录当前的时间T2。
图5是终端设备接收的媒体码流中检测出的特征码流的示意图，方框中示 意的是检测出的特征码流。
5304、 计算T2与T1的时间差，即得到了媒体码流从终端设备出发后，到 达局端设备MCU，然后又从局端设备MCU流出后到达终端设备这一段待测路 径的总时延。
为了进一步地提高々某体流时延的准确性，在本实例中，还可以多次重复执 行上述步骤S301至步骤S304，每次重复执行之间需要确保有足够的时间间隔。 将每次重复执行步骤S301至步骤S304得到的检测结果进行统计，计算多次检 测结果的均值，作为该待测路径媒体流时延的最终4企测结果。
本实例中是以音频码流为例进行说明的，对于视频流来说，可以对视频流 每帧图像的某一行像素进行采样形成线性的媒体码流，然后在形成的媒体码流 中加入特征码流，检测的方法与上述步骤S301至S304—致，在此不再赘述。
基于同一发明构思，本发明实施例中还提供了一种媒体流时延检测装置， 由于该装置基于前述媒体流时延检测方法实现，所解决问题的原理与前述一种士某体流时延4企测方法的工作原理相似，因此该装置的具体实施可以参见方法的 实施，重复之处不在赘述。
本发明实施例提供的一种媒体流时延检测装置，如图6所示，包括
添加单元601,用于在待测路径的输入点，向输入的媒体码流中加入预设 的特征码流，并记录当前第一时间；
检测单元602，用于对输出的媒体码流进行检测；当检测到特征码流时， 记录当前第二时间；
计算单元603，计算第二时间与第一时间之差，得到待测路径的媒体流时延。
添加单元601，还用于将流经待测路径的输入点的一段与预设的特征码流 长度相等的々某体码流替换成特征码流；或
在流经待测路径的输入点的媒体码流之中插入预设的特征码流。
检测单元602,还用于对输出的々某体码流逐帧进行检测，计算每一帧输出 的媒体码流与特征码流之间的相关程度值；相关程度值表征媒体码流与特征码 流之间的相关程度；特征码流的长度与々某体码流的帧长一致；
将计算出的相关程度值与预设的门限值相比较，当相关程度值大于等于门 限值时，确定当前检测的一帧媒体码流为所述特征码流。
检测单元602，还用于通过下述公式计算每一帧输出的媒体码流与所述特 征码流之间的相关程度值
A=<X，Y>/ ( W*|Y|)
上式中
A为每一帧输出的々某体码流与特征码流之间的相关程度值；
X为所述特征码流的矢量表达式；
Y为每一帧输出的媒体码流的矢量表达式；
〈X,Y〉为矢量X与矢量Y的内积；
IXI为矢量X的模；
13m为矢量Y的模。
本发明实施例提供的一种媒体流时延检测方法及装置，在待测路径的输入 点，向输入的媒体码流中加入预设的特征码流，记录当前的第一时间，在待测 路径的输出点，对输出的媒体码流进行检测，当4企测到特征码流时，记录当前 的第二时间，计算第二时间与第一时间之差，作为待测路径的媒体流时延，本 发明实施例提供的媒体流时延检测方法及装置，对^某体码流进行信号的处理和 分析，通过计算添加特征码流与从媒体码流中检测出特征码流之间的时间差， 得到待测路径的々某体流时延，与现有技术采用的宏观估计和代码分析分段统计 的方法相比，；险测方法更为客观，检测结果也更为准确和可靠，并且，本发明 实施例提供的媒体流时延检测方法及装置，可以对不同的待测路径上的媒体流 时延进行检测，例如可以媒体码流流经单个设备的时延进行检测，也可以对士某 体码流流经多个设备的总时延进行检测，检测方法均相同，与现有技术采用的 代码局部分析的方法相比，更具有通用性。
另外，本发明实施例提供的媒体流时延检测方法及装置中，特征码流采用 与常规的媒体码流差异较大的码流，增强了特征码流的抗干扰性，提高了检测 结果的准确性和可靠性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发 明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种媒体流时延检测方法，其特征在于，包括在待测路径的输入点，向输入的媒体码流中加入预设的特征码流，并记录当前第一时间；在待测路径的输出点，对输出的所述媒体码流进行检测；当检测到所述特征码流时，记录当前第二时间；计算所述第二时间与所述第一时间之差，得到所述待测路径的媒体流时延。
2、 如权利要求1所述的方法，其特征在于，所述向媒体码流中加入预设的特征码流，包括将流经待测路径的输入点的一段与所述预设的特征码流长度相等的媒体码流替换成所述特征码流；或在流经待测路径的输入点的媒体码流之中插入预设的特征码流。
3、 如权利要求2所述的方法，其特征在于，所述特征码流的长度与媒体码流的帧长一致；对输出的所述媒体码流进行检测，包括对输出的媒体码流逐帧进行检测，计算每一帧输出的媒体码流与所述特征码流之间的相关程度值；所勤目关程度值表征所述々某体码流与所述特征码流之间的相关程度，所述相关程度值为(M之间的数；且所述相关程度值越大，表征所述媒体码流与所述特征码流之间相关程度越高；将计算出的相关程度值与预设的门限值相比较，当所述相关程度值大于等于所述门限值时，确定当前检测的一帧媒体码流为所述特征码流。
4、 如权利要求3所述的方法，其特征在于，通过下述公式计算每一帧输出的媒体码流与所述特征码流之间的相关程度值A=<X，Y>/ (|X|*|Y|)上式中A为每一帧输出的i某体码流与所述特征码流之间的相关程度值；X为所述特征码流的矢量表达式；Y为每一帧输出的々某体码流的矢量表达式；〈X，Y〉为矢量X与矢量Y的内积；pq为矢量x的模；IYI为矢量Y的模。
5、 如权利要求4所述的方法，其特征在于，所述特征码流的矢量表达式 为X=100*cos(PI/4*N)+100*cos(PI/8*N>^ X=100*cos(PI/8*N);其中PI-3.14159; N=0~239。
6、 如权利要求1-5任一权利要求所述的方法，其特征在于，还包括重 复多次检测所述待测路径的媒体流时延；对多次的检测结果进行统计，得到多次检测结果的均值。
7、 一种媒体流时延检测装置，其特征在于，包括添加单元，用于在待测路径的输入点，向输入的々某体码流中加入预设的特 征码流，并记录当前第一时间；检测单元，用于对输出的所述媒体码流进行检测；当检测到所述特征码流 时，记录当前第二时间；计算单元，计算所述第二时间与所述第一时间之差，得到所述待测路径的媒体流时延。
8、 如权利要求7所述的装置，其特征在于，所述添加单元，还用于将流 经待测路径的输入点的 一段与所述预设的特征码流长度相等的媒体码流替换 成所述特征码流；或在流经待测路径的输入点的媒体码流之中插入预设的特征码流。
9、 如权利要求8所述的装置，其特征在于，所述检测单元，还用于对输 出的媒体码流逐帧进行检测，计算每一帧输出的媒体码流与所述特征码流之间 的相关程度值；所述相关程度值表征所述媒体码流与所述特征码流之间的相关程度；所述特征码流的长度与々某体码流的帧长一致；将计算出的相关程度值与预设的门限值相比较，当所勤目关程度值大于等于所述门限值时，确定当前检测的一帧媒体码流为所述特征码流。
10、如权利要求9所述的装置，其特征在于，所述4企测单元，还用于通过下述公式计算每一帧输出的々某体码流与所述特征码流之间的相关程度值A=<X，Y>/ ()上式中A为每一帧输出的媒体码流与所述特征码流之间的相关程度值；X为所述特征码流的矢量表达式；Y为每一帧输出的々某体码流的矢量表达式；〈X，Y〉为矢量X与矢量Y的内积；闪为矢量X的模；m为矢量Y的模。
全文摘要
本发明公开了一种媒体流时延检测方法及装置，其中方法包括在待测路径的输入点，向媒体码流中加入预设的特征码流，并记录当前第一时间；在待测路径的输出点，对输出的媒体码流进行检测；当检测到特征码流时，记录当前第二时间；计算第二时间与第一时间之差，得到待测路径的媒体流时延。本发明提供的媒体流时延检测方法及装置，对媒体码流进行信号的处理和分析，通过计算添加特征码流与从媒体码流中检测出特征码流之间的时间差，得到待测路径的媒体流时延，与现有技术采用的宏观估计和代码分析分段统计的方法相比，检测方法更为客观，检测结果也更为准确和可靠。
文档编号H04L1/00GK101656596SQ20091016949
公开日2010年2月24日 申请日期2009年9月17日 优先权日2009年9月17日
发明者孙晓锋, 靖 李, 福 王, 军 陈, 黄志宏 申请人:中兴通讯股份有限公司