计算视频信号时间偏移量的方法和系统与流程

本发明涉及视频处理技术领域，尤其涉及一种计算视频信号时间偏移量的方法和系统。

背景技术：

随着直播技术的发展，在电视直播过程中，电视中人物与电视观众之间的互动需求越来越多，由于视频传输的特点，针对当前直播的视频信号，采用不同的播放渠道，其视频延时不同，导致无法实现电视与电视观众之间的精确互动，电视互动的效果非常低。例如卫星电视的节目是通过卫星传播，信号源将直播信号发射转播卫星后，播出机构需要在异地采用卫星接收机接收电视信号，然后通过直播转码器对电视信号进行转码，通过CDN网络将电视信号向指定用户分发，用户通过电视终端将电视信号播放，此过程引入了很多时延。

在很多直播视频互动应用中，需要根据内容来进行互动，但要求不能改变视频发生装置，也就是说播出链条不能做基于视频数据流的改动。经过分析后发现IPTV传输链路中的时延可以忽略，主要延迟来自卫星接收至直播转码输出，现有技术中，解决此问题需要手动进行计时和调整判断电视信号发送转播卫星与播出信号之间的时间偏移量，而这种偏移量在发生播出故障，如直播转码器故障切换时此偏移量也需要重新手动修正，带来较高的人工成本，对业务带来较大不便。

因此，现有技术需要改进。

技术实现要素：

本发明公开了一种计算视频信号时间偏移量的方法和系统，用以解决现有技术存在的问题。

基于本发明实施例的一个方面，公开了一种计算视频信号时间偏移量的方法，包括：

接入信源信号，通过信源时间特征采集检索系统获取信源信号的时间特征；

计算信源时间特征采集检索系统返回的信号时间偏移量；

接入播出信号，通过播出信号时间特征采集系统获取播出信号的时间特征；

将播出信号的时间特征上传至信源时间特征采集检索系统，并返回播出时间偏移量；

进行信号断流检测，重新获取播出信号时间信号特征。

在基于上述计算视频信号时间偏移量的方法的另一个实施例中，所述信源信号的时间特征包括：信源信号的自然时间、信源信号PTS时间戳、信源音频PTS、信源音频自然时间和信源信号音频指纹。

在基于上述计算视频信号时间偏移量的方法的另一个实施例中，所述播出信号的时间特征包括：播出信号的自然时间、播出信号PTS时间戳、播出音频PTS和播出信号音频指纹。

在基于上述计算视频信号时间偏移量的方法的另一个实施例中，所述获取信源信号的时间特征包括：

信源信号接入，解析流媒体数据，分离出视音频信号；

判断是否已经记录此信号的自然时间，所述自然时间记为N1，

若是，提取音频数据，

若否，检查是否出现独立视频帧数据，将第一次出现独立视频帧数据的时间记录为自然时间N1和帧的PTS时间戳记为VPTS1，然后提取音频数据；

对音频数据解码，生成PCM数据，提取相应的音频PTS，记为APTS1，记录此段音频的自然时间：M1=N1+(APTS1-VPTS1)；

计算音频指纹F；

将音频指纹、自然时间M1、音频时长加载至内存备查。

在基于上述计算视频信号时间偏移量的方法的另一个实施例中，获取播出信号的时间特征包括：

播出信号接入，解析流媒体数据，分离出视音频信号；

判断是否已经记录此路信号的自然时间N2，

若是，提取音频数据，

若否，检查是否出现独立视频帧数据，将第一次出现独立视频帧数据的时间记录为自然时间N2和帧的PTS时间戳记为VPTS2，提取音频数据；

对音频数据解码，生成PCM数据，提取相应的音频PTS，记为APTS2，计算音频指纹F；

形成音频指纹F，自然时间M2、音频时长组成数据对。

在基于上述计算视频信号时间偏移量的方法的另一个实施例中，所述计算信源时间特征采集检索系统返回的信号时间偏移量为：

时间偏移量Delta=(M2+Y)-(M1+X)；

X和Y分别是自然时间M1和自然时间M2至该音频指纹的时间偏移量。

基于本发明实施例的另一个方面，公开了一种计算视频信号时间偏移量的系统，包括：信源时间特征采集检索系统和播出信号时间特征采集系统；

所述信源时间特征采集检索系统用于采集信源信号的时间特征，并计算音频指纹、计算信源信号的时间偏移量，存储信源信号的音频指纹、音频自然时间、音频时长信息；

所述播出信号时间特征采集系统用于采集播出信号的时间特征，计算音频指纹，记录播出信号的频指纹、音频自然时间、音频时长信息，并上传至信源时间特征采集检索系统，根据信源信号的时间偏移量得出播出信号的时间偏移量。

在基于上述计算视频信号时间偏移量的系统的另一个实施例中，所述信源时间特征采集检索系统采集信源信号的时间特征包括：

信源信号接入，解析流媒体数据，分离出视音频信号；

判断是否已经记录此信号的自然时间，所述自然时间记为N1，

若是，提取音频数据，

若否，检查是否出现独立视频帧数据，将第一次出现独立视频帧数据的时间记录为自然时间N1和帧的PTS时间戳记为VPTS1，然后提取音频数据；

对音频数据解码，生成PCM数据，提取相应的音频PTS，记为APTS1，记录此段音频的自然时间：M1=N1+(APTS1-VPTS1)；

计算音频指纹F；

将音频指纹、自然时间M1、音频时长加载至内存备查。

在基于上述计算视频信号时间偏移量的系统的另一个实施例中，所述播出信号时间特征采集系统采集播出信号的时间特征包括：

播出信号接入，解析流媒体数据，分离出视音频信号；

判断是否已经记录此路信号的自然时间N2，

若是，提取音频数据，

若否，检查是否出现独立视频帧数据，将第一次出现独立视频帧数据的时间记录为自然时间N2和帧的PTS时间戳记为VPTS2，提取音频数据；

对音频数据解码，生成PCM数据，提取相应的音频PTS，记为APTS2，计算音频指纹F；

形成音频指纹F，自然时间M2、音频时长组成数据对。

在基于上述计算视频信号时间偏移量的系统的另一个实施例中，所述信源信号的时间特征包括：信源信号的自然时间、信源信号PTS时间戳、信源音频PTS、信源音频自然时间和信源信号音频指纹。

在基于上述计算视频信号时间偏移量的系统的另一个实施例中，所述播出信号的时间特征包括：播出信号的自然时间、播出信号PTS时间戳、播出音频PTS和播出信号音频指纹。

与现有技术相比较，本发明具有以下优点：

本发明通过信源时间特征采集检索系统和播出信号时间特征采集系统自动采集信源信号时间特征和播放信号时间特征，并计算信源信号的时间偏移量和播放信号的时间偏移量，通过信号断流检测，重新获取播出信号时间信号特征，实现视频信号的无延时实时播放，可以满足用户与电视节目的有效互动。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所使用的附图做一简单地介绍。

图1是本发明的计算视频信号时间偏移量的系统的一个实施例的结构示意图；

图2是本发明的计算视频信号时间偏移量的方法的一个实施例的流程图；

图3是本发明的计算视频信号时间偏移量的方法的另一个实施例的流程图；

图4是本发明的计算视频信号时间偏移量的方法的又一个实施例的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明的计算视频信号时间偏移量的系统的一个实施例的结构示意图，如图1所示，所述计算视频信号时间偏移量的系统包括：

信源时间特征采集检索系统1和播出信号时间特征采集系统2；

所述信源时间特征采集检索系统1用于采集信源信号的时间特征，并计算音频指纹、计算信源信号的时间偏移量，存储信源信号的音频指纹、音频自然时间、音频时长信息；

所述播出信号时间特征采集系统2用于采集播出信号的时间特征，计算音频指纹，记录播出信号的频指纹、音频自然时间、音频时长信息，并上传至信源时间特征采集检索系统1，根据信源信号的时间偏移量得出播出信号的时间偏移量。

所述信源时间特征采集检索系统1采集信源信号的时间特征包括：

信源信号接入，解析流媒体数据，分离出视音频信号；

判断是否已经记录此信号的自然时间，所述自然时间记为N1，

若是，提取音频数据，

若否，检查是否出现独立视频帧数据，将第一次出现独立视频帧数据的时间记录为自然时间N1和帧的PTS时间戳记为VPTS1，然后提取音频数据；

对音频数据解码，生成PCM数据，提取相应的音频PTS，记为APTS1，记录此段音频的自然时间：M1=N1+(APTS1-VPTS1)；

计算音频指纹F；

将音频指纹、自然时间M1、音频时长加载至内存备查。

所述播出信号时间特征采集系统2采集播出信号的时间特征包括：

播出信号接入，解析流媒体数据，分离出视音频信号；

判断是否已经记录此路信号的自然时间N2，

若是，提取音频数据，

若否，检查是否出现独立视频帧数据，将第一次出现独立视频帧数据的时间记录为自然时间N2和帧的PTS时间戳记为VPTS2，提取音频数据；

对音频数据解码，生成PCM数据，提取相应的音频PTS，记为APTS2，计算音频指纹F；

形成音频指纹F，自然时间M2、音频时长组成数据对。

所述信源信号的时间特征包括：信源信号的自然时间、信源信号PTS时间戳、信源音频PTS、信源音频自然时间和信源信号音频指纹。

所述播出信号的时间特征包括：播出信号的自然时间、播出信号PTS时间戳、播出音频PTS和播出信号音频指纹。

图2是本发明的计算视频信号时间偏移量的方法的一个实施例的流程图，如图2所示，所述计算视频信号时间偏移量的方法包括：

10，接入信源信号，通过信源时间特征采集检索系统1获取信源信号的时间特征；

20，计算信源时间特征采集检索系统1返回的信号时间偏移量；

30，接入播出信号，通过播出信号时间特征采集系统2获取播出信号的时间特征；

40，将播出信号的时间特征上传至信源时间特征采集检索系统1，并返回播出时间偏移量；

50，进行信号断流检测，重新获取播出信号时间信号特征。

所述信源信号的时间特征包括：信源信号的自然时间、信源信号PTS时间戳、信源音频PTS、信源音频自然时间和信源信号音频指纹。

所述播出信号的时间特征包括：播出信号的自然时间、播出信号PTS时间戳、播出音频PTS和播出信号音频指纹。

图3是本发明的计算视频信号时间偏移量的方法的另一个实施例的流程图，如图3所示，所述获取信源信号的时间特征包括：

11，信源信号接入，解析流媒体数据，分离出视音频信号；

12，判断是否已经记录此信号的自然时间，所述自然时间记为N1，

13，若是，提取音频数据，

14，若否，检查是否出现独立视频帧数据，将第一次出现独立视频帧数据的时间记录为自然时间N1和帧的PTS时间戳记为VPTS1，然后提取音频数据；

15，对音频数据解码，生成PCM数据，提取相应的音频PTS，记为APTS1，记录此段音频的自然时间：M1=N1+(APTS1-VPTS1)；

16，计算音频指纹F；

17，将音频指纹、自然时间M1、音频时长加载至内存备查。

图4是本发明的计算视频信号时间偏移量的方法的又一个实施例的流程图，如图4所示，获取播出信号的时间特征包括：

31，播出信号接入，解析流媒体数据，分离出视音频信号；

32，判断是否已经记录此路信号的自然时间N2，

33，若是，提取音频数据，

34，若否，检查是否出现独立视频帧数据，将第一次出现独立视频帧数据的时间记录为自然时间N2和帧的PTS时间戳记为VPTS2，提取音频数据；

35，对音频数据解码，生成PCM数据，提取相应的音频PTS，记为APTS2，计算音频指纹F；

36，形成音频指纹F，自然时间M2、音频时长组成数据对。

所述计算信源时间特征采集检索系统返回的信号时间偏移量为：

时间偏移量Delta=(M2+Y)-(M1+X)；

X和Y分别是自然时间M1和自然时间M2至该音频指纹的时间偏移量。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。