一种确定视频流的时间轴的方法以及系统与流程

本发明关于视频监控技术领域，特别是关于视频的时间标定技术，具体的讲是一种确定视频流的时间轴的方法及系统。

背景技术：

在视频监控领域，监控设备记录的视频在事件分析、回溯、证据提取等方面起到关键作用。作为一种辅助监控手段，在记录视频的同时也加入了一些数据信息，如时标、位置、异常状态等。

传统的录制设备依靠本地时钟来标定时间信息，可以做到秒级精度。然而在某些特殊应用场景，要求视频中每帧的时间戳精确至1毫秒。对于此类要求，传统的打时间戳方式已经不能满足。图1所示的是现有技术中的一种打时间戳的方式，其是本地时钟+处理器的方式，其主要通过将视频输入后经过视频转换芯片、主处理器编码、本地晶振得到带时间戳的视频流。

上述的这种打时间戳方式不能避免本地晶振所产生的累加误差和主处理器非实时性造成的误差。即使对本地时钟校准也难以做到1毫秒的精度。从视频输入到编码过程约有几十毫秒的误差，而且传统方式不能校准此误差。

因此，如何研究和开发出一种新的方案以解决传统视频打时间戳方案不能校准时间是本领域亟待解决的技术难题。

技术实现要素：

为了克服现有技术存在的上述技术问题，本发明提供了一种确定视频流的时间轴的方法以及系统，通过时钟源由本地时钟改为卫星授时方式，实现时间与全世界同步，不需要本地时钟重新校准，通过授时模块、场信号检测模块、主处理器以及可编程芯片实现视频打时间戳的1ms精度。

本发明的目的之一是，提供一种确定视频流的时间轴的方法，所述方法包括：视频转换模块对一视频流进行格式转换；与所述视频转换模块相连接的一主处理器对格式转换后的视频流进行压缩；场信号检测模块检测所述视频流的每一帧的开始以及结束，输出与每一帧的开始以及结束相对应的脉冲信号；授时模块输出与卫星时间同步的秒脉冲；分别与所述的场信号检测模块、授时模块相连接的可编程芯片对所述的秒脉冲进行细分至毫秒级，并根据所述的脉冲信号输出时间戳；所述的主处理器将所述的时间戳打包至压缩后的视频流，得到带时间戳的视频流。

在本发明的优选实施方式中，所述的视频转换模块将所述视频流由pal制式的模拟信号转换为bt656格式的数字信号。

在本发明的优选实施方式中，所述的主处理器将bt656格式的数字信号由yuv格式压缩成h.264格式。

在本发明的优选实施方式中，所述的方法还包括：所述的授时模块间隔从一串口输出定位信息以及时间信息，所述授时模块与所述主处理器的所述串口对接；所述的主处理器接收所述的定位信息以及时间信息；所述的主处理器在小于t2-t1时间内对所述的定位信息以及时间信息进行解析，其中，所述的t1为第一个pps上升沿，t2为所述t1之后rstn下降沿；所述的主处理器在t2时刻清除rstn信号，复位所述的可编程芯片，所述的rstn为复位cpld的信号。

在本发明的优选实施方式中，所述的方法还包括：所述的可编程芯片在t3时刻开始工作，对1秒进行千等分，所述t3为第二个pps上升沿；所述的可编程芯片在复位之后的第一个所述的秒脉冲有效开始计数。

在本发明的优选实施方式中，所述的方法还包括：所述的可编程芯片在t4时刻检测到所述脉冲信号有效；所述的可编程芯片将计数值写入寄存器；所述的可编程芯片立刻置位中断信号，所述的t4为所述视频流的场传输至cpld的时刻；所述的主处理器在检测到所述中断信号后，在t6时刻读取所述的可编程芯片的计数值，所述的t6为所述主处理器读取cpld计数值的时刻；所述的视频转换模块在t5时刻开始对一视频流进行格式转换，输出至所述的主处理器，所述的t5为视频流经所述视频转换模块转为bt656格式并输出至主处理的时刻；所述的主处理器在等待一帧结束后，将所述计数值和自身的时间做运算并存储。

在本发明的优选实施方式中，所述的视频转换模块的型号为adv7282，所述的主处理器的型号为hi3531，所述的授时模块为北斗或gps或glonass模块，所述的场信号检测模块由asic实现，所述的可编程芯片由cpld或fpga或asic搭建。

本发明的目的之一是，提供了一种确定视频流的时间轴的系统，所述的系统包括视频处理模块以及与所述视频处理模块相连接的时间同步模块，其中，所述的视频处理模块包括一视频转换模块以及与所述视频转换模块相连接的一主处理器；所述的视频转换模块，用于对一视频流进行格式转换；所述的主处理器，用于对格式转换后的视频流进行压缩；所述的时间同步模块包括一场信号检测模块、一授时模块、分别与所述的场信号检测模块、授时模块相连接的可编程芯片；所述的场信号检测模块，用于检测所述视频流的每一帧的开始以及结束，输出与每一帧的开始以及结束相对应的脉冲信号；所述的授时模块，用于输出与卫星时间同步的秒脉冲；所述的可编程芯片，用于对所述的秒脉冲进行细分至毫秒级，并根据所述的脉冲信号输出时间戳；所述的主处理器，还用于将所述的时间戳打包至压缩后的视频流，得到带时间戳的视频流。

在本发明的优选实施方式中，所述的视频转换模块将所述视频流由pal制式的模拟信号转换为bt656格式的数字信号。

在本发明的优选实施方式中，所述的主处理器将bt656格式的数字信号由yuv格式压缩成h.264格式。

在本发明的优选实施方式中，所述授时模块与所述主处理器的一串口对接；所述的授时模块，还用于间隔从所述串口输出定位信息以及时间信息；所述的主处理器，用于接收所述的定位信息以及时间信息，并在小于t2-t1时间内对所述的定位信息以及时间信息进行解析，在t2时刻清除rstn信号，复位所述的可编程芯片，其中，所述的t1为第一个pps上升沿，t2为所述t1之后rstn下降沿，rstn为复位cpld的信号。

在本发明的优选实施方式中，所述的可编程芯片在t3时刻开始工作，对1秒进行千等分，在复位之后的第一个所述的秒脉冲有效开始计数，所述t3为第二个pps上升沿。

在本发明的优选实施方式中，所述的可编程芯片在t4时刻检测到所述脉冲信号有效，将计数值写入寄存器，并立刻置位中断信号，所述的t4为所述视频流的场传输至cpld的时刻；所述的主处理器在检测到所述中断信号后，在t6时刻读取所述的可编程芯片的计数值，所述的t6为所述主处理器读取cpld计数值的时刻；所述的视频转换模块在t5时刻开始对一视频流进行格式转换，并输出至所述的主处理器，所述的t5为视频流经所述视频转换模块转为bt656格式并输出至主处理的时刻；所述的主处理器在等待一帧结束后，将所述计数值和自身的时间做运算并存储。

在本发明的优选实施方式中，所述的视频转换模块的型号为adv7282，所述的主处理器的型号为hi3531，所述的授时模块为北斗或gps或glonass模块，所述的场信号检测模块由asic实现，所述的可编程芯片由cpld或fpga或asic搭建。

本发明的有益效果在于，提供了一种确定视频流的时间轴的方法以及系统，通过时钟源由本地时钟改为卫星授时方式，实现时间与全世界同步，不需要本地时钟重新校准；对纳秒级精度的秒脉冲信号进行细分，进而实现毫秒级分辨率；以视频源的场开始信号而非在视频转换后作为同步时刻，避免了由于视频转换、系统非实时性造成的延时和误差。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中的一种视频打时间戳方式的示意图；

图2为本发明实施例提供的一种确定视频流的时间轴的系统的结构框图；

图3为本发明实施例提供的一种确定视频流的时间轴的系统中视频处理模块的结构框图；

图4为本发明实施例提供的一种确定视频流的时间轴的系统中时间同步模块的结构框图；

图5为本发明实施例提供的一种确定视频流的时间轴的方法的流程图；

图6为本发明实施例提供的一种确定视频流的时间轴的方法的进一步的流程图；

图7为本发明实施例提供的一种确定视频流的时间轴的方法的进一步的流程图；

图8为本发明实施例提供的一种确定视频流的时间轴的方法的进一步的流程图；

图9为本发明提供的具体实施例中确定视频流的时间轴的系统的结构示意图；

图10为本发明提供的具体实施例中cpu、北斗、计数器同步握手的时序图；

图11为本发明提供的具体实施例中cpu、北斗、计数器同步握手的示意图；

图12为本发明提供的具体实施例中视频转换、场同步、中断的时序图；

图13为本发明提供的具体实施例中视频转换、场同步、中断的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明针对现有技术中打时间戳方式不能避免本地晶振所产生的累加误差和主处理器非实时性造成的误差的技术问题，提出了一种新的视频打时间戳方式。

图2为本发明实施例提供的一种确定视频流的时间轴的系统的结构框图，由图2可知，所述的系统包括视频处理模块100以及与所述视频处理模块相连接的时间同步模块200。

图3为视频处理模块的结构框图，由图3可知，视频处理模块100包括一视频转换模块10以及与所述视频转换模块相连接的一主处理器20；

所述的视频转换模块10，用于对一视频流进行格式转换。在本发明的具体实施例中，所述的视频转换模块将所述视频流由pal制式的模拟信号转换为bt656格式的数字信号。

所述的主处理器20，用于对格式转换后的视频流进行压缩。在本发明的具体实施例中，所述的主处理器将bt656格式的数字信号由yuv格式压缩成h.264格式。

图4为时间同步模块的结构框图，由图4可知，所述的时间同步模块200包括一场信号检测模块30、一授时模块40、分别与所述的场信号检测模块、授时模块相连接的可编程芯片50；

所述的场信号检测模块30，用于检测所述视频流的每一帧的开始以及结束，输出与每一帧的开始以及结束相对应的脉冲信号；

所述的授时模块40，用于输出与卫星时间同步的秒脉冲；

所述的可编程芯片50，用于对所述的秒脉冲进行细分至毫秒级，并根据所述的脉冲信号输出时间戳；

所述的主处理器20，还用于将所述的时间戳打包至压缩后的视频流，得到带时间戳的视频流。

如上即是本发明提供的一种确定视频流的时间轴的系统，时钟源由本地时钟改为卫星授时方式，实现时间与全世界同步，不需要本地时钟重新校准。对纳秒级精度的秒脉冲信号进行细分，进而实现毫秒级分辨率。以视频源的场开始信号而非在视频转换后作为同步时刻，避免了由于视频转换、系统非实时性造成的延时和误差。

在本发明的其他实施方式中，主处理器与可编程芯片配合实现计时、打标。同步过程需要三个步骤：1、主处理器获取卫星时间，并与可编程芯片同步。2、当可编程芯片开始计时，等待检测到视频信号的场同步信号。检测到信号后，将当前时间写入寄存器，由主处理器在适时时机读取。3、主处理器的视频接口在获取一帧图像后，产生一个中断。主处理器将最后读取的时间信息打包至当前帧，实现帧同步计时。

下面描述每个过程的工作原理。

步骤一：主处理器与可编程芯片同步握手

所述授时模块与所述主处理器的一串口对接；

所述的授时模块，还用于间隔从所述串口输出定位信息以及时间信息；

所述的主处理器，用于接收所述的定位信息以及时间信息，并在小于t2-t1时间内对所述的定位信息以及时间信息进行解析，在t2时刻清除rstn信号，复位所述的可编程芯片，其中，所述的t1为第一个pps上升沿，pps为pulsepersecond，即每秒脉冲数，t2为t1之后rstn下降沿，rstn为复位cpld的信号，cpld为复杂可编程逻辑器件。

步骤二：可编程芯片与主处理器同步计时。

所述的可编程芯片在t3时刻开始工作，对1秒进行千等分，在复位之后的第一个所述的秒脉冲有效开始计数，所述t3为第二个pps上升沿。

步骤三：主处理器获取一帧图像，读取时间戳，并同步存储。

所述的可编程芯片在t4时刻检测到所述脉冲信号有效，将计数值写入寄存器，并立刻置位中断信号，所述的t4为开始检测到视频流的场，所述视频流的场传输至cpld的时刻；

所述的主处理器在检测到所述中断信号后，在t6时刻读取所述的可编程芯片的计数值，所述的t6为主处理器读取cpld计数值的时刻；

所述的视频转换模块在t5时刻开始对一视频流进行格式转换，并输出至所述的主处理器，所述的t5为视频信号经视频转换模块转为bt656格式并输出至主处理的时刻；

所述的主处理器在等待一帧结束后，将所述计数值和自身的时间做运算并存储。

如上即是本发明提供的一种确定视频流的时间轴的系统，采用卫星授时方式后，不需要定期校准系统时间，实现自动化。用可编程器件对脉冲信号细分，实现毫秒级时标精度。

图5为本发明实施例提供的一种确定视频流的时间轴的方法的流程图，由图5可知，该方法包括：

s101：视频转换模块对一视频流进行格式转换。在具体的实施方式中，所述的视频转换模块将所述视频流由pal制式的模拟信号转换为bt656格式的数字信号

s102：与所述视频转换模块相连接的一主处理器对格式转换后的视频流进行压缩。在具体的实施方式中，所述的主处理器将bt656格式的数字信号由yuv格式压缩成h.264格式。

s103：场信号检测模块检测所述视频流的每一帧的开始以及结束，输出与每一帧的开始以及结束相对应的脉冲信号；

s104：授时模块输出与卫星时间同步的秒脉冲；

s105：分别与所述的场信号检测模块、授时模块相连接的可编程芯片对所述的秒脉冲进行细分至毫秒级，并根据所述的脉冲信号输出时间戳；

s106：所述的主处理器将所述的时间戳打包至压缩后的视频流，得到带时间戳的视频流。

如上即是本发明提供的一种确定视频流的时间轴的方法，时钟源由本地时钟改为卫星授时方式，实现时间与全世界同步，不需要本地时钟重新校准。对纳秒级精度的秒脉冲信号进行细分，进而实现毫秒级分辨率。以视频源的场开始信号而非在视频转换后作为同步时刻，避免了由于视频转换、系统非实时性造成的延时和误差。

在本发明的其他实施方式中，主处理器与可编程芯片配合实现计时、打标。同步过程需要三个步骤：1、主处理器获取卫星时间，并与可编程芯片同步。2、当可编程芯片开始计时，等待检测到视频信号的场同步信号。检测到信号后，将当前时间写入寄存器，由主处理器在适时时机读取。3、主处理器的视频接口在获取一帧图像后，产生一个中断。主处理器将最后读取的时间信息打包至当前帧，实现帧同步计时。

下面描述每个过程的工作原理。

步骤一：主处理器与可编程芯片同步握手

图6为本发明实施例提供的一种确定视频流的时间轴的方法的进一步的流程图，由图6可知，步骤一包括：

s201：所述的授时模块间隔从一串口输出定位信息以及时间信息，所述授时模块与所述主处理器的所述串口对接；

s202：所述的主处理器接收所述的定位信息以及时间信息；

s203：所述的主处理器在小于t2-t1时间内对所述的定位信息以及时间信息进行解析，其中，所述的t1为第一个pps上升沿，t2为所述t1之后rstn下降沿；

s204：所述的主处理器在t2时刻清除rstn信号，复位所述的可编程芯片，所述的rstn为复位cpld的信号。

步骤二：可编程芯片与主处理器同步计时。

图7为本发明实施例提供的一种确定视频流的时间轴的方法的进一步的流程图，由图7可知，步骤二包括：

s301：所述的可编程芯片在t3时刻开始工作，对1秒进行千等分，所述t3为第二个pps上升沿；

s302：所述的可编程芯片在复位之后的第一个所述的秒脉冲有效开始计数。

步骤三：主处理器获取一帧图像，读取时间戳，并同步存储。

图8为本发明实施例提供的一种确定视频流的时间轴的方法的进一步的流程图，由图8可知，步骤三包括：

s401：所述的可编程芯片在t4时刻检测到所述脉冲信号有效；

s402：所述的可编程芯片将计数值写入寄存器；

s403：所述的可编程芯片立刻置位中断信号，所述的t4为所述视频流的场传输至cpld的时刻；

s404：所述的主处理器在检测到所述中断信号后，在t6时刻读取所述的可编程芯片的计数值，所述的t6为所述主处理器读取cpld计数值的时刻；

s405：所述的视频转换模块在t5时刻开始对一视频流进行格式转换，输出至所述的主处理器，所述的t5为视频流经所述视频转换模块转为bt656格式并输出至主处理的时刻；

s406：所述的主处理器在等待一帧结束后，将所述计数值和自身的时间做运算并存储。

如上介绍一种新的视频打时间戳方式：1、时钟源由本地时钟改为卫星授时方式，实现时间与全世界同步，不需要本地时钟重新校准。2、对纳秒级精度的秒脉冲信号进行细分，进而实现毫秒级分辨率。3、以视频源的场开始信号而非在视频转换后作为同步时刻，避免了由于视频转换、系统非实时性造成的延时和误差。

本发明解决了如下技术问题：

(1)解决传统视频打时间戳方案不能校准时间、毫秒精度问题；

(2)解决视频从输入到编码过程造成的时间差。

下面结合具体的实施例，详细介绍本发明的技术方案。图9为本发明提供的具体实施例中确定视频流的时间轴的系统的结构示意图，由图9可知，该具体实施例中，采用北斗授时+可编程逻辑+主处理器，相对于上述现有常用方案，具有以下优势：

(1)北斗授时模块提供秒级精度时间信息和纳秒级精度脉冲信号。

主处理器获取北斗模块的秒级时间信息，通过总线接口获取可编程芯片细分后的毫秒时间。

(2)检测到的场信号输入给可编程芯片，用于校准视频输入到编码过程的时差。

本方案从物理上可分视频处理模块和时间同步模块，下面将分别描述各部分功能和工作原理。

所述的视频转换模块的型号为adv7282，所述的主处理器的型号为hi3531，所述的授时模块为北斗或gps或glonass全球卫星导航系统模块，所述的场信号检测模块由asic实现，所述的可编程芯片由cpld或fpga或专用集成电路asic搭建。

具体的，本案采用的主处理器是海思的hi3531。hi3531是针对多路d1和多路高清dvr、nvr产品应用开发的一款专业高端soc芯片。hi3531内置高性能双核a9处理器、高达5路1080p实时多协议编解码能力的引擎和专用toe网络加速模块，应对越来越高的高清应用和网络需求；集成优异的视频引擎和编解码算法并结合多路高清显示输出能力，充分满足客户产品的高质量图像体验。hi3531高度集成和丰富的外围接口，在满足客户差异化产品功能、性能、图像质量要求的同时，大大降低ebom物料成本成本。

前端的视频转换模块采用analogdevice公司的adv7282。adv7282是一款支持ntsc、pal等制式的模拟视频转换芯片，具有低功耗、低成本、易于使用等特点。adv7282的bt656输出模式可以与hi3531无缝对接。

本案采用的授时模块是北斗模块um220。um220是国产北斗、gps双模授时定位模块，支持串口输出和脉冲输出。可编程芯片使用xilinx公司coolrunner系列cpld。场信号检测由专用asic实现。

在本发明的其他实施方式中，授时模块可以用北斗、gps、glonass模块等实现。本案中采取的北斗模块型号um220相对于其它授时系统具有自主国产、稳定可靠特点，不会受国外的一些因素影响应用。本案的系统以海思hi3531多媒体处理器为核心。可编程芯片可以用cpld、fpga或asic搭建，本案使用xilinx公司的cpld实现。

在本实施例中，将所有模块集成到一块单板。视频转换芯片adv7282与主处理器hi3531的第1路标清通道对接。授时模块um220与主处理器hi3531的第2路串口对接。授时模块um220的秒脉冲信号同时输出到可编程器件和主处理器hi3531(gpio管脚)。场信号检测芯片与可编程器件对接。可编程器件通过总线方式与主处理器hi3531对接。

在此方案中，主处理器中cpu与可编程芯片cpld(计数器)配合实现计时、打标。同步过程需要三个步骤：1、cpu获取卫星时间，并与计数器同步。2、当计数器开始计时，等待检测到视频信号的场同步信号。检测到信号后，将当前时间写入寄存器，由cpu在适时时机读取。3、cpu的视频接口在获取一帧图像后，产生一个中断。cpu将最后读取的时间信息打包至当前帧，实现帧同步计时。

下面描述每个过程的工作原理。图10为本发明提供的具体实施例中cpu、北斗、计数器同步握手的时序图，图11为本发明提供的具体实施例中cpu、北斗、计数器同步握手的示意图，图12为本发明提供的具体实施例中视频转换、场同步、中断的时序图，图13为本发明提供的具体实施例中视频转换、场同步、中断的示意图。

步骤一：cpu与cpld同步握手

在北斗模块正常工作后，北斗模块会间隔从串口(uart_tx)输出定位和时间信息，辅助输出秒脉冲信号(pps)。在t1时刻pps有效，uart_tx输出有用信息。cpu接收串口信息,在小于t2-t1时间内完成北斗信息的解析，并在t2时刻清除rstn信号，复位(握手)计数器。

步骤二：计数器与cpu同步计时。

计数器在t3时刻开始工作，对1秒进行千等分(1毫秒)。此时cpu已经与卫星同步，精度1秒，而计数器在复位之后的第一个pps有效开始计数。计数的参考时钟源来自外部晶振，若实现小于1毫秒误差，震荡精度必须在工作温度内小于100ppm，此案例选25ppm。

步骤三：cpu获取一帧图像，读取时间戳，并同步存储。

视频信号输入至转换器视频转换芯片(adv7282)的同时被分离出场同步信号(field)。在t4时刻，cpld检测到field有效，将计数值写入寄存器，并立刻置位中断(int)信号。cpu在检测到int信号后，在t6时刻读取data[15:0]总线的计数值。当视频转换芯片adv7282检测到视频信号后在t5时刻开始转换并输出到cpu的视频接口(viu0)。cpu在等待一帧结束后，将计数值和自身时间做运算并存储。t6对t5没有严格要求，一般只要求t5小于帧结束时间即可。data总线设计为16位，可以计数1024x64ms＝64s，满足应用要求。

本案为单板结构，局部总线通信。北斗模块与cpld协同实现与卫星时间的ms级同步。计时模块与视频源有同步机制。本案没有经过网络，北斗模块直接对接cpu。本案说明了对时之后的时间戳与每帧图像的关系，即对每帧图像采集的时间进行毫秒级标定。

综上所述，本发明提出的一种确定视频流的时间轴的方法以及系统，通过时钟源由本地时钟改为卫星授时方式，实现时间与全世界同步，不需要本地时钟重新校准；对纳秒级精度的秒脉冲信号进行细分，进而实现毫秒级分辨率；以视频源的场开始信号而非在视频转换后作为同步时刻，避免了由于视频转换、系统非实时性造成的延时和误差。

本发明的有益效果在于：

1、采用卫星授时方式后，不需要定期校准系统时间，实现自动化。

2、用可编程器件对脉冲信号细分，实现毫秒级时标精度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一般计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

本领域技术人员还可以了解到本发明实施例列出的各种功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。