基于硬件编码器的多通道视频同步系统及其同步方法
【技术领域】
[0001]本发明涉及视频同步处理技术领域，更具体地，涉及一种基于硬件编码器的多通道视频同步系统及其同步方法。
【背景技术】
[0002]在多摄像机机位的节目制作过程中，首先需要对多台摄像机输出的视频信号进行采集，同时也需要对视频信号的时间码(Time Code, TC)进行采集，并将视频信号和时间码一并写入计算机中，形成供后期编辑使用的节目素材。在节目的后期编辑中，来自同一场景的多个机位的素材，需要在不同的视频轨上保持原始的相对时间关系，因此，需要采用一定的同步技术，比如选取某个特定的视频帧作为时间参考，或者在采集视频信号的同时，采集同步的时间码等。现有的多通道视频同步系统，需要编写复杂的视频同步算法，提高了编码器软件设计难度，增加了编码器硬件资源(内存、CPU负载)的开销，数据结构复杂，不易扩展，应用上不灵活，使整个系统成本增高，维护性不好。
【发明内容】
[0003]有鉴于此，本发明的主要目的在于提供一种基于硬件编码器的多通道视频同步系统及其同步方法，能够解决现有技术中存在的成本高、视频同步算法复杂、可维护性不好的问题。
[0004]为达到上述目的，本发明的技术方案是这样实现的:
[0005]一方面，提供了一种基于硬件编码器的多通道视频同步系统，包括:N台摄像机、N台硬件编码器、交换机、控制服务器和显示器，其中，摄像机，与硬件编码器一一对应，用于拍摄现场每个区域的视频画面，将拍摄得到的图像数据输出给与之对应的硬件编码器；硬件编码器，用于向每一帧经过编码的图像数据前加入一个头信息，并通过交换机将带有头信息的图像数据推送给控制服务器；其中，头信息为12字节的帧信息，包括:是否是关键帧、时间戳和该帧图像的数据长度；控制服务器，通过交换机与每台硬件编码器连接，用于接收各路带有头信息的图像数据，通过各帧头信息对各路视频进行同步处理；显示器，与控制服务器连接，用于显示同步处理后的视频画面。
[0006]优选地，硬件编码器包括:图像数据编码模块和控制模块，其中，图像数据编码模块，用于将接收的图像数据进行编码，在编码过程中生成每帧图像的头信息；控制模块，用于将每帧图像的头信息先发送给控制服务器，然后将该帧图像数据再发送给控制服务器。
[0007]优选地，控制服务器包括:数据分离模块、判断模块和数据处理模块，其中，数据分离模块，用于将接收到的带有头信息的图像数据，根据该帧图像的数据长度将头信息和图像数据分离；判断模块，用于基于时间戳判断各路图像数据的丢帧情况；数据处理模块，用于当该帧图像数据丢失时利用离该帧最近的关键帧进行补帧处理，使各路视频画面同步。
[0008]优选地，控制模块包括:缓存单元和图像数据发送单元，其中，缓存单元，用于存储多帧带有头信息的图像数据；图像数据发送单元，用于将带有头信息的图像数据发送给控制服务器。
[0009]优选地，控制模块还包括处理单元，用于将每帧图像的头信息先发送给缓存单元，然后将该帧图像数据再发送给缓存单元。
[0010]另一方面，还提供了一种基于硬件编码器的多通道视频同步方法，该方法包括:N台摄像机分别拍摄现场每个区域的视频画面，将拍摄得到的图像输出给与之对应的硬件编码器；硬件编码器向每一帧经过编码的图像数据前加入一个头信息，并通过交换机将带有头信息的图像数据推送给控制服务器；其中，头信息为12字节的帧信息，包括:是否是关键帧、时间戳和该帧图像的数据长度；控制服务器接收各路带有头信息的图像数据，通过各帧头信息对各路视频进行同步处理；将同步处理后的视频画面显示在显示器上。
[0011]优选地，硬件编码器向每一帧经过编码的所述图像数据前加入一个头信息，并通过交换机将带有头信息的图像数据推送给控制服务器，包括:将接收的图像数据进行编码，在编码过程中生成每帧图像的头信息；将每帧图像的头信息先发送给控制服务器，然后将该帧图像数据再发送给控制服务器。
[0012]优选地，控制服务器接收各路带有头信息的图像数据，通过各帧头信息对各路视频进行同步处理，包括:将接收到的带有头信息的图像数据，根据该帧图像的数据长度将头信息和图像数据分离；基于时间戳判断各路图像数据的丢帧情况；当该帧图像数据丢失时利用离该帧最近的关键帧进行补帧处理，使各路视频画面同步。
[0013]优选地，在将每帧图像的头信息先发送给控制服务器，然后将该帧图像数据再发送给控制服务器之前，该方法还包括:存储多帧带有头信息的图像数据；将带有头信息的图像数据发送给控制服务器。
[0014]优选地，在存储多帧带有头信息的图像数据之前，该方法还包括:将每帧图像的头信息先发送给缓存单元，然后将该帧图像数据再发送给缓存单元。
[0015]本发明的技术效果:
[0016]1.由于本发明的系统中使用硬件编码器向每一帧经过编码的图像数据前加入了一个头信息，控制服务器通过各帧头信息对各路视频进行同步处理，使整个系统不需要编写复杂的视频同步算法，数据结构简单，易扩展，降低了编码器软件设计难度；
[0017]2.整个系统由硬件编码器完成了每帧图像数据头信息的加入，节省了多台计算机，因此，系统结构简单，减少了编码器硬件资源(内存、CPU负载)开销，成本低，可维护性好;
[0018]3.系统中硬件编码器中的缓存模块事先存储了多帧带有头信息的图像数据，提高了系统的稳定性，使应用上更加灵活，更加便利。
【附图说明】
[0019]此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0020]图1示出了根据本发明实施例一的基于硬件编码器的多通道视频同步系统的结构示意图；
[0021]图2示出了根据本发明实施例一的基于硬件编码器的多通道视频同步系统中的数据结构示意图；
[0022]图3示出了根据本发明实施例二的基于硬件编码器的多通道视频同步系统的结构示意图；
[0023]图4示出了根据本发明实施例三的基于硬件编码器的多通道视频同步系统的结构示意图；
[0024]图5示出了根据本发明实施例四的基于硬件编码器的多通道视频同步系统的结构示意图；
[0025]图6示出了根据本发明实施例五的基于硬件编码器的多通道视频同步系统的结构示意图；
[0026]图7示出了根据本发明实施例六的基于硬件编码器的多通道视频同步方法的流程图。
【具体实施方式】
[0027]下面将参考附图并结合实施例，来详细说明本发明。
[0028]实施例一
[0029]图1示出了根据本发明实施例一的基于硬件编码器的多通道视频同步系统的结构示意图；图2示出了根据本发明实施例一的基于硬件编码器的多通道视频同步系统中的数据结构示意图，如图1、2所示，该系统包括:N台摄像机10、N台硬件编码器20、交换机30、控制服务器40和显示器50，其中，
[0030]摄像机10，与硬件编码器20 —一对应，用于拍摄现场每个区域的视频画面，将拍摄得到的图像数据输出给与之对应的硬件编码器20 ；
[0031]硬件编码器20，用于向每一帧经过编码的图像数据前加入一个头信息，并通过交换机30将带有头信息的图像数据推送给控制服务器40 ；
[0032]其中，头信息为12字节的帧信息，包括:是否是关键帧、时间戳和该帧图像的数据长度；其中，是否是关键帧可以用O或I来表示，例如，是关键帧，用I来表示，不是关键帧用O来表示；时间戳可以用32位非负整数来表示。
[0033]控制服务器40，通过交换机30与每台硬件编码器20连接，用于接收各路带有头信息的图像数据，通过各帧头信息对各路视频进行同步处理；
[0034]显示器50，与控制服务器40连接，用于显示同步处理后的视频画面。
[0035]由于本发明的实施例系统中使用硬件编码器向每一帧经过编码的图像数据前加入了一个头信息，控制服务器通过各帧头信息对各路视频进行同步处理，使整个系统不需要编写复杂的视频同步算法，数据结构简单，易扩展，降低了编码器软件设计难度。
[0036]实施例二
[0037]图3示出了根据本发明实施例二的一种基于硬件编码器的录制系统的结构示意图；如图3所示，硬件编码器20包括:图像数据编码模块202和控制模块204，其中，
[0038]图像数据编码模块202，用于将接收的图像数据进行编码，在编码过程中生成每帧图像的头信息；
[0039]控制模块204，用于将每帧图像的头信息先发送给控制服务器40，然后将该帧图像数据再发送给控制服务器40。
[0040]本发明的实施例中整个系统由硬件编码器完成了每帧图像数据头信息的加入，节省了多台计算机，因此，系统结构简单，减少了编码器硬件资源(内存、CPU负载)开销，成本低，可维护性好。
[0041]实施例三
[0042]图4示出了根据本发明实施例三的基于硬件编码器的多通道视频同步系统的结构示意图；如图4所示，控制服务器40包括:数据分离模块402、判断模块404和数据处理模块406，其中，
[0043]数据分离模块402，用于将接收到的带有头信息的图像数据，根据该帧图像的数据长度将头信息和图像数据分离；
[0044]判断模块404，用于基于时间戳判断各路图像数据的丢帧情况；
[0045]数据处理模块406，用于当该帧图像数据丢失时利用离该帧最近的关键帧进行补帧处理，使各路视频画面同步。
[0046]实施例四
[0047]图5示出了根据本发明实施例四的基于硬件编码器的多通道视频同步系统的结构示意图；如图5所示，控制模块204包括:缓存单元2042和图像数据发送单元2044，其中，
[0048]缓存单元2042，用于存储多帧带有头信息的图像数据；
[0049]图像