高精度同步的多路图像采集系统及其时间同步方法
【专利摘要】本发明公开了高精度同步的多路图像采集系统和方法。系统包括：时间源、多个视频采集单元和多个摄像机。方法包括S1到S6多个步骤。本发明采用同步时间信号同步摄像机拍摄触发信号，实现了多路摄像机的拍摄时刻（曝光时刻）的严格同步，而且拍摄时刻严格同步于时间源时间，满足了高精度多路图像同步采集的要求；通过在记录触发脉冲的时间戳信息，使得图像标记的时间戳即为拍摄时刻，提高了时间戳标记精度，有利于对多路图像的后续信息提取和测量分析工作，具有良好的经济和社会效益。
【专利说明】高精度同步的多路图像采集系统及其时间同步方法
【技术领域】
[0001]本发明涉及图像采集领域，尤其涉及一种高精度同步的图像采集系统，本发明还涉及一种图像采集系统的时间同步方法。
【背景技术】
[0002]TTL:晶体管-晶体管逻辑电平，通常数据表示采用二进制规定，如+5V等价于逻辑“ I ”，OV等价于逻辑“0”，这被称做TTL信号系统，这是计算机处理器控制的设备内部各部分之间通信的标准技术。
[0003]RS485:—种典型的串行通讯标准。
[0004]IRIG-B:BP B型码，时帧速率为I帧/s，可传递100位的信息。作为应用广泛的时间码，B型码具用携带信息量大，高分辨率，适用于远距离传输，接口标准化，国际通用等特点。
[0005]随着图像处理技术的发展，基于图像信息的测量技术在工业、航空等领域广泛应用。例如，根据某类飞机测量项目的需求，要求高精度同步采集记录多路摄像机拍摄的高清视频图像，以便事后可根据所记录的多路视频图像数据，进行信息提取和测量分析。测量对于采集记录设备的一个关键技术指标是:多路视频图像具有高精度的时间同步性。一方面，要求多路视频画面之间在时间上具有严格的同步性，同步精度达到Ius ;另一方面，要求每帧视频画面标记的拍摄时间严格同步于飞机系统时间，时间同步性精度要达到10us。
[0006]现有的视频采集记录设备，主要采用“被动”同步方式，各路视频采集单元通过NTP等时间同步协议与系统时间同步，时间同步精度不高，一般在1ms左右，各采集单元实时采集到视频图像后，通过软件获取系统时间并进行时间戳标记，获取的系统时间戳不精确，不能精确同步于飞机系统时间。此外，各路摄像机本身的曝光时刻是独立不受控制的，因此各路视频画面之间时间同步精度低。
【发明内容】
[0007]为了解决上述技术问题，本发明的目的是提供一种可实现多路图像采集时间高精度同步和高精度时间戳标记的图像采集系统。
[0008]为了解决上述技术问题，本发明的另一个目的是提供一种可实现多路图像采集系统的时间高精度同步和高精度时间戳标记的方法。
[0009]本发明所采用的技术方案是:
一种高精度同步的多路图像采集系统，其包括:时间源，用于提供同步脉冲信号和同步时间信号；多个视频采集单元，所述视频采集单元包括触发脉冲生成模块和时间戳标记模块，所述触发脉冲生成模块用于生成并输出与同步脉冲信号同步的触发信号，并输出触发信号到摄像机，所述时间戳标记模块用于接收同步时间信号、触发信号和来自摄像机拍摄的图像/视频信号，并根据这些信号生成带有时间戳标记的图像/视频数据；多个摄像机，分别用于根据触发信号进行拍摄。
[0010]优选的，所述同步脉冲信号为TTL整秒脉冲信号，所述同步时间信号为RS485同步时间信号。
[0011]优选的，所述视频采集单元还包括压缩处理模块，所述压缩处理模块用于对带有时间戳标记的图像/视频数据进行压缩处理。
[0012]优选的，其还包括数据存储单元，所述数据存储单元的输入端连接到压缩处理模块的输出端。
[0013]优选的，所述时间源包括:IRIG_B时间源和解码单元，所述解码单元用于解码IRIG-B时间源信号，并输出同步时间信号和同步脉冲信号到多个视频采集单元。
[0014]优选的，所述触发脉冲生成模块和时间戳标记模块均集成在FPGA芯片中。
[0015]一种多路图像采集系统的高精度时间同步方法，其应用于上述的高精度同步的多路图像采集系统，所述方法包括步骤:S1，多个视频采集单元分别连接到时间源，获取同步脉冲信号和同步时间信号；S2，视频采集单元根据同步时间信号，生成与同步脉冲信号同步的触发信号输出到摄像机；S3，视频采集单元在每个触发脉冲生成的同时，对应于同步时间信号，产生一个该时刻的时间戳；S4，摄像机根据触发信号进行拍摄；S5，摄像机将拍摄的图像数据回传到视频采集单元；S6，视频采集单元将触发脉冲对应的时间戳嵌入到该触发脉冲触发拍摄的图像数据中。
[0016]优选的，所述同步脉冲信号为TTL整秒脉冲信号，所述同步时间信号为RS485同步时间信号。
[0017]优选的，所述步骤S2具体包括子步骤:S21，视频采集单元产生多个触发脉冲组成触发信号，并令每秒第一个触发脉冲的上升沿与TTL整秒脉冲信号中的脉冲上升沿对齐；S22，输出触发信号到摄像机。
[0018]优选的，其还包括步骤:S7，对嵌入有时间戳的图像数据进行压缩处理；S8，对压缩处理后的图像数据进行存储。
[0019]本发明的有益效果是:
本发明一种高精度同步的多路图像采集系统采用同步时间信号同步摄像机拍摄触发信号，实现了多路摄像机的拍摄时刻(曝光时刻)的严格同步，而且拍摄时刻严格同步于时间源时间，满足了高精度多路图像同步采集的要求；通过在记录触发脉冲的时间戳信息，使得图像标记的时间戳即为拍摄时刻，提高了时间戳标记精度，有利于对多路图像的后续信息提取和测量分析工作，具有良好的经济和社会效益。
[0020]另外，本发明还通过采用TTL整秒脉冲作为同步时间信号，使得拍摄触发信号同步更加简单，同步误差小于Ius ;通过采用对应于时间源的RS485同步时间信号的时间戳标记，使得时间戳标记更加简洁明了。
[0021]本发明可应用于各种多路图像采集系统。
[0022]本发明的另一个有益效果是:
本发明一种多路图像采集系统的高精度时间同步方法采用同步时间信号同步摄像机拍摄触发信号，实现了多路摄像机的拍摄时刻(曝光时刻)的严格同步，而且拍摄时刻严格同步于时间源时间，满足了高精度多路图像同步采集的要求；通过在记录触发脉冲的时间戳信息，使得图像标记的时间戳即为拍摄时刻，提高了时间戳标记精度，有利于对多路图像的后续信息提取和测量分析工作，具有良好的经济和社会效益。
[0023]另外，本发明还通过采用TTL整秒脉冲作为同步时间信号，使得拍摄触发信号同步更加简单，同步误差小于Ius ;通过采用上升沿对齐同步方式，使得触发脉冲和同步时间信号的同步更加精确；通过采用对应于时间源的RS485同步时间信号的时间戳标记，使得时间戳标记更加简洁明了。
[0024]本发明可应用于各种多路图像采集系统。
【专利附图】
【附图说明】
[0025]下面结合附图对本发明的【具体实施方式】作进一步说明:
图1是高精度同步的多路图像采集系统一种实施例的结构示意图；
图2是本发明视频采集单元一种实施例的内部结构示意图；
图3是本发明一种时间逻辑关系示意图。
【具体实施方式】
[0026]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0027]如图1和图2所示，以应用在飞机系统中为例。一种高精度同步的多路图像采集系统，其包括:时间源，用于提供同步脉冲信号和同步时间信号。该实施例中，所述时间源为对飞机IRIG-B时间源解码的时间源，包括飞机IRIG-B时间源和解码单元，所述解码单元用于解码IRIG-B时间源信号，并输出RS485同步时间信号和TTL整秒脉冲信号到多个视频采集单元。其中，TTL整秒脉冲信号为由多个秒脉冲组成的TTL电平信号。当然，除了 TTL整秒脉冲信号，也可以根据需要在飞机IRIG-B时间源中提取其它信号作为同步脉冲信号；除了 RS485同步时间信号，也可以采用其它传输方式传输同步时间信号，如RS232。
[0028]多个视频采集单元，分别用于接收同步脉冲信号和同步时间信号，并输出与同步脉冲信号同步的触发信号到摄像机。其中，触发信号为由多个触发脉冲组成的信号。
[0029]多个摄像机，分别用于根据触发信号进行拍摄。
[0030]视频采集单元包括触发脉冲生成模块和时间戳标记模块，所述触发脉冲生成模块用于生成并输出与同步脉冲信号同步的触发信号，并输出触发信号到摄像机，所述时间戳标记模块用于接收同步时间信号、触发信号和来自摄像机拍摄的图像/视频信号，并根据这些信号生成带有时间戳标记的图像/视频数据。
[0031]其中，触发脉冲生成模块接收TTL整秒脉冲信号，按照要求的视频帧率，生成摄像机触发信号。如图3所示，以要求视频帧率30fps为例，其内部逻辑为TTL整秒脉冲信号的30倍频逻辑，可令每秒第一个触发脉冲的上升沿与秒脉冲上升沿对齐，如此，可避免累积误差，确保触发信号和TTL整秒脉冲信号的严格同步。该实施例中，触发脉冲生成模块采用FPGA实现。由于各视频采集单元的输出的触发信号均严格同步于时间源的TTL整秒脉冲信号，并采用FPGA实现高精度的倍频逻辑，因此各视频采集单元输出的触发脉冲高精度同步，其同步误差小于lus。
[0032]其中，如图3所示，时间戳标记模块，用于完成对每帧视频数据进行时间戳标记，实现原理为:每个触发脉冲生成的同时，对应于RS485时间同步信号,产生一个该时刻的时间戳，因此时间戳标记的时刻即为摄像机触发拍摄(曝光)的时刻，进而使得该时间戳是完全准确的。还是以要求视频帧率30fps为例，图中，以与秒脉冲对齐的触发脉冲的上升沿为tO时刻，则上一触发脉冲为t0-l/30s时刻，下一触发脉冲为t0+l/30s时刻，依次类推。相邻的多个触发脉冲构成触发序列，多个时间戳构成了时间戳序列，摄像机完成触发拍摄(曝光)并将该帧图像数据发送至时间戳标记模块，时间戳标记模块按触发序列将预先准备好的时间戳嵌入到对应的帧图像里，因此该帧图像便具有了一个严格同步于秒脉冲的时间戳。由于RS485时间同步信号也可能产生传输时延,可通过与TTL整秒脉冲信号的整秒同步对齐修正时延，提闻时间标刻精度。利用该时间戮可完成闻精度的图像/视频同步回放分析。该实施例中，采用FPGA实现时间戳标记模块功能。FPGA运行速度快，内部集成锁项环，可以把外部时钟倍频，核心频率可以到几百兆，更加提高了系统的实时性和精确性。
[0033]优选的，所述视频采集单元还包括压缩处理模块，所述压缩处理模块用于对带有时间戳标记的图像/视频数据进行压缩处理。该实施例中，采用DSP芯片实现压缩处理模块功能。
[0034]优选的，其还包括数据存储单元，所述数据存储单元的输入端连接到压缩处理模块的输出端。
[0035]本发明一种高精度同步的多路图像采集系统采用同步时间信号同步摄像机拍摄触发信号，实现了多路摄像机的拍摄时刻(曝光时刻)的严格同步，而且拍摄时刻严格同步于时间源时间，满足了高精度多路图像同步采集的要求；通过在记录触发脉冲的时间戳信息，使得图像标记的时间戳即为拍摄时刻，提高了时间戳标记精度，有利于对多路图像的后续信息提取和测量分析工作，具有良好的经济和社会效益。
[0036]另外，本发明还通过采用TTL整秒脉冲作为同步时间信号，使得拍摄触发信号同步更加简单，同步误差小于Ius ;通过采用对应于时间源的RS485同步时间信号的时间戳标记，使得时间戳标记更加简洁明了。
[0037]本发明可应用于各种多路图像采集系统。
[0038]一种多路图像采集系统的高精度时间同步方法，其应用于上述的高精度同步的多路图像采集系统，所述方法包括步骤:S1，多个视频采集单元分别连接到时间源，获取同步脉冲信号和同步时间信号；S2，视频采集单元根据同步时间信号，生成与同步脉冲信号同步的触发信号输出到摄像机；S3，视频采集单元在每个触发脉冲生成的同时，对应于同步时间信号，产生一个该时刻的时间戳；S4，摄像机根据触发信号进行拍摄；S5，摄像机将拍摄的图像数据回传到视频采集单元；S6，视频采集单元将触发脉冲对应的时间戳嵌入到该触发脉冲触发拍摄的图像数据中。
[0039]优选的，所述同步脉冲信号为TTL整秒脉冲信号，所述同步时间信号为RS485同步时间信号。
[0040]优选的，所述步骤S2具体包括子步骤:S21，视频采集单元产生多个触发脉冲组成触发信号，并令每秒第一个触发脉冲的上升沿与TTL整秒脉冲信号中的脉冲上升沿对齐；S22，输出触发信号到摄像机。
[0041]优选的，其还包括步骤:S7，对嵌入有时间戳的图像数据进行压缩处理；S8，对压缩处理后的图像数据进行存储。
[0042]显然的，由于同一时间戳的图像拍摄时刻严格同步，用户调用同一时刻时间戳的各个摄像机拍摄的图像数据，对后续的处理和分析工作有重要意义，如应用于飞机系统中，可通过多个摄像机对目标多个时刻不同角度图像采集，在多维坐标系中模拟建立精确的目标运动轨迹和模型。
[0043]—种多路图像米集系统的闻精度时间同步方法实现原理对应于上述的一种闻精度同步的多路图像采集系统，在此不做累述。
[0044]本发明一种多路图像采集系统的高精度时间同步方法采用同步时间信号同步摄像机拍摄触发信号，实现了多路摄像机的拍摄时刻(曝光时刻)的严格同步，而且拍摄时刻严格同步于时间源时间，满足了高精度多路图像同步采集的要求；通过在记录触发脉冲的时间戳信息，使得图像标记的时间戳即为拍摄时刻，提高了时间戳标记精度，有利于对多路图像的后续信息提取和测量分析工作，具有良好的经济和社会效益。
[0045]另外，本发明还通过采用TTL整秒脉冲作为同步时间信号，使得拍摄触发信号同步更加简单，同步误差小于Ius ;通过采用上升沿对齐同步方式，使得触发脉冲和同步时间信号的同步更加精确；通过采用对应于时间源的RS485同步时间信号的时间戳标记，使得时间戳标记更加简洁明了。
[0046]本发明可应用于各种多路图像采集系统。
[0047]以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
【权利要求】
1.一种高精度同步的多路图像采集系统，其特征在于，其包括: 时间源，用于提供同步脉冲信号和同步时间信号； 多个视频采集单元，所述视频采集单元包括触发脉冲生成模块和时间戳标记模块， 所述触发脉冲生成模块用于生成并输出与同步脉冲信号同步的触发信号，并输出触发信号到摄像机， 所述时间戳标记模块用于接收同步时间信号、触发信号和来自摄像机拍摄的图像/视频信号，并根据这些信号生成带有时间戳标记的图像/视频数据； 多个摄像机，分别用于根据触发信号进行拍摄。
2.根据权利要求1所述的一种高精度同步的多路图像采集系统，其特征在于，所述同步脉冲信号为TTL整秒脉冲信号，所述同步时间信号为RS485同步时间信号。
3.根据权利要求2所述的一种高精度同步的多路图像采集系统，其特征在于，所述视频采集单元还包括压缩处理模块，所述压缩处理模块用于对带有时间戳标记的图像/视频数据进行压缩处理。
4.根据权利要求3所述的一种高精度同步的多路图像采集系统，其特征在于，其还包括数据存储单元，所述数据存储单元的输入端连接到压缩处理模块的输出端。
5.根据权利要求1至4任一项所述的一种高精度同步的多路图像采集系统，其特征在于，所述时间源包括=IRIG-B时间源和解码单元，所述解码单元用于解码IRIG-B时间源信号，并输出同步时间信号和同步脉冲信号到多个视频采集单元。
6.根据权利要求1至4任一项所述的一种高精度同步的多路图像采集系统，其特征在于，所述触发脉冲生成模块和时间戳标记模块均集成在FPGA芯片中。
7.一种多路图像采集系统的高精度时间同步方法，其特征在于，其应用于权利要求1至6任一项所述的高精度同步的多路图像采集系统，所述方法包括步骤: SI，多个视频采集单元分别连接到时间源，获取同步脉冲信号和同步时间信号； S2，视频采集单元根据同步时间信号，生成与同步脉冲信号同步的触发信号输出到摄像机； S3，视频采集单元在每个触发脉冲生成的同时，对应于同步时间信号，产生一个该时刻的时间戳； S4，摄像机根据触发信号进行拍摄； S5，摄像机将拍摄的图像数据回传到视频采集单元； S6，视频采集单元将触发脉冲对应的时间戳嵌入到该触发脉冲触发拍摄的图像数据中。
8.根据权利要求7所述的一种多路图像采集系统的高精度时间同步方法，其特征在于，所述同步脉冲信号为TTL整秒脉冲信号，所述同步时间信号为RS485同步时间信号。
9.根据权利要求8所述的一种多路图像采集系统的高精度时间同步方法，其特征在于，所述步骤S2具体包括子步骤: S21，视频采集单元产生多个触发脉冲组成触发信号，并令每秒第一个触发脉冲的上升沿与TTL整秒脉冲信号中的脉冲上升沿对齐； S22，输出触发信号到摄像机。
10.根据权利要求9所述的一种多路图像采集系统的高精度时间同步方法，其特征在于，其还包括步骤: S7，对嵌入有时间戳的图像数据进行压缩处理； S8，对压缩处理后的图像数据进行存储。
【文档编号】H04N5/232GK104270567SQ201410462674
【公开日】2015年1月7日 申请日期:2014年9月11日 优先权日:2014年9月11日
【发明者】陈辉, 陈高鹏, 韩向伟, 王海蛟 申请人:深圳市南航电子工业有限公司