的周期采样，并将第一摄像机111采集到的图像帧及第一传感器组件112对车载系统加速度采样的采样点输入第一数据整合模块113，第二摄像机121采集到的图像帧及第二传感器组件122对车载系统加速度采样的采样点输入第二数据整合模块123 ;
第一数据整合模块113将同一采样时刻第一摄像机111采集得到的图像帧和第一传感器组件112微机械加速度传感器采集到的采样点确定为帧对应关系，并将该帧对应关系连同第一传感器组件112微机械加速度传感器采集到的采样点序列一起存储在第一数据存储模块114中，在计算需要时取出。与此同时第二数据整合模块123将同一采样时刻第二摄像机121采集的图像帧和第二传感器组件122微机械加速度传感器采集到的采样点确定为帧对应关系，并将该帧对应关系连同第二传感器组件122微机械加速度传感器采集到的采样点序列一起存储在第二数据存储模块124中，在计算需要时取出。通过建立帧对应关系每一个采样时刻摄像机采集到的图像帧都有同一时刻传感器组件的采样点与其对应。
[0023]偏移量求取模块2分别从第一数据存储模块114和第二数据存储模块124中取出第一图像采集单元11和第二图像采集单元12的传感器采样点序列，根据序列间的相关性，求取第一图像采集单元11和第二图像采集单元12的传感器采样点序列间的偏移量，并将偏移量输入视频同步单兀3 ；
视频同步单元3收到第一图像采集单元11和第二图像采集单元12中传感器的采样点序列间的偏移量时，分别从第一数据存储模块114和第二数据存储模块124中取出第一图像采集单元11和第二图像采集单元12中摄像机采集到的图像帧序列及同一图像采集单元内摄像机采集得到的图像帧和传感器采样点的帧对应关系，计算出第一图像采集单元11和第二图像采集单元12内摄像机图像帧的偏移关系，并根据图像帧的偏移关系对第一图像采集单元11和第二图像采集单元12内的摄像机视频进行同步。
[0024]作为视频同步的一种优选的方法，视频同步模块3根据第一摄像机111和第二摄像机121图像帧序列间的偏移关系，通过控制第一数据整合模块113和第二数据整合模块123，在图像采集及车载系统加速度采样时直接配准相关摄像机当前采集到的图像帧，对各个图像采集单元内的摄像机视频进行同步。具体的可以以第一摄像机111采集得到的图像帧序列为基准，重复或剔除第二摄像机121图像帧序列中的部分不同步的图像帧，以实现第一摄像机111和第二摄像机121视频的实时同步。
[0025]以上为本发明的具体实现方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些显而易见的替换形式均属于本发明的保护范围。
【主权项】
1.一种基于外部传感器的多摄像机视频同步装置，包括图像采集组件、偏移量求取模块、视频同步模块；所述图像采集组件包括多个图像采集单元；所述图像采集单元包括摄像机，其特征在于:所述图像采集单元还包括传感器组件、数据整合模块及数据存储模块；所述传感器组件包括一个或者多个传感器；所述图像采集组件连接至偏移量求取模块及视频同步模块，偏移量求取模块还与视频同步模块连接；所述图像采集单元中摄像机和传感器组件连接至数据整合模块，数据整合模块连接至数据存储模块。
2.依据权利要求1所述基于外部传感器的多摄像机视频同步装置，其特征在于:在车载系统等运动场景，所述传感器可采用微机械加速度传感器。
3.依据权利要求1所述基于外部传感器的多摄像机视频同步装置，其特征在于:在多摄像机监视系统等静态场景，所述传感器可采用微机械声学传感器。
4.依据权利要求1所述基于外部传感器的多摄像机视频同步装置，其特征在于:所述传感器可采用微机械陀螺。
5.一种基于外部传感器的多摄像机视频同步方法，其特征在于，包括步骤: 图像采集及环境采样；所述图像采集模块中，各图像采集单元在控制信号的控制下，控制摄像机与传感器组件以一定频率分别进行图像视频的采集及环境采样，并将摄像机采集到的图像帧及传感器组件对环境采样的采样点输入对应的数据整合模块； 建立帧对应关系；数据整合模块将同一采样时刻摄像机采集得到的图像帧和传感器组件采集到的采样点确定为一种帧对应关系； 数据存储；将摄像机采集到的图像帧与传感器采样点的帧对应关系连同传感器采样点序列一起存储在数据存储模块中，在计算需要时取出； 偏移量求取；所述偏移量求取模块从数据存储模块中取出不同图像采集单元中的传感器采样点序列，根据序列间的相关性，求取各个图像采集单元中传感器采样点序列间的偏移量，并将偏移量输入视频同步单兀; 视频同步；所述视频同步单元收到不同图像采集单元中传感器的采样点序列间的偏移量时，从数据存储模块中取出不同图像采集单元中的摄像机采集到的图像帧序列及同一图像采集单元内摄像机采集得到的图像帧和传感器采样点的对应关系，计算出各个图像采集单元内摄像机图像帧的偏移关系，并根据图像帧的偏移关系对各个图像采集单元内的摄像机视频进行同步。
6.依据权利要求5所述基于外部传感器的多摄像机视频同步方法，其特征在于:在视频同步时，所述视频同步模块根据图像帧的偏移关系，通过控制数据整合模块，在图像采集及环境采样时直接配准相关摄像机当前采集到的图像帧，对各个图像采集单元内的摄像机视频进行同步。
7.依据权利要求5所述基于外部传感器的多摄像机视频同步方法，其特征在于:在视频同步时，所述视频同步模块在图像采集及环境采样结束之后，根据各摄像机图像帧序列间的偏移关系，重新配准各摄像机视频中不同步的图像帧，对各个图像采集单元内的摄像机视频进行同步。
【专利摘要】本发明提供一种基于外部传感器的多摄像机视频同步装置及方法。该装置包括图像采集组件、偏移量求取模块、视频同步模块，图像采集组件包括多个图像采集单元；图像采集单元包括摄像机、传感器组件、数据整合模块及数据存储模块；传感器组件包括一个或者多个传感器；多摄像机视频同步方法，包括步骤：图像采集及环境采样、建立帧对应关系、数据存储、偏移量求取、视频同步。本发明提供的多摄像机视频同步装置及方法，无需对特征点进行检测和跟踪，且对摄像机的摆放和分布没有显著要求，不需要通过精度要求高、实施困难、运算复杂的特征点检测和跟踪算法来进行，简单有效的解决了多摄像机视频丢帧、错帧、及摄像机视频不同步等问题。
【IPC分类】H04N5-232, H04N7-18
【公开号】CN104717426
【申请号】CN201510090739
【发明人】刘伟恒, 刘建, 钟晨, 张荃, 陈杰
【申请人】深圳市德赛微电子技术有限公司
【公开日】2015年6月17日
【申请日】2015年2月28日