一种多摄像机视频同步方法和装置制造方法
【专利摘要】本发明提供一种多摄像机视频同步方法和装置，其中方法包括：获取在目标特征点的运动过程中，第一摄像机和第二摄像机拍摄得到的位置信息，包括第一摄像机得到的第一特征点位置序列和第二摄像机得到的第二特征点位置序列；第一特征点位置序列包括目标特征点的第一位置信息；第二特征点位置序列包括目标特征点的第二位置信息；根据第一特征点位置序列以及单应矩阵，得到目标特征点的第二特征点估计位置序列；根据第二特征点估计位置序列和第二特征点位置序列得到序列差异值；在序列差异值符合预设的同步条件时，确定第一摄像机和第二摄像机的帧同步位置。本发明实现了各摄像机之间的图像同步。
【专利说明】一种多摄像机视频同步方法和装置
【技术领域】
[0001] 本发明涉及视频监控领域，特别涉及一种多摄像机视频同步方法和装置。
【背景技术】
[0002] 在视频监控领域，对于某一被测场景，有时需要采用双目摄像系统或者多目摄像 系统来获取该被测场景中的目标被测物的三维坐标信息，以双目摄像系统为例，该双目摄 像系统包括两个摄像机，各摄像机分别对目标被测物拍摄图像，双目摄像系统会综合根据 各摄像机采集的图像，通过获取视差图像和深度图像等处理来得到该目标被测物的三维坐 标信息。在上述过程中，双目摄像系统中的各摄像机需要保证图像同步，才能进行后面的获 取视差图像等处理；而各摄像机的图像同步指的是，各摄像机采集的图像是同一物体在同 一时间的图像，即各摄像机保证所获取的图像目标的一致性。同理，多目摄像系统中的各摄 像机之间也需要保证图像同步。
[0003] 现有技术中，为了满足上述的摄像机图像同步的要求，通常会将双目摄像系统中 的各摄像机一体化制造，比如，将两个摄像机采用同一处理芯片，这样可以根据该芯片所发 出的时钟信号进行拍摄，以保证摄像机之间的同步。但是，这种方式中两个摄像机之间的距 离受到限制，实际实施中，如果根据实际拍摄需要，采用将摄像机的位置分散，比如各摄像 机的间距较大，这种情况下当前尚没有如何保证各摄像机的图像同步的方法，导致无法满 足实际拍摄需要。
【发明内容】
[0004] 有鉴于此，本发明提供一种多摄像机视频同步方法和装置，以实现各摄像机之间 的图像同步。
[0005] 具体地，本发明是通过如下技术方案实现的：
[0006] 第一方面，提供一种多摄像机视频同步方法，包括：
[0007] 获取在目标特征点的运动过程中，第一摄像机和第二摄像机对运动中的所述目标 特征点同步拍摄得到的位置信息，所述位置信息包括：所述第一摄像机得到的第一特征点 位置序列和第二摄像机得到的第二特征点位置序列；所述第一特征点位置序列包括：在所 述第一摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第一图像帧中， 所述目标特征点在每一第一图像帧中的第一位置信息；所述第二特征点位置序列包括：在 所述第二摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第二图像帧 中，所述目标特征点在每一第二图像帧中的第二位置信息；
[0008] 将所述预设数量的第一图像帧和第二图像帧，依照帧顺序建立帧对应；并根据所 述第一特征点位置序列、以及用于表示所述第一位置信息和第二位置信息的转换关系的单 应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列；或者，根 据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第一图像帧 对应的第一特征点估计位置序列；
[0009] 根据所述第二特征点估计位置序列和第二特征点位置序列，得到用于表示所述预 设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值；或者，根 据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差异值；
[0010] 在所述序列差异值符合预设的同步条件时，确定第一摄像机图像和第二摄像机图 像的帧同步位置；在所述序列差异值不符合所述预设的同步条件时，则将所述预设数量的 第一图像帧或第二图像帧进行移动，并在移动后返回执行所述依照帧顺序建立帧对应。 [0011] 结合第一方面，在第一种可能的实现方式中，所述根据所述第一特征点位置序列、 以及单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列， 包括：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述目标特征点的所述 第一位置信息以及所述单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二估计 位置信息，所述预设数量的第二图像帧中的各第二图像帧分别对应的所述第二估计位置信 息，组成所述第二特征点估计位置序列；
[0012] 所述根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在 所述第一图像帧对应的第一特征点估计位置序列，包括：对于分别对应的每一对所述第一 图像帧和第二图像帧，根据所述目标特征点的所述第二位置信息以及所述单应矩阵，得到 所述目标特征点在所述第一图像帧对应的第一估计位置信息，所述预设数量的第一图像帧 中的各第一图像帧分别对应的所述第一估计位置信息，组成所述第一特征点估计位置序 列；
[0013] 所述根据所述第二特征点估计位置序列和第二特征点位置序列，得到用于表示所 述预设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值，包 括：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第二估计位置信息和 第二位置信息，得到每一第二图像帧对应的帧差异值；将所述预设数量的第二图像帧对应 的帧差异值求和，得到所述序列差异值；
[0014] 所述根据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差 异值，包括：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第一估计位置 信息和第一位置信息，得到每一第一图像帧对应的帧差异值；将所述预设数量的第一图像 帧对应的帧差异值求和，得到所述序列差异值。
[0015] 结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述序列 差异值符合预设的同步条件，包括：所述序列差异值小于预设的序列阈值，并且，所述帧差 异值小于帧阈值；或者，所述序列差异值小于所述预设的序列阈值，并且，所述预设数量的 第一图像帧或第二图像帧中的异常帧的数量小于数量阈值，所述异常帧对应的帧差异值大 于或等于所述帧阈值。
[0016] 结合第一方面，在第三种可能的实现方式中，所述在所述序列差异值不符合所述 预设的同步条件时，将所述预设数量的第一图像帧或第二图像帧进行移动，并在移动后返 回执行所述依照帧顺序建立帧对应，包括：若所述序列差异值不符合所述预设的同步条件， 则将所述预设数量的第一图像帧或者第二图像帧，依照帧顺序向后滑动一帧，并建立滑动 后的帧对应。
[0017] 结合第一方面，在第四种可能的实现方式中，所述获取在目标特征点的运动过程 中，第一摄像机和第二摄像机对运动中的所述目标特征点同步拍摄得到的位置信息，之前 还包括：获取所述目标特征点在公共平面处于静止状态时，所述第一摄像机和第二摄像机 对所述目标特征点同步拍摄得到的初始位置信息，所述初始位置信息包括：所述第一摄像 机得到的第一静止特征点位置、以及所述第二摄像机得到的第二静止特征点位置；所述公 共平面在世界坐标系的Z轴坐标为零；根据所述第一静止特征点位置和所述第二静止特征 点位置，计算得到所述单应矩阵。
[0018] 第二方面，提供一种多摄像机视频同步装置，包括：
[0019] 信息接收单元，用于获取在目标特征点的运动过程中，第一摄像机和第二摄像机 对运动中的所述目标特征点同步拍摄得到的位置信息，所述位置信息包括：所述第一摄像 机得到的第一特征点位置序列和第二摄像机得到的第二特征点位置序列；所述第一特征点 位置序列包括：在所述第一摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数 量的第一图像帧中，所述目标特征点在每一第一图像帧中的第一位置信息；所述第二特征 点位置序列包括：在所述第二摄像机拍摄的分别对应所述目标特征点不同运动位置的预设 数量的第二图像帧中，所述目标特征点在每一第二图像帧中的第二位置信息；
[0020] 信息处理单元，用于将所述预设数量的第一图像帧和第二图像帧，依照帧顺序建 立帧对应；并根据所述第一特征点位置序列、以及用于表示所述第一位置信息和第二位置 信息的转换关系的单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估 计位置序列；或者，根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征 点在所述第一图像帧对应的第一特征点估计位置序列；
[0021] 差异求取单元，用于根据所述第二特征点估计位置序列和第二特征点位置序列， 得到用于表示所述预设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的 序列差异值；或者，根据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序 列差异值；
[0022] 同步确定单元，用于在所述序列差异值符合预设的同步条件时，确定第一摄像机 图像和第二摄像机图像的帧同步位置；在所述序列差异值不符合所述预设的同步条件时， 则指示所述信息处理单元将所述预设数量的第一图像帧或第二图像帧进行移动，并在移动 后依照帧顺序建立帧对应。
[0023] 结合第二方面，在第一种可能的实现方式中，所述信息处理单元，在根据所述第一 特征点位置序列、以及单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征 点估计位置序列时，具体是用于：对于分别对应的每一对所述第一图像帧和第二图像帧，根 据所述目标特征点的所述第一位置信息以及所述单应矩阵，得到所述目标特征点在所述第 二图像帧对应的第二估计位置信息，所述预设数量的第二图像帧中的各第二图像帧分别对 应的所述第二估计位置信息，组成所述第二特征点估计位置序列；
[0024] 在根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所 述第一图像帧对应的第一特征点估计位置序列时，具体是用于：对于分别对应的每一对所 述第一图像帧和第二图像帧，根据所述目标特征点的所述第二位置信息以及所述单应矩 阵，得到所述目标特征点在所述第一图像帧对应的第一估计位置信息，所述预设数量的第 一图像帧中的各第一图像帧分别对应的所述第一估计位置信息，组成所述第一特征点估计 位置序列；
[0025] 所述差异求取单元，具体用于：对于分别对应的每一对所述第一图像帧和第二图 像帧，根据所述第二估计位置信息和第二位置信息，得到每一第二图像帧对应的帧差异值； 将所述预设数量的第二图像帧对应的帧差异值求和，得到所述序列差异值；或者，对于分 别对应的每一对所述第一图像帧和第二图像帧，根据所述第一估计位置信息和第一位置信 息，得到每一第一图像帧对应的帧差异值；将所述预设数量的第一图像帧对应的帧差异值 求和，得到所述序列差异值。
[0026] 结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述同步 确定单元，具体用于：在所述序列差异值小于预设的序列阈值，并且，所述帧差异值小于帧 阈值时，确定所述序列差异值符合预设的同步条件；或者，在所述序列差异值小于所述预设 的序列阈值，并且，所述预设数量的第一图像帧或第二图像帧中的异常帧的数量小于数量 阈值，所述异常帧对应的帧差异值大于或等于所述帧阈值时，确定所述序列差异值符合预 设的同步条件。
[0027] 结合第二方面，在第三种可能的实现方式中，所述信息处理单元，在将所述预设数 量的第一图像帧和第二图像帧进行移动，并在移动后依照帧顺序建立帧对应时，具体用于： 在所述序列差异值不符合所述预设的同步条件时，则将所述预设数量的第一图像帧或者第 二图像帧，依照帧顺序向后滑动一帧，并建立滑动后的帧对应。
[0028] 结合第二方面，在第四种可能的实现方式中，所述信息接收单元，还用于获取所述 目标特征点在公共平面处于静止状态时，所述第一摄像机和第二摄像机对所述目标特征点 同步拍摄得到的初始位置信息，所述初始位置信息包括：所述第一摄像机得到的第一静止 特征点位置、以及所述第二摄像机得到的第二静止特征点位置；所述公共平面在世界坐标 系的Z轴坐标为零；所述信息处理单元，还用于根据所述第一静止特征点位置和所述第二 静止特征点位置，计算得到所述单应矩阵。
[0029] 本发明实施例提供的多摄像机视频同步方法和装置，通过获取各摄像机分别拍摄 得到的目标特征点的位置信息，并利用单应矩阵得到估计的位置信息，并与实际的位置信 息比较得到序列差异值，当该序列差异值满足预设的同步条件时，则表明确定了各摄像机 图像之间的帧同步位置，通过该方法实现了各摄像机之间的图像同步。
【专利附图】
【附图说明】
[0030] 图1为本发明实施例提供的多摄像机视频同步方法的一种可选应用场景；
[0031] 图2为本发明实施例提供的多摄像机视频同步方法中的摄像机成像坐标关系图；
[0032] 图3为本发明实施例提供的多摄像机视频同步方法中应用的棋盘标定图；
[0033] 图4为本发明实施例提供的多摄像机视频同步方法中的摄像机同步装置与摄像 机连接示意图；
[0034] 图5为本发明实施例提供的一种多摄像机视频同步方法的流程示意图；
[0035] 图6为本发明实施例提供的多摄像机视频同步方法中的特征点移动轨迹示意图；
[0036] 图7为本发明实施例提供的多摄像机视频同步方法中的帧对应示意图一；
[0037] 图8为本发明实施例提供的多摄像机视频同步方法中的差异计算示意图；
[0038] 图9为本发明实施例提供的多摄像机视频同步方法中的帧对应示意图二；
[0039] 图10为本发明实施例提供的多摄像机视频同步装置的结构示意图；
[0040] 图11为本发明实施例提供的多摄像机视频同步装置的实体结构图。
【具体实施方式】
[0041] 本发明实施例提供的多摄像机视频同步方法，可以应用于两台独立摄像机的图像 同步；图1举例了一种可选的应用场景：假设需要对某一会议室的布置进行拍摄，安装了两 台独立的摄像机，并且这两台独立摄像机间距较远，一台摄像机11放置在会议室左侧，另 一台摄像机12放置在会议室右侧；由这两台摄像机组成的双目摄像系统，这两台摄像机不 能进行同步拍摄（例如，可能相差（l〇〇〇/25)ms)，后期对于这两台摄像机拍摄出来的视频 图像，需要进行同步处理，在图像同步之后再求取视差图和深度图以及三维重构等。
[0042] 这里所述的图像同步的意思是，各摄像机保证所获取的图像目标的一致性，举个 例子来说明"图像同步"的含义：假设摄像机11和摄像机12都对某个运动过程进行了拍摄， 对于摄像机11来说，其第100帧对应的是该运动过程的起始点，即从第100帧开始对该运 动进行拍摄（100帧之前的图像是其他图像）；对于摄像机12来说，其第120帧对应的是该 运动过程的起始点，即摄像机12从第120帧开始对该运动进行拍摄。那么，后续在专门针 对这个运动过程分析时需要知道，摄像机11的第100帧与摄像机12的第120帧开始同步， 直至运动过程结束。由此可见，摄像机11和摄像机12的图像帧如果同步，两者相差20帧； 以此类推，摄像机11的第108帧与摄像机12的第128帧是同步的。所以，本发明实施例中 所说的，对两台摄像机进行图像同步，其实可以理解为，要找到两台摄像机的图像同时刻位 置，两台摄像机采集的图像序列的同时刻相差多少帧。
[0043] 结合图1，本发明实施例提供的多摄像机视频同步方法，也即是要找到摄像机11 和摄像机12的同步位置。当然，本发明实施例的方法不仅可以应用于双目摄像系统，也可 以应用于多目摄像系统中的两两摄像机之间的图像同步。下面将详细描述本发明实施例的 多摄像机视频同步方法：
[0044] 首先，在本发明实施例的多摄像机视频同步方法中，使用了一个重要概念，即"单 应矩阵"，该单应矩阵用于表示需要进行图像同步的两台摄像机对同一目标物体在同一时 刻所摄取的位置坐标之间的转换关系。这里先对该单应矩阵的原理、以及计算方法进行简 单说明，由于单应矩阵的计算是常规技术，所以本实施例只做简单介绍：
[0045] 图2所示为一个摄像机成像时的坐标关系图，其中，（X，Υ, Z)为世界坐标系， (u,v,w)为镜头坐标系，（x,y)为图像像素坐标系。由于摄像机镜头为凸透镜，成像时为倒 立成像，为分析方便起见，此处取成像的镜像。假设[X，Y，Z，1] τ为空间中世界坐标系的一 个三维点的坐标，该坐标用齐次坐标表示；并假设[X，y，1]τ为该三维点成像在图像像素坐 标系中的像点的二维像素坐标，该二维像素坐标也用齐次坐标表示。那么，用于表示该三维 点从世界坐标系的坐标投影（或者称为变换）到图像像素坐标系的转换关系的矩阵称为投 影矩阵为Μ 3Χ4，该投影矩阵与上述的两个坐标系中的坐标之间的关系可以参见如下的公式 (1)：
[0046]
【权利要求】
1. 一种多摄像机视频同步方法，其特征在于，包括： 获取在目标特征点的运动过程中，第一摄像机和第二摄像机对运动中的所述目标特征 点同步拍摄得到的位置信息，所述位置信息包括：所述第一摄像机得到的第一特征点位置 序列和第二摄像机得到的第二特征点位置序列；所述第一特征点位置序列包括：在所述第 一摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第一图像帧中，所述 目标特征点在每一第一图像帧中的第一位置信息；所述第二特征点位置序列包括：在所述 第二摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的第二图像帧中，所 述目标特征点在每一第二图像帧中的第二位置信息； 将所述预设数量的第一图像帧和第二图像帧，依照帧顺序建立帧对应；并根据所述第 一特征点位置序列、以及用于表示所述第一位置信息和第二位置信息的转换关系的单应矩 阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位置序列；或者，根据所 述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第一图像帧对应 的第一特征点估计位置序列； 根据所述第二特征点估计位置序列和第二特征点位置序列，得到用于表示所述预设数 量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值；或者，根据所 述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差异值； 在所述序列差异值符合预设的同步条件时，确定第一摄像机图像和第二摄像机图像的 帧同步位置；在所述序列差异值不符合所述预设的同步条件时，则将所述预设数量的第一 图像帧或第二图像帧进行移动，并在移动后返回执行所述依照帧顺序建立帧对应。
2. 根据权利要求1所述的方法，其特征在于， 所述根据所述第一特征点位置序列、以及单应矩阵，得到所述目标特征点在所述第二 图像帧对应的第二特征点估计位置序列，包括：对于分别对应的每一对所述第一图像帧和 第二图像帧，根据所述目标特征点的所述第一位置信息以及所述单应矩阵，得到所述目标 特征点在所述第二图像帧对应的第二估计位置信息，所述预设数量的第二图像帧中的各第 二图像帧分别对应的所述第二估计位置信息，组成所述第二特征点估计位置序列； 所述根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述 第一图像帧对应的第一特征点估计位置序列，包括：对于分别对应的每一对所述第一图像 帧和第二图像帧，根据所述目标特征点的所述第二位置信息以及所述单应矩阵，得到所述 目标特征点在所述第一图像帧对应的第一估计位置信息，所述预设数量的第一图像帧中的 各第一图像帧分别对应的所述第一估计位置信息，组成所述第一特征点估计位置序列； 所述根据所述第二特征点估计位置序列和第二特征点位置序列，得到用于表示所述预 设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列差异值，包括：对 于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第二估计位置信息和第二位 置信息，得到每一第二图像帧对应的帧差异值；将所述预设数量的第二图像帧对应的帧差 异值求和，得到所述序列差异值； 所述根据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差异 值，包括：对于分别对应的每一对所述第一图像帧和第二图像帧，根据所述第一估计位置信 息和第一位置信息，得到每一第一图像帧对应的帧差异值；将所述预设数量的第一图像帧 对应的帧差异值求和，得到所述序列差异值。
3. 根据权利要求2所述的方法，其特征在于，所述序列差异值符合预设的同步条件，包 括： 所述序列差异值小于预设的序列阈值，并且，所述帧差异值小于帧阈值； 或者，所述序列差异值小于所述预设的序列阈值，并且，所述预设数量的第一图像帧或 第二图像帧中的异常帧的数量小于数量阈值，所述异常帧对应的帧差异值大于或等于所述 帧阈值。
4. 根据权利要求1所述的方法，其特征在于，所述在所述序列差异值不符合所述预设 的同步条件时，将所述预设数量的第一图像帧或第二图像帧进行移动，并在移动后返回执 行所述依照帧顺序建立帧对应，包括 ： 若所述序列差异值不符合所述预设的同步条件，则将所述预设数量的第一图像帧或者 第二图像帧，依照帧顺序向后滑动一帧，并建立滑动后的帧对应。
5. 根据权利要求1所述的方法，其特征在于，所述获取在目标特征点的运动过程中， 第一摄像机和第二摄像机对运动中的所述目标特征点同步拍摄得到的位置信息，之前还包 括： 获取所述目标特征点在公共平面处于静止状态时，所述第一摄像机和第二摄像机对所 述目标特征点同步拍摄得到的初始位置信息，所述初始位置信息包括：所述第一摄像机得 到的第一静止特征点位置、以及所述第二摄像机得到的第二静止特征点位置；所述公共平 面在世界坐标系的Z轴坐标为零； 根据所述第一静止特征点位置和所述第二静止特征点位置，计算得到所述单应矩阵。
6. -种多摄像机视频同步装置，其特征在于，包括： 信息接收单元，用于获取在目标特征点的运动过程中，第一摄像机和第二摄像机对运 动中的所述目标特征点同步拍摄得到的位置信息，所述位置信息包括：所述第一摄像机得 到的第一特征点位置序列和第二摄像机得到的第二特征点位置序列；所述第一特征点位置 序列包括：在所述第一摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量的 第一图像帧中，所述目标特征点在每一第一图像帧中的第一位置信息；所述第二特征点位 置序列包括：在所述第二摄像机拍摄的分别对应所述目标特征点不同运动位置的预设数量 的第二图像帧中，所述目标特征点在每一第二图像帧中的第二位置信息； 信息处理单元，用于将所述预设数量的第一图像帧和第二图像帧，依照帧顺序建立帧 对应；并根据所述第一特征点位置序列、以及用于表示所述第一位置信息和第二位置信息 的转换关系的单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二特征点估计位 置序列；或者，根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在 所述第一图像帧对应的第一特征点估计位置序列； 差异求取单元，用于根据所述第二特征点估计位置序列和第二特征点位置序列，得到 用于表示所述预设数量的第一图像帧和第二图像帧中所述目标特征点的位置差异的序列 差异值；或者，根据所述第一特征点估计位置序列和第一特征点位置序列，得到所述序列差 异值； 同步确定单元，用于在所述序列差异值符合预设的同步条件时，确定第一摄像机图像 和第二摄像机图像的帧同步位置；在所述序列差异值不符合所述预设的同步条件时，则指 示所述信息处理单元将所述预设数量的第一图像帧或第二图像帧进行移动，并在移动后依 照帧顺序建立帧对应。
7. 根据权利要求6所述的装置，其特征在于， 所述信息处理单元，在根据所述第一特征点位置序列、以及单应矩阵，得到所述目标特 征点在所述第二图像帧对应的第二特征点估计位置序列时，具体是用于：对于分别对应的 每一对所述第一图像帧和第二图像帧，根据所述目标特征点的所述第一位置信息以及所述 单应矩阵，得到所述目标特征点在所述第二图像帧对应的第二估计位置信息，所述预设数 量的第二图像帧中的各第二图像帧分别对应的所述第二估计位置信息，组成所述第二特征 点估计位置序列； 在根据所述第二特征点位置序列、以及所述单应矩阵，得到所述目标特征点在所述第 一图像帧对应的第一特征点估计位置序列时，具体是用于：对于分别对应的每一对所述第 一图像帧和第二图像帧，根据所述目标特征点的所述第二位置信息以及所述单应矩阵，得 到所述目标特征点在所述第一图像帧对应的第一估计位置信息，所述预设数量的第一图像 帧中的各第一图像帧分别对应的所述第一估计位置信息，组成所述第一特征点估计位置序 列； 所述差异求取单元，具体用于：对于分别对应的每一对所述第一图像帧和第二图像帧， 根据所述第二估计位置信息和第二位置信息，得到每一第二图像帧对应的帧差异值；将所 述预设数量的第二图像帧对应的帧差异值求和，得到所述序列差异值；或者，对于分别对应 的每一对所述第一图像帧和第二图像帧，根据所述第一估计位置信息和第一位置信息，得 到每一第一图像帧对应的帧差异值；将所述预设数量的第一图像帧对应的帧差异值求和， 得到所述序列差异值。
8. 根据权利要求7所述的装置，其特征在于， 所述同步确定单元，具体用于：在所述序列差异值小于预设的序列阈值，并且，所述帧 差异值小于帧阈值时，确定所述序列差异值符合预设的同步条件；或者，在所述序列差异值 小于所述预设的序列阈值，并且，所述预设数量的第一图像帧或第二图像帧中的异常帧的 数量小于数量阈值，所述异常帧对应的帧差异值大于或等于所述帧阈值时，确定所述序列 差异值符合预设的同步条件。
9. 根据权利要求6所述的装置，其特征在于， 所述信息处理单元，在将所述预设数量的第一图像帧和第二图像帧进行移动，并在移 动后依照帧顺序建立帧对应时，具体用于：在所述序列差异值不符合所述预设的同步条件 时，则将所述预设数量的第一图像帧或者第二图像帧，依照帧顺序向后滑动一帧，并建立滑 动后的帧对应。
10. 根据权利要求6所述的装置，其特征在于， 所述信息接收单元，还用于获取所述目标特征点在公共平面处于静止状态时，所述第 一摄像机和第二摄像机对所述目标特征点同步拍摄得到的初始位置信息，所述初始位置信 息包括：所述第一摄像机得到的第一静止特征点位置、以及所述第二摄像机得到的第二静 止特征点位置；所述公共平面在世界坐标系的Z轴坐标为零； 所述信息处理单元，还用于根据所述第一静止特征点位置和所述第二静止特征点位 置，计算得到所述单应矩阵。
【文档编号】H04N7/18GK104063867SQ201410302310
【公开日】2014年9月24日 申请日期:2014年6月27日 优先权日:2014年6月27日
【发明者】吴参毅 申请人:浙江宇视科技有限公司