多台立体相机标定方法和系统的制作方法
【技术领域】
[0001] 本发明总体上涉及图像和视频处理领域。更具体地，本发明涉及一种利用高度已 知的移动物体来标定多路双目立体相机外参的方法和装置。
【背景技术】
[0002] 当前，对一个现代化的视频监控系统的要求已经不再局限于和过去一样，只要求 在二维图像平面上对物体进行跟踪识别；而是能在实际的三维立体空间中来精确定位和识 别物体。正是由于这一需求的提出，立体相机标定目前已经成为计算机视觉应用领域的一 个重要组成部分，如何将二维图像平面提取的信息准确地转换到三维立体空间中已成为许 多研究者的研究课题。
[0003] 近些年来，对物体进行定位的研究目标之一是扩大立体相机的跟踪范围但同时也 要保证不降低对目标进行三维定位的准确度。为了达到这一目标，通常的做法是增加这些 系统中立体相机的数量，使得该系统能覆盖更广的区域同时能捕获到高质量的视频画面。 因此，同时对多台相机进行协调管理，将它们的跟踪结果统一起来就变得十分重要。更确切 地说，就是要解决两方面的问题。一方面是将每台立体相机在立体相机坐标系下的跟踪结 果统一到一个公共的坐标系中，以方便后续多立体相机跟踪结果融合的处理。另一方面是 将这个统一的坐标系与真实的物理世界联系起来。在此，本发明将上述两个问题的解决过 程统称为立体相机的标定。
[0004] 现有的立体相机标定的方法大致可以分成自标定方法和基于物体的标定方法两 大类。基于物体的标定方法又可以再细分为基于三维物体的标定方法和基于二维物体的标 定方法。
[0005] 自标定方法一般是通过将立体相机绕一个未知的静止的场景移动来实现的。从本 质上说，这种标定方法就是找不同图像间点或者线的对应关系，进而求出满足对极约束的 立体相机参数。但是，这种方法的一个显著的局限性就是必须找到不同图像间的足够多的 点线对应关系，但当场景中的特征较少（如角点)，场景非静止有显著的变化，或是场景和相 机是相对静止的时候，该方法将失效。另外一种自标定的方法是通过找消失点来实现的，而 消失点可以通过场景中存在的一些标记(如建筑物相互平行的边）来定位，进而求出联系消 失点与这些平行线的立体相机参数。
[0006] 基于物体的标定方法利用几何信息已知的标定物来实现参数的求取。当这些已知 的几何信息准确时，这种标定方法的标定精度通常较高。用于标定的物体可以是三维的也 可以是二维的。基于三维物体的标定技术是一种最通用的标定技术，它要求用于标定的物 体的三维几何信息在标定开始时已知。三维点的坐标和它们在图像平面上的投影之间的转 换是通过一个投影矩阵（projection matrix)来实现的。当获得了足够多的三维与二维的 对应关系之后，就可以通过直接的线性变换（DLT)来求解投影矩阵中所包含的参数。采用 这种方法所获得的标定精度通常较高。与较为复杂的基于三维物体的标定方法相比，基于 二维物体的立体相机标定方法则利用一些平面上已知的几何信息来完成标定。这种方法使 得标定的准备更加简易可行。操作者通常需要在标定开始前将一些已知的几何图案粘贴到 硬纸板上(如采用棋盘格)，然后在待标定的立体相机前移动该硬纸板数次(至少两次)。这 种方法是通过硬纸板上的点与图像平面上对应点的单应性来求解立体相机参数的。相对于 基于三维物体的标定方法，基于二维物体的标定方法的标定物的准备更加简易、好操作，并 且也能达到较好的标定精度。
[0007] 专利US 2012/0229627 Al设计了一个用于检测移动物体的图像分析系统，同时可 以分析移动物体的速度。该系统考虑了图像的透视和尺度等变化，通过立体相机的标定，将 图像中的坐标点转换到真实的世界坐标系中。对于该系统，它需要事先将4个反射标记物 放置于道路的两旁以定义道路路面。然后测量出由这4个反射标记物确定的道路区域的长 度和宽度，然后将测量结果输入到系统中以完成立体相机的标定。
[0008] 专利US005768443A提出了一种标定多立体相机系统的方法，该系统中的每台立 体相机可以同时拍摄到同一个物体各个不同部分的图像。该方法的最终目标是将多台相机 的视野统一到一个公共坐标系中来进行精确的测量，即使图像中存在图像畸变。该发明的 步骤包括：（1)将待标定的摄相机固定于包含有标记的平台上；(2)确保每台相机能拍摄到 平台上的标记；（3)找出拍摄到的每张标记物图像上的特征点；(4)校正图像中特征点的失 真；（5)将所有特征点转换到一个统一的全局坐标系中。该发明一方面考虑了如何将每台 相机的图像坐标系转换到一个统一的物理坐标系中，另一方面，考虑了如何去除图像的失 真。另外，它的标定是通过平台上静止的标记来完成的。
[0009] 如上所述，立体相机自标定技术与基于标定物的标定技术相比，其操作起来更加 方便，不需要事先准备如棋盘格之类的标定物。然而，对于基于寻找消失点和消失线的自标 定技术，尽管它不要求有标定物，但是它要求场景中存在平行线。在一些文献中，这种技术 采用一个出现在立体相机工作视野中行走的人来标定相机（因为假设人在水平面上行走， 人的身体垂直于水平面，若将人的身体抽象为一根垂直于地面的垂线，则在不同的时刻，人 的身体是相互平行的)。但该方法要求行走的人的脚对于相机可见，但这对于许多室内场景 是不可行的，比如办公室场景中的存在工作隔间的情况。
【发明内容】
[0010] 为了克服上述技术的缺点，本发明提出了一种基于移动物体的标定多个双目立体 相机外参的方法。所述标定多台立体相机的方法包括：
[0011] 根据本发明的一个方面，提供了一种标定多台立体相机的方法，包括：对所述多台 立体相机进行系统时间同步；基于每台立体相机输出的包含已知高度的标定物的跟踪结果 图像所附加的时间戳信息，建立所述多台立体相机间的视场重叠区域关系图；从所获得图 像中确定标定物的最高点的在各自立体相机的坐标系中的坐标；从所述多台立体相机中指 定参考立体相机，并以所指定的参考立体相机的坐标系的原点在地面的投影点建立假设的 世界坐标系；基于参考立体相机所拍摄的至少四张图像中的标定物最高点的坐标，计算参 考立体相机在世界坐标系中的外参；以及以所计算的参考立体相机在世界坐标系中的外参 为参考，逐一根据所建立的多台立体相机间的视场重叠区域关系图，基于标定物处于一个 具体视场重叠区域内时最高点的已知世界坐标，计算构成所述具体重叠视场区域的其中一 个待标定立体相机在世界坐标系中的外参。
[0012] 根据本发明标定多台摄像机的方法，基于每台立体相机输出的包含被跟踪对象的 结果所附加的时间戳信息，建立所述多台立体相机间的视场重叠区域关系图的步骤包括： 比较所部署的任意两台立体相机对跟踪对象的跟踪结果的时间戳，若两台立体相机的跟踪 结果存在相同的时间戳信息，则可以判断这两台立体相机间存在视场区域的重叠，并将这 种关系用视场重叠区域关系图来表示，其中视场重叠区域关系图中的节点对应于所述多台 立体相机中的一台立体相机，而节点之间的边代表该边所连接的两个节点所代表的立体相 机之间存在视场重置关系。
[0013] 根据本发明标定多台摄像机的方法，从所获得图像中确定标定物的最高点的在各 自立体相机的坐标系中的坐标包括：从每台立体相机拍摄到的每一帧中分割出属于标定物 的前景像素；以及根据每一台立体相机的内部参数参提取到标定物的最高点的图像坐标， 并将所提取的标定物的最1?点的图像坐标转换为在对应立体相机坐标系下的坐标。
[0014] 根据本发明标定多台摄像机的方法，从所述多台立体相机中指定参考立体相机可 以以手工指定或者自动选择的方式来指定。
[0015] 根据本发明标定多台摄像机的方法，计算构成所述具体重叠视场区域的其中一个 待标定立体相机在世界坐标系中的外参包括：利用参考立体相机的在世界坐标系中的外 参，计算在某一时间戳时处于包含在参考立体相机视场中的视场重叠区域内标定物最高点 在世界坐标系中的坐标；以及获取同一时间戳下其视场包含所述视场重叠区域的待标定立 体相机所拍摄的图像，并基于该图像内标定物最高点在世界坐标系中的坐标计算该待标定 立体相机的光心在世界坐标系中的外参。
[0016] 根据本发明标定多台摄像机的方法，计算构成所述具体重叠视场区域的其中一个 待标定立体相机在世界坐标系中的外参还包括：利用已标定立体相机的在世界坐标系中的 外参，计算在某一时间戳时处于包含在已标定立体相机视场中的视场重叠区域内标定物最 高点在世界坐标系中的坐标；以及获取同一时间戳下其视场包含所述视场重叠区域的另一 个待标定立体相机所拍摄的图像，并基于该图像内标定物最高点在世界坐标系中的外参计 算该另一个待标定立体相机的光心在世界坐标系中的外参。
[0017] 根据本发明的另一个方面，提供了一种标定多台立体相机的系统，包括：同步单 元，对所述多台立体相机进行系统时间同步；视场重叠区域关系图创建单元，基于每台立体 相机输出的包含已知高度的标定物的跟踪结果图像所附加的时间戳信息，建立所述多台立 体相机间的视