一种基于圆柱面的多摄像机系统标定方法
【专利摘要】本发明涉及一种基于圆柱面的多摄像机系统标定方法。在圆柱面上构造多个特征点，使得围绕圆柱面的摄像机都能拍摄到至少6个特征点；以圆柱面的轴线和半径为坐标轴建立三维坐标系，并对基于不同半径方向的坐标系作出标记；根据特征点的构造方法和圆柱面的尺寸，计算特征点的三维坐标和基于不同半径方向的坐标系之间的变换关系；各摄像机拍摄圆柱面的图像，提取所述特征点的图像坐标，通过直接线性变换求出各摄像机的标定初值，并通过非线性优化获得各摄像机的全部内外参数；根据各摄像机与圆柱面的相对关系，计算各摄像机之间的相对关系，完成多摄像机系统的标定。本发明克服了现有技术的不足，便于大视场、宽基线、非同步多摄像机系统的标定。
【专利说明】
-种基于圆柱面的多摄像机系统标定方法
技术领域
[0001] 本发明设及多摄像机系统的标定方法，具体设及一种基于圆柱面的多摄像机系统 标定方法，适用于计算机视觉系统和技术。
【背景技术】
[0002] 多摄像机系统的标定，即通过实验方法确定各摄像机的内参数和相互间的位置关 系，是多摄像机系统应用于目标跟踪和=维重建等领域的关键环节。为获得精确的标定结 果，需要在多摄像机的共同视场内设置一个结构尺寸已知的标定物。根据采用的标定物不 同，目前多摄像机系统的标定方法可分为四类：
[0003] 采用光点为标定物（T.Svoboda,D.Martinec,and T.Pajdla,A convenient multi-camera selfcalibration for virtual environments,PRESENCE:Teleoperators and Virtual Environments,2005,14(4) :407-422),在共同视场中移动光点多次，利用自 标定方法对多摄像机系统进行标定。运类方法需要多个摄像机同步拍摄光点，不能应用于 非同步的多摄像机系统，限制了其应用。
[0004] 采用一维标定物(付强，全权，蔡开源，基于自由运动一维标定物的多摄像机参数 标定方法与实验，控制理论与应用，2014,31(8) :1018-1024),首先进行两两标定，接着利用 基本矩阵及一维标定物上特征点之间的几何约束，估计两摄像机的内外参数，最后采用最 短路径法和捆束调整对多摄像机系统进行全局标定。运种方法需要在多摄像机的共同视场 中随机挥舞一维标定物上百次，才能得到较好的结果，运是一项费时的工作。如果多摄像机 系统的配置发生变化，那么需要重复进行运样的费时工作，不便于多摄像机系统的灵活配 置。
[0005] 采用二维标定物（T.Ueshiba and F.Tomita,Plane-based calibration algorithm for multi-camera systems via factorization of homography matrices, in Proc. of IEEE International Conference on Computer Vision,Nice,France, Oct. 2003，pp.966-973)，是单个摄像机标定目前最常用的方法，但对于环形配置的多摄像 机系统，运类方法存在遮挡问题，即位于二维标定物背后的摄像机不能看到标定物上的标 定图案，从而不能同时进行标定。而且，运类方法需要在拍摄标定图像的过程中多次改变标 定物相对于摄像机的姿态，需要人工参与，不便于自动标定。
[0006] 采用S维标定物（Jae-Hean Kim,Bon-Ki Koo,Convenient calibration method for unsynchronized multi-camera networks using a small reference object，in Proc.of lEEE/RSJ International Conference on Intelligent Robots and Systems， Vilamoura,Algarve ,Portugal，0ct. 2012，pp.438-444)，仅需拍摄一幅图像即可进行多摄 像机系统的标定。但运类=维标定物多采用多面体结构，在制作时需要保证不同平面之间 的精确位置关系，需要精密的加工设备，不便于普及。对于单个摄像机，可采用平面标定图 案与圆柱面相结合的标定方法（Jianhua Wang,Zhenyi Li ,Fuxin Ren,Zhao Liu,Aidi Shen,Calibration of Vision System Used on Unmanned Surface Vehicle,in Proc.of OCEANS' 16MTS/IE邸Sian曲ai ,April 2016)，便于S维标定物的制作，但运种方法仅考虑 单个摄像机的标定，不能应用于多摄像机系统。
[0007] 随着计算机技术的发展和数字摄像机的普及，多摄像机系统的应用日趋广泛，因 此，本领域希望有更简捷实用的多摄像机系统标定方法。
【发明内容】
[0008] 本发明针对多摄像机系统现有标定方法的不足，提供一种基于圆柱面的多摄像机 系统标定方法。该方法中的标定物不需要精密的加工设备，便于标定物的制作;标定时每个 摄像机仅需拍摄一幅图像，便于多摄像机系统的自动标定；当在多摄像机系统中增加摄像 机或改变摄像机时，仅需标定该摄像机的内外参数，即可将该摄像机与其它摄像机进行关 联，完成多摄像机系统标定参数的更新，便于多摄像机系统的灵活配置。
[0009] 为达到上述目的，本发明采用如下的技术方案：
[0010] -种基于圆柱面的多摄像机系统标定方法，其特征在于，所述标定方法包括如下 步骤：
[0011] (1)在圆柱面上构造多个特征点，使得围绕所述圆柱面的摄像机都能拍摄到至少6 个所述特征点，优选能拍摄到至少18个所述特征点；
[0012] (2) W所述圆柱面的轴线和半径为坐标轴建立=维坐标系，并对基于不同半径方 向的坐标系作出标记；
[0013] (3)根据所述特征点的构造方法和所述圆柱面的尺寸，计算所述特征点在所述= 维坐标系中的=维坐标，W及基于不同半径方向的所述=维坐标系之间的变换关系；
[0014] (4)用各摄像机拍摄所述圆柱面的图像，提取所述特征点的图像坐标，通过直接线 性变换求出各摄像机的标定初值，并通过非线性优化获得各摄像机的全部内外参数；
[0015] (5)根据所述各摄像机与所述圆柱面的相对关系，计算所述各摄像机之间的相对 关系，完成多摄像机系统的标定。
[0016] 本发明克服了采用平面标定物时存在的遮挡问题，便于大视场、宽基线、非同步多 摄像机系统的自动标定。
【附图说明】
[0017] W下结合附图和【具体实施方式】来进一步说明本发明。
[0018] 图1为一个实施例的标定物和摄像机分布示意图。
[0019]图2为图1所示实施例中摄像机200拍摄的标定物图像示意图。
[0020] 图3为图1所示实施例中摄像机300拍摄的标定物图像示意图。
[0021] 图4为图1所示实施例中摄像机400拍摄的标定物图像示意图。
[0022] 图5为图1所示实施例中摄像机500拍摄的标定物图像示意图。
[0023] 图6为从图3所示标定物图像中提取的特征点示意图。
[0024] 图7为图1所示实施例中摄像机坐标系与标定物坐标系的示意图。
【具体实施方式】
[0025] 为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结 合具体图示，进一步阐述本发明。
[0026] 本发明针对采用平面标定物时存在的遮挡问题和需要拍摄多幅不同图像的问题， W及采用=维标定物时存在的标定物制作困难问题，提供一种基于圆柱面的多摄像机系统 标定方法。该方法的步骤如下：
[0027] (1)在圆柱面上构造多个特征点，使得围绕所述圆柱面的摄像机都能拍摄到至少6 个所述特征点，优选能拍摄到至少18个所述特征点；
[0028] (2) W所述圆柱面的轴线和半径为坐标轴建立=维坐标系，并对基于不同半径方 向的坐标系作出标记；
[0029] (3)根据所述特征点的构造方法和所述圆柱面的尺寸，计算所述特征点在所述= 维坐标系中的=维坐标，W及基于不同半径方向的所述=维坐标系之间的变换关系；
[0030] (4)用各摄像机拍摄所述圆柱面的图像，提取所述特征点的图像坐标，通过直接线 性变换求出各摄像机的标定初值，并通过非线性优化获得各摄像机的全部内外参数；
[0031] (5)根据所述各摄像机与所述圆柱面的相对关系，计算所述各摄像机之间的相对 关系，完成多摄像机系统的标定。
[0032] 基于上述原理，本发明的具体实施过程如下：
[0033] (1)在圆柱面上构造多个特征点，使得围绕所述圆柱面的摄像机都能拍摄到至少6 个所述特征点，优选能拍摄到至少18个所述特征点。图1为一个实施例的标定物和摄像机分 布示意图，在圆柱面110上印刷展开后为平面方格的图案120,构成圆柱形标定物100,白色 方格121和黑色方格122的交点123作为特征点。根据视觉系统的工作范围，确定圆柱面的半 径为90.5mm，白色方格121和黑色方格122的边长为23.5mm，均匀相间地分布白色方格121和 黑色方格122各120个，使得围绕圆柱面110的摄像机200,300,400和500都能拍摄到至少6个 所述特征点123,优选能拍摄到至少18个所述特征点123。图2、图3、图4和图5分别为摄像机 200、300、400和500拍摄的标定物图像示意图，它们都拍摄到至少77个特征点123。
[0034] (2) W所述圆柱面的轴线和半径为坐标轴建立=维坐标系，并对基于不同半径方 向的坐标系作出标记。在图1所示的实施例中，W圆柱面110的轴线为Cz轴，过特征点的半径 为Cx轴，根据右手法则建立=维直角坐标系CxCyCz。运样，过每个特征点可建立一个坐标系， 为区别过不同特征点的坐标系，在圆柱面110上作出标记130,在该实施例中W数字标记不 同的半径方向。在图2中，所建立坐标系的Cx轴通过标记1方向的特征点，将该坐标系表示为 写1，其；条坐标轴分别为ClX，ClY点Z;在图帥，所建立坐标系的Cx轴通过标记7方向的特征 点，将该坐标系表示为|7,其=条坐标轴分别为C7X，C7Y，|7Z;在图4中，所建立坐标系的Cx轴通 过标记13方向的特征点，将该坐标系表示为|13，其立条坐标轴分别为Cl3X，Cl3Y点3Z;在图5 中，所建立坐标系的Cx轴通过标记19方向的特征点，将该坐标系表示为Ci9,其立条坐标轴分 另 Ij 为 Cl9X,Cl9Y,Cl9Z。
[0035] (3)根据所述特征点的构造方法和所述圆柱面的尺寸，计算所述特征点在所述= 维坐标系中的=维坐标，W及基于不同半径方向的所述=维坐标系之间的变换关系。在图3 所示坐标系。中，假设平面方格的边长为曰，圆柱面的半径为r，在该实施例中a = 23.5mm，r =90.5mm，特征点的二维坐标(m，n)表示该特征点在圆周方向与。X轴和圆柱面交点的圆弧 距离是边长a的m倍，在轴向与。X轴和圆柱面交点的距离是边长a的n倍，则该特征点在。中 的=维坐标可表示为：
[0036]
(I)
[0037] 从图2所示坐标系Cl到图3所示坐标系|7,坐标系Cl绕Ciz轴旋转的角度0可由转过的 方格数W表示，在该实施例中W = 7。
[00 測
（2)
[0039] 因此，从坐标系Cl到的旋转矩阵为：
[0040]
诚
[0041] 从坐标系Cl到C7仅有旋转，没有平移，所W旋转矩阵即为两坐标系间的变换关系。 同理，可计算从坐标系C造化13的变换关系，W及从坐标系C造化19的变换关系。
[0042] (4)用各摄像机拍摄所述圆柱面的图像，提取所述特征点的图像坐标，通过直接线 性变换求出各摄像机的标定初值，并通过非线性优化获得各摄像机的全部内外参数。图6为 从图3所示标定物图像中提取的特征点示意图，对于图6中的图像600,可采用现有角点提取 方法（例女日Harris C,Stephens M. ,A combined corner and edge detector,Proc.4th Alvey Vision Conference,Manchester,England, 1988,147-151.)提取特征点610的图像 坐标(u，v)，在图6所示的实施例中选取了 77个特征点。
[0043] 假设摄像机镜头没有崎变，那么根据小孔摄像机模型可得标定物特征点的=维坐 标和提取的图像坐标之间的关系：
[0044] (4)
[0045] 別暴像机300的内部参数矩阵，曰2，02为摄像 机300的主距，（U02，V02)刃摄像机300的主点坐标。图7为图1所示实施例中摄像机坐标系与 标定物坐标系的示意图馬,为从摄像机300坐标系C2至标定物坐标系C7的旋转矩阵/'兩_ 为从摄像机300坐标系C2至C7的平移向量。
[0046] 采用直接线性变换方法（马颂德，张正友，计算机视觉，科学出版社，1998，pp52- 59)，可计算出摄像机的内参数和外参数，完成摄像机的线性标定。在图6所示的具体实施例 中，得出的摄像机内外参数如下：
[0047] 摄像机内参数：
[004引 [0049]
[(K)加 ]
[0051] 由于实际的摄像机镜头存在崎变，在图6所示的实施例中考虑镜头的一阶径向崎 变，特征点崎变后的坐标(Ud，Vd)与根据小孔摄像机模型得到的理想坐标(u，v)之间的关系 可表不为：
[0052]
(5) [0053 ]式中k2i为摄像机300镜头的一阶径向崎变系数。
[0054] W I化表示由（5 )式计算的崎变后特征点的坐标(Udk，Vdk )，W Iexk表示从图像中提取 的实际特征点图像坐标，W两者之间的距离之和为目标函数，W上述线性标定结果为初值， 并设k2i的初值为0,根据下式(6)进行非线性优化，
[00 对
（6)
[0化6] 可W得出摄像机300的全部内外参数A2，k2i，馬，和< =7：_的优化值，式中1111111为特征 点个数，在该实施例中num = 77。在图6所示的具体实施例中，得出摄像机300的内外参数优 化值如下：
[0057]摄像机内参数：
[0化引 [0化9]
[0060]
[0061 ]用同样的方法可得出摄像机200、400和500的全部内外参数Ai，kn，ti馬,，9r肖，A3， k31，C乂，￡';n，A4，k"，。％，叫;,。，完成单个摄像的标定。在图1所示实施例中，标定得 出的摄像机200、400和500全部内外参数如下：
[0062] 摄像机内参数：
[0063]
[0064]
[00 化]
[0066]
[0067]
[006引
[0069]
[0070] (5)根据各摄像机与所述圆柱面的相对关系，计算各摄像机之间的相对关系，完成 多摄像机系统的标定。
[0071] 图7为图1所示实施例中摄像机坐标系与标定物坐标系的示意图，如果特征点Pk在 摄像机坐标系Cl中的坐标表示为巧，在标定物坐标系Cl中的坐标表示为巧，则特征点Pk在 坐标系Cl和Cl中的坐标变换可表示为：
[0072]
(7)
[0073] 式中6馬,和已在步骤(4)中得到。同理可得摄像机坐标系Cl与标定物坐标系Cj 的变换关系：
[0074]
(8)
[00巧]在图1所示实施例中，1 = 2,3,4〇 = 7，13，19，^''^^.和<7：已在步骤(4)中得到。根据 步骤(3)所得标定物坐标系Cl和的变换关系，可得
[0076] (9)
[0077]
[007引 （10)
[0079]
[0080] 川）
[0081]
[0082] (12)
[0083] 从而得到摄像机坐标系打与Cl之间的变换关系：
[0084] (13)
[0085]
[0086] ( 14)
[0087] (15)
[0088] 在（14)和（15)式中，等号右边各项已在步骤(3)和(4)中得出，因此可求出各摄像 机之间的相对关系，完成多摄像机系统的标定。
[0089] 在图1所示连施例中，得出的Cl与仿、。、仿之间巧换关系为：
[0090]
[0091]
[0092]
[0093] 从上述技术方案的实施过程可见:首先，环绕本发明所述圆柱面标定物的摄像机 都能拍摄到标定物上特征点的图像，因此，克服了采用二维标定物时存在的遮挡问题，便于 宽基线多摄像机系统的标定。其次，采用本发明的方法，每个摄像机仅需拍摄所述圆柱面标 定物的一幅图像即可完成多摄像机系统的标定，不需人工参与，便于整个标定过程的自动 化。第=，对于大视场多摄像机系统，为提高标定精度，需要制作大尺寸的标定物，如果采用 多面体类型的=维标定物，各个侧面的平面度和相对位置关系需要大型的精密加工设备才 能保证，不便于应用的普及;而各种直径的金属或塑料管材易于得到，且圆柱面展开后为平 面，各种平面图案可方便地印刷或粘贴到圆柱面上，因此，与其它采用=维标定物的方法相 比，本发明的标定物制作简单，便于大视场多摄像机系统的标定。另外，本发明标定物上的 特征点在标定物坐标系中的=维坐标保持不变，因此不需要各摄像机同步采集标定图像， 便于非同步多摄像机系统的标定。
[0094] W上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术 人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本 发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，运些变 化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其 等效物界定。
【主权项】
1. 一种基于圆柱面的多摄像机系统标定方法，其特征在于，所述标定方法包括如下步 骤： (1) 在圆柱面上构造多个特征点，使得围绕所述圆柱面的摄像机都能拍摄到至少6个所 述特征点，优选能拍摄到至少18个所述特征点； (2) 以所述圆柱面的轴线和半径为坐标轴建立三维坐标系，并对基于不同半径方向的 坐标系作出标记； (3) 根据所述特征点的构造方法和所述圆柱面的尺寸，计算所述特征点在所述三维坐 标系中的三维坐标，以及基于不同半径方向的所述三维坐标系之间的变换关系； (4) 用各摄像机拍摄所述圆柱面的图像，提取所述特征点的图像坐标，通过直接线性变 换求出各摄像机的标定初值，并通过非线性优化获得各摄像机的全部内外参数； (5) 根据所述各摄像机与所述圆柱面的相对关系，计算所述各摄像机之间的相对关系， 完成多摄像机系统的标定。
【文档编号】G06T7/00GK106023213SQ201610349123
【公开日】2016年10月12日
【申请日】2016年5月24日
【发明人】王建华, 任福鑫, 李振义, 刘昭, 沈爱弟, 杨勇生
【申请人】上海海事大学