一种基于球体标定物的多相机-投影仪系统标定方法与流程

本发明涉及一种多相机多投影仪的同时标定技术，特别涉及一种基于球体标定物的多相机-投影仪系统标定方法，属于光学精密测量技术领域。

背景技术：

随着工业测量需求的不断增长，光学三维测量以其操作简便和数据精确的特点越来越受到关注。在诸多的光学三维测量技术中，条纹投影轮廓术(fringeprojectionprofilometry,fpp)由于其高速度、高精度和大视野的突出优点得到了广泛的研究和应用。通常，基于fpp原理的结构光测量系统与传统立体视觉不同之处在于它用数字投影仪取代了其中一个相机。投影仪的作用是用于向被测物体投射编码好的图案模板，由相机拍摄这些物体上的图案通过相应的解码算法建立相机像素与投影仪像素之间的对应关系，再结合标定参数利用三角法重建出目标物体的三维形状。对于此类相机/投影仪对的测量系统，每个组件的正确标定对于准确重建三维形状至关重要。

由于涉及到投影仪的使用，使得此类结构光系统的标定更加复杂。比较经典的方法是将投影仪当作一种逆向的相机，通过相移方法获得绝对相位值来建立相机与投影仪之间像素级别的映射，再由一般的相机标定方法对系统进行标定。但是这种方法都需要平面的标定板，在应用多个相机和投影仪时，平面标定板不能保证在多个角度下被系统“看到”，因此很难适用于标定多相机-投影仪系统。此外，若将多个平面标定板组成立方体标定物，一方面组装的精度不够，另一方面由于在标定过程中需要不断变换标定物的位置姿态，可能导致相机每次拍摄到标定物的平面数量不统一，因此很难确定每个面上标志点的对应，导致标定失败。

技术实现要素：

针对上述技术问题，本发明提供一种基于球体标定物的多相机-投影仪系统标定方法。该方法利用了球体在任何角度都可视的各向同性，通过球体在各个相机和投影仪相平面上的投影轮廓来同时系统中的相机和投影仪。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于球体标定物的多相机-投影仪系统标定方法，在所述多相机-投影仪系统中，将单个相机和单个投影仪组成一个结构光测量单元，所述多相机-投影仪系统中的若干结构光测量单元以测量区域为中心环形放置，每个相机和每个投影仪的光轴均对准测量区域；每个结构光测量单元独立工作，每个结构光测量单元中投影仪的投影幅面覆盖相机的拍摄幅面；

该标定方法具体为：

步骤1，将球体标定物置于多相机-投影仪系统的测量区域中，启动每个结构光测量单元对球体标定物依次进行图案投影和拍摄，并分别获得各个相机及投影仪下球体标定物的投影曲线；

步骤2，变换球体标定物在中央测量区域中的位置并重复执行步骤1，获得各个相机及投影仪下各自相平面内至少3幅不同的投影曲线，由这些投影曲线求得各个相机和投影仪的内参数；

步骤3，在每个相机/投影仪坐标系下，利用以下公式求出球体标定物的球心在该坐标系下的坐标：

其中，α＝tan(θ/2)，θ为圆锥角，k为相机/投影仪的内参数，r为球体标定物的半径，o为球体标定物的球心的投影坐标；

步骤4，利用全局匹配方法将每个相机/投影仪坐标系下的球心坐标进行匹配，获得相机/投影仪之间的相对旋转矩阵和相对平移向量，最终将所有相机和投影仪统一到同一个世界坐标系下，完成标定。

作为本发明的进一步技术方案，步骤1中各个相机及投影仪下球体标定物的投影曲线获得方法，具体为：

步骤1.1，通过每个结构光测量单元中的相机拍摄球体标定物，提取出球体标定物在相机上成像的亚像素级外轮廓，并使用最小二乘方法将亚像素级外轮廓拟合为椭圆曲线，该椭圆曲线即为相机下球体标定物的投影曲线；

步骤1.2，每个结构光测量单元中的投影仪依次向球体标定物投射一组相移正弦条纹和格雷码图案，并由对应的相机拍摄，通过相位展开方法求解出相机每个像素的绝对相位值，再使用八点法由相位映射计算出相机和投影仪之间的对极几何关系，获得相机的相平面和投影仪的相平面内的极点坐标；

步骤1.3，将1.2中求解出的每个相机像素的绝对相位值作为图像的灰度值得到相位图，在此相位图中定位1.1中拟合的椭圆曲线内因投影仪光线被遮挡导致的无相位值区域，提取出该无相位值区域偏向椭圆曲线中心一侧的外边界，并将此外边界拟合成二次曲线，该二次曲线与椭圆曲线相交于两点，这两点即为视在轮廓线交点在相机平面内的两个像点；

步骤1.4，将1.3中的两个像点通过其绝对相位值对应到投影仪平面内，获得两个交点，这两个交点ip1,ip2所在直线l＝ip1×ip2与投影仪的相平面内的极点坐标er和投影仪下球体标定物的投影曲线cp满足l＝cp·er，且ip1,ip2位于cp上，由此求得投影仪下球体标定物的投影曲线cp。

作为本发明的进一步技术方案，步骤2中相机/投影仪的内参数k为：

其中，fu,fv分别为u,v轴方向的焦距，s为u,v轴之间的偏移度，(u0,v0)为相平面主点坐标。

作为本发明的进一步技术方案，步骤2中应用双切线、半正定规划或者正交约束方法求得各个相机和投影仪的内参数。

作为本发明的进一步技术方案，步骤3中α的值通过式k^tck的特征值唯一确定，c为相机投影曲线。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明克服了传统平面标定方法无法适用于多相机-投影仪系统标定的技术瓶颈，使得多个角度下的相机和投影仪能够同时进行标定。该方法操作简单，仅使用球体标定物即可完成标定，无需其他额外设备和步骤。此外，多个视角下的相机和投影仪一经标定，其重建出的点云无需额外的算法即可自动拼合，因此该本发明提出的标定方法对构建多相机-投影仪快速测量系统具有重要意义，经该法标定的快速系统能够实时测量运动物体的多角度三维形状，实时拼接成全貌三维形状

附图说明

图1为球体在相机-投影仪系统下的成像示意图；

图2为两视角下视在轮廓线的交点在两个相平面内投影成像的几何关系示意图；

图3为右成像平面内极点-极线关系示意图；

图4为采用球体标定4个相机-投影仪对组成的系统及其重建结果，其中，(a)为4个相机-投影仪对组成的系统，(b)为多角度下4片点云的重建结果。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

一、多相机多投影仪系统配置及模型描述：

本发明将单个相机和单个投影仪组成一个结构光测量单元，投影仪的投影幅面需要覆盖相机拍摄的幅面。每个测量单元独立工作，可以对其所覆盖的区域进行三维重建。多个测量单元围绕着中央测量区域环形放置，每个器件的光轴都大致对准中央的测量区域。

在本发明中，我们将投影仪当作一个反向的相机，并且都用小孔模型来描述相机和投影仪的参数模型。因此每个器件的参数均已投影矩阵p＝k[r|t]表示。其中，

k为器件内参数，包含u,v轴方向的焦距fu,fv，u,v轴之间的偏移度s，以及相平面主点坐标(u0,v0)。r,t分别代表从该器件坐标系到世界坐标系旋转矩阵和平移向量。

二、投影仪平面的球体投影提取

图1为球体在一个结构光测量单元(包含一个相机和一个投影仪)中的成像示意图，由投影几何知识可知，球体在相机的相平面上的像是一个椭圆。椭圆的外轮廓可以拟合为一条二次曲线，其矩阵表示形式记为cc。该外轮廓是由球体表面的视在轮廓线γc经小孔投影形成。由于球体在相机上的成像可以通过拍摄直接获得，而其在投影仪上的成像无法直接获得。并且如附图1中所示，同一个球在相机和投影仪中的成像的轮廓曲线cc,cp是由不同的视在轮廓线γc,γp投影产生，彼此之间无法建立直接的对应关系，因此无法应用传统的相位映射来获得球体在投影仪下的成像曲线。

本发明从对极几何与成像曲线的关系出发推导球体在投影仪平面的投影曲线，具体步骤如下：

步骤2.1：首先通过相机拍摄球体，提取出球体在相机上成像的亚像素级外轮廓，并使用最小二乘方法将其拟合为椭圆曲线cc。

步骤2.2：使用投影仪依次向球体投射一组相移正弦条纹和格雷码图案，并由相机拍摄。通过相位展开方法求解出相机每个像素的绝对相位值。

以上相位展开方法会计算得到每个像素的绝对相位值，而在投影仪中每个像素已有预设好的绝对相位值。相机的像素和投影仪的像素拥有相同相位值的表示他们是对应点。通过这种相位映射可以知道相机和投影仪之间对应的像素点，从而进一步计算得到对极几何关系。

再使用八点法由相位映射计算出相机和投影仪之间的对极几何关系，获得两个相平面内的极点坐标。

步骤2.3：求解出的每个相机像素的绝对相位值作为图像的灰度值得到相位图，在相位图中定位椭圆曲线cc内因投影仪光线被遮挡导致的无相位值区域(相机和投影仪存在一定的视角差，使得相机拍摄到的球体上某部分区域不能被投影仪光线照射到，因此该区域没有相位值)。提取出该区域偏向椭圆cc中心一侧的外边界，并拟合成二次曲线，该曲线与椭圆曲线cc相交于两点。由相关几何知识可知，这两点即为视在轮廓线γc,γp交点在相机平面内的像点，如附图2所示。

步骤2.4：将两个像点通过其绝对相位值(亚像素点通过邻域内具有有效相位值的像素点插值获得)对应到投影仪平面内，获得交点ip1,ip2，如附图3中所示。假设投影仪置于相机的右边，投影仪平面内右极点坐标为er，映射得到的两交点为ip1,ip2。由ip1,ip2两点确定一条直线l＝ip1×ip2。易证明，该直线与球体在投影仪下的像cp和极点er满足极点与极线关系(pole-polarrelationship)，即

l＝cp·er(2)

注意，这里的曲线、直线和点均使用齐次坐标表示。

其中，ip1,ip2与极点er的连线与曲线cp相切，并且切点即为ip1,ip2。因为曲线cp有5个未知数，方程(2)可以提供关于cp的3个约束，同时ip1,ip2分别位于cp上提供另外两个独立的约束，因此曲线cp可以求得解析解。

三、多相机-投影仪系统标定

按照上述内容获得球体在投影仪下的成像曲线后即可利用传统的球体方法进行参数标定。通常，一个半径为r球心位于坐标a的球体q在小孔模型下的成像公式可表示为，

其中c^*,q^*分别是相机投影曲线c和球体q的对偶形式，其在表达式上即为它们各自的逆。设定世界坐标系与相机坐标系重合，因此上式最终简化为

βc^*＝kk^t-oo^t(4)

参数β为尺度因子，k为器件内参数矩阵，o为球心的投影坐标(这里的投影是指空间中的点投影到相机/投影仪的相平面中某点，相平面内的点即为空间点投影坐标)。对于方程(4)中内参数矩阵的求解可应用双切线、半正定规划或者正交约束等方法。

标定的具体步骤如下：

步骤3.1：将标定球置于多相机-投影仪系统的测量区域中，启动每个测量单元对球体依次进行图案投影和拍摄，并按照前文球体投影提取的步骤分别获得各个相机及投影仪下的球体投影曲线。

步骤3.2：多次变换标定球的位置执行步骤3.1。每个相机和投影仪都至少获得各自相平面内3幅不同的投影曲线，由这些投影曲线应用双切线、半正定规划或者正交约束等方法求得各自器件的内参数k。

步骤3.3：在每个器件坐标系下，我们利用公式(5)可求出球心在该器件坐标下的坐标。

其中，α＝tan(θ/2)，θ为附图1中的圆锥角。α的值可以通过式k^tck的特征值唯一确定。由于变换了球体的多个位置，因此每个器件坐标系下都可以获得一组球心坐标。

步骤3.4：利用全局匹配方法将每个器件坐标系下的球心坐标进行匹配，获得器件之间的相对旋转矩阵和相对平移向量，最终将所有相机和投影仪统一到同一个世界坐标系下，完成标定。

例举本发明标定单个相机-投影仪系统和多个相机-投影仪系统的两个实施例，具体如下：

实施例1：标定单相机-投影仪系统

步骤1：将四个直径为50.80mm的哑光陶瓷球安装在固定支架上，并置于相机和投影仪的公共视场中。本实施例中采用8步相移法，依照相移步数向球体投射相应条纹和格雷码图案，解相生成相位图。

步骤2：利用相机图片提取四个球的外轮廓，分别应用最小二乘方法拟合成4条椭圆曲线cc；同时应用相位图和极点-极线关系求出四个球在投影仪下的椭圆曲线cp。

步骤3：对相机和投影仪下的两组曲线应用正交约束方法求出各自的内参数矩阵k。

步骤4：求取4个球分别在相机和投影仪坐标系下的位置，使用刚体变换方法对两个点集进行配准，获得相机和投影仪之间的相对旋转矩阵和平移向量，完成标定。

实施例2：标定多相机-投影仪系统

步骤1：将4个由相机和投影仪组成结构光测量单元围绕测量区域放置。

步骤2：为避免同时使用多个球时可能在某些视角下出现的球体相互遮挡情况，本实施例中仅使用一个直径为50.80mm的哑光陶瓷球，并将其置于测量视场中。

步骤3：依次启动各测量单元对球体进行扫描。

步骤4：多次变换球体位置，重复步骤3，直至每个器件获得3条以上的投影曲线。

步骤5：使用各器件下的投影曲线标定各器件的内参数。

步骤4：求取球体在各个位置下其球心在各个相机和投影仪坐标系下的位置，使用全局配准方法对所有点集同时进行配准，获得所有相机和投影仪之间的相对旋转矩阵和平移向量，将所有器件统一到同一个坐标系下，完成标定。

采用如图4中的(a)所示的球体标定4个相机-投影仪对组成的系统，得到如图4中的(b)所示多角度下4片点云的重建结果。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。