用于相机标定的方法及所用的彩色参照物的制作方法

专利名称：用于相机标定的方法及所用的彩色参照物的制作方法
技术领域：
本发明涉及一种用于相机标定的方法及所用的彩色参照物。
背景技术：
相机标定是虚拟现实中的关键技术之一，目的是恢复拍摄每幅照片时相机的内外参数，尤其在基于图像的建模系统中，相机标定是一个非常关键的环节，相机参数的准确程度将极大地影响随后模型恢复的效果。
目前，通用的标定方法有两类一类是自标定方法，另一类是主动标定法。自标定方法是一种不需要借助任何参照物和外部装置的标定方法，因此该方法有广泛的适用性，但是目前该方法的准确度不高，无法实用。主动标定法是近些年比较流行的方法，根据所采用设备的不同，主动标定法又可分为两种一种是在相机附近放置一个已知物体形状与尺寸的参照物，根据参照物上特殊参照点在照片上的对应点求解内外参数；另外一种是通过控制相机的运动来标定内参数，相机的运动方式可以是平移或旋转。通过精确控制相机的运动或旋转得到的相机内外参数一般比较准确，所以该方法在工程实践中得到了广泛应用，但由于它需要特殊的控制设备，不适合普通应用。
采用参照物标定方法，要想恢复相机的参数，必须要找到足够数目的校准点，所谓校准点就是能够明确得到它的世界坐标系坐标，又能很容易从图像中识别出该点的图像坐标的参照点。对采用参照物的标定方法来说，校准点一般是参照物上事先标定的特殊点，所以该方法的一个核心问题就是参照物的设计方案。
黑白棋盘张正友在1999年的ICCV[Z.Zhang，Flexible Camera CalibrationBy Viewing a Plane From Unknown Orientations，InternationalConference on Computer Vision(ICCV’99)，Corfu，Greece，pages666-673，September 1999.]上提出了基于已标定平面网格的自标定方法，该方法使用了一个类似棋盘的黑白网格作为参照物(如图1所示)。在拍摄实物照片时，将棋盘放在物体的后面，这样拍摄的多幅照片中就都有棋盘格的信息，通过检测直线段的交点可以得到各个棋盘格的角点，因为各个网格点的大小以及空间位置是事先经过精细测量的，所以在检测完角点后，可以立即得到它们的空间坐标，如果检测到的角点数目足够，就可以恢复相机的内外参数。
张正友的黑白棋盘法因为它的简单有效，在相机标定中得到了很大的应用。但是该方法也有两个缺陷物体对棋盘格的遮挡。要得到线性方程组的优化解，需要检测出很多棋盘网格点，在实际拍摄物体时，一般是将棋盘放在物体的后面，物体可能会遮挡大部分棋盘格，以至不能检测到足够数目的角点。
棋盘对物体的遮挡。因为棋盘是平面结构的，则当相机转到棋盘的背面后，棋盘会遮挡物体，所以不可能拍摄到一个物体的全景照片。
彩色模盘彩色模盘是Bruce Culbertson[http//www.hpl.hp.com/personal/Bruce_Culbertson/ibr98/ibr98poster.htm.]提出来的一种用于相机标定的参照物设计方案(如图2)。该方案充分利用了各种颜色的不同，在一个平面上设计了许多不同的圆盘，每个圆盘由几个不同色彩的同心圆组成，一般为3个。色彩的不同搭配决定了圆盘的模式，各种模式的同心圆盘的中心点的坐标是已知的。在相机标定时，只要检测出足够数量的各种模式的同心圆盘，利用它们的空间坐标信息，就可以计算出相机的内外参数。
在实际拍摄物体时，通常将彩色模盘放在物体的下方，物体会遮挡一部分圆盘，但由于圆盘的数目非常多，所有总能保证足够数目的圆盘可以被检测到，而彩色模盘本身则不会遮挡物体。所以与棋盘法相比，该方法更具有适用性。但是该方法仍然以下不足
阴影的影响。因为物体放在彩色模盘上面，不可避免物体的阴影会投射在某些圆盘的区域，造成这些圆盘不能用。如果物体的阴影区域很大，则可能得不到足够数目的圆盘。
各个圆盘的共面性。彩色模盘方法使用TSAI方法恢复相机参数，如果所有的参照点共面，则TSAI方法只能恢复6个外参数以及4个内参数，无法恢复内参数Sx。
各个圆盘的圆心难以检测。圆盘的圆心没有明确标志，受噪音以及图像扭曲的影响，要在拍摄的图像中准确寻找到各个同心圆的圆心，有时候比较困难。

发明内容
本发明的目的是提供一种利用彩色图案参照物的相机标定的方法。
为实现上述目的，一种用于相机标定的方法，包括步骤将待拍摄物体放置在圆柱体参照物的上方；定位校准点的图像坐标；使用TSAI方法恢复拍摄每幅照片时相机的内外参数。
本发明具有参照物无遮挡、阴影效果小、校准点不共面、拍摄过程简单、自动检测结果准确等优点。可以应用于物体全景图的拼接、基于图像的建模等各种需要相机标定的场合，设备的实现非常简单、无需复杂贵重的仪器配件，具有很强的实用价值。


图1是现有技术黑白棋盘示意图；图2是现有技术彩色模盘示意图；图3是本发明的参照物图案；图4是本发明的参照物示意图；图5是本发明的参照物色彩分类图；图6是错误分类的情况；图7是修正后的色彩分类结果；图8是删除外圈圆环的结果；
图9是SUSAN角点检测图；图10是剔除伪角点的结果。
具体实施例方式
下面结合附图从参照物的设计以及彩色图案自动检测算法两个方面进行描述。
彩色参照物的设计参照物图案的设计充分利用了不同色彩的组合，构成各种不同的模式，各个图案的中心点是校准点。图案的设计满足下面两个基本条件基本色之间的差别足够大。同时还要选择尽可能多的颜色作为基本色，这样可组合的参照图案的数目才会足够多。
参照图案的中心点必须易于辨别。考虑到在某些情况下，用户适当地进行手工干预效果更佳，该中心点既可以很容易地被计算机识别，又应该易于被人眼辨别。
首先考虑将RGB空间的8个顶点作为基本色，它们在RGB空间的距离值足够大，但是打印的非线性使得它们在RGB空间的距离值减小，使得品红色与红色很难区分，而且如果拍摄照片时的亮度不足，则青色与绿色、黄色与绿色有时也很难区分，这大大限制了基本色的选择。
但在实验中发现，造成各种颜色难以区分的主要原因是亮度以及对比度对图案的影响，如果拍摄时光线不足，将大大降低图像的亮度和对比度，尤其蓝色在亮度较低的情况下会向黑色偏移，所以实拍图像必须保证适当的光照。再考虑到HSV颜色空间区分颜色的亮度与色彩，即使亮度有比较大的变化，但是仍然可以根据颜色的色彩区分几种基本色。实验表明，除黑色外，其它7种颜色都可以作为基本色，只是其中某些颜色组合不太适合。在实际应用中，将白色作为背景色，其它6种作为图案的基本色。
每个参照图案由三种颜色组成，共有6*5*4＝120种模式可供选择，我们对所有可能的颜色组合都进行了测试，试验结果表明，黄-蓝、蓝-青，绿-品红、红-黄等组合利于产生良好的检测结果，红-品红的色彩组合对于角点检测效果不是很理想。所以我们设计了图3所示的图案组合。
图中共有70种图案(还有其它的颜色组合也可以，因为70种对于圆柱体已经足够，所以没有列出)，每个图案的外围是一个单色圆环，圆环所包围的内部区域由两种颜色组成，分别占据了一定比率的面积(例如四分之一与四分之三的面积)，圆心是设定的参照点。如此设计图案，既适合用户交互标记参照点，也方便计算机自动寻找参照点并匹配图案模式。
对于圆环所包围的内部区域的颜色种类，也可以用多种(例如4种)基本色来代替，区域分割也可以分割成多种等分，如三等分。如图4所示，将参照物图案打印后再粘贴到一个圆柱或者可折叠的六面体上，就得到了所需的参照物。在拍摄物体时，将物体放在参照物的上面，从各个不同的侧面拍摄。拍摄时只要保证足够的光线并能同时看到物体与参照物即可。与其他的参照物相比，彩色图案参照物有以下几个优点实拍物体与参照物之间没有遮挡。将实拍物体放在参照物的上方或者六面体内部，无论从哪个侧面进行拍摄，参照物与实拍物体之间都没有遮挡。一般情况下，物体的阴影不会投射到参照物图案上，参照点的匹配不受阴影的影响。
参照点不共面。采用圆柱体或者六面体作为参照物，无论从哪个侧面拍摄，都能看到4到5列参照图案，这些图案的参照点显然是不共面的。
拍摄过程简单。只要固定参照物和物体的相对位置，既可以从各个侧面进行拍摄，也可以固定相机，旋转参照物进行拍摄，拍摄过程简单方便，一般照片采集所需要的时间不会2分钟。
彩色图案自动检测算法彩色图案自动检测的目标是检测出所有的校准点并判断它们所在图案的模式。所谓校准点就是彩色图案的中心点，为了能够准确的提取出校准点，首先需要将参照物从背景中分离出来(通过图像分割算法实现)，然后提取校准点。校准点的提取需要经过以下几个步骤色彩分类。判断区域内任意一点分属于哪种基本色。
替换外圈圆环。将图案中外圈圆环上的点用背景色替换。
角点检测。运用特征检测算法，从图像中找到角点。
剔除虚假校准点。
下面对四个步骤分别进行说明。
色彩分类首先根据点当前的颜色与基本色的距离，将点划分为纯色点和混淆点。如果一个点与一种基本色的距离小于一个阈值，则定义该点为纯色点，否则为混淆点。只有纯色点才在模式区分中起作用。本文的算法在判断两种颜色是否相同时，综合利用RGB、HSV两个颜色空间的信息，判断方法简单且准确度高。通过试验表明，在保证光线充足的情况下，如果光照强度发生变化，各种颜色会发生一定的偏移，但是这种偏移仍然在一个可预知的范围内。可以通过下面的简单准则判断颜色的归属。
白色点该点颜色的亮度V大于50，且它的饱和度小于30。
红色点该点颜色的红色分量R最大，色彩H小于30或大于340。
绿色点该点颜色的绿色分量G最大，色彩H小于150且大于90。
蓝色点该点颜色的蓝色分量B最大，色彩H小于270且大于210。
青色点该点颜色的红色分量R最小，色彩H小于210且大于150。
黄色点该点颜色的蓝色分量B最小，色彩H小于90且大于30。
品红点该点颜色的绿色分量G最小，色彩H小于340且小于270。如果一个点是纯色点，则将该点的颜色用最相近的基本色代替。图5中的左图是拍摄照片中的参照物区域，右图则是进行色彩分类后的结果。
大多数点的颜色分类都比较准确，但在一些交界处，也会出现误分类的点，为了便于观察，将其中的一个图案放大后如图6所示。从图中可以看出，在红、青色交界的地方出现了蓝色和品红色的点，这些点可以通过一定的方法进行修正。对于图像中的任意一点，该点的颜色为基本色C0，构造该点的圆形邻域，对于邻域内各种基本色的点数进行统计，设点数最多的基本色为C1，点数次多的基本色为C2，如果C0与C1、C2都不相同且C1、C2都不是背景色，则将该点的原始颜色与C1、C2进行比较，选择距离小的基本色作为该点的最终颜色。通过这一步修正后的颜色分类结果如图7所示。
替换外圈圆环外圈圆环的存在只是为了区分不同的模式，对图案中心点的检测并没有帮助，反而会增加大量不必要的角点，所以在对各个点进行色彩分类后，要删除此圆环。删除外圈圆环的方法很简单，首先判断一个点是否是外圈圆环上的点(邻域中有一定数量的背景点)，然后采用种子填充算法，可以将圆环上所有的同色点替换为背景色。
图8是删除外圈圆环的结果。受拍摄中颜色渗透的影响，替换的结果并不能保证所有的圆环内部图案都被正确地保留，在图8中就有一个图案的内部区域被背景色替换掉了。但一般情况下，只有圆柱边缘的部分图案才会发生这种颜色渗透，对相机标定程序来说，只要有足够数目的图案即可，例如，11个图案以上。所以边缘图案的消失对最终结果没有太大的影响。
角点检测角点检测归根结底是一个传统的图像边缘检测的问题。考虑到系统的要求是尽可能准确地找到参照物上的校准点，我们选用了S.Smith和J.Brady的SUSAN特征检测算法[3]。该算法基本思想是针对图像上的某个特定像素，以它为中心定义一个掩模区域，该掩模区域中的每一像素值均和中心像素作比较，进而定义一个感兴趣区域，该区域中的所有像素均具有和中心像素相同或近似的像素值。把该区域称为该Mask区域中的“USAN”(单值分割吸引子)区域。USAN区域就包含了图像局部区域结构的很多有用信息。图像的二维特征可以通过USAN的大小、质心、二阶矩等参量检测出来。图9是采用USAN算法进行角点检测的结果。检测出来的角点用一个黑色小方块表示。
剔除伪角点可以看出USAN算法检测后的结果含有参照物上的噪声点，圆周上的点、圆内部半径上的点以及真正需要的圆心点。本步骤的任务就是要剔除这些伪角点。
首先将参照物图案内的噪音点以及圆周上的点去掉。这里利用圆心角点的特殊性，它的邻域内只含有两种基本色且没有背景色。于是就可以对每一个角点取一个适当大小的邻域，判断符合上述特性的角点，从而剔除参照物上的噪音点和圆周上的点。
圆周上的伪角点被剔除后，剩下的只是圆内部半径上的点。剔除圆半径上的伪角点同样要利用图案的特性，圆上的两种颜色，一种占据了圆面积的四分之三，另一种占据了四分之一的面积。这样就能以每一个角点为中心取一个正方形邻域，然后记录邻域内颜色最多的像素点个数N1和次多的像素点个数N2，理想状况是N1是N2的三倍。
由于误差的存在，这里采用的判断方法是定义一个α＝N1/N2，只要改变α值就可以很容易地控制结果。试验表明，如果N2大于一个阈值并且α介于2.5与3.5之间，就可认为该点是圆心点。经过此步筛选后，大多数的伪角点都可以被删除，但是中心圆心附近可能还有伪交点，这些点的删除可以参考周围点的坐标或者先验的知识。本算法采用了从邻近角点中选择坐标相对较大的点，取得了不错的效果。图10是剔除伪角点后的结果。从图10可以看出，所有的角点都被正确地检测出来了。在检测出角点后，根据该角点所属图案的模式，可以立即得到该角点的空间坐标，再根据它在图像中的像素坐标，就已经有了足够的信息来恢复相机参数。
相机参数恢复相机参数的求解方法采用一种目前比较流行的方法TSAI方法。它将相机成像过程分为4个步骤，共有11个参数需要恢复，包括6个外部参数和5个内部参数。TSAI方法采用两个步骤分别进行恢复计算相机的R、位置Tx，Ty以及不确定系数Sx。
计算相机的焦距f，扭曲系数k，以及Tz。
TSAI方法本质上是一种线性方程组的求解过程。根据校准点在空间中的三维坐标以及在拍摄图像中的图像坐标，参考TSAI的4步成像过程，可以得到一系列方程组，这些方程组的解就是相机的参数。要得到唯一的解，系统必须提供11个以上的校准点。而按照我们的设计方法，在每幅照片中，总能得到14到17个校准点，有足够的信息恢复相机的参数。
权利要求
1.一种用于相机标定的方法，包括步骤将待拍摄物体放置在圆柱体参照物的上方；定位校准点的图像坐标；使用TSAI方法恢复拍摄每幅照片时相机的内外参数。
2.按权利要求1所述的方法，其特征在于所述定位校准点的图像坐标包括步骤色彩分类，用于判断区域内任意一点分属于哪种基本色；替换外圈圆环，用于将图案中外圈圆环上的点用背景色替换；角点检测，从图像中找到角点；剔除虚假校准点。
3.按权利要求2所述的方法，其特征在于所述的色彩分类包括步骤将点划分为纯色点和混淆点，如果一个点是纯色点，则将该点的颜色用基本色代替。
4.按权利要求2所述的方法，其特征在于所述的色彩分类包括步骤如果出现错误分类，则选定图像中任意一点的颜色为基本色C0；统计邻域内各种基本色的点数，设点数最多的基本色为C1，点数次多的基本色为C2；如果C0与C1、C2都不相同且C1、C2都不是背景色，则将该点的原始颜色与C1、C2进行比较，选择距离小的基本色作为该点的最终颜色。
5.按权利要求2所述的方法，其特征在于所述的替换外圈圆环使用种子填充法进行。
6.按权利要求2所述的方法，其特征在于所述的角点检测采用USAN特征检测算法。
7.实现权利要求1所述用于相机标定的方法的彩色图案参照物，包括参照图案位于圆柱体或可折叠的六面体上，图案的外圆是一个单色圆环，圆环所包围的内部区域由两种颜色构成，其中一种颜色占据四分之三的面积。
8.按权利要求7所述的彩色图案参照物，其特征在于所述的参照图案由多种颜色构成。
9.按权利要求8所述的彩色图案参照物，其特征在于所述的颜色为三种或四种。
10.按权利要求7所述的彩色图案参照物，其特征在于所述的圆环所包围颜色区域分割成三等分。
11.按权利要求7所述的彩色图案参照物，其特征在于所述的基本色为白色、红色、绿色、蓝色、青色、黄色和品红色。
12.按权利要求11所述的彩色图案参照物，其特征在于所述的白色为背景色。
全文摘要
一种用于相机标定的方法，包括步骤将待拍摄物体放置在圆柱体参照物的上方；定位校准点的图像坐标；使用TSAI方法恢复拍摄每幅照片时相机的内外参数。本发明具有参照物无遮挡、阴影效果小、校准点不共面、拍摄过程简单、自动检测结果准确等优点。可以应用于物体全景图的拼接、基于图像的建模等各种需要相机标定的场合，设备的实现非常简单、无需复杂贵重的仪器配件，具有很强的实用价值。
文档编号G06T17/10GK1490765SQ0214651
公开日2004年4月21日 申请日期2002年10月18日 优先权日2002年10月18日
发明者杨猛, 陈毅松, 汪国平, 杨 猛 申请人:北京大学