专利名称：一种双传感器激光视觉三维测量系统校准方法
技术领域：
本发明属于测量技术领域，涉及对双传感器激光视觉三维测量系统模型参数校准方法的改进。
背景技术：
激光视觉测量是将激光技术与计算机视觉技术有机结合，是空间三维尺寸精密测试领域中具有发展潜力的高新技术之一，在车身尺寸及模具形貌测量等加工制造业以及人脸识别等领域中已有较好应用。根据激光投射模式，激光视觉三维测量可以分为单线结构光、多线结构光和网格结构光等方法。
由单个结构光视觉传感器可以构成单传感器激光视觉测量系统，完成光平面上空间点的三维坐标测量，近年来，在工业环境中得到广泛的应用。更重要的是由多传感器可以组成一个柔性的多传感器激光视觉测量系统，完成对大型物体的三维空间尺寸的全自动实时测量，这也是当前激光视觉测量应用中的主要研究内容之一。而由双传感器组成的激光视觉测量系统为多传感器激光视觉测量系统中最简便的形式，可以有效地扩大测量范围，减少测量盲区，完成单传感器测量系统不能完成的任务，如任意位置的圆柱空间几何参数测量，此外，双传感器测量系统也可以显著提高测量效率。
双传感器激光视觉测量系统的测量模型和模型参数的校准是其成功应用的关键，包括摄像机校准、测量系统全局校准和光平面校准。目前双传感器三维测量系统的主要校准方法有一是基于三维移动台和瞄准装置获取控制点的校准方法。张广军等在文章“结构光三维双视觉检测方法研究”(仪器仪表学报，Vol.23，No.6，pp.604～607，2002)中陈述了这种方法。此种方法建立了双传感器激光视觉测量系统RBF神经网络测量模型，并利用专门的瞄准装置和高精度三维移动台获取光平面上控制点的三维坐标，达到了较好的测量精度。二是基于三维测量设备直接测量控制点的校准方法。R.S.Lu等在文章“大尺寸多传感器视觉测量系统的全局校准方法”(A global calibration method for large-scalemulti-sensor visual measurement systems)，Elsevier Science国际期刊《传感器和驱动器A物理》，第116卷，第3期，第384～393页，2004年(Sensors andActuators APhysical，Vol.116，No.3，pp.384～393，2004)中陈述了这种方法。此种方法通过双经纬仪建立的空间三维坐标测量系统，直接测量光平面上控制点的三维坐标，实现多传感器激光视觉测量系统的全局校准。以上两种方法的共同点在于测量系统校准依赖于三维测量设备以及专门的辅助装置，操作过程复杂，校准效率低。
发明内容
本发明所要解决的技术问题是提供一种精度较高，基于未知运动平面靶标的双传感器激光视觉三维测量系统模型参数现场校准方法，降低校准设备的成本，简化校准过程，改善其工程化应用的可操作性和便捷性。
本发明的技术解决方案是一种双传感器激光视觉三维测量系统模型参数的校准方法，其特征在于，校准包括摄像机校准、测量系统的全局校准和光平面校准，所有的校准均在测量现场进行，具体步骤为 1、摄像机校准 1.1、设定靶标1，靶标上有预先设置的特征点，靶标为一个二维平面，在靶标平面上有成矩阵排列的黑色方块，方块数量为4～100个，黑色方块的边长为3～50mm，其边长精度为0.001～0.01mm。选取靶面上方块的顶点作为特征点，特征点的数量为16～400个； 1.2、首先在摄像机的视场范围内，自由、非平行地移动靶标1至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，靶标1的特征点应包含在拍摄图像内。然后提取所有摄像机校准图像的特征点的图像坐标，并与特征点的世界坐标对应。最后利用提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数； 1.3、采用步骤1.2叙述的方法，分别校准传感器2中摄像机4和传感器3中摄像机6的内部参数，包括有效焦距、主点以及畸变系数； 2、测量系统的全局校准 2.1、在测量系统的摄像机4和摄像机6的公共视场范围内，放置靶标1，两个传感器的摄像机分别拍摄一幅靶标图像，称为全局校准图像，要求靶标平面的全部特征点应该包含在两幅全局校准图像内； 2.2、在靶标1的平面上定义全局世界坐标系ow-xwywzw，选取靶标1左上角为原点ow，xw、yw轴分别与靶标的行列方块方向一致，zw轴垂直靶标平面向上。提取全局校准图像的特征点的图像坐标。利用特征点的图像坐标和对应全局世界坐标分别计算摄像机4和摄像机6的摄像机坐标系到全局世界坐标系的变换； 3、光平面校准 3.1、打开激光投射器的电源，在摄像机的视场内，放置靶标1，要求投射光平面能够投射到靶标平面上形成投射光条，摄像机拍摄一幅图像，称为光平面校准图像，靶标1上的特征点和投射光条应该包含在光平面校准图像内； 3.2、根据摄像机的畸变模型，校正光平面校准图像的畸变，得到无畸变光平面校准图像； 3.3、提取无畸变光平面校准图像的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标及对应的世界坐标，计算靶标平面在摄像机坐标系下的平面方程； 3.4、提取无畸变光平面校准图像中光条的图像坐标，根据摄像机模型和内部参数，计算光条的投影坐标，并利用光条投影坐标拟合光条直线方程。任意选取拟合光条直线上的一点，称为光平面上的控制点，控制点和摄像机坐标系原点确定的直线称为投影视线，计算控制点对应投影视线在摄像机坐标系下的直线方程； 3.5、在摄像机坐标系下，计算靶标平面与控制点对应投影视线的交点，得到控制点在摄像机坐标系下的三维坐标，称为控制点的摄像机坐标。根据步骤2.2计算的摄像机坐标系到全局世界坐标系的变换，利用控制点的摄像机坐标计算控制点在全局世界坐标系下的三维坐标，称为控制点的全局世界坐标； 3.6、采用步骤3.4～3.5相同的方法，计算更多位于同一光条上的控制点的全局世界坐标，同一光条上控制点的数量为2～20； 3.7、将靶标1放置在不同的位置，采用步骤3.1～3.6相同的方法，计算光平面上的非共线控制点的全局世界坐标。靶标放置位置的数量为2～10，光平面上非共线的控制点总数为4～200； 3.8、利用所有的非共线控制点的全局世界坐标，拟合平面得到光平面在全局世界坐标系下的方程； 3.9、采用步骤3.1～3.8叙述的方法，分别得到测量系统的光平面8和光平面9在全局世界坐标系的方程； 3.10、将校准的摄像机4和摄像机6的内部参数、摄像机4的摄像机坐标系到全局坐标系的变换、摄像机6的摄像机坐标系到全局世界坐标系的变换以及光平面8和光平面9的方程系数保存到系统参数文件中，以备测量调用。
本发明的优点是本发明提出了一种基于未知运动平面靶标的双传感器激光视觉三维测量系统全部参数现场校准的新方法。采用无约束自由移动平面靶标对双传感器激光视觉三维测量系统模型参数进行校准，与现有的双(多)传感器激光视觉三维测量系统模型参数校准方法相比，所提出的校准方法无需依赖专门的三维测量设备和复杂操作，允许校准靶标在测量空间随机移动，能够获得较高的校准精度和测量精度，同时也适用于两个以上传感器激光视觉测量系统的现场校准，为实现激光视觉测量系统的工程化应用奠定了基础。
图1是二维平面靶标示意图。图1中，1是靶标体。
图2是双传感器激光视觉三维测量系统示意图。2和3分别是线结构光视觉传感器，本发明将线结构光视觉传感器简称传感器，4和5分别是传感器2的摄像机和激光投射器，6和7分别是传感器3的摄像机和激光投射器，8和9分别是两个传感器投射的光平面，10是被测物体，11是工作平台。
图3是线结构光视觉传感器的数学模型。
具体实施例方式 下面对本发明方法做进一步详细说明。本发明首次使用未知运动的平面靶标，对双传感器激光视觉三维测量系统的全部参数进行了校准。
双传感器激光视觉三维测量数学模型 如图2所示，双传感器激光视觉测量系统由两个传感器2和传感器3、工作台11、图像采集卡、校准软件以及计算机组成。结构光视觉传感器由摄像机和激光投射器组成，激光投射器可以投射出单线结构光、多线结构光、网格结构光等模式，本发明特指单线结构光。
如图2所示，oc1-xc1yc1zc1为传感器2中摄像机4的摄像机坐标系，oc2-xc2yc2zc2为传感器3中摄像机6的摄像机坐标系，ow-xwywzw为全局测量坐标系。设空间任意点在ow-xwywzw坐标系中的世界坐标矢量为Xw＝[xw，yw，zw]T，在oc1-xc1yc1zc1坐标系中的摄像机坐标矢量为Xc1＝[xc1，yc1，zc1]T，在oc2-xc2yc2zc2坐标系中的摄像机坐标矢量为Xc2＝[xc2，yc2，zc2]T，则oc1-xc1yc1zc1坐标系和oc2-xc2yc2zc2坐标系与ow-xwywzw坐标系的变换关系分别为 其中Rc1w和Tc1w为ow-xwywzw到oc1-xc1yc1zc1的变换，分别表示3×3的旋转矩阵和3×1的平移矢量；Rc2w和Tc2w为ow-xwywzw到oc2-xc2yc2zc2的变换。
由摄像机和激光投射器组成的线结构光传感器的数学模型如图3所示。oc-xcyczc为三维摄像机坐标系，ow-xwywzw为三维世界坐标系，ou-xuyu为无畸变图像坐标系，on-xnyn为投影坐标系。πn为投影平面，πu为无畸变图像平面，πs为光平面。op为主点。定义ocxc//ouxu//onxn，ocyc//ouyu//onyn，oczc⊥πu和πn//πu。任意空间点Pi在πu上的投影点pi是直线
与πu的交点。设Pi的三维世界坐标为Xwi＝[xwi，ywi，zwi]T，摄像机坐标为Xci＝[xci，yci，zci]T，则ow-xwywzw到oc-xcyczc的变换表示为 其中Rcw为3×3的正交旋转矩阵，Tcw为3×1的平移矢量。
设点pi的投影坐标为Xni＝[xni yni]T，无畸变图像坐标为Xui＝[xui yui]T，摄像机在x、y方向上的有效焦距为fx和fy，摄像机的主点坐标为(u0，v0)，则有 Xui＝[xci/zci yci/zci]T [4] Xui＝[fxxni+u0 fyyni+v0]T[5] 若考虑摄像机镜头的一次和二次径向畸变，设点pi的畸变图像坐标为Xdi＝[xdi ydi]T，则有 其中k1，k2为径向畸变系数。
设n＝[n1，n2，n3]T为光平面的单位法向矢量，Xci为光平面上控制点Pi的三维摄像机坐标，则光平面πs在oc-xcyczc下的方程为 n·Xci＝c [7] 其中c为常数项。
公式[3]～[6]表示了空间点到实际图像坐标的投影模型，空间任意点Pi可以确定惟一图像投影点pi。反之，如果已知摄像机内部参数，根据公式[4]～[6]，由实际图像坐标可以求得空间点的投影坐标，从而获得投影点在oc-xcyczc下的坐标，由此可以确定射线
在oc-xcyczc下的方程，
称为投影视线，由
和光平面的交点可以惟一确定光平面上点的摄像机三维坐标。
根据双传感器激光视觉三维测量系统的数学模型，双传感器激光视觉三维测量系统的校准分为三步一是摄像机校准，二是测量系统全局校准，三是光平面校准。
本发明摄像机校准的具体步骤如下 1、设定靶标1，靶标上有预先设置的特征点，靶标为一个二维平面，在靶标平面上有成矩阵排列的黑色方块，方块数量为4～100个，黑色方块的边长为3～50mm，其边长精度为0.001～0.01mm。选取靶面上方块的顶点作为特征点，特征点的数量为16～400个。
2、首先在摄像机的视场范围内，自由、非平行地移动靶标1至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，靶标1的特征点应包含在拍摄图像内。
然后提取所有摄像机校准图像的特征点的图像坐标，并与特征点的世界坐标对应。特征点图像坐标自动提取算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。
最后利用提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机，包括摄像机有效焦距、主点以及畸变系数。
根据公式[3]～[6]表示的摄像机实际模型，利用特征点的世界坐标Xwi，得到特征点的计算图像坐标X′di＝[x′di y′di]T。若摄像机参数不够准确，则X′di与Xdi存在误差，由此可以建立摄像机校准的优化目标函数 其中d(X′di，Xdi)表示计算投影点到实际投影点的距离。摄像机参数的初始值估计参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。
根据公式[8]可以估算出全部摄像机内部参数，包括摄像机的两个焦距fx、fy、主点(u0，v0)，径向畸变k1、k2和摄像机外部参数(Rcw，Tcw)。若摄像机内部参数已知，则根据公式[8]，采用Levenberg-Marquardt非线性优化方法可以直接估计摄像机的外部参数(Rcw，Tcw)。Levenberg-Marquardt算法参见《最优化理论与方法》，(袁亚湘、孙文瑜著，科学出版社，1999年)。
3、采用步骤2的方法，分别校准传感器2中摄像机4和传感器3中摄像机6的内部参数，包括有效焦距、主点以及畸变系数。
校准好摄像机内部参数后，进行测量系统的全局校准，具体步骤如下 4、在测量系统的摄像机4和摄像机6的公共视场范围内，放置靶标1，两个传感器的摄像机分别拍摄一幅靶标图像，称为全局校准图像，要求靶标平面的全部特征点应该包含在两幅全局校准图像内。
5、在靶标1的平面上定义全局世界坐标系ow-xwywzx，选取靶标1左上角为原点ow，xw、yw轴分别与靶标的行列方块方向一致，zw轴垂直靶标平面向上。提取全局校准图像的特征点的图像坐标，特征点提取方法同步骤2。根据公式[8]表示的优化目标函数，利用特征点的图像坐标和对应全局世界坐标，采用非线性优化方法估计公式[1]和[2]表示的摄像机4和摄像机6的摄像机坐标系到全局世界坐标系的变换。
摄像机内部参数和测量系统全局校准后，进行两个光平面的校准，具体步骤如下 6、打开激光投射器的电源，在摄像机的视场内，放置靶标1，要求投射光平面能够投射到靶标平面上形成投射光条，摄像机拍摄一幅图像，称为光平面校准图像，靶标1上的特征点和投射光条应该包含在光平面校准图像内。
7、根据公式[6]表示的摄像机畸变模型，校正光平面校准图像的畸变，得到无畸变光平面校准图像。畸变校正算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。
8、提取无畸变光平面校准图像的所有特征点的图像坐标，特征点提取方法同步骤2。根据公式[4]和公式[5]，计算特征点的投影坐标。
如图3所示，πw为校准靶标平面，其上分布有至少6个已知世界坐标的校准特征点。已知摄像机的内部参数，利用特征点的投影坐标及对应的靶标平面上的世界坐标，根据公式[8]，采用非线性优化方法，可以得到πw在oc-xcyczc下的平面方程。
9、提取无畸变光平面校准图像中光条的图像坐标，根据摄像机模型和内部参数，计算光条的投影坐标，并利用光条投影坐标拟合光条直线方程。
光条图像坐标提取算法参见Carsten Steger的文章“一种对称曲线结构探测器”[An Unbiased Detector of Curvilinear Structures]，IEEE期刊《模式分析及机器智能》，第20卷第2期，第113～125页，1998年。[IEEE Transactions on PatternAnalysis and Machine Intelligence，Vol.20，No.2，1998]。
如图3所示，光条直线lc为靶标平面πw和光平面πs的交线，直线lu为lc在πu上的无畸变投影。任意选取拟合光条直线lc上的一点pi，称为光平面上的控制点，控制点和摄像机坐标系原点确定的直线
称为投影视线，计算得到控制点pi的投影视线
在摄像机坐标系oc-xcyczc下的直线方程lc。
10、在摄像机坐标系下，计算靶标平面与控制点对应投影视线的交点，得到控制点在摄像机坐标系下的三维坐标，称为控制点的摄像机坐标。根据步骤5计算的摄像机坐标系到全局世界坐标系的变换，利用控制点的摄像机坐标计算光平面上控制点在全局世界坐标系下的三维坐标，称为控制点的全局世界坐标。
11、采用步骤9～10相同的方法，计算更多位于同一光条上的控制点的全局世界坐标，同一光条上控制点的数量为2～20。
12、将靶标1放置在不同的位置，采用步骤6～11相同的方法，计算光平面上的非共线控制点的全局世界坐标。靶标放置位置的数量为2～10，光平面上非共线的控制点总数为4～200。
13、利用所有的非共线控制点的全局世界坐标，拟合平面得到光平面在全局世界坐标系下如公式[7]所表示的方程。
14、采用步骤6～13叙述的方法，分别得到测量系统的光平面8和光平面9在全局世界坐标系的方程。
15、将校准的摄像机4和摄像机6的内部参数、摄像机4的摄像机坐标系到全局坐标系的变换、摄像机6的摄像机坐标系到全局世界坐标系的变换以及光平面8和光平面9的方程系数保存到系统参数文件中，以备测量调用。
实施例 采用两个Mintron MS368P CCD摄像机、焦距为12mm和16mm的日本精工镜头以及两个线结构光投射器构成双传感器激光视觉三维测量系统。传感器的工作距离在600mm以内。
按照上面叙述的步骤，利用图1所示的平面靶标对双传感器激光视觉三维测量系统的模型参数进行了校准。在每个传感器的测量空间范围内，随机移动5个位置，用CCD摄像机获取的图像，提取特征点来校准摄像机内部参数。打开激光投射器电源，保证投射的光条都通过靶标的特征区域，随机移动三个位置，获取图像，采用前面所述方法获得光平面上的控制点，用来校准两个光平面。将平面靶标置于两个传感器的公共视场，将全局世界坐标系建立在平面靶标上，分别采集一幅图像，提取特征点，用于校准传感器到全局世界坐标系的变换。校准的双传感器激光视觉三维测量系统的全部参数如表1所示。表1 双传感器激光视觉测量系统模型参数 为了验证传感器校准的精度，以传感器3为例，在传感器3的测量范围，随机移动平面靶标到3个不同位置，采集带有投射光条的图像，按本发明叙述的方法获取校准特征点的图像坐标及对应的三维摄像机坐标，并利用这些数据校准光平面，校准参数如表1所示。以直线
和靶标平面πw的交点作为近似标准值，以直线
和校准光平面πs的计算交点为测量值，通过比较两种情况下的三维摄像机坐标来评价传感器的校准精度。数据如表2所示，可以看出，RMS误差为Δx＝0.011mm，Δy＝0.008mm，Δz＝0.115mm。表3为校准后的传感器3测量随机位置的靶标上光条数据，采用类似的方法，作为传感器的测量精度。表2 传感器3校准精度评估数据 表3 传感器3测量精度评估数据
权利要求
1、一种双传感器激光视觉三维测量系统模型参数的校准方法，其特征在于，校准包括摄像机校准阶段、测量系统的全局校准阶段和光平面校准阶段，所有的校准均在测量现场进行，具体步骤为
1.1、摄像机校准阶段
1.1.1、设定靶标[1]，靶标上有预先设置的特征点，靶标为一个二维平面，在靶标平面上有成矩阵排列的黑色方块，方块数量为4～100个，黑色方块的边长为3～50mm，其边长精度为0.001～0.01mm。选取靶面上方块的顶点作为特征点，特征点的数量为16～400个；
1.1.2、首先在摄像机的视场范围内，自由、非平行地移动靶标[1]至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，靶标[1]的特征点应包含在拍摄图像内。然后提取所有摄像机校准图像的特征点的图像坐标，并与特征点的世界坐标对应。最后利用提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数；
1.1.3、采用步骤1.1.2叙述的方法，分别校准传感器[2]中摄像机[4]和传感器[3]中摄像机[6]的内部参数，包括有效焦距、主点以及畸变系数；
1.2、测量系统的全局校准阶段
1.2.1、在测量系统的摄像机[4]和摄像机[6]的公共视场范围内，放置靶标[1]，两个传感器的摄像机分别拍摄一幅靶标图像，称为全局校准图像，要求靶标平面的全部特征点应该包含在两幅全局校准图像内；
1.2.2、在靶标[1]的平面上定义全局世界坐标系ow-xwywzw，选取靶标[1]左上角为原点ow，xw、yw轴分别与靶标的行列方块方向一致，zw轴垂直靶标平面向上。提取全局校准图像的特征点的图像坐标。利用特征点的图像坐标和对应全局世界坐标分别计算摄像机[4]和摄像机[6]的摄像机坐标系到全局世界坐标系的变换；
1.3、光平面校准阶段
1.3.1、打开激光投射器的电源，在摄像机的视场内，放置靶标[1]，要求投射光平面能够投射到靶标平面上形成投射光条，摄像机拍摄一幅图像，称为光平面校准图像，靶标[1]上的特征点和投射光条应该包含在光平面校准图像内；
1.3.2、根据摄像机的畸变模型，校正光平面校准图像的畸变，得到无畸变光平面校准图像；
1.3.3、提取无畸变光平面校准图像的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标及对应的世界坐标，计算靶标平面在摄像机坐标系下的平面方程；
1.3.4、提取无畸变光平面校准图像中光条的图像坐标，根据摄像机模型和内部参数，计算光条的投影坐标，并利用光条投影坐标拟合光条直线方程。任意选取拟合光条直线上的一点，称为光平面上的控制点，控制点和摄像机坐标系原点确定的直线称为投影视线，计算控制点对应投影视线在摄像机坐标系下的直线方程；
1.3.5、在摄像机坐标系下，计算靶标平面与控制点对应投影视线的交点，得到光平面上控制点在摄像机坐标系下的三维坐标，称为控制点的摄像机坐标。根据步骤1.2.2计算的摄像机坐标系到全局世界坐标系的变换，利用控制点的摄像机坐标计算控制点在全局世界坐标系下的三维坐标，称为控制点的全局世界坐标；
1.3.6、采用步骤1.3.4～1.3.5相同的方法，计算更多位于同一光条上的控制点的全局世界坐标，同一光条上控制点的数量为2～20；
1.3.7、将靶标[1]放置在不同的位置，采用步骤1.3.1～1.3.6相同的方法，计算光平面上的非共线控制点的全局世界坐标。靶标放置位置的数量为2～10，光平面上非共线的控制点总数为4～200；
1.3.8、利用所有的非共线控制点的全局世界坐标，拟合平面得到光平面在全局世界坐标系下的方程；
1.3.9、采用步骤1.3.1～1.3.8叙述的方法，分别得到测量系统的光平面[8]和光平面[9]在全局世界坐标系的方程；
1.3.10、将校准的摄像机[4]和摄像机[6]的内部参数、摄像机[4]的摄像机坐标系到全局坐标系的变换、摄像机[6]的摄像机坐标系到全局世界坐标系的变换以及光平面[8]和光平面[9]的方程系数保存到系统参数文件中，以备测量调用。
全文摘要
本发明属于测量技术领域，涉及对双传感器激光视觉三维测量系统校准方法的改进。本发明利用未知运动二维平面靶标，对包括摄像机内部参数、摄像机坐标系到全局世界坐标系的变换和光平面方程在内的所有双传感器激光视觉三维测量系统模型参数进行现场校准。本方法不需要高成本的辅助设备，校准精度高，过程简单，效率高，能够满足双传感器激光视觉三维测量系统现场校准的需要，同时也适合两个以上传感器激光视觉三维测量系统的现场校准。
文档编号G01B11/24GK1975324SQ20061016772
公开日2007年6月6日 申请日期2006年12月20日 优先权日2006年12月20日
发明者周富强, 张广军 申请人:北京航空航天大学