专利名称：一种结构光视觉传感器结构参数标定方法
技术领域：
本发明涉及结构光视觉测量技术，特别涉及一种结构光视觉传感器结构参 数标定方法。
背景技术：
结构光视觉检测是用摄像机拍摄激光器发出的结构光与被测物体表面相交 形成的测点或测量光条图像，再利用激光三角原理得到物体表面三维信息的一 种检测方法。根据激光投射模式，结构光视觉检测可以分为点结构光、单线结 构光、多线结构光、圆结构光等模式。结构光视觉检测具有大量程、非接触、 速度快、系统柔性好、精度适中等优点，广泛应用于逆向工程、产品质量在线 检测等领域。
结构光视觉传感器的标定是结构光视觉检测能否成功应用的关键，所述标 定主要包括摄像机内部参数标定和结构参数标定两部分，其中，摄像机内部参 数的标定方法已经比较成熟，在此不作详细介绍，针对结构光视觉传感器结构 参数标定，目前许多学者研究并提出了一些新的方法，如拉丝法、齿形靶法和 基于三维靶标的交比不变法等。
具体来说，所谓拉丝法是让结构光投射到在空间分布的几根不共面的细丝 上，由于细丝散射，从而在细丝上形成亮点，并在像面上成像，釆用电子经炜 仪测出亮点在空间中的坐标值，利用像面亮点坐标及亮点在空间中测得的坐标 值，来求解结构光与摄像机间的位置参数。但是，这种标定方法需要电子经纬 仪测量亮点的空间坐标，要获取较多的标定点，需人工多次瞄准，操作复杂。
关于齿形靶法，是段发阶等人在仪器仪表学报，2000, 21 ( 1 ): 108-110发
表的文章"一种新型结构光传感器结构参数标定方法"中，根据线结构光传感200710121397.X
说明书第2/8页
器的特点，提出的一种结构光视觉传感器结构参数标定方法，该方法釆用一个 简单的标定靶和一个一维工作台实现线结构光传感器的高精度标定，不需要其 它仪器辅助测量光平面上点的坐标。但该方法需要调整一维工作台或结构光传 感器的姿态，使得光平面与棱线相垂直，因此操作复杂。另外，加工齿形靶成 本高，齿棱有限，获得的标定点数目少。
关于基于平面靶标的交比不变法，是周富强在文章"Complete calibration of a structured light stripe vision sensor through planar target of unknown orientations [J], Image and Vision Computing, Volume 23， Issue 1, January 2005, Pages59-67)"中提出的一种结构光视觉传感器结构参数标定方法，该方法釆用 交比不变原理获得标志点，靶标上特征点行数很少， 一般为3~10行，而一行(至 少三个)特征点只能获得一个标定点，因此，靶标在一个位置可获得3 10个标 定点，该方法无需辅助设备，不存在遮挡问题，搡作简单。但正因如此，该方 法只适合标定线结构光，若标定非线结构光会产生较大拟合误差。
关于基于共面参照物的线结构光传感器快速标定方法，是邾继贵在专利号 为200510013231.7的发明专利"基于共面参照物的线结构光传感器快速标定方 法"中提出的一种结构光视觉传感器结构参数标定方法，该方法提出了利用摄 像机光心和直线光条图像所决定的平面与共面参照物的交线来标定线结构光。 这种方法无需辅助设备，不存在遮挡问题，操作简单，但此方法只能用于线结 构光或多线结构光的标定。
从上述分析可以看出，拉丝法需人工多次瞄准，操作复杂，且需要电子经 纬仪作为辅助设备；齿形靶法因齿棱有限，获得的标定点数目少，且加工齿形
靶成本高；基于平面靶标的交比不变法和基于共面参照物的线结构光传感器快
速标定方法标定范围小，只适用于标定线结构光或多线结构光。
发明内容
有鉴于此，本发明的主要目的在于提供一种结构光视觉传感器结构参数标 定方法，能够提高结构光标定的效率，操作简单，无需辅助设备，并且扩大结
构光标定的适用范围。
为达到上述目的，本发明的技术方案是这样实现的 一种结构光视觉传感器结构参数标定方法，该方法包括以下步骤
a、 建立摄像机坐标系、图像平面坐标系；
b、 建立靶标坐标系，获取用于标定传感器结构参数的平面靶标图像，并确 定结构光投射在平面靶标上的光条在摄像机坐标系下的坐标；
c、 获取结构光多次投射在靶标平面上的光条在摄像机坐标系下的坐标，根 据获得的所有光条坐标拟合结构光方程。
上述方案中，步骤c所述结构光为任意模式的结构光。
步骤c所述获取多次投射在靶标平面上的光条的坐标为无约東地多次移 动平面靶标，每移动一次平面靶标，重复执行步骤b。
所述步骤b之前包含步骤在结构光视觉传感器测量区域无约東地放置带 有特征点的平面靶标，通过结构光的投射在平面靶标上形成亮光条。
步骤b中所述获取用于标定传感器结抅参数的平面靶标图像包括用摄像 机拍摄平面靶标图像，并对拍摄的平面靶标图像进行畸变校正。其中，所拍摄 的平面靶标图像包含光条和至少四个非共线的特征点。
步骤b中所述获取结构光投射在靶标平面上的光条在摄像机坐标系下的坐 标包括
bl、提取用于标定传感器结构参数的平面靶标图像上特征点的坐标， 一般， 提取至少四个非共线特征点的坐标；
b2、根据所提取的特征点坐标，确定图像平面与靶标平面之间的单应矩阵， 以及靶标坐标系到摄像机坐标系之间的旋转矩阵和平移矢量；
b3、提取用于标定传感器结构参数的平面靶标图像上的光条坐标，由图像 平面与靶标平面之间的变换关系求得靶标上光条在靶标坐标系下的坐标，并由 靶标坐标系到摄像机坐标系的变换关系转换到摄像机坐标系下。
本发明提供的结构光视觉传感器结构参数标定方法，多次无约東地移动平 面靶标位置，每次只需通过所拍摄靶标图像上的四个或更多非共线特征点标定
光条坐标，提高了结构光标定的效率，操作简单，且获得标定点坐标时无需电 子经纬仪等辅助设备；激光投射器发出的结构光可以为任意模式的结构光，实 现更灵活、多样，扩大了结构光标定的适用范围。
图1为本发明结构光视觉传感器结构参数标定方法的总体实现流程图； 图2为标定原理示意图3为平面靶标示意图4为用于微小型构件通孔内表面三维形貌测量的结构光视觉传感器示意
图5、图6、图7分别为平面靶标在三个不同位置时用来标定结构光的靶标
图像示意图。
具体实施例方式
以下结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明结构光视觉传感器结构参数标定方法的总体实现流程图，如
图1所示，本发明的标定方法包括以下步骤
步骤lh建立图像平面坐标系和摄像机坐标系。如图2所示，根据摄像机 的摆放位置建立摄像机坐标系0。-xj^和摄像机图像平面坐标系6>-W 。
步骤12:建立靶标坐标系，用摄像机拍摄平面靶标图像，并对拍摄的平面 靶标图像进行畸变校正。打开激光投射器电源，在结构光视觉传感器测量区域， 无约東地放置带有特征点的平面靶标，通过结构光的投射在平面靶标上形成亮 光条。这里，所述放置的平面靶标是预先设置好的，如图3所示，所设置的靶 标为一个二维平面，其上设置有正方形标记，正方形角点为特征点，特征点个 数为4 200个，正方形边长为3 50mm,精度为0.001mm 0.01mm。
如图2所示，根据平面靶标的放置位置建立靶标坐标系0,-xj^,。
这里，用摄像机拍摄的平面靶标图像应包含光条和至少四个非共线的特
征点；所述进行畸变校正是根据摄像机内部参数对拍摄的平面靶标图像进行畸 变校正。至于具体如何进行畸变校正，属于已有技术，在此不再赘述。
步骤13:提取步骤12中所述畸变校正后平面靶标图像上至少四个非共线 特征点的坐标。
本发明采用基于Hessian矩阵的形状算子确定角点的像素位置，然后利用 二阶泰勒展开式描述角点邻近区域的灰度分布曲面，最后通过计算曲面鞍点求 取角点的亚像素位置。
具体提取方法在陈大志的文章"A New Sub-Pixel Detector for X-Comers in Camera Calibration Targets[C], WSCG'2005 Short Papers Proceedings, 13th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision, 2005, Plzen, Czech Republic"中有详细描述。
步骤14:根据步骤13提取的特征点坐标，确定图像平面与靶标平面之间 的变换关系、以及靶标坐标系到摄像机坐标系的变换关系。
其中，图像平面与靶标平面之间的变换关系指单应矩阵H，靶标坐标系到 摄像机坐标系的变换关系指旋转矩阵R和平移矢量T。
通常，利用至少四个非共线特征点的图像坐标及对应下的坐标， 先用最小二乘法求得图像平面与靶标平面之间3x3单应矩阵H的线性解；然 后采用Levenberg-Marquardt优化方法获得最优的单应矩阵H;最后从H中分 解出从O, -x,;;,z,到Ot. -的旋转矩阵R和平移矢量T。
具体求取单应矩阵H、旋转矩阵R和平移矢量T的算法在Z. Y. Zhang的 "A flexible new technique for camera calibration[R] ( Microsoft Corporation, NSR-TR-98-71, 1998 )"文章中有详细描述，这里不再赘述。
步骤15:提取步骤12中所述畸变校正后平面靶标图像上的光条坐标，由 单应矩阵求得光条在靶标坐标系下的坐标，并转换到摄像机坐标系下。
本步骤通过计算图像点的Hessian矩阵，以及Hessian矩阵的绝对值最大的 特征值所对应的向量，从而获得光条法线方向和在该方向上的二阶导数，最终 获得亚像素级光条中心位置。其中，具体提取方法参见Carsten Steger的
"Unbiased Extraction of Curvilinear Structure from 2D and 3D Images[D](Germany， Technology University Munich, 1998)"，由单应矩阵H求得
光条在靶标坐标系下的坐标，并利用步骤14求得的旋转矩阵R和平移矢量T 将其转换到化-x^a下。
步骤16:无约東多次移动平面靶标，每次移动平面靶标后，重复执行步骤 12至15，获取每次移动平面靶标后，结构光投射在平面靶标上的光条在
o(,-xja下的坐标。
这里，并不限定移动平面靶标的次数，可以是无限多次，可以预先设置移 动次数值。
步骤17:由步骤15和步骤16获得的光条在(9,x。x^下的坐标，拟合结构 光在化-xja下的方程，保存所形成的方程，以备测量调用。
为了说明本发明的结构参数标定方法，以 一具体测量实例进行说明 图4所示为用于微小型构件通孔内表面三维形貌测量的结构光视觉传感器 诗意图。其工作原理为激光器41发出圆锥形光束，投射到锥面镜42后经反 射后形成圆锥面形结构光，投射到圆柱形被测工件内壁43形成圆形光条，透过 玻璃管44进入内窥镜45并经CCD摄像机46成像。该系统在使用前必须标定 出圆锥面形结构光方程。
按图l所述步骤，利用图2所示的平面靶标对圆锥面形结构光进行标定。 假设无约束地移动平面靶标三次，分别得到用于标定的图像，如图5、图6、图 7所示。
提取图5中特征点51、特征点52、特征点53、特征点54的坐标，分别为 (119.1， 114,5)、 (386.3， 115.2)、 (385.2， 383.4)、 ( 119.7, 382.6)，其对应乾 标坐标系下的坐标分别为(-15， 15)、 (20, 15)、 (20， -20)、 (-15， -20)。
按步骤14中所述的方法求得单应矩阵h。靶标坐标系0,-x^,z,到摄像机坐 标系化-x的旋转矩阵&和平移矢量t;分别为
<formula>formula see original document page 10</formula>
提取图6中特征点61、特征点62、特征点63、特征点64的坐标，分别为 (140.7， 103.4)、 ( 364.3, 105.6)、 (363.2， 374.9)、 (141.0， 372.8 ),其对应靶 标坐标系下的坐标分别为(-10， 15)、 (15， 15)、 (15, -15)、 (-10, -15)。
按步骤14中所述的方法求得单应矩阵112、靶标坐标系O,-x,;;z,到摄像机坐 标系化-u&的旋转矩阵R2和平移矢量T2分别为
H，
T，=
.8.9194 -0.0395 230.0268 0扁1 -9駕7 239.3832 0 陽0細2 1
画0,968369 -0.003242 0.249500. 0.009868 -0.998636 -0.051277 0.249326 0.052118 -0.967016
3.526 — -3.458 71.957
提取图7中特征点71、特征点72、特征点73、特征点74的坐标，分别为 (127.5, 136.3 )、 (377.4, 138.9)、 ( 375.4, 388.1 )、 (127.1， 387.7)，对应乾标 坐标系下的坐标分别为(-10， 10)、 (15， 10)、 (15， -15)、 (-10, -15)。
按步骤14中所述的方法求得单应矩阵H;、靶标坐标系O,-x,y,z,到摄像机坐 标系化-x[vVA的旋转矩阵R3和平移矢量T3分别为
H，=
10.0674 -0.0170 227.5667 0.1521 -10.0951 237.9409 0.0004-0,0003 1<formula>formula see original document page 11</formula>最后，由三根光条在摄像机坐标系下的坐标拟合出的结构光方程为 <formula>formula see original document page 11</formula>得到拟合的结构光方程后，结构光视觉传感器在检测过程中便可调用所得 到的方程进行检测。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范
权利要求
1、一种结构光视觉传感器结构参数标定方法，其特征在于，该方法包括以下步骤a、建立摄像机坐标系、图像平面坐标系；b、建立靶标坐标系，获取用于标定传感器结构参数的平面靶标图像，并确定结构光投射在平面靶标上的光条在摄像机坐标系下的坐标；c、获取结构光多次投射在靶标平面上的光条在摄像机坐标系下的坐标，根据获得的所有光条坐标拟合结构光方程。
2、 根据权利要求1所述的方法，其特征在于，步骤c所述获取多次投射 在靶标平面上的光条的坐标为无约東地多次移动平面靶标，每移动一次平面 靶标，重复执行步骤b。
3、 根据权利要求l或2所述的方法，其特征在于，所述步骤b之前包含步 骤在结构光视觉传感器测量区域无约束地放置带有特征点的平面靶标，通过 结构光的投射在平面靶标上形成亮光条。
4、 根据权利要求1或2所述的方法，其特征在于，步骤b中所述获取用于标定传感器结构参数的平面靶标图像包括用摄像机拍摄平面靶标图像，并对 拍摄的平面靶标图像进行畸变校正。
5、 根据权利要求4所述的方法，其特征在于，步骤b中所述获取结构光投射在靶标平面上的光条在摄像机坐标系下的坐标包括bl、提取用于标定传感器结构参数的平面靶标图像上特征点的坐标；b2、根据所提取的特征点坐标，确定图像平面与靶标平面之间的变换关系，以及靶标坐标系到摄像机坐标系的变换关系；b3、提取用于标定传感器结构参数的平面靶标图像上的光条坐标，由图像平面与靶标平面之间的变换关系求得靶标上光条在靶标坐标系下的坐标，并由靶标坐标系到摄像机坐标系的变换关系转换到摄像机坐标系下。
6、 根据权利要求4所述的方法，其特征在于，所拍摄的平面靶标图像包含 光条和至少四个非共线的特征点。
7、 根据权利要求5所述的方法，其特征在于，步骤b2中所述图像平面与耙标平面之间的变换关系釆用单应矩阵；所述靶标坐标系到摄像机坐标系的变换关系采用旋转矩阵和平移矢量。
8、 根据权利要求5所述的方法，其特征在于，步骤bl中所述提取的特征点坐标为至少四个非共线特征点的坐标。
9、 根据权利要求1或2所述的方法，其特征在于，步骤c所述结构光为任 意模式的结构光。
全文摘要
本发明公开了一种结构光视觉传感器结构参数标定方法，该方法包括建立摄像机坐标系、图像平面坐标系和靶标坐标系；确定结构光投射在平面靶标上的光条在摄像机坐标系下的坐标；无约束多次移动平面靶标，获取每次移动平面靶标后，结构光投射在靶标平面上的光条在摄像机坐标系下的坐标，根据获得的所有光条坐标拟合结构光方程。本发明提供的结构光视觉传感器标定方法操作简单，无需辅助设备，不但能提高结构光标定的效率，且能扩大结构光标定的适用范围。
文档编号G01B11/25GK101109620SQ20071012139
公开日2008年1月23日 申请日期2007年9月5日 优先权日2007年9月5日
发明者孙军华, 张广军, 魏振忠 申请人:北京航空航天大学