一种基于前镀膜平面镜的结构光参数标定装置及方法与流程
本发明涉及视觉测量技术，具体说就是一种基于前镀膜平面镜的结构光标定装置及方法。
背景技术：
结构光三维视觉测量具有非接触、速度快和精度适中等优点在工业检测等领域被广泛应用。结构光视觉传感器的标定精度决定着最终检测精度水平。线结构光视觉传感器标定过程包括摄像机内部参数标定和光平面参数标定两个方面，主要利用摄像机内部参数以及其他辅助工具确定光平面在摄像机坐标系下的平面方程。
关于目前常用的结构光传感器的标定方法主要有：一是自由移动靶标式，多采用一维靶标、二维平面靶标、三维立体靶标完成光平面参数标定，此方法靶标容易加工，标定精度高，效率高，此方法较为常用。二是机械运动调整法，多采用带编码器的机械运动平台或机械手臂等，此方法人为调节环节多，精度主要取决于机械运动平台的精度。
cn200810239083.4公开了“一种基于一维靶标的结构光参数标定方法”，该方法利用一维标靶的具有已知空间约束的至少三个特征点，结合透视投影方程，根据特征点的长度约束及方向约束计算特征点在摄像机系坐标系下空间三维坐标，并进行拟合得到光平面方程。该方法对一维标靶的加工精度要求较高，对图像噪声比较敏感。
cn200710121397.x公开了“一种结构光视觉传感器结构参数标定方法”，该方法主要借助有多个非线性特征点的平面靶标，通过多次移动平面靶标的位置，获取靶标图像上的光条中心及非线性特征点坐标，通过单应矩阵计算光条中心点在摄像机坐标系下的三维空间坐标拟合出光平面方程。该方法标定效率高、精度高等特点被广泛使用，但该方法提取无法同时兼顾高质量的光条图像与特征点的高精度提取。
cn201510307016.1公开了“一种基于平行双圆柱靶标的线结构光视觉传感器标定方法”。该方法采用自由移动的平行双圆柱靶标，将靶标在合适位置摆放至少一次，提取光条图像中心并拟合图像中光条的椭圆图像，基于透视投影变换建立两个空间椭圆与其图像之间对应方程，以椭圆短轴与圆柱直径相同为约束条件，求解光平面方程。该方法需要高精度的三维标定靶标，加工成本高，由于反射遮挡等因素难以获得高质量的标定图像。
从以上分析可以看出，现有的结构光参数标定方法都需要高精度的带有特征点的靶标或者高精度的几何约束靶标，由于目前材料加工工艺水平限制，在保证光条图像质量的情况下，很难使特征点位置精度或者几何约束精度达到微米级别，且计算转换矩阵采用图像单应的方法求取存在一定的误差；激光光条投射在金属或者陶瓷等靶标上由于强反射或者漫反射，均降低了光条中心的提取精度。
技术实现要素：
本发明的技术解决问题：克服现有技术的不足，提供一种基于前镀膜平面镜的结构光参数标定装置及方法，能够实现快速高精度的结构光传感器光平面参数标定，加工制造与靶标维护容易，现场操作简单。
为达到上述目的，本发明的技术方案为：一种基于前镀膜平面镜的结构光参数标定装置及方法，包括：将前镀膜平面镜与平面玻璃靶标置于摄像机前位置，摄像机同时拍摄平面玻璃靶标图像与其镜像图像，建立虚拟双目测量模型，利用平面玻璃靶标相邻特征点空间距离作为约束，通过非线性优化方法求取前镀膜平面镜坐标系到摄像机坐标系旋转矩阵和平移矢量的优化解，采用最小二乘法对备选特征点进行图像消影点求取；将白色打印纸置于前镀膜平面镜前，激光器投射光束到白色打印纸上，摄像机同时拍摄实际光条图像与镜像光条图像，提取光条图像中心点，利用图像消影点与线性插值方法进行亚像素匹配，计算匹配点的三维坐标采用最小二乘法拟合求解光平面方程。
本发明具体提供的一种的结构光参数标定装置，所述装置包括：一台面阵摄像机、一个一字线激光器、一个前镀膜平面镜、一个平面玻璃靶标和一张白色打印纸，其中：
面阵摄像机，用于同时拍摄激光器投射在白色打印纸上的光条图像及在前镀膜平面镜中的光条镜像，并计算前镀膜平面镜坐标系到摄像机坐标系之间的旋转矩阵和平移矢量；
一字线激光器，用于投射激光光束到白纸打印纸上形成光条；
前镀膜平面镜，前镀膜平面镜的前表面四周区域的特征点用于计算前镀膜平面镜坐标系与摄像机坐标系的转换矩阵，前镀膜平面镜前表面中心区域镀膜用于镜像投射在白色打印纸上的激光光条与平面玻璃靶标上的特征点；
面玻璃靶标，用于优化前镀膜平面镜坐标系到摄像机坐标系之间的旋转矩阵和平移矢量提供约束，并且用于计算图像的消影点，通过消影点进行两个光条图像的匹配；
白色打印纸，用于激光器投射光束并呈现光条图像。
上述方案中，前镀膜平面镜、平面玻璃靶标和白色打印纸共同组成用于结构光光平面参数标定的靶标装置，其中前镀膜平面镜为前表面中心部位镀有铝膜，平面镜的前表面四周区域光刻特征点，前镀膜平面镜相比后镀膜平面镜，可以不受平面镜玻璃厚度造成的折射现象影响，以提高标定精度。平面玻璃靶标可以是棋盘格特征点，也可以是圆点阵、网格特征点。
本发明还提供了一种结构光参数标定方法，包括：
a.对线结构光视觉传感器中的摄像机进行内部参数标定；将平面玻璃靶标与前镀膜平面镜放置在摄像机前清晰成像区域内，调节光源亮度，拍摄平面玻璃靶标上的特征点图像与镜像图像；校正图像；
b.实体摄像机坐标系、镜像摄像机坐标系、前镀膜平面镜坐标系、反平面镜坐标系的建立；前镀膜平面镜坐标系到摄像机坐标系的旋转矩阵和平移矢量求解；镜像摄像机坐标系与实体摄像机坐标系旋转矩阵和平移矢量求解，左手图像坐标系到右手图像坐标系的转换关系求解，虚拟双目测量模型的建立；采用非线性优化方法得到上述旋转矩阵和平移矢量的最优解；
c.计算平面玻璃靶标的水平方向和竖直方向相邻特征点的距离，基于阈值判断选取备选特征点，对备选特征点进行匹配连线，采用最小二乘法进行图像消影点求取；
d.将白色打印纸放置在摄像机前清晰成像区域内摆放多次，分别对真实光条图像与镜像光条图像中心提取，通过消影点进行真实光条中心与镜像光条中心的亚像素匹配，利用虚拟双目测量模型计算光条中心点的三维坐标，采用最小二乘法拟合光平面，求解光平面参数。
步骤a中对线结构光视觉传感器中的摄像机进行内部参数标定；将平面玻璃靶标与前镀膜平面镜放置在摄像机前清晰成像区域内，调节光源亮度，拍摄平面玻璃靶标上的特征点图像与镜像图像，校正图像，实现步骤如下：
将可以自由移动的平面玻璃靶标放置在摄像机前清晰成像区域内，前镀膜平面镜与平面玻璃靶标成一定的夹角放置，保证平面玻璃靶标上的特征点与其镜像特征点、前镀膜平面镜大部分特征点位于清晰成像区域内，分别调节前镀膜平面镜、平面玻璃靶标的光源亮度，使其上面的特征点成像清晰，特征点及边缘像素宽度为1-3个。通过摄像机内部标定参数，图像校正的方法，得到无畸变图像。
步骤b中实体摄像机坐标系、镜像摄像机坐标系、前镀膜平面镜坐标系、反平面镜坐标系的建立；前镀膜平面镜坐标系到摄像机坐标系的旋转矩阵和平移矢量求解，镜像摄像机坐标系与实体摄像机坐标系旋转矩阵和平移矢量求解，左手图像坐标系到右手图像坐标系的转换关系求解，虚拟双目测量模型的建立，采用非线性优化方法得到上述旋转矩阵和平移矢量的最优解,实现步骤如下：
(1)将实体摄像机坐标系、镜像摄像机坐标系、前镀膜平面镜坐标系、反平面镜坐标系均建立成右手坐标系，实体摄像机图像坐标系的原点在图像的左上角，镜像摄像机图像坐标系的原点在图像的右上角；
(2)前镀膜平面镜上的特征点提取后，通过摄像机成像模型计算单应矩阵，并求解前镀膜平面镜坐标系到摄像机坐标系的旋转矩阵和平移矢量；
(3)利用镜像原理分别求取前镀膜平面镜坐标系与反平面镜坐标系之间的旋转矩阵和平移矢量，反平面镜坐标系与镜像摄像机坐标系的旋转矩阵和平移矢量，利用上述旋转矩阵和平移矢量求解镜像摄像机坐标系与实体摄像机坐标系的转换矩阵和平移矢量；
(4)左手图像坐标系到右手图像坐标系进行转换，实体摄像机拍摄的镜像光条图像坐标由于镜像原因建立在左手坐标系下，以图像主点坐标的纵坐标保持不变，将镜像光条图像坐标建立在右手图像坐标下，通过(3)中求解的镜像摄像机坐标系与实体摄像机坐标系的转换矩阵和平移矢量，及摄像机标定的内参矩阵，建立虚拟双目测量模型；
(5)利用平面玻璃靶标上的水平方向和竖直方向相邻特征点测量值与真实值的距离最小作为空间距离约束，使用levenberg-marquardt非线性优化方法得到前镀膜平面镜坐标系到摄像机坐标系的旋转矩阵和平移矢量最优解，及实体摄像机与镜像摄像机的旋转矩阵和平移矢量的最优解。
步骤c中计算平面玻璃靶标的水平方向和竖直方向的相邻特征点的距离，基于阈值判断选取备选特征点，对备选特征点进行匹配连线，采用最小二乘法进行图像消影点求取的实现步骤如下：
(1)对平面玻璃靶标上的特征点和镜像的特征点进行提取匹配，利用实体摄像机坐标系与镜像摄像机坐标系旋转矩阵与平移矢量的最优解，将平面玻璃靶标上的特征点和对应的镜像特征点图像坐标分别代入步骤b中建立的虚拟双目测量模型，计算得到平面玻璃靶标上的特征点在摄像机坐标系下的三维坐标，分别计算平面玻璃靶标上的水平方向和竖直方向的两个相邻特征点的间距，间距小于设定的阈值则被选为备选特征点；
(2)连线平面玻璃靶标上备选特征点与其镜像的备选特征点，将此连线作为匹配的极线，将图像消影点到极线的距离作为目标函数，采用线性最小二乘法求解所有连线的交点，此交点即为图像消影点。
步骤d中将白色打印纸放置在摄像机前清晰成像区域内摆放多次，分别对实际光条图像与镜像光条图像中心提取，通过消影点进行实际光条中心与镜像光条中心的亚像素匹配，利用虚拟双目测量模型计算光条中心点的三维坐标，采用最小二乘法拟合光平面求解光平面参数的实现步骤如下：
(1)前镀膜平面镜在摄像机前清晰成像区域内位置固定，调节光源亮度使特征点成像清晰，每个特征点占1-3像素，将白色打印纸在摄像机前清晰成像区域内摆放多次，激光光束投射在白色打印纸上，并可在前镀膜平面镜前形成清晰完整的镜像，白色打印纸每放置一个位置时，摄像机同时拍摄白色打印纸上所投射的光条图像与前镀膜平面镜镜像的光条图像作为标定图像；
(2)分别对标定图像上实际光条与镜像光条采用steger方法进行光条中心提取，通过步骤c中求取的图像消影点，将实际的光条中心与图像消影点进行连线作为当前光条中心的极线，在镜像的光条中心上寻找离极线最近的两点作为候选点并连线，极线与两个候选点连线的交点作为实际光条中心的亚像素匹配点；
(3)将实际光条中心与亚像素匹配点的图像坐标代入步骤b中建立的虚拟双目测量模型，计算光条中心点的三维坐标，采用最小二乘法拟合光平面方程ax+by+cz+d＝0，a，b，c，d即为所求的光平面参数。
本发明与现有技术相比的优点在于：本发明提供一种采用前镀膜平面镜实现线结构光传感器标定的新方法，实现将led光源靶标用于结构光标定中，并提供微米级别位置精度的特征点，而金属靶标或者陶瓷靶标在保证光条可提取的情况下很难达到微米级别的位置精度；相比平面靶标通过单应关系获得靶标坐标与摄像机坐标系的位置关系，本发明通过立体优化的方法获得更高精度的靶标坐标系与摄像机坐标系的位置关系；仅用图像的信息而不利用相机的极线约束即可实现光条中心的亚像素匹配，提高了匹配的精度；相比金属靶标，通过白色打印纸可以获得较好的光条图像质量并有助于提高光条中心的提取精度，提供更多的标定点保证了标定结果的稳定性，前镀膜可以有效消除玻璃折射的影响，通过以上硬件改进及算法创新，实现了高精度的线结构光传感器标定，标定结果稳定性高，且前镀膜平面镜易于加工，操作简单，可实现现场的快速实时标定。
附图说明
图1是本发明结构光视觉传感器参数标定流程图；
图2是本发明结构光视觉传感器参数标定示意图；
图3是本发明结构光视觉传感器参数标定示意图2；
图4是本发明结构光视觉传感器参数标定实物图；
图5是本发明结构光视觉传感器参数标定获取图像；
图6是图像消影点求图图像；
图7是光条中心亚像素匹配图像。
具体实施方式
本发明的基本思想是：基于前镀膜平面镜和白色打印纸使特征点图像与光条图像分离开同步进行采集，获得高质量的图像提供高位置精度的特征点坐标和高提取精度的光条中心坐标，通过单个摄像机及镜像组成对称虚拟双目测量系统对结构光光平面参数进行标定，采用基于图像消影点的方法进行光条中心匹配，采用前镀膜平面镜消除玻璃折射的影响，多种方法来提高结构光参数标定精度。
基于上面所述的结构光参数标定装置，本发明结合具体实施例，由一台摄像机和一个线激光器为例，对本发明作进一步详细说明。
如图1所示，本发明基于前镀膜平面镜的结构光参数标定方法主要包括以下步骤：
步骤11：对线结构光视觉传感器中的摄像机进行内部参数标定。
对线结构光视觉传感器的摄像机进行标定即求解摄像机的内部参数，即：
这里αx＝f/dx,αy＝f/dy，αx、αy分别是u轴和v轴的尺度因子，或称为有效焦距，dx、dy分别为水平方向和竖直方向的像元间距，u0、v0是光学中心，也称主点坐标，γ是u轴和v轴不垂直因子。
步骤12：将可以自由移动的平面玻璃靶标放置在摄像机前清晰成像区域内，前镀膜平面镜与平面玻璃靶标呈一定的夹角，对平面玻璃靶标镜像，使得在平面玻璃靶标与前镀膜平面镜中的特征点同时在摄像机中成像，分别调节前镀膜平面镜和平面玻璃靶标的光源亮度，摄像机拍摄图像，使用步骤11中的摄像机标定参数进行图像校正，获得无畸变图像，如图2所示。
步骤13：实体摄像机坐标系、镜像摄像机坐标系、前镀膜平面镜坐标系、反平面镜坐标系的建立。
建立实体摄像机坐标系oc-xcyczc，其中oc为坐标系原点，xcyczc为三个坐标轴方向。镜像摄像机坐标系ov-xvyvzv，为了方便求解坐标系之间的转换关系，将镜像摄像机坐标系ov-xvyvzv建立为右手坐标系，其中ov为坐标系原点，xvyvzv为三个坐标轴方向。前镀膜平面镜坐标系om-xmymzm，其中om为坐标系原点，xmymzm为三个坐标轴方向。反平面镜坐标系omm-xmmymmzmm，其中omm为坐标系原点，xmmymmzmm为三个坐标轴方向。
步骤14：基于镜像原理及透视投影变换建立实体摄像机坐标系与镜像摄像机坐标系之间的位置关系的旋转矩阵和矢量矩阵。
步骤141：前镀膜平面镜坐标系om-xmymzm到实体摄像机坐标系oc-xcyczc的旋转矩阵和平移矩阵初值求解。
具体方法如下：
步骤142：实体摄像机坐标系与镜像摄像机坐标系的位置关系求解。
具体方法如下：实体摄像机坐标系与镜像摄像机坐标系的位置关系建立方法参见“zhenyingxu,yunwang,chuanyang,multi-cameraglobalcalibrationforlarge-scalemeasurementbasedonplanemirror,optik,126(2015),4149-4154.”和“张广军，李秀智.移动机器人足目标定方法.机器人.2007.29(3).”,将得到以下关系：
这里
步骤15：左右手图像坐标系的转换，虚拟双目测量模型的建立。
步骤151：左手图像坐标系到右手图像坐标系的转换。
具体方法如下：(u,v)为光条直线上的中心点在实体摄像机图像坐标系下的成像点，(u',v')为镜像光条直线上的中心点在实体摄像机图像坐标系下的成像点，相当于镜像摄像机拍摄实像光条，由于镜像对称原理，此时的图像坐标为镜像摄像机在左手坐标系下所成像，为方便于双目系统测量，将镜像摄像机左手坐标系转换成右手坐标系，图像坐标系进行变换有：
于是得到：
这里，kc为实体摄像机建立在右手坐标系下的内部参数，kv为镜像摄像机建立在右手坐标系下的内部参数。(uc,vc)为实际摄像机拍摄的图像坐标，(uv,vv)为镜像摄像机拍摄建立在右手坐标系下的图像坐标，s为畸变因子，dx、dy分别为水平方向和竖直方向的像元间距，u0、v0是光学中心，也称主点坐标。
步骤152：虚拟双目测量模型的建立。
具体方法如下：以实体摄像机坐标系为世界坐标系，根据双目测量原理，可得到以下公式：
这里，(u,v,1)t为实际光条中心的齐次坐标，(u',v',1)t为镜像光条中心的齐次坐标，z1,z2为比例因子，
步骤16：levenberg-marquardt非线性优化,得到前镀膜平面镜坐标系om-xmymzm到实体摄像机坐标系oc-xcyczc的旋转矩阵和平移矢量优化解，优化目标函数如下：
这里，
步骤17：采用最小二乘法利用备选特征点求取图像的消影点。
具体方法如下：
两组连线的交点为l＝li×lj(i≠j)，i与j表示不同的直线，由于特征点提取误差，每组连线不能完全交于一点，采用最小二乘法确定，即为消影点，目标函数为：
这里，v位图像消影点的齐次坐标。
线结构光视觉传感器由一台摄像机和一个线激光器组成，图3为实施例中线结构光传感器示意图。其中，l表示线激光器投射在白色打印纸上的光条，l'表示前镀膜平面镜镜像后的光条虚像。oc-xcyczc表示实体摄像机坐标系，ov-xvyvzv表示镜像摄像机坐标系。
步骤18：提取光条图像中心点，光条中心点的亚像素匹配。
步骤181：光条图像中心点求取方法如下：
具体方法如下：提取拍摄光条图像中所有光条中心的图像坐标，通过图像畸变校正方法，得到图像中所有光条中心的无畸变图像坐标。具体提取光条中心方法采用steger所述的“anunbiaseddetectorofcurvilinearstructures”方法，校正方法参见“机器视觉.张广军，科学出版社”，以下所述光条中心的图像坐标均为经过畸变校正后的无畸变图像坐标。
步骤182：光条中心点的亚像素匹配方法如下：
具体方法如下：在白纸上的光条图像上选取一点
相应的亚像素匹配点的坐标为
pi＝[lei]×li(12)
这里，pi为与实际光条中心对应的在镜像光条中心的匹配点，lei,li为直线的矢量表示，[lei]×为lei的反对称矩阵，
步骤19：对实像光条中心点和镜像光条中心点采用虚拟双目测量模型进行三维重建，采用最小二乘法进行平面拟合得到光平面参数。
实施例
摄像机型号为alliedvisiontechnologies，配用焦距23mm施耐德光学镜头，图像分辨率为1600×1200像素，视觉传感器视场约为200mm×160mm，测量距离为650mm。激光器采用单线红色激光器，波长635nm，功率50mw。使用前镀膜平面镜如图4所示，特征点位置精度2um，平面靶标特征点的位置精度为2um。
首先，根据步骤11所述的方法得到摄像机内参标定结果为：
αx＝5174.34；αy＝5175.03；γ＝0；u0＝815.19；v0＝597.72；k1＝-0.19；k2＝0.58
这里，αx、αy分别是u轴和v轴的尺度因子，或称为有效焦距，γ为u轴和v轴的不垂直因子，u0,v0为光学中心，也称主点坐标，k1,k2为镜头径向畸变参数，
根据步骤12所述的方法，用摄像机拍摄前镀膜平面镜和平面玻璃靶标如图5，左图为平面玻璃靶标与前镀膜平面镜采集图像，右图为激光光束投射在白纸上的实际光条图像与镜像光条图像。
根据步骤13、步骤14所述的方法，求取的前镀膜平面镜坐标系到摄像机坐标系的旋转矩阵和平移矢量为
根据步骤15、步骤16所述的方法，优化后的前镀膜平面镜坐标系到摄像机坐标系旋转矩阵和平移矢量为
根据步骤17所述的方法，求取的图像消影点如图6，图像消影点的坐标为：(4430.8061,544.0210)。
根据步骤18、步骤19所述的方法，光条中心提取及亚像素匹配如图7，图像中左光条为实际光条，右光条为镜像光条，左上角是光条中心亚像素匹配方法的示意图，左下角是光条中心亚像素匹配的放大图。
根据步骤20所述的方法，求取的光平面方程为
x-0.1063y+0.3541z-238.7075＝0
光平面方程系数a＝1.0000，b＝-0.1063，c＝0.3541，d＝-238.7075
总之，本发明在保证光条质量情况下，可以提供微米级别位置精度的特征点，以及更多数量的标定点，相比传统的结构光标定方法，具有更高的标定精度，标定结果更稳定。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
- 还没有人留言评论。精彩留言会获得点赞！