激光与视觉相结合的钢板的三维测量系统及方法
【专利摘要】本发明公开了一种激光与视觉相结合的钢板的三维测量系统及方法，系统主要由两台背景投影仪、一台全站仪、一台三维扫描仪和一台GPU服务器组成；背景投影仪、三维扫描仪和全站仪均连接到服务器上。方法：在被测钢板周围放置若干激光标签；用激光测量标签的三维坐标用三维扫描仪中的两台相机拍摄激光标签；用HOG和SVM检测标签的初始位置；用DOG精确定位标签的中心；测量出标签的三维坐标将从视觉坐标系转换到激光坐标系，得到计算和的误差并建立误差场；用扫描仪测量被测钢板，得到钢板的三维数据；用误差场校正钢板的三维数据，得到更加精确的钢板的三维数据。本发明将激光测量和视觉测量两种方法结合在一起，可以大大减小视觉测量的误差。
【专利说明】激光与视觉相结合的钢板的三维测量系统及方法
【技术领域】
[0001]本发明涉及一种激光与视觉相结合的钢板的三维测量系统方法，适用于船舶制造过程中，对船体钢板进行三维测量。
【背景技术】
[0002]船舶钢板的弯曲是船舶制造的重要环节。由于船用钢板较厚，要将其精确地弯曲到设计要求的形状是非常困难的。目前造船企业大多采用火烧之后手工敲打，然后再比对目标模型的方法。这种方法劳动强度大、费时、精度和效率低，为此需研发船舶钢板弯曲自动化控制系统。船舶钢板弯曲自动化控制系统中，三维测量是最关键的环节，只有准确测量出钢板的三维形状，才能实现自动化控制。由于钢板表面不能加传感器，所以只能采用非接触测量法。目前，常用的非接触测量法有两种:激光测量法和视觉测量法。两种测量方法都有各自的优缺点。激光测量方法，测量速度较慢，但是测量精度较高。视觉测量方法，测量速度快，但是测量精度低。因此，可以将这两种方法结合在一起，实现一种快速、准确的测量方法，该方法虽然不能完全消除误差，但是可以大大减小误差。
【发明内容】
[0003]发明目的:针对现有技术中存在的问题与不足，本发明提供一种激光与视觉相结合的钢板的三维测量系统及方法。
[0004]技术方案:一种激光与视觉相结合的钢板的三维测量系统，主要由两台高亮度的背景投影仪、一台全站仪、一台三维扫描仪和一台高性能的GPU服务器组成。其中，三维扫描仪包括一台高亮度的投影仪，和两台分辨率1440*1080以上、帧率IOfps的同步高分辨工业相机。系统中所有相机经由1394线和1394卡与服务器相连；所有投影仪经由usb接口与服务器相连；全站仪经由网线与服务器相连。
[0005]一种激光与视觉相结合的钢板的三维测量方法，进行船舶钢板动态三维数据分析，主要包括结合激光测量对基于视觉的钢板的三维测量结果进行校正。步骤如下:
[0006]a)在被测钢板周围放置若干激光标签；
[0007]b)用激光测量标签的三维坐标P"；
[0008]c)用三维扫描仪中的两台相机拍摄激光标签；
[0009]d)用HOG和SVM检测标签的初始位置；
[0010]e)用DOG精确定位标签的中心；
[0011]f)根据三角测量原理，测量出标签的三维坐标y ;
[0012]g)将 从视觉坐标系转换到激光坐标系，得到pf ；
[0013]h)计算和p?的误差五"，并建立误差场；
[0014]i)用扫描仪测量被测钢板，得到钢板的三维数据；[0015]j)用误差场Aro校正钢板的三维数据，得到更加精确的钢板的三维数据。
[0016]有益效果:与现有技术相比，本发明提供的激光与视觉相结合的钢板的三维测量系统及方法，通过激光测量建立误差场，矫正基于视觉的三维测量结果，实现对船舶钢板快速、精确的三维测量。
【专利附图】
【附图说明】
[0017]图1为本发明实施例的系统硬件连接图；
[0018]图2为本发明实施例的方法流程图；
[0019]图3为本发明实施例的误差场建立，以及校正视觉三维测量结果示意图。
【具体实施方式】
[0020]下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0021]如图1所示，本系统由一台三维扫描仪、两台背景投影仪、一台全站仪和一台高性能GPU服务器组成。其中，三维扫描仪包括一台高亮度的投影仪，和两台分辨率1440*1080 以上、帧率IOfps的同步高分辨工业相机。系统中所有相机经由1394线和1394卡与服务器相连；所有投影仪经由usb接口与服务器相连；全站仪经由网线与服务器相连。
[0022]本发明方法的流程如图2所示:
[0023]1.在被测钢板周围放置若干激光标签；
[0024]2.用激光测量标签的三维坐标如图3 (a);
[0025]3.用三维扫描仪中的两台相机拍摄激光标签；
[0026]4.用HOG和SVM检测激光标签的初始位置:首先采集大量的激光标签图像作为正样本，以及大量的环境图像作为负样本；然后，在这些样本上提取HOG特征；接下来，利用样本的HOG特征训练一个SVM检测器。用该SVM检测器检测标签的大概位置，得到一个标签图像块，用Im表示该标签图像块；
[0027]5.用DOG精确定位标签的中心，方法如下:
[0028]第一步，在Im上使用自适应的二值化方法，产生一个二值图像。
[0029]第二步,计算二值化图像连通区域的中心,用Li = (Xli, Yli)1表示。然而Li不一定是标签的精确中心。因此，需要以Li为初始值，寻找精确的中心位置。
[0030]第三步，利用DOG的方法寻找精确的中心值。首先，使用具有两个不同高斯核炉I
和<p2的高斯函数，平滑图像块Im，得到两个平滑之后的图像块/:1和/然后，根据/:1和J 形成一个DOG图像最后，在/ ㈨中，在Li的附近寻找极值，得到标签的中心。
[0031]6.根据三角测量原理，测量出标签的三维坐标pf，如图3 (b)所示。
[0032]7.将从视觉坐标系转换到激光坐标系，得到激光坐标；?；0，方法如下:
[0033]假设，Rvo和Tv。是从视觉坐标系到激光坐标系的旋转矩阵和平移向量，根据P'和夕尸之间的关系计算Rv。和Tv。。如果M大于3，便可以构建一个关于Rv。和Tv。的过约束方程， 如公式(I)所示。使用最小二乘法优化求解该过约束方程，估计Rv。和Tv。。
[0034]
[0035]估计出Rv。和Tv。之后，便可将P转换到激光坐标系之中，得到$
[0036]理论上，Ke (图3 ( c )中的圈)和pf (图3 ( c )中的点)应该是激光坐标系中相同的点。然而，由于相机标定和点云拼接会产生误差，因此测量得到 会产生误差。所以不可能精确估计Rv。和Tv。，这导致了 之间的差异(图3 (c))。
[0037]8.计算之间的误差E1;0 ,并建立误差场。
[0038]三角化点，形成一些三角形(图3 (d)、(e)、(f))，然后为每个三角形构建一个误差场。下面，以一个三角形为例，阐述构建误差场的过程。
[0039]假设一个三角形的三个顶点是/ {j,k,m},从视觉坐标系转换过来的对应点是 与P "之间的误差是五,?，五f可以看成是三维空间中的三个向量。在该三角形中，可以根据进行线性插值，形成一个误差场。此时，误差场可以看成是由经过夕"的三
角形平面与经过P的三角形平面所包围的空间(图3 (f))。
[0040]根据上述方法，可以为每个三角形构建一个误差场。
[0041]9.用扫描仪测量被测钢板，得到钢板的三维数据。
[0042]10.用误差场五广校正钢板的三维数据。具体的校正过程如图3 (g)- (j)所示。
[0043]假设PCa是扫描仪测量得到的一个点云，P是PCa上的一点(图3(g))，下面解释点 P的校正过程。基本思想是利用误差场使PCa产生形变，以使得PCa更加接近于激光的结果。
[0044]首先，假设p:9和Z所形成的三角形是距离P最近的三角形，从P到由/C3和Z所
形成的三角形平面做两条垂线(图3 (h))，两个垂足分别用Cp和Fp表示(图3 (i))；
[0045]然后，将Cp和Fp所形成的向量FC作为校正点P的值。根据FC，移动P，产生一个新的点。
[0046]PCa上的其他点都可以使用该方法进行校正。因此，PCa将向激光测量结果的方向产生形变，从而得到更加精确的结果。
[0047]以上的方法虽然不能完全消除误差，但是可以大大减小误差。得到比单纯使用视觉测量更加精确的钢板的三维数据。
【权利要求】
1.一种激光与视觉相结合的钢板的三维测量系统，其特征在于:主要由两台高亮度的背景投影仪、一台全站仪、一台三维扫描仪和一台高性能的GPU服务器组成；所述两台背景投影仪、一台三维扫描仪和一台全站仪均连接到服务器上。
2.如权利要求1所述的激光与视觉相结合的钢板的三维测量系统，其特征在于:所述三维扫描仪包括一台高亮度的投影仪，和两台分辨率1440*1080以上、帧率IOfps的同步高分辨工业相机，其中两台相机经由1394线和1394卡与服务器相连；所述三维扫描仪的投影仪经由usb接口与服务器相连。
3.如权利要求1所述的激光与视觉相结合的钢板的三维测量系统，其特征在于:所述全站仪经由网线与服务器相连；所述两台背景投影仪均经由usb接口与服务器相连。
4.一种激光与视觉相结合的钢板的三维测量方法，其特征在于，包括步骤如下: a)在被测钢板周围放置若干激光标签； b)用激光测量标签的三维坐标pf; c)用三维扫描仪中的两台相机拍摄激光标签； d)用HOG和SVM检测标签的初始位置； e)用DOG精确定位标签的中心； f)根据三角测量原理，测量出标签的三维坐札P g)将Y从视觉坐标系转换到激光坐标系，得到ρvoi; h)计算pf的误差E:0，并建立误差场； i)用扫描仪测量被测钢板，得到钢板的三维数据； j)用误差场五广校正钢板的三维数据，得到更加精确的钢板的三维数据。
5.如权利要求4所述的激光与视觉相结合的钢板的三维测量方法，其特征在于，所述用HOG和SVM检测激光标签的初始位置的具体方法为: 首先采集激光标签图像作为正样本，以及环境图像作为负样本； 然后，在这些样本上提取HOG特征；接下来，利用样本的HOG特征训练一个SVM检测器；用该SVM检测器检测激光标签的大概位置，得到一个标签图像块，用Im表示该标签图像块。
6.如权利要求5所述的激光与视觉相结合的钢板的三维测量方法，其特征在于，所述用DOG精确定位标签的中心的具体步骤如下: 第一步，在Im上使用自适应的二值化方法，产生一个二值图像； 第二步，计算二值化图像连通区域的中心，用Li = (X1Dyli)T表示； 第三步，以Li为初始值，利用DOG的方法寻找精确的中心值；首先，使用具有两个不同高斯核φ?和<p2的高斯函数，平滑图像块I,，得到两个平滑之后的图像块/ IP/,;,2然后，根据/=和形成一个DOG图像Afxi;最后，在中，在Li的附近寻找极值，得到标签的中心。
7.如权利要求6所述的激光与视觉相结合的钢板的三维测量方法，其特征在于，将Pvi从视觉坐标系转换到激光坐标系，得到激光坐标Pro,方法如下:假设，Rvo和Tvo是从视觉坐标系到激光坐标系的旋转矩阵和平移向量，根据和之间的关系计算Rv。和Tv。；如果M大于3，便可以构建一个关于Rv。和Tv。的过约束方程，如公式(I)所示；使用最小二乘法优化求解该过约束方程，估计Rv。和Tv。；
【文档编号】G01B11/24GK103438826SQ201310358560
【公开日】2013年12月11日 申请日期:2013年8月16日 优先权日:2013年8月16日
【发明者】史金龙, 庞林斌, 钱强, 白素琴, 王直, 张洪涛, 刘建峰, 钱萍 申请人:江苏科技大学