一种基于线激光的三维点云数据获取方法
【专利摘要】本发明公开了一种基于线激光的三维点云数据获取方法，从每个像元出发，设置过该像元的激光条纹边界灰度值来定位激光条纹边界；进而计算激光条纹右边界过该像元时的时刻t，求出在时刻t时的激光平面在摄像机坐标系下的平面方程；最后通过联立每个像元的光线束与时刻t时过该像元的激光平面方程求解该像元对应物点的三维坐标，从而最终获取到物体表面的点云数据集。本发明可以自行搭建简易扫描系统，方便实用、成本低、测量精度高，获取点云数据更快速、便捷。
【专利说明】
一种基于线激光的三维点云数据获取方法
技术领域
[0001]本发明属于三维测量领域，尤其涉及一种基于线激光的三维点云数据获取方法。
【背景技术】
[0002] 随着科学技术的数字化、信息化逐渐渗透到各个领域，越来越多领域的科研与生 产过程都需要对物体的三维信息进行获取，以近年来兴起的3D打印技术为例，桌面级的3D 打印设备的成熟与普及对空间物体的三维模型数据产生巨大需求，如何获取桌面小型物体 的三维信息是我们面临的一个主要问题。以激光三角测量原理为基础的线激光三维测量技 术以大量程、速度快、效率高、无接触等优势，可以对物体进行静态或动态测量，在三维测量 领域中具有广泛应用。
[0003] 现阶段，线结构光三维测量利用半导体激光器或者利用投影设备产生的激光平 面，投射到被测物体表面形成激光条，利用三角测量原理求解物体表面点的三维坐标数据。 其主要包括两步：
[0004] (1)获取激光平面方程
[0005] 目前线结构光三维测量多采用激光器与图像采集装置相固定模式，依靠硬件之间 的几何约束，标定出激光平面方程。这种方法依赖伺服电机驱动控制扫描设备移动，只需一 次标定激光平面方程，就可以完成三维测量工作，具有较高的测量效率和精度。
[0006] (2)定位激光条纹中心
[0007] 激光条横截面上的光强近似呈高斯分布，导致定位激光条中心困难。由于光条中 心定位的精度和速度关系到最终的测量结果，因此如何有效求解光条中心坐标是当前面临 的重要任务。目前光条中心定位算法主要包括灰度重心法、高斯拟合法、Hessian矩阵法等。
[0008] 解则晓申报的《基于线结构光的三维影像测量方法》（公开号:CN103438832A)利用 线结构光原理不仅能获取物体表面的三维数据，还能同时获取空间物体的精确的边缘轮廓 数据，其特征在于采用灰度重心法提取激光条中心坐标，系统的线结构光投射器和摄像机 固定在同一水平基座上，并且封装在机壳内，同时需要增加一个环形LED光源。
[0009] 南京邮电大学的聂建辉等申报的《一种基于双目视觉的多线激光器光平面标定方 法》(公开号:CN105091782A)利用左右相机拍摄靶标图像，对左右目圆形标记点中心依照排 列顺序进行立体匹配，根据立体匹配结果，计算每个圆形标记点中心在摄像机坐标系下的 空间位置坐标，进而进行平面拟合，得到标靶平面在摄像机坐标系下的平面方程，然后对标 定靶中相邻标记元围成的区域进行处理，选择本区域平均亮度1.5倍的像素作为激光条纹 上的像素点，然后将每行潜在的激光像素点位置依照亮度进行加权平均，得到准确的激光 点成像位置，通过移动标靶选择至少三个激光点坐标，求解出各个激光平面方程。
[0010]沈阳飞机工业集团有限公司的杜宝瑞等申报的《基于线结构光的三维测量方法及 装置》（公开号:CN102183216A)对所有的光条图像采用基于骨架的方向模板法提取光条中 心，获得光条中心点的二维图像坐标，利用已确定的摄像机模型计算对应的三维坐标，获得 扫描物体的点云数据。
[0011] 武汉微目科技有限公司的胡庆武等人申报的《文物旋转结构光三维数字化建模方 法》（公开号:CN101853521A)用双目CCD立体视觉系统同步拍摄文物成像，获得文物立体像 对和外方位姿态元素构成的旋转矩阵，通过提取激光条中心坐标点集，并建立立体像对的 两个线特征点集的对应关系，从而获得每个旋转角度的扫描线结构光断面的三维坐标。
[0012] 虽然近年来三维扫描设备有了快速发展，有大量的产品投入市场。但是，目前市场 上的三维扫描仪大多价格昂贵、结构复杂，较大地限制了它的应用和大众化普及。通过以上 分析发现，现阶段线激光三维测量方法主要存在如下几个方面的问题：
[0013] (1)大多数线激光三维测量方法需要借助复杂的硬件系统标定激光平面方程；
[0014] (2)扫描过程中，受激光光条宽度不同、光照不均匀及被测物体表面反射率差异等 因素影响，难以快速、准确地提取激光条纹中心坐标；
[0015] (3)由于传统的线激光三维测量方法粗差剔除能力不足，因此其获取的点云数据 难以抵抗噪声及环境因素的影响；
[0016] (4)所需设备昂贵，普通用户无力购买，难以有效普及；
[0017] (5)传统的双目立体视觉三维测量方法需要获得线激光器扫描产生的立体像对， 因此需要解决两相机同步拍摄的问题。
【发明内容】
[0018] 本发明要解决的技术问题在于提供一种基于线激光的三维点云数据获取方法，解 决传统测量方法在方便实用性方面存在的问题，实现快速、便捷、低成本的获取三维点云数 据。
[0019] 为解决上述技术问题，本发明采用以下技术方案：
[0020] 一种基于线激光的三维点云数据获取方法，包括：
[0021 ]步骤1，选定参考坐标系，对摄像机进行内、外参数标定；
[0022] 步骤2,选择相互垂直的辅助平面Η和辅助平面V，求解在摄像机坐标系下所述辅助 平面Η和辅助平面V的平面方程；
[0023] 步骤3,手持线激光器扫描被测物体，确定与被测物体对应的每个像元在摄像机拍 摄的连续视频帧序列中的灰度最大值Vmax，设定Vb = 〇 Xvmax作为过所述像元的激光条纹边 界的灰度值，其中〇〈〇〈1;
[0024] 针对与被测物体对应的每个像元分别执行下述步骤4~步骤7,以得到激光条纹右 边界分别在进入每个像元时的时刻t时所在的激光平面方程，然后执行步骤8:
[0025] 步骤4,利用时间内插计算连续视频帧序列中激光条纹右边界进入每个像元时的 时刻t;其中，时刻t大于所述连续视频帧序列中第k帧对应的时刻k且小于所述连续视频帧 序列中第k+Ι帧对应的时刻k+Ι，在所述第k帧时，所述像元在第k帧的灰度值小于激光条纹 右边界灰度值，在所述第k+Ι帧时，所述像元的灰度值大于激光条纹右边界灰度值；
[0026]步骤5,在像平面中任取三个参考行，使得所述三个参考行均不与被测物体相交且 与激光条纹右边界的交点不在同一条直线上，对于所述三个参考行中的每个参考行r，利用 空间线性内插求出所述参考行r分别与所述第k帧、第k+Ι帧中激光条纹右边界相交的交点 的坐标;其中，对于所述第k帧和第k+Ι帧中激光条纹右边界，在所述参考行r上均存在相邻 的两个像元a (r，j)、a(r，j+1)满足a (r，j)的灰度值大于激光条纹右边界的灰度值且a(r，j+ 1)的灰度值小于激光条纹右边界的灰度值；
[0027] 步骤6,根据每个所述参考行r分别与第k帧、第k+Ι帧中激光条纹右边界相交的交 点的坐标，利用空间线性内插求出在所述时刻t时激光条纹右边界与每个所述参考行r相交 的交点的坐标；
[0028] 步骤7,根据求出的所述时刻t时激光条纹右边界与所述三个参考行在像平面上的 三个交点的坐标以及所述辅助平面H、辅助平面V的平面方程，求解在摄像机坐标系下所述 三个交点对应的光线束与所述辅助平面Η或辅助平面V相交的三个空间点的坐标，根据所述 三个空间点的坐标拟合激光条纹右边界在所述时刻t时所在的激光平面方程；
[0029] 步骤8,将每个像元对应的光线束参数方程分别与激光条纹右边界在进入该像元 时的时刻t时所在的激光平面方程联立，求解每个像元对应物点在摄像机坐标系下的三维 坐标;保存或输出由被测物体所有像元对应物点的三维坐标构成的点云数据集。
[0030] 步骤2中，设参考坐标系为0w-XwYwZ w，辅助平面Η与0w-XwYw平面重叠，辅助平面Η作 为水平放置被测物体的工作台所在平面;辅助平面V与辅助平面Η垂直相交，且与0 w-ZwYw平 面重叠。
[0031 ] 步骤3中，取〇 = 〇. 5，用灰度值vb = 0.5 X vmax定位过所述像元的激光条纹边界。
[0032]步骤4中，利用时间内插计算激光条纹右边界进入每个像元a(i，j)时的时刻t为：
[0034]其中，v(i，j，k)表示第k帧中位置在像平面第i行、第j列的像元a(i，j)的灰度值。 [0035]步骤5中，所述参考行r分别与所述第k帧、第k+Ι帧中激光条纹右边界相交的交点 的坐标分别为：
[0038] 步骤6中，在所述时刻t时激光条纹右边界与每个所述参考行r相交的交点的坐标 为：
[0039] y = (]_-(t-k)) · ji+(t_k) · j2 (4)
[0040] 步骤7中，设像平面上任意一点在摄像机坐标系下的坐标为(x，y，z)，则所述点对 应的光线束参数方程表不为：
[0042]其中，（p，m，n)为所述点对应的光线束的方向向量。
[0043] 一种基于线激光的三维点云数据获取方法，还包括：
[0044]步骤9，双目点云粗差剔除，步骤1中的摄像机包括主、辅两台摄像机，主摄像机用 于拍摄整个激光扫描过程，辅助摄像机在扫描前拍摄一张背景图像，利用双目视觉测量原 理完成点云粗差的提取与点云质量改善。
[0045]双目点云粗差剔除包括查找对应点和前方交会改正点云；所述查找对应点为：利 用双目摄像机标定结果，将点云数据集中的每个三维点Pi反投影到主、辅摄像机的像平面 上，得到位于主摄像机像平面上对应的同名像点pn和位于辅摄像机像平面上对应的同名像 点口 12,基于窗口匹配为原则，以pu、pl2为原点选择(2n+l)X(2n+l)窗口进行灰度匹配，设置 阈值，如果相关系数大于阈值，则认为该三维点ΡαΗ确，反之则不正确，在辅助摄像机像平 面上查找与pu对应的真实同名像点p l2'；所述前方交会改正点云的过程为:对主、辅摄像机 进行标定，确定主、辅摄像机中心的位置关系，过主、辅摄像机中心与对应摄像机上的同名 像点得到两条射线，所述两条射线的交点即为同名像点在被测物体表面上的对应三维点； 根据立体像对，建立同名像点的特征点集，根据立体像对的内、外方位元素计算所述三维点 坐标，利用所述三维点坐标替换点云数据集中错误的三维点坐标。
[0046] 本发明能够达到以下有益效果：（1)本发明可以自行购买设备、搭建测量系统，通 过手持线激光器代替伺服电机作为驱动，无需任何机械定位与传动装置，扫描方向更加灵 活，不受硬件之间的几何约束，所需设备少、成本低；（2)不再依靠激光器与摄像机之间的几 何约束关系求解激光平面方程，而是采用时空内插求解过像元的激光平面方程，避免了计 算激光条纹中心的费时操作，具有更高的速度和精度。
【附图说明】
[0047] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申 请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中： [0048]图1为本发明的三维点云数据测量系统示意图。
[0049]图2为本发明的三维点云数据获取方法流程图。
[0050]图3为本发明线激光器扫描物体的几何原理图。
[0051 ]图4为本发明线激光器投射的激光条纹与平面相交示意图。
[0052]图5为本发明摄像机拍摄的连续视频帧层叠构成的视频立方体。
[0053]图6为本发明中任意像元灰度值随帧序列的变化情况曲线图。
[0054]图7为本发明中某参考行与第k帧上的激光条纹相交示意图。
[0055]图8为本发明的连续视频帧中激光条纹右边界穿过某参考行中一像元的示意图。 [0056]图9为本发明的线激光原理图。
[0057]图10为本发明双目摄像机标定示意图。
[0058]图11为本发明双目点云粗差剔除的流程图。
[0059]图12为本发明双目点云粗差剔除步骤中前方交会获取点云的示意图。
【具体实施方式】
[0060] 为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及 相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一 部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0061] 以下结合附图，详细说明本申请各实施例提供的技术方案。
[0062] 实施例1
[0063] 本发明实施例无需外部的机械装置，如旋转云台、伺服电机等。所需设备包括一台 CCD摄像机，一台线激光器、一个固定摄像机的支架、两块相互垂直的平面板(作为辅助平面 H、辅助平面V)、以及打印的棋盘格图像，参见图1。
[0064]结合图2,本发明实施例提供一种基于线激光的三维点云数据获取方法，包括：
[0065]步骤S101:选定参考坐标系，对摄像机进行内、外参数标定。具体为：
[0066] 选择平坦桌面作为实验场地，安置并固定摄像机，选择棋盘格图像制作标定板。
[0067] 选定参考坐标系，利用张正友标定法，标定出摄像机内外参数矩阵、畸变系数。 [0068]步骤S102:选择相互垂直的辅助平面Η和辅助平面V，求解在摄像机坐标系下分别 对应的平面方程，所述平面方程用于辅助确定在手持线激光器扫描被测物体时所投射的激 光平面在摄像机坐标系下的激光平面方程;具体为：
[0069] 设参考坐标系为0w-XwYwZ w，辅助平面Η与0w-XwYw平面重叠，辅助平面Η作为水平放 置被测物体的工作台所在平面;辅助平面V与辅助平面Η垂直相交，且与0 w-ZwYw平面重叠。
[0070] 辅助平面Η与辅助平面V所在平面方程的求解方法类似，以水平的辅助平面Η为例 进行说明，其平面方程的求解过程如下：
[0071] (1)设辅助平面Η的法向量ηΗ=(0,0，100)τ，在辅助平面Η上放置棋盘格，设置棋盘 格的左上角作为参考坐标系〇 w-XwYwZw的坐标原点，根据步骤S101的摄像机标定步骤求出η Η 在摄像机坐标系下的方向向量为mc(nx，ny，ηζ)。设参考坐标系原点在摄像机坐标系下的坐 标为(T x，Ty，Τζ)，则辅助平面Η的平面方程可由下式计算得
[0072] nx(x-Tx)+ny(y-Ty)+nz(z-Tz) =0 (a)
[0073] 化简得：
[0074] aix+biy+ciz+1 =0 (b)
[0075] 同理，在与辅助平面Η垂直的辅助平面V上粘贴棋盘格，求出辅助平面V在摄像机坐 标系下的平面方程为：
[0076] a2X+b2y+C2Z+l =0 (c)
[0077] 线激光器经透镜投射出一个激光平面，与被测物体相交形成激光条纹，由于物体 表面形状的调制，发生变形，借助辅助平面Η和辅助平面V所在的平面方程，可辅助求出激光 条纹所在激光平面对应的激光平面方程，利用三角测量原理即可计算出被测物体表面点的 三维坐标。
[0078] 步骤S103:手持线激光器扫描被测物体，确定与被测物体对应的每个像元在摄像 机拍摄的连续视频帧序列中的灰度最大值Vmax，设定Vb = 〇 Xvmax作为过所述像元的激光条 纹边界的灰度值，其中0〈〇〈1。具体为：
[0079] 如图3所示，Oc-Xc^Z。为摄像机坐标系，0。是摄像机的镜头中心，阴影部分S表示激 光平面。平面W为像平面，平面Η为水平工作台平面，平面V作为参考平面。手持线激光发射器 扫描被测物体表面，摄像机拍摄整个扫描过程。
[0080] 激光平面并非理想的平面，而是具有一定厚度，与平面H、V相交产生四条明显的直 线￥1、￥2、11 1、112，如图4，￥2、112构成激光条纹的左边界，￥ 1、111构成激光条纹的右边界。在扫描 时，激光条纹右边界比激光条纹左边界在连续视频帧序列中先经过任一像元。本实施例若 没有特殊说明，激光条纹边界均指的是激光条纹右边界，激光条纹右边界指的是摄像机拍 摄的激光条纹右边界。
[0081] 把摄像机拍摄的连续视频帧按照顺序进行层叠，构成视频立方体，如图5所示，每 一层代表一帧在像平面上的图像。用i、j分别表示每帧中像元在像平面的行号、列号，k表示 层叠方向上第k帧，每一帧对应一个时刻，第k帧对应时刻为k。图5中每个小方块的值为图像 坐标系中每个像元在相应帧中对应的灰度值。随着激光平面扫过物体，每个像元灰度变换 曲线呈高斯分布（由于线激光器投射的激光平面并非理想的平面，光条的光强变化近似呈 高斯分布，随着激光平面扫过被测物体，视场范围内任意像元的灰度变化曲线如图6所示）， 对任意给定的像元a( i，j)，定义Vmadt为像元a( i，j)在整个视频帧序列中的灰度最大值：
[0082] Vmax( i , j) =max{v( i , j , t)}
[0083] 其中，v(i，j，t)表示第t帧（时刻t)位置在像平面第i行、第j列的像元a(i，j)灰度 值；
[0084] 通过设置动态阈值Vb = 〇 X vmax作为激光条纹边界的灰度值，0〈σ〈 1。
[0085]图3显示了在线激光器扫描过程中某一瞬时t时刻线激光扫描姿态，AB、BC、⑶、DE、 EF、FG为激光平面与场景的交线即为激光条纹，P为场景中物体上的一点，它在像平面上所 对应的像点为P。为定位过像元P时对应的激光条纹边界，可设定激光条纹边界处的灰度值 为像元P在整个视频帧序列中最大灰度值Vm ax的二分之一，即取σ = 0.5，用灰度值Vb = 0.5 X Vmax定位过像元p的激光条纹边界。
[0086]针对与被测物体对应的每个像元分别执行下述步骤S104~步骤S107，以得到激光 条纹右边界分别在进入每个像元时的时刻t时所在的激光平面方程，然后执行步骤S108: [0087]步骤S104:利用时间内插计算连续视频帧序列中激光条纹右边界进入每个像元时 的时刻t;其中，时刻t大于所述连续视频帧序列中第k帧对应的时刻k且小于所述连续视频 帧序列中第k+Ι帧对应的时刻k+Ι，在所述第k帧时，所述像元在第k帧的灰度值小于激光条 纹右边界灰度值，在所述第k+Ι帧时，所述像元的灰度值大于激光条纹右边界灰度值;其中k 取1、2、……、N-1，N为摄像机所拍摄视频帧的总数。具体为：
[0088]参见图8,在整个视频帧扫描序列中一定存在连续两帧:第k帧和第k+Ι帧，在第k帧 时，像元a(i，j)暂未进入到激光条纹区域，则a(i，j)在第k帧的灰度值v(i，j，k)一定小于激 光条纹右边界灰度值;在第k+Ι帧时刻，像元a( i，j)进入到右激光条纹区域内，则此时像元a (i，j)的灰度值v (i，j，k+1)-定大于激光条纹右边界灰度值；由于摄像机帧率以及手持线 激光扫描速度的影响，激光条纹右边界进入像元a(i，j)时的时刻t对应的视频帧并不为整 数，我们采用如下方法:视频流两帧之间相隔时间很短，可以认为两帧之间属于匀速扫描， 利用时间内插求出激光条纹右边界进入像元a( i，j)的时刻t:
[0090]步骤S105:在像平面中任取三个参考行，使得所述三个参考行均不与被测物体相 交且与激光条纹右边界的交点不在同一条直线上，对于所述三个参考行中的每个参考行:r， 利用空间线性内插求出所述参考行r分别与所述第k帧、第k+Ι帧中激光条纹右边界相交的 交点的坐标;其中，对于所述第k帧和第k+Ι帧中激光条纹右边界，在所述参考行r上均存在 相邻的两个像元3(^_)、 &(^_ + 1)满足8(^」）的灰度值大于激光条纹右边界的灰度值且3 (r，j+Ι)的灰度值小于激光条纹右边界的灰度值。
[0091 ]上述被测物体指的是被测物体在摄像机的像平面上的成像。
[0092] 步骤S105具体为：
[0093]对于第k帧中激光条纹右边界，参见图7,在参考行r上一定存在两像元a(r，j)、a (r, j+1)满足v(r, j，k)>vb、v(r, j+1，k)<vb，由图6可知每个像元灰度随时间的变化关系， 利用空间线性内插求出第k帧中激光条纹右边界所在的位置，即参考行r与激光条纹右边界 在第k帧中的交点的坐标，坐标公式如式(e)所示：
[0095]同理，得到第k+Ι帧中激光条纹右边界所在的位置，即参考行r与激光条纹右边界 在第k+Ι帧中的交点的坐标，坐标公式如式(f)所示：
[0097]步骤S106:根据每个所述参考行r分别与第k帧、第k+Ι帧中激光条纹右边界相交的 交点的坐标，利用空间线性内插求出在所述时刻t时激光条纹右边界与每个所述参考行r相 交的交点的坐标。
[0098] 利用式(e)、（f)求出每个参考行r与激光条纹右边界在第k帧和k+Ι帧中的交点坐 标j#Pj2,利用公式⑷求出每个像元与激光条纹边右边界相交的时刻t，由于k<t<k+l，利 用空间线性内插求解出在时刻t时每个参考行r与激光条纹右边界的交点的坐标(亚像素坐 标），坐标公式如式(g)所示：
[0099] y = (i-(t-k)) · ji+(t_k) · j2 (g)
[0100] 步骤S107:根据求出的所述时刻t时激光条纹右边界与所述三个参考行在像平面 上的三个交点的坐标以及所述辅助平面H、辅助平面V的平面方程，求解在摄像机坐标系下 所述三个交点对应的光线束与所述辅助平面Η或辅助平面V相交的三个空间点的坐标（即： 将所述三个交点对应的光线束参数方程分别与所述辅助平面Η或辅助平面V的平面方程联 立，求解所述三个交点在摄像机坐标系下对应的三个空间点的坐标），根据所述三个空间点 的坐标拟合激光条纹右边界在所述时刻t时所在的激光平面方程
[0101] 图9中像平面上的三条虚线ri、r2、r3代表像平面上取的三个参考行， ri、r2、r3分别 与所述时刻1：时的激光条纹右边界相交于三个交点：1、、1^、1^。图3上交点,1、1^、1^分 另|J为三个交点 X\、xW 3对应的光线束与辅助平面Η或辅助平面V相交得到的三个空间点。
[0102] 为了保证三个交点为Χ\、Υ2、Υ3不在一条直线上，选取参考行时，需要保证三个 参考行n、r 2、r3不同时位于辅助平面Η在像平面对应的区域h内或辅助平面V在像平面对应 的区域v内，参见图9。由于三个交点为X' i、X' 2、X' 3不在一条直线上，三个空间点X:、X2、X3也 必定不在一条直线上，即可通过点Χ:、Χ 2、Χ3的坐标拟合激光条纹右边界在所述时刻t时所在 的激光平面方程。
[0103] 参见图9,光线束的参数方程的求解如下：
[0104] 设0。为摄像机中心点，像平面上任意一点P在摄像机坐标系下的坐标为(x，y，z)， 从摄像机中心点向点P作一条射线，该射线即为点P对应的光线束，则点P对应的光线束参数 方程表示为：
[0106] 式(h)中，（p，m，n)为点P对应的光线束的方向向量。
[0107] 步骤S108:将每个像元对应的光线束参数方程分别与激光条纹右边界在进入该像 元时的时刻t时所在的激光平面方程联立，求解每个像元对应物点在摄像机坐标系下的三 维坐标;保存或输出由被测物体所有像元对应物点的三维坐标构成的点云数据集data，记 为{P | Pi，i e (〇，N])，其中N为获得的点云数量。
[0108] 通过图9可以直观地理解，激光平面S受到物体表面形状的调制，产生变形的激光 条纹，点P为物体表面一点，经摄像机采集后得到其对应的像元P坐标为(u，v)，过摄像机中 心0。求出过该像元P的光线束参数方程，联立激光平面方程，即可求得物体表面点P在摄像 机坐标系下的三维坐标。
[0109] 综上，本发明从每个像元出发，首先根据每个像元在整个视频序列中的灰度变化 曲线，设置过该像元的激光条纹边界灰度值对激光条纹边界定位;进而计算激光条纹边界 过该像元时的时刻t，求出在时刻t时的激光平面在摄像机坐标系下的平面方程;最后通过 联立像元的光线束与时刻t时过该像元的激光平面方程求解该像元对应物点的三维坐标， 从而最终获取到点云数据集。
[0110] 本实施例采用时空内插求解过像元的激光平面方程，不再依靠激光器与摄像机之 间的几何约束关系求解激光平面方程，避免了传统计算激光条纹中心的费时操作，具有更 高的精度和速度。
[0111] 实施例2
[0112] 为了改善所获取点云数据集data中点云质量，在实施例1的基础上还可以增加步 骤S109:双目点云粗差剔除;通过增加一个摄像机作为辅助摄像机，即步骤S101中，摄像机 包括分别用支架固定的主、辅两台摄像机，参见图10,移动标定板到测量区域的不同位置， 两摄像机依次拍摄至少三张标定图像，完成双目摄像机的内、外参数标定;双主摄像机用于 拍摄整个激光扫描过程，辅助摄像机在扫描前拍摄一张背景图像，利用双目视觉测量原理 完成点云粗差的提取与点云质量改善。具体如下：
[0113] 参见图11，双目点云粗差剔除包括查找对应点和前方交会改正点云，
[0114] (1)查找对应点
[0115]利用双目摄像机标定结果，将点云数据集中的每个三维点P,反投影到主、辅摄像 机的像平面上，得到位于主摄像机像平面上对应的同名像点PU和位于辅摄像机像平面上对 应的同名像点Pi2,基于窗口匹配为原则，以Pii、pi2为原点选择(2n+l) X (2n+l)窗口进行灰 度匹配，设置阈值，如果相关系数大于阈值，则认为该三维点ΡαΗ确，反之则不正确，需要剔 除，在辅助摄像机像平面上通过图像匹配查找与 P1对应的真实同名像点Ρ/ ;为提高查找对 应点的速度，在匹配工作开始前首先对图像进行极线校正，使得各极线和坐标系的横轴平 行，从而使得查询对应点的过程从二维降到一维，提高了匹配速度。
[0116] (2)前方交会获取点云
[0117] 对主、辅摄像机进行标定，确定主、辅摄像机中心的位置关系，过主、辅摄像机中心 与对应摄像机上的同名像点得到两条射线，所述两条射线的交点即为同名像点在被测物体 表面上的对应三维点;根据立体像对（即主、辅摄像机拍摄的背景图片），建立同名像点的特 征点集，根据立体像对的内、外方位元素计算所述三维点的坐标，利用所述三维点的坐标替 换点云集中错误的三维点坐标。
[0118] 上述同名像点指的是在查找对应点步骤中得到的、与点云数据集中的三维点Pi对 应的位于主摄像机像平面上的同名像点pu，或位于辅助摄像机像平面上的、与pu对应的真 实同名像点P2或P2'。
[0119] 以物体表面一点P为例，从图12可知点P在主、辅摄像机上分别对应的同名像点为 pi、Pr，由于摄像机中心(、〇2 )、像点（pi、Pr )、交点P满足三点共线，过所述三点的射线的方 程表达式如下：
[0122] 式(i)中，f为摄像机焦距，（X，y)为像点坐标，（X，Y，Z)为待求三维点P的三维坐标， (xs，Ys，zs)为摄像机中心三维坐标：
为摄像机的外方位参数矩阵。
[0123] 因此可以利用主、辅摄像机像平面上的同名像点，根据式（i)可以求解出同名像点 对应的空间三维点P的坐标。
[0124] 利用空间前方交会获取的所述新的空间三维点替换掉原点云数据集中的错误点， 如此便可有效改善点云质量，更有利于后续的三维重建工作。
[0125] 本实施例将线结构光与双目视觉相结合，解决了结构光测量数据修正困难的问 题，并采用主辅摄像机设置，避免了因摄像机无法同步带来的误差问题。
[0126] 以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员 来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同 替换、改进等，均应包含在本申请的权利要求范围之内。
【主权项】
1. 一种基于线激光的Ξ维点云数据获取方法，其特征在于，包括： 步骤1，选定参考坐标系，对摄像机进行内、外参数标定； 步骤2，选择相互垂直的辅助平面Η和辅助平面V，求解在摄像机坐标系下所述辅助平面 Η和辅助平面V的平面方程； 步骤3，手持线激光器扫描被测物体，确定与被测物体对应的每个像元在摄像机拍摄的 连续视频帖序列中的灰度最大值Vmax，设定Vb = 〇XVmax作为过所述像元的激光条纹边界的 灰度值，其中0如<1; 针对与被测物体对应的每个像元分别执行下述步骤4~步骤7，W得到激光条纹右边界 分别在进入每个像元时的时刻t时所在的激光平面方程，然后执行步骤8: 步骤4,利用时间内插计算连续视频帖序列中激光条纹右边界进入每个像元时的时刻 t;其中，时刻t大于所述连续视频帖序列中第k帖对应的时刻k且小于所述连续视频帖序列 中第k+1帖对应的时刻k+1，在所述第k帖时，所述像元在第k帖的灰度值小于激光条纹右边 界灰度值，在所述第k+1帖时，所述像元的灰度值大于激光条纹右边界灰度值； 步骤5,在像平面中任取Ξ个参考行，使得所述Ξ个参考行均不与被测物体相交且与激 光条纹右边界的交点不在同一条直线上，对于所述Ξ个参考行中的每个参考行r，利用空间 线性内插求出所述参考行r分别与所述第k帖、第k+1帖中激光条纹右边界相交的交点的坐 标;其中，对于所述第k帖和第k+1帖中激光条纹右边界，在所述参考行r上均存在相邻的两 个像元曰片，如、曰^^'+1)满足曰片〇'）的灰度值大于激光条纹右边界的灰度值且曰片〇'+1)的 灰度值小于激光条纹右边界的灰度值； 步骤6,根据每个所述参考行r分别与第k帖、第k+1帖中激光条纹右边界相交的交点的 坐标，利用空间线性内插求出在所述时刻t时激光条纹右边界与每个所述参考行r相交的交 点的坐标； 步骤7,根据求出的所述时刻t时激光条纹右边界与所述Ξ个参考行在像平面上的Ξ个 交点的坐标W及所述辅助平面H、辅助平面V的平面方程，求解在摄像机坐标系下所述Ξ个 交点对应的光线束与所述辅助平面Η或辅助平面V相交的Ξ个空间点的坐标，根据所述Ξ个 空间点的坐标拟合激光条纹右边界在所述时刻t时所在的激光平面方程； 步骤8,将每个像元对应的光线束参数方程分别与激光条纹右边界在进入该像元时的 时刻t时所在的激光平面方程联立，求解每个像元对应物点在摄像机坐标系下的Ξ维坐标； 保存或输出由被测物体所有像元对应物点的Ξ维坐标构成的点云数据集。2. 根据权利要求1所述的方法，其特征在于，步骤2中，设参考坐标系为Ow-XwYwZw，辅助平 面Η与Ow-XwYw平面重叠，辅助平面Η作为水平放置被测物体的工作台所在平面;辅助平面V与 辅助平面Η垂直相交，且与Ow-ZwYw平面重叠。 3 .根据权利要求1所述的方法，其特化在于，步骤3中，取σ = 0.5 ,用灰度值Vb = 0.5 X Vmax 定位过所述像元的激光条纹边界。4.根据权利要求1所述的方法，其特征在于，步骤4中，利用时间内插计算激光条纹右边 界进入每个像元a( i，j)时的时刻t为：其中，V(i，j，k)表示第k帖中位置在像平面第i行、第j列的像元a(i，j)的灰度值。5. 根据权利要求4所述的方法，其特征在于，步骤5中，所述参考行r分别与所述第k帖、 第k+1帖中激光条纹右边界相交的交点的坐标分别为：6. 根据权利要求5所述的方法，其特征在于，步骤6中，在所述时刻t时激光条纹右边界 与每个所述参考行r相交的交点的坐标为： y=(l-(t-k)) · ji+(t-k) · J.2。 （4)7. 根据权利要求1所述的方法，其特征在于，步骤7中，设像平面上任意一点在摄像机坐 标系下的坐标为(x，y，z)，则所述点对应的光线束参数方程表示为：(5) 其中，（P，m，n)为所述点对应的光线束的方向向量。8. 根据权利要求1所述的方法，其特征在于，还包括步骤9:双目点云粗差剔除，步骤1中 的摄像机包括主、辅两台摄像机，主摄像机用于拍摄整个激光扫描过程，辅助摄像机在扫描 前拍摄一张背景图像，利用双目视觉测量原理完成点云粗差的提取与点云质量改善。9. 根据权利要求8所述的方法，其特征在于，双目点云粗差剔除包括查找对应点和前方 交会改正点云;所述查找对应点为:利用双目摄像机标定结果，将点云数据集中的每个Ξ维 点Pi反投影到主、辅摄像机的像平面上，得到位于主摄像机像平面上对应的同名像点Pil和 位于辅摄像机像平面上对应的同名像点Pi2,基于窗口匹配为原则，Wpii、pi2为原点选择(2n + l)X(2n+l)窗口进行灰度匹配，设置阔值，如果相关系数大于阔值，则认为该Ξ维点Pi正 确，反之则不正确，在辅助摄像机像平面上查找与Pil对应的真实同名像点Pi2 '；所述前方交 会改正点云的过程为:对主、辅摄像机进行标定，确定主、辅摄像机中屯、的位置关系，过主、 辅摄像机中屯、与对应摄像机上的同名像点得到两条射线，所述两条射线的交点即为同名像 点在被测物体表面上的对应Ξ维点;根据立体像对，建立同名像点的特征点集，根据立体像 对的内、外方位元素计算所述Ξ维点坐标，利用所述Ξ维点坐标替换点云数据集中错误的 Ξ维点坐标。
【文档编号】G06T7/00GK106091984SQ201610395507
【公开日】2016年11月9日
【申请日】2016年6月6日 公开号201610395507.0, CN 106091984 A, CN 106091984A, CN 201610395507, CN-A-106091984, CN106091984 A, CN106091984A, CN201610395507, CN201610395507.0
【发明人】童晓冲, 韩硕, 安子阁, 赖广陵, 范帅博, 丁璐, 汪滢
【申请人】中国人民解放军信息工程大学