基于格雷码结构光与极线约束的三维点云获取方法
【技术领域】
[0001] 本发明属于图像信息处理领域，涉及三维点云获取方法，尤其涉及基于格雷码结 构光与极线约束的三维点云获取方法。
【背景技术】
[0002] 三维重建一直是计算机视觉领域中的热门课题。针对不同应用背景，人们提出了 一系列三维重建方法。在众多方法中，光学三维测量方法因为其"非接触"与"全场"的特 点，应用最为最广泛。而双目立体视觉法和结构光法又是其中两种在工程实践中最常用到 的光学三维重构方法。
[0003] 双目立体视觉法用不同地点的两台摄像机取得同一场景的两幅视差图像，通过对 同一物点在两幅图像上的两个像点的匹配和检测，得到该物点的三维坐标信息。其优点是 原理简单，但计算过程中需要通过稠密匹配算法在两幅图像中寻找对应点，效率不高且精 度有限。
[0004] 编码结构光法则利用结构光投影的几何信息来求得物体表面的三维信息。为了区 分出投影在物体表面上的每一条纹的序数，对条纹进行编码，依次将编码条纹投射到物体 表面，在物体上形成图案并由摄像机摄取，然后根据三角法和设备结构参数进行计算，得到 物体表面的三维坐标值。其优点是量程大、精度高、速度快，但需要进行投影仪与摄像机的 联合标定，且一旦若摄像机与投影仪的相对位置发生了改变，就需要重新进行标定，过程繁 琐且灵活性较差。
【发明内容】
[0005] 本发明综合利用双目立体视觉法和编码结构光法的原理，提出了一种基于格雷码 结构光与极线约束的三维点云获取方法。将对极约束和编码条纹约束两种对应点匹配的约 束条件进行叠加，将点匹配的搜索范围缩小到一维，简化了两视图图像的匹配问题，同时保 证了匹配的准确度。该方法不需要利用摄像机与投影仪的相对位置计算物点深度，因此绕 过了投影仪标定与摄像机的联合标定问题，更加便捷地实现了三维点云的获取。
[0006] 具体地，本发明采用的技术方案是：
[0007] -种基于格雷码结构光与极线约束的三维点云获取方法，其特征在于包括以下步 骤：
[0008] SI.同步标定双摄像机，获得两摄像机的内外参数矩阵；
[0009] S2.在Sl中得到摄像机内外参数矩阵基础上建立两摄像机视图之间的极线约束， 将对应点的搜索范围缩减到一维；
[0010] S3.将格雷码编码条纹以此投影到待测物体表面并采集图像，再从中提取编码信 息；
[0011] S4.利用在S2和S3中建立的点匹配约束条件得到两视图中对应点的匹配关系；
[0012] S5.利用在S4中建立的点匹配关系计算物体表面的三维点云。
[0013] 进一步地，所述步骤SI的具体方法包括：
[0014] 摄像机成像模型的建立基于三个抽象的坐标系分别为世界坐标系（W)，摄像机坐 标系（C)和图像坐标系（I)，摄像机成像中与摄像机自身性能参数相关的部分用内参数矩 阵K描述，与成像环境相关的部分用外参数矩阵P描述；
[0015] 摄像机的内参数矩阵K为：
【主权项】
1. 一种基于格雷码结构光与极线约束的三维点云获取方法，其特征在于包括以下步 骤：
51. 同步标定双摄像机，获得两摄像机的内外参数矩阵；
52. 在Sl中得到摄像机内外参数矩阵基础上建立两摄像机视图之间的极线约束，将对 应点的搜索范围缩减到一维；
53. 将格雷码编码条纹以此投影到待测物体表面并采集图像，再从中提取编码信息；
54. 利用在S2和S3中建立的点匹配约束条件得到两视图中对应点的匹配关系；
55. 利用在S4中建立的点匹配关系计算物体表面的三维点云。
2. 根据权利要求1所述的基于格雷码结构光与极线约束的三维点云获取方法，其特征 在于：所述步骤Sl的具体方法包括： 摄像机成像模型的建立基于三个抽象的坐标系分别为世界坐标系（W)，摄像机坐标系 (C)和图像坐标系（I)，摄像机成像中与摄像机自身性能参数相关的部分用内参数矩阵K描 述，与成像环境相关的部分用外参数矩阵P描述； 摄像机的内参数矩阵K为：
其中，α、β是像素单位表示焦距，Θ是图像坐标系两坐标轴的夹角，U(1和V(1表示光 轴与图像的交点位置； 摄像机的外参数矩阵P为：
其中13为单位正交矩阵，表示三维坐标系之间的旋转变换，(m)与(^Λ) 分别表示世界坐标系和摄像机坐标系的三个基向量，T为平移向量，表示摄像机坐标系与世 界坐标系之间的平移； 摄像机内、外参数矩阵的乘积即为摄像机的投影矩阵M，M由5个内参数 (α，β，U(l，Vtl, Θ )和6个外参数表达，其中：5个内参数中α与β分别表示水平和竖直方 向的等效焦距，（? Vtl)为光学图像中心坐标，Θ为图像坐标系两坐标轴的夹角，6个外参数 中3个外参数表示平移T，另外3个表示旋转矩阵fi?的3个自由度；
其中A，r2,1*3分别表示J 的三行； 拍摄多幅标定参考图像，输入对应参考特征点世界坐标和图像坐标，解算得到摄像机 内参数矩阵K和外参数矩阵P ;双摄像机同时标定需要保证两摄像机视图中所识别的特征 点能够匹配，即确定左、右摄像机视图中对应同一物点的特征点对；若采用标准棋盘格进行 标定，可根据棋盘格中各角点空间次序的不变性实现两视图中特征点的匹配。
3. 根据权利要求2所述的基于格雷码结构光与极线约束的三维点云获取方法，其特征 在于：所述步骤S2的具体方法包括： 给定空间中一点P，PjR P 分别是点P在左右两摄像机坐标系中的坐标；选择左摄像 机坐标系为基准坐标系，则右摄像机光心的坐标为T，由坐标变换关系可知： P1= RPr+T 其中，R为左右摄像机坐标系之间的旋转矩阵，上式经变换得到：
(Pr)T 〇?Ts、Pi = 〇 其中，* 记E = RtS为本征矩阵，贝IJ有： (Pr)1EP1= O 设P1, 别为P P 在各自摄像机的图像坐标系中的齐次坐标，则有： [Pl=^i(ZlPl) \pr=Y,；\zrPr) 其中，1^与K 别为左、右两摄像机的内参数矩阵，z p %为未知常数，综合上述两式 有： (zrPr) ^Kr-O1E K ^1(Z1P1) = 0 消去Z1, Zr得： (Pr) T(K^1)tEK1-1P1= 0 记F= (K^1)tEK14为基础矩阵，则有： (Pr)1Fp1= 0 以左摄像机视图为主视图，算出对应左摄像机视图上任意像素点P1的外极线方程 (a, b，c) · pr= 0 的系数 a，b，c : I = Fp1= (a, b, c) τ 点应的极线方程ax+by+c = 0已知，即建立了相应的对极约束。
4. 根据权利要求3所述的基于格雷码结构光与极线约束的三维点云获取方法，其特征 在于：所述步骤S3的具体方法包括： 设图像像素宽度为W，对于第k幅格雷码条纹编码图像，横坐标为w的点的灰度值Gtw 应为：
其中，W为编码图像宽度；保持被测物体静止，依次将根据上式绘制出的编码条纹图案 投射到被测物体表面，并由左、右两摄像机进行摄取，然后对附加编码信息的图像明暗部分 进行二值化处理； 每一幅时序编码图像提供一比特码值信息，设白色为1，黑色为0,时序较小编码图像 对应的码值置于最终编码的高位，时序较大编码图像对应的码值置于最终编码的低位；对 某一摄像机视图的一组编码图像上所有点进行解码处理后，即得到该摄像机视图内各点的 编码值，且任意一点的编码值唯一确定了该点所属的条纹。
5. 根据权利要求4所述的基于格雷码结构光与极线约束的三维点云获取方法，其特征 在于：所述步骤S4的具体方法包括： 对于左摄像机视图中任意一点P1，由于摄像机左右分布，其外极线的方向是横向的，而 使用的结构光编码条纹是纵向的，二者相交得到一个交点IV 口^便是P i在右摄像机视图中 的对应点。
6. 根据权利要求5所述的基于格雷码结构光与极线约束的三维点云获取方法，其特征 在于：所述步骤S5的具体方法包括： 根据摄像机内参数矩阵K的定义，有：
其中，Z1, Z1?为未知常数，上式等价于：
式可写为：
上式是一个过约束的方程组，有4个关于P1的三个坐标分量的独立线性等式；利用最 小二乘法求解这个方程得到P1的三维坐标；对左摄像机视图所有采样点完成求解即得到物 体表面的三维点云。
【专利摘要】本发明基于双目立体视觉法和编码结构光法的原理，提出了一种基于格雷码结构光与极线约束的三维点云获取方法，其将对极约束和编码条纹约束两种对应点匹配的约束条件进行叠加，将点匹配的搜索范围缩小到一维，简化了两视图图像的匹配问题，同时保证了匹配的准确度。该方法不需要利用摄像机与投影仪的相对位置计算物点深度，因此绕过了投影仪标定与摄像机的联合标定问题，更加便捷地实现了三维点云的获取。
【IPC分类】G06T7-00
【公开号】CN104835158
【申请号】CN201510222288
【发明人】赖世铭, 李靖, 刘煜, 熊志辉, 张政
【申请人】中国人民解放军国防科学技术大学
【公开日】2015年8月12日
【申请日】2015年5月5日