一种基于全向结构光的大视场深度测量系统及方法
【专利摘要】一种基于全向结构光的大视场深度测量系统及方法，该系统包括摄像机、双曲面反射镜、至少4个投影仪、三轴移动平台和计算机；投影仪和摄像机均固定放置在三轴移动平台上，且投影仪围绕摄像机均匀分布布置；三轴移动平台可以沿x、y、z三个轴进行移动；投影仪投射的编码结构光照射在被测场景目标物上，经过双曲面反射镜反射后进入摄像机成像；所成图像由计算机进行采集并进行处理获得场景深度信息；采用双曲面镜反射成像，扩大了摄像机的视场范围，与结构光视觉测量相结合，实现了宽视场的视觉三维感知测量；系统结构简单，实用性强，摄像机与投影仪无需精确对准即能完成测量任务；采用平面白板完成摄像机与投影仪标定，操作简单，标定精度较高。
【专利说明】一种基于全向结构光的大视场深度测量系统及方法
【技术领域】
[0001] 本发明属于测量【技术领域】，具体涉及一种基于全向结构光的大视场深度测量系统 及方法。
【背景技术】
[0002] 立体视觉是机器视觉（robotvision)领域的关键技术，即由同一场景的两幅或多 幅观测图像出发获取目标物三维信息的一种方法。立体视觉的目的是根据所测的图像信 息，建立被观测景物的三维模型。心理学上的视觉感知使我们得知二维图像本身蕴含着丰 富的三维信息，其中最重要的就是深度信息，因此深度感知与测量是立体视觉的研究基础。 它主要研究如何利用机器视觉系统模拟、延伸和扩展人的视觉感知能力，使机器人能在视 觉系统引导下有效的与周围环境产生作用。
[0003] 传统的深度测量技术分为被动式和主动式两种。被动式深度测量技术是指视觉系 统接受来自场景发射或反射的光能量，然后摄像机捕获图像，在这些图像的基础上恢复场 景的深度。而主动式深度测量技术有专门的光源装置，由光源装置向场景发射能量，然后由 摄像机捕获图像，根据系统的几何关系恢复场景深度。
[0004] 被动式深度测量技术中具有代表性的就是双目立体视觉技术，其基本原理就是利 用位置不同的两台或者一台摄像机经过移动或旋转拍摄同一副场景，通过计算空间点在两 幅图像中的视差，来获得该点的深度信息。双目立体视觉技术理论基础强，方法可靠。但是 它需要解决不同摄像机捕获的图像之间像素的匹配难题。
[0005] 为了解决双目立体视觉技术对应点匹配的难题，结构光技术被提出。结构光技术 用一个光源装置代替双目视觉中的一个摄像机。用光源装置向场景中投射已知图案，用摄 像机捕获图案，根据系统几何关系和三角测量原理获得待测目标物的深度。结构光技术是 一种主动式深度测量技术，由于此技术使用已知图案对空间待测目标物进行标记，因此很 好的解决了对应点匹配的难题。同时结构光技术还具有成像系统结构紧凑，深度测量准确 的优点。但是当前的结构光技术普遍所获视场较小，一次拍摄只能获得空间中零散的信息， 无法对场景有一个全面的感知，限制了此技术的应用和发展。
[0006] 投影仪为一种常见的光源装置，由于其不是图像捕捉装置，其标定的难点是获取 目标特征点的图像坐标。根据获取坐标的方式，投影仪标定方法通常有三类：（1)获得标定 物上特征点的世界坐标，运用相位技术求出其图像坐标。这类方法需要多次投射正弦光栅， 并且图像坐标的精度依赖于绝对相位展开的精度；（2)同样先测得标定物上特征点的世界 坐标，然后将特定的结构光图案投射到标定物上，运用交比不变性换算出投影图案特征点 在图像坐标下的坐标。这类方法需要分别将用于相机标定和投影仪标定的图案区分开来， 还需要做直线拟合和灰度插值；（3)获得投影图案特征点的图像坐标，利用已标定相机模 型的参数，反向投影求解其世界坐标。为了达到将相机标定和投影仪标定的图案区分开来 的目的，此类方法通常需要特殊设计的标定板。
【发明内容】
：
[0007] 针对现有技术中存在的不足，本发明提出一种基于全向结构光的大视场深度测量 系统及方法，将全向图和结构光结合起来，既利用全景成像大视场特点，又利用主动视觉优 势进行深度信息提取，在获得大视场的同时，还可以获得周围场景的深度信息，进而实现三 维重建。
[0008] 本发明的技术方案是这样实现的：
[0009] 1.-种基于全向结构光的大视场深度测量系统，该系统包括全景摄像机、结构光 投射单元、三轴移动平台和计算机；
[0010] 所述全景摄像机包括摄像机和双曲面反射镜；所述双曲面反射镜倒立放直在摄像 机的正上方；
[0011] 所述结构光投射单元，包括至少4个投影仪，即第一投影仪、第二投影仪、第三投 影仪和第四投影仪；
[0012] 所述结构光投射单元和摄像机均固定放置在三轴移动平台的台面上，且第一投影 仪、第二投影仪、第三投影仪和第四投影仪围绕摄像机均匀分布布置；
[0013] 所述三轴移动平台可以沿X、y、Z三个轴进行移动；
[0014] 所述第一投影仪、第二投影仪、第三投影仪和第四投影仪投射的编码结构光照射 在被测场景目标物表面上，被结构光照射的被测场景目标物的光线经过双曲面反射镜反射 后进入摄像机成像；所成图像由计算机进行采集，并由计算机对采集图像进行处理获得场 景深度信息。
[0015] 采用所述的基于全向结构光的大视场深度测量系统进行场景深度测量的方法，实 施过程分为标定阶段和测量阶段，进行一次标定即可连续测量，包括如下步骤：
[0016]A、标定阶段：
[0017]A. 1.调整摄像机和双曲面反射镜的相对位置，使二者的轴心在一条直线上，并尽 量使得摄像机设置在双曲面反射镜的第二焦点位置上，使全景摄像机具有单视点特性；调 整摄像机镜头焦距，保证在双曲面反射镜四周的反射光路方向上距离摄像机50?400cm范 围内的目标物所成图像较为清晰；
[0018]A. 2.标定全景摄像机的参数，具体步骤如下：
[0019]A. 2. 1:在全景摄像机的视场范围内，首先利用格子尺寸为30mmX30mm的7X9的 棋盘格标定模板，拍摄一幅1024X768像素的图像；自由移动该棋盘格标定模板7次，每移 动一次拍摄一幅1024X768像素的图像，最终通过全景摄像机捕捉到8幅不同位置的该标 定模板的图像，这8幅图像都称为全景摄像机的待标定图像；
[0020] A. 2. 2:对全景摄像机的每幅待标定图像进行角点（棋盘格角点）提取；
[0021]A. 2. 3:利用步骤A. 2. 2所提取的所有角点的图像坐标来标定全景摄像机的内部 参数，包括全向图中心坐标Ud、Vc!以及仿射变换参数kpk2、k3 ;
[0022] A. 2. 4:根据步骤A. 2. 3的标定结果，确定被测目标物表面反射到全景摄像机的光 线方程；
[0023]A. 3:对投影仪分别进行标定；
[0024] 采用至少两个深度已知的参考面对投影仪进行标定，进行一次标定即可连续测 量，具体方法如下：
[0025] 垂直于世界坐标系的X轴，在待标定投影仪正前方设置第一参考面或者第二参考 面，参考面的深度应保证结构光投射到摄像机视场范围内且所成图像较为清晰；所述参考 面的深度为参考面到摄像机的距离；
[0026] 假设投影仪的投射光线为Q，被测目标物表面目标点为0,与Q对应的全景摄像机 捕捉的被测目标物表面目标点的光线为Lx，对投影仪的标定，就是要计算出射线Q的方程， 具体步骤如下：
[0027] 1).打开投影仪，使待标定投影仪投射出的编码结构光照射到深度为屯的第一参 考面上，由全景摄像机捕捉到第一参考面的图像；假设第一参考面上的点^反射到全景摄 像机的反射光线为，根据全景摄像机的标定结果所得到的图像坐标得到光线L的方向 向量为（XpypZi)，又根据、经过双曲面反射镜第一焦点即世界坐标系的原点（0,0,0)，得 出的参数方程为：
【权利要求】
1. 一种基于全向结构光的大视场深度测量系统，其特征在于：该系统包括全景摄像机 (1)、结构光投射单元、三轴移动平台（8)和计算机； 所述全景摄像机包括摄像机（2)和双曲面反射镜（3);所述双曲面反射镜（3)倒立放 置在摄像机（2)的正上方； 所述结构光投射单元，包括至少4个投影仪，即第一投影仪（4)、第二投影仪（5)、第三 投影仪（6)和第四投影仪（7); 所述结构光投射单元和摄像机（2)均固定放置在三轴移动平台（8)的台面上，且第一 投影仪（4)、第二投影仪（5)、第三投影仪（6)和第四投影仪（7)围绕摄像机（2)均匀分布 布置； 所述三轴移动平台（8)可以沿x、y、z三个轴进行移动； 所述4个投影仪投射的编码结构光照射在被测场景目标物表面上，被结构光照射的被 测场景目标物的光线经过双曲面反射镜（3)反射后进入摄像机（2)成像；所成图像由计算 机进行采集，并由计算机对采集图像进行处理获得场景深度信息。
2. 根据权利要求1所述的基于全向结构光的大视场深度测量系统，其特征在于：双曲 面反射镜（3)可以把水平方向360度范围内目标物的光线反射到摄像机（2)，从而使得摄像 机（2)在一次拍摄中获得远大于普通摄像机视野范围的图像，即全向图。
3. 采用权利要求1所述的基于全向结构光的大视场深度测量系统进行场景深度测量 的方法，实施过程分为标定阶段和测量阶段，进行一次标定即可连续测量，其特征在于：包 括如下步骤： A、标定阶段： A. 1 :调整摄像机（2)和双曲面反射镜（3)的相对位置，使二者的轴心在一条直线上，并 尽量使得摄像机（2)设置在双曲面反射镜（3)的第二焦点位置上；调整摄像机镜头焦距，保 证在双曲面反射镜四周的反射光路方向上距离摄像机50?400cm范围内的目标物所成图 像较为清晰； A. 2 :标定全景摄像机的参数； A. 3 :对投影仪进行标定； 采用至少两个深度已知的参考面对投影仪进行标定，进行一次标定即可连续测量，具 体方法如下： 垂直于世界坐标系的X轴，在待标定投影仪正前方已知深度处设置第一参考面或者第 二参考面，参考面的深度应保证结构光投射到摄像机视场范围内且所成图像较为清晰；所 述参考面的深度为参考面到摄像机的距离； 假设投影仪的投射光线为k，被测目标物表面目标点为0,与Q对应的全景摄像机捕捉 的被测目标物表面目标点的光线为Lx，对投影仪的标定，就是要计算出射线Q的方程，具体 步骤如下： 1).打开投影仪，使待标定投影仪投射出的编码结构光照射到深度为屯的第一参考面 上，由全景摄像机捕捉到第一参考面的图像；假设第一参考面上的点^反射到全景摄像机 的反射光线为，根据全景摄像机的标定结果所得到的图像坐标得到光线L的方向向量 为（Xl，yi，Zl)，又根据L经过双曲面反射镜第一焦点即世界坐标系的原点（0, 0, 0)，得出L 的参数方程为：
其中t为任意非零变量； 由第一参考面的平面方程为xidi，可求出巧在世界坐标系下的坐标为
2) .使待标定投影仪投射出的编码结构光照射到深度为d2的第二参考面上，由全景摄 像机捕捉到第二参考面的图像，利用相应的结构光解码方法，分别计算第一参考面图像与 第二参考面图像中各个编码图案的码值，并根据单位位置上编码图案的唯一性原则确定^ 在第二参考面图像上的对应点r2，假设点r2反射到全景摄像机的反射光线为L&，根据全景 摄像机的标定结果所得到的图像坐标得到与之对应的光线L&的方向向量为（x2,y2,z2)，1。2 的参数方程为：
由第二参考面的平面方程x=d2,可求出r2在世界坐标系下的坐标为
3) .根据特征点^、特征点r2在世界坐标系下的坐标，计算得到投影仪射出的投射光线 Q的方程，完成投影仪的标定； B.测量阶段 B. 1:将权利要求1所述的基于全向结构光的大视场深度测量系统放置在待测场景中， 打开4个投影仪（4)、（5)、（6)和（7)，向场景内的被测目标物投射编码结构光，全景摄像机 拍摄一幅图像，称为待测图像；将结构光编码图案的特征点所覆盖的被测目标物表面位置 称为目标点； B. 2:计算被测目标物表面目标点的深度。
4. 根据权利要求3所述的基于全向结构光的大视场深度测量系统进行场景深度测量 的方法，其特征在于：所述的步骤A. 2中标定全景摄像机的参数，包括如下步骤： A. 2. 1:在全景摄像机的视场范围内，首先利用格子尺寸为30mmX30mm的7X9的棋盘 格标定I旲板，拍摄一幅1024X 768像素的图像；自由移动该棋盘格标定|旲板7次，每移动一 次拍摄一幅1024X768像素的图像，最终通过全景摄像机捕捉到8幅不同位置的该标定模 板的图像，这8幅图像都称为全景摄像机的待标定图像； A. 2. 2:对全景摄像机的每幅待标定图像进行角点提取； A. 2. 3:利用步骤A. 2. 2所提取的所有角点的图像坐标来标定全景摄像机的内部参数； A. 2. 4:根据步骤A. 2. 3的标定结果，确定被测目标物表面反射到全景摄像机的光线方 程。
5. 根据权利要求3所述的基于全向结构光的大视场深度测量系统进行场景深度测量 的方法，其特征在于：所述步骤A. 2. 3中的全景摄像机的内部参数，包括全向图中心坐标 U。、V。以及仿射变换参数kpk2、k3。
6. 根据权利要求3所述的基于全向结构光的大视场深度测量系统进行场景深度测量 的方法，其特征在于：所述的步骤B. 2中计算被测目标物表面目标点的深度的方法为： B. 2. 1 :计算待测图像与结构光编码图案的对应点； B. 2. 2 :根据全景摄像机标定结果，确定被测目标物表面目标点〇反射到全景摄像机的 光线Lx方程； B. 2. 3 :根据异面直线的判定定理判断投射到被测目标物上的光线Q与对应的全景摄 像机捕捉的被测目标物表面目标点〇的光线Lx是否共面，是，则计算出这两条直线交点的 世界坐标，从而得到被测目标物表面目标点的深度，否，则执行步骤B. 2. 4 ; B. 2. 4 :平移Q使其与Lx相交于点Si;通过点Si建立Q与Lx形成的平面的垂线，该垂 线与Q交于点S2 ;连接Si与S2得到Q与Lx的公垂线段，计算该公垂线段的中点M的世界 坐标，从而得到被测目标物表面目标点的深度； B. 2. 5 :利用ICP算法进行深度点云匹配，从而获得更大场景中被测目标物的深度信 肩、。
7. 根据权利要求3所述的基于全向结构光的大视场深度测量系统进行场景深度测量 的方法，其特征在于：所述的步骤B. 2. 1中计算待测图像与结构光编码图案的对应点的方 法为： 根据所采用结构光的编码图案，利用相应的编解码方法，分别计算待测图像上结构光 编码图案的码值与投射的结构光编码图案的码值，并根据单位位置上基元图案的唯一性原 贝_定待测图像上目标点与结构光编码图案上的对应点。
8. 根据权利要求3所述的基于全向结构光的大视场深度测量系统进行场景深度测量 的方法，其特征在于：所述的步骤B. 2. 5中利用ICP算法进行深度点云匹配的方法为：通过 控制三轴移动平台（8)的移动方向与移动距离，预先确定出ICP算法的初始旋转矩阵和初 始平移向量，从而得到连续拍摄两幅图像的初始对应点集；利用ICP算法的迭代计算得到 匹配后的点云信息，从而获得更大场景中被测目标物的深度信息。
【文档编号】G06T7/00GK104408732SQ201410753433
【公开日】2015年3月11日 申请日期:2014年12月10日 优先权日:2014年12月10日
【发明者】贾同, 王炳楠, 高海红, 孟海秀, 张 浩, 吴景状 申请人:东北大学