全天候主动式全景感知装置及3d全景建模方法

全天候主动式全景感知装置及3d全景建模方法
【专利摘要】本发明公开了一种全天候主动式全景感知装置，包括移动体激光光源、多元输出全方位视觉传感器和微处理器；多元输出全方位视觉传感器内设有双曲面镜面和两个摄像单元；双曲面镜面的折反射光路上装有偏振分光棱镜，用于将双曲面镜面的折反射光分为含有某一个偏振成分的光和不包含有某一个偏振成分的光；两个摄像单元分别位于偏振分光棱镜的反射和透射光路上，用于分别采集仅包含有偏振光信息的第一全景视频图像和包含有光强信息的第二全景视频图像；微处理器，用于融合第一全景视频图像中的点云几何信息和第二全景视频图像中的颜色信息，并构建全景3D模型。本发明还公开了一种采用全天候主动式全景感知装置的3D全景建模方法。
【专利说明】全天候主动式全景感知装置及3D全景建模方法

【技术领域】
[0001] 本发明涉及激光光源、偏振成像、全方位视觉传感器以及计算机视觉技术在立体 视觉测量及3D绘制方面的应用，尤其涉及全天候主动式全景感知装置及采用该装置的3D 全景建模方法。

【背景技术】
[0002] 三维重建技术包括了三维测量与立体重构，是一门新兴的、极具发展潜力和实用 价值的应用技术，可被广泛应用于工业检测、地理勘测、医学整容、骨科矫形、文物复制、刑 侦取证、保安识别、机器人视觉、模具快速成型、礼品、虚拟现实、动画电影、游戏等许多应用 领域。针对具有高精度的几何信息和真实感的颜色信息的三维模型的重建，该技术成为了 在计算机视觉、人工智能、模式识别、计算机图形学和地理信息系统等领域的一个重要研究 执占。
[0003] 三维模型的重建技术主要涉及到以下三个方面的内容：1)几何的准确性；2)真实 感；3)重建过程的自动化。三维模型的重建所需要的数据主要包括激光扫描的深度图像数 据和图像传感器采集的图像数据两个方面。
[0004] 三维激光测量技术的出现和发展为空间三维信息的获取提供了全新的技术手段， 为信息数字化发展提供了必要的生存条件。随着三维激光扫描测量装置在精度、速度、易操 作性、轻便、抗干扰能力等性能方面的提升及价格方面的逐步下降，20世纪90年代，其在测 绘领域成为研究的热点，扫描对象不断扩大，应用领域不断扩展，逐步成为快速获取空间实 体三维模型的主要方式之一，许多公司都推出了不同类型的三维激光扫描测量系统。上世 纪90年代中后期，三维激光扫描仪已形成了颇具规模的产业。
[0005] 目前的三维激光扫描仪仍然有很多可改进之处，1)如精密的硬件构造，要求将 CCD技术、激光技术、精密机械传感技术等进行高质量的整合，导致了该类仪器具有昂贵的 制造成本和维护成本。2)现有的三维激光扫描技术属于面扫描成像技术，一幅扫描点云图 无法获取建筑物的全貌，尤其是建筑物内部的全貌；从不同扫描站（视角）获得的点云分别 采用其各自的局部坐标系，因此需要将它们配准到一个统一坐标系下。配准过程中存在着 多次多个坐标系之间的转换，造成了各种误差并影响计算速度和计算资源。3)点云采集过 程中会带入较多的干扰，导致了需要对点云数据进行预处理等环节。4)各厂商的三维激光 扫描仪所配置的软件中点云数据缺乏统一的数据标准，难以实现数据的共享，这点将在数 字城市建设中尤为突出。5)两种不同设备来获取空间物点的几何和色彩信息，不同设备之 间的几何和色彩信息数据配准好坏直接影响纹理映射和纹理合成的效果。6)三维建模处理 过程中需要多次人工干预，建模效率不高，这需要操作人员具有较高的专业知识，并且影响 着自动化程度。
[0006] 中国发明专利申请号为201210137201. 7公开了一种基于主动全景视觉传感器的 全方位三维建模系统，系统主要包括全方位视觉传感器、移动体激光光源以及用于对全方 位图像进行3D全景重构的微处理器，移动体激光光源完成一次垂直方向的扫描得到了在 不同高度情况下的切片点云数据，将这些数据以所述的移动体激光光源的高度值作为保存 索引，这样就能按切片点云数据产生顺序进行累加，最终构建出带有几何信息和颜色信息 的全景3D模型。但是该技术方案存在着一个问题，体激光光源所发射的投射光在室外阳光 等环境光照射下会显得较弱，使得视觉传感器难以检测到激光的投射线。这是由于这种解 决方案时根据光强的差别来区分激光投射线，但当强度差别不明显或目标背景很杂乱时， 用强度来区分激光投射线就很困难，而用光的另一个特性一偏振特性来区别激光投射线有 助于克服由于光强差太小所带来的困难。
[0007] 偏振成像是一种获取目标二维空间光强分布以及偏振特性分布的新型光电成像 技术。摄像成像、红外热像等传统光电成像是通过探测反射、辐射光强的二维空间分布来获 得图像的，其实质是二维空间强度成像；偏振成像在传统强度成像基础上增加了偏振信息 维度，不仅能获取二维空间光强分布，还能获得图像上每一点的偏振信息。在雾霾、烟尘等 恶劣环境下能提高光电探测装备的目标探测识别能力。
[0008] 由于主动成像不受气象条件、目标温度及背景照度影响等优势，可以进行全天候、 远距离探测，而且激光发射波束窄和抗干扰性好，所以激光照明偏振成像技术更为适用于 三维激光测量，尤其是激光成像偏振技术在远距离目标探测和三维测量等方面有着广泛的 应用潜力。
[0009] 针对现有的主动全景视觉传感器难以在任何环境条件中正常使用等问题，提出了 一种用激光偏振成像技术单独处理体激光光源所发射的投射光和用透视成像技术处理环 境的反射光，前者与移动体激光光源配合得到在不同高度情况下的切片点云几何数据，后 者直接从折反射镜面获取全景图像，然后解析出与点云几何数据相匹配颜色数据，最终构 建出带有几何信息和颜色信息的全景3D模型。


【发明内容】

[0010] 为了克服已有的主动三维立体全景视觉测量装置容易受到环境光的干扰、难以对 图像中测量目标的一些本质特性做出正确的理解等不足，考虑到激光偏振成像技术可以在 恶劣的环境下进行远距离的图像获取操作，在抑制背景噪声、提高探测距离、细节特征获取 等方面具有绝对优势；本发明提供一种通过全景激光偏振成像技术直接获取空间三维点的 位置几何信息、通过传统的全景摄像成像技术得到空间三维点的颜色信息，并将这两种技 术处理的结果进行信息融合，最终获取全景三维空间的光强分布数据，实现对环境的快速 测量与全景三维建模。
[0011] 要实现上述
【发明内容】
，必须要解决几个核心问题：（1)实现一种能覆盖整个重构 场景的移动体激光光源；（2)实现一种能快速获得实际物体深度信息的主动式激光偏振成 像全方位视觉传感器；（3)通过消偏振分光技术实现全方位视觉传感器和偏振成像全方位 视觉传感器的融合，使得两者具有相一致的空间坐标关系；(4)将激光偏振扫描空间数据 点的三维空间几何信息与全景图像中相应像素点的光强信息进行快速融合的方法；（5) - 种基于规则点云数据的高度自动化三维场景重建方法；（6) 3D重建过程的自动化，减少人 工干预，整个扫描、处理、生成、绘制显示过程一气呵成。
[0012] 本发明解决其技术问题所采用的技术方案是：
[0013] 一种全天候主动式全景感知装置，包括兼有光强和偏振光信息输出的偏振成像与 全景图像融合的全方位视觉传感器，下面简称为多源输出全方位视觉传感器、移动体激光 光源以及用于对全方位图像进行3D全景重构的微处理器，所述的多源输出全方位视觉传 感器的中心与所述移动体激光光源的中心配置在同一根轴心线上；
[0014] 多源输出全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、 第一摄像单元固定座、第二摄像单元固定座、第一摄像单元、第二摄像单元、偏振分光棱镜、 连接单元和上罩。双曲面镜面固定在上盖的下方，连接单元将下固定座和透明半圆形外罩 连接成一体，透明半圆形外罩与上盖以及上罩固定在一起，第一摄像单元固定在所述的第 一摄像单元固定座上，第二摄像单元固定在第二摄像单元固定座上，第一摄像单元和第二 摄像单元成正交关系固定座固定在下固定座上，偏振分光棱镜固定在所述的第一摄像单元 的光轴和第二摄像单元的光轴相交处，多源输出全方位视觉传感器中的第一摄像单元的输 出与微处理器连接，多源输出全方位视觉传感器中的第二摄像单元的输出与所述微处理器 连接。
[0015] 所述的移动体激光光源用于产生三维体结构投射光源，包括：导向支撑杆、激光发 生组合单元、底盘、直线电机移动杆、直线电机组件、线激光发生单元。
[0016] 所述的移动体激光光源的装配关系是将体激光光源套入到导向支撑杆内构成移 动副，导向支撑杆垂直固定在底盘上，直线电机组件固定在底盘上，直线电机移动杆上端与 体激光光源进行固定连接，控制直线电机组件来实现直线电机移动杆的上下移动，从而带 动体激光光源在导向支撑杆的导向作用下上下移动，形成一种移动的体激光光源。
[0017] 所述的多源输出全方位视觉传感器通过连接板安装在移动体激光光源中的导向 支撑杆上，构成一个全天候主动式全方位视觉传感器；多源输出全方位视觉传感器具有两 种不同类型的视频输出，一种是仅包含有偏振光信息的全景视频图像，另一种是包含有光 强信息的全景视频图像，两种不同类型的视频输出分别通过USB接口与所述的微处理器相 连接。
[0018] 微处理器的应用软件中主要由标定和3D重构二个部分组成，标定部分主要包括： 视频图像读取模块、多源输出全方位视觉传感器标定模块、全方位面激光信息解析模块、联 合标定模块；3D重构部分主要包括：视频图像读取模块、移动体激光光源的直线电机的位 置估计模块、全方位面激光信息解析模块、移动面的点云几何信息的计算模块，点云的几何 信息和颜色信息的融合模块，以移动面的位置信息构建全景3D模型构建模块，3D全景模型 生成模块和存储单元。
[0019] 激光发生组合单元上共开有12个孔，其中每4个孔为一组，分别产生3个不同平 面的激光，即仰角平面组、正交平面组和俯角平面组；正交平面组中的4个线激光发生单元 安装孔的轴心线分别与所述的激光发生组合单元的圆柱体的轴心线成正交关系；仰角平面 组中的4个线激光发生单元安装孔的轴心线分别与激光发生组合单元的圆柱体的轴心线 成倾斜e。关系；俯角平面组中的4个线激光发生单元安装孔的轴心线分别与所述的激光 发生组合单元的圆柱体的轴心线成倾斜ea关系；这12个孔在激光发生组合单元的圆柱体 的圆周方向上成90°夹角均匀分布，这样保证了 12个孔的轴心线相交于激光发生组合单 元的圆柱体的轴心线上的同一点上。
[0020] 所述的视频图像读取模块，分别用于读取多源输出全方位视觉传感器中的第一摄 像单元中成像的不包含有某一个偏振成分的全景视频图像，即光强全景视频图像和读取第 二摄像单元中成像的包含有某一个偏振成分的全景视频图像，即偏振全景图像，并保存在 存储单元中，其输出与多源输出全方位视觉传感器标定模块和全方位面激光信息解析模块 连接。
[0021] 所述的全方位面激光信息解析模块，用于在偏振全景图像上解析出激光投影信 息，产生点云信息；全方位面激光信息解析方法是基于帧间差的激光投射点提取算法，该算 法是一种通过对两个相邻位置高度所获得的偏振全景切片图像作差分运算来获得激光投 射点的方法，当移动激光面在上下扫描过程中，帧与帧之间在垂直方向，即不同的切面上会 出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分 析提取切片偏振全景图像中的激光投射点；然后根据在偏振全景图像上出现激光投射的顺 序来判定在某一方位角P上的3个不同投射角发射的激光，从而得到在切片偏振全景图像 上的以偏振全景图像为极坐标中心的各激光投射点坐标值；各激光投射点坐标值作为输出 与移动面的点云几何信息的计算模块连接。
[0022] 移动体激光光源的直线电机的位置估计模块，用于估计估算移动体激光光源的当 前位置；规定在重构开始时将移动体激光光源的初始位置定在上极限位置hup lim it，初始步 长控制值\_(」）=〇,相邻两帧时间移动体激光光源的移动步长为Az，即存在着以下关 系，
[0023] Z_e(j+1) = z画e(j) + Az (5)
[0024] 式中，2_山_)为第」帧时步长控制值，2_力+1)为第」+1帧时步长控制值，八 2为 移动体激光光源的移动步长，这里规定从上极限位置huplimit向下方向移动时，Az = Imm; 从下极限位置hd_ lim it向上方向移动时，Az = -Imm ;程序实现时通过以下关系式进行判 断，

【权利要求】
1. 一种全天候主动式全景感知装置，包括：产生三维体结构投射光源的移动体激光光 源，采集移动体激光光源投影全方位图像的多元输出全方位视觉传感器，以及用于对全方 位图像进行3D全景重构的微处理器；其特征在于： 所述的多元输出全方位视觉传感器内设有双曲面镜面、第一摄像单元和第二摄像单 元；所述双曲面镜面的折反射光路上装有偏振分光棱镜，用于将双曲面镜面的折反射光分 为含有某一个偏振成分的光和不包含有某一个偏振成分的光；所述的第一摄像单兀和第二 摄像单元分别位于偏振分光棱镜的反射和透射光路上，分别用于采集仅包含有偏振光信息 的第一全景视频图像和包含有光强信息的第二全景视频图像； 所述的微处理器，用于将第一全景视频图像中的点云几何信息与第二全景视频图像中 的颜色信息进行融合，并构建全景3D模型。
2. 如权利要求1所述的全天候主动式全景感知装置，其特征在于，所述的移动体激光 光源包括沿导向支撑杆上下移动的体激光光源，该体激光光源具有垂直导向支撑杆的第一 线激光发生单元、与导向支撑杆的轴心线成e。倾斜的第二线激光发生单元以及与导向支 撑杆的轴心线成03倾斜的第三线激光发生单元； 三个线激光发生单元的发射光波长与偏振分光棱镜的s偏光的波长一致； 所述的第一线激光发生单元、第二线激光发生单元和第三线激光发生单元分别产生3 个不同平面的激光，分别为正交平面组、仰角平面组和俯角平面组。
3. 如权利要求2所述的全天候主动式全景感知装置，其特征在于，所述的偏振分光棱 镜由一对直角棱镜胶合而成，其中一个直角棱镜的斜边上镀有偏振分光介质膜。
4. 如权利要求3所述的全天候主动式全景感知装置，其特征在于，所述的微处理器分 为标定部分和3D重构部分； 所述的标定部分包括： 多源输出全方位视觉传感器标定模块，用于确定三维空间点和摄像单元成像平面上的 二维图像点之间映射关系的参数； 全方位面激光信息解析模块，用于在偏振成像的第一全景视频图像中解析出第一线激 光发生单元、第二线激光发生单元和第三线激光发生单元对应的激光投影信息； 所述的3D重构部分包括： 移动体激光光源位置估计模块，用于计算体激光光源上的当前位置； 移动面的点云几何信息计算模块，用于根据所述的激光投影信息计算移动面的点云几 何信息； 点云的几何信息和颜色信息融合模块，在第二全景视频图像读取点云几何信息相关像 素点的颜色信息，并将点云几何信息和颜色信息进行融合； 全景3D模型构建模块，根据移动体激光光源的位置，以及融合后的点云几何信息和颜 色信息，构建全景3D模型。
5. -种采用权利要求1?4任一项全天候主动式全景感知装置的3D全景建模方法，其 特征在于，包括： 1)采用多元输出全方位视觉传感器拍摄移动体激光光源投射形成的全景图像，该全 景图像包括包含有偏振光信息的第一全景视频图像和包含有光强信息的第二全景视频图 像； 2) 根据所述的第一全景视频图像，确定多元输出全方位视觉传感器的标定参数，并解 析出第一线激光发生单元、第二线激光发生单元和第三线激光发生单元对应的激光投影信 息； 3) 根据移动体激光光源的位置，以及所述激光投影信息的相关像素坐标值，计算移动 面的点云几何信息，并在第二全景视频图像中读取点云几何信息相关像素点的颜色信息， 将移动面的点云几何信息和颜色信息进行融合，构建全景3D模型。
6. 如权利要求5所述的3D全景建模方法，其特征在于，在步骤2)中，所述激光投影信 息的解析方法如下： 通过对两个相邻位置高度所获得的偏振全景切片图像作差分运算来获得激光投射点， 当移动激光面在上下扫描过程中，帧与帧之间在垂直方向，即不同的切面上会出现较为明 显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析提取切片 偏振全景图像中的激光投射点，然后根据在偏振全景图像上出现激光投射的顺序来判定在 某一方位角0上的3个不同投射角发射的激光，从而得到在切片偏振全景图像上的以偏振 全景图像为极坐标中心的各激光投射点坐标值。
7. 如权利要求6所述的3D全景建模方法，其特征在于，根据所述的各激光投射点坐标 值和标定参数，用公式（7)、（8)、（9)计算在某一切片激光偏振全景图像上的仰角平面组、 正交平面组和俯角平面组激光投射点的用高斯坐标表示的三维空间位置信息，即点云数据 (R，a，3 );
式中，)a为俯角平面组的激光投影点云到多元输出全方位视觉传感器的单视点Om 的方位角，)b为正交平面组激光投影点云到多元输出全方位视觉传感器的单视点〇m的 方位角，)。为仰角平面组激光投影点云到多元输出全方位视觉传感器的单视点〇 m的方 位角，％为俯角平面组的激光投射线与Z轴之间的夹角，0。为仰角平面组激光投射线与Z 轴之间的夹角，h(z)为移动体激光光源到多元输出全方位视觉传感器的单视点Om的距离， aa为俯角平面组的激光投影点云到多元输出全方位视觉传感器的单视点〇m的入射角，ab 为正交平面组激光投影点云到多元输出全方位视觉传感器的单视点〇m的入射角，a。为仰 角平面组激光投影点云到多元输出全方位视觉传感器的单视点〇m的入射角，Ra为俯角平面 组的激光投影点云到多元输出全方位视觉传感器的单视点〇m的距离，Rb为正交平面组激光 投影点云到多元输出全方位视觉传感器的单视点〇m的距离，R。为仰角平面组激光投影点云 到多元输出全方位视觉传感器的单视点化的距离，I|u"| | (P)a为俯角平面组的激光投影 点在成像平面上的对应点到全景成像平面中心之间的距离，I|u〃| | (P)bS正交平面组激 光投影点在成像平面上的对应点到全景成像平面中心之间的距离，I|u〃| | (0)。为仰角平 面组激光投影点在成像平面上的对应点到全景成像平面中心之间的距离，为标定的多 源输出全方位视觉传感器的内外参数。
8. 如权利要求7所述的3D全景建模方法，其特征在于，所述的点云几何信息和颜色信 息具体融合算法为： Step①：设置初始方位角0 = 0 ; St印②：根据方位角0和在激光偏振全景图像上与点云数据相对应的| |u〃| | (@)a、 |u〃| | (运八和| |u〃| | (0)。三个点的信息，读取光强全景图像上的相关像素点的（r，g，b) 颜色数据，与相对应的（R，a，0)进行融合，得到相对应的点云几何信息和颜色信息 (R,a, ^ ,r,g,b)； Step③：P-P+A@，AP=0. 36,判断P= 360是否成立，如果成立结束计算，否 则转到Step②。
9. 如权利要求8所述的3D全景建模方法，其特征在于，在构建全景3D模型时，移动体 激光光源在扫描过程中每一移动步长都产生在某一个高度情况下的切片点云数据，该切片 点云数据以移动体激光光源的高度值作为保存索引，按切片点云数据产生顺序进行累加， 并根据仰角平面组、正交平面组和俯角平面组激光扫描形成以移动体激光光源的移动距离 和移动步长Ah的比行数、以遍历切片激光偏振全景图像的360°和遍历方位角步长A3的比为列数的3个有序规则的全景点云数据矩阵；最后对这3个有序规则的全景点云 数据矩阵以仰角平面组、正交平面组和俯角平面组顺序进行叠加最终形成1个有序规则的 全景点云数据矩阵。
10. 如权利要求5所述的3D全景建模方法，其特征在于，所述的移动体激光光源中仰角 平面组的仰角9。与多源输出全方位视觉传感器的最大仰角a。_之间差的绝对值小于阈 值T= 2。。
【文档编号】G01B11/25GK104406539SQ201410675115
【公开日】2015年3月11日 申请日期:2014年11月21日 优先权日:2014年11月21日
【发明者】汤一平, 韩国栋, 王伟羊, 鲁少辉, 吴挺, 陈麒, 韩旺明, 胡克钢 申请人:浙江工业大学