一种三维环境信息采集与重构系统及方法
【专利摘要】本发明公开了一种三维环境信息采集与重构系统及方法，它包括二维激光测距仪、全景相机、旋转平台、机载处理器、电源、底座、导线滑轨、信号采集器、电机、减速齿轮组、全景相机支撑架、连杆；底座上设有连杆、机载处理器、电源，在连杆上从下到上顺次套有减速齿轮组、导线滑轨、旋转平台，连杆顶部从下到上顺次设有全景相机支撑架、全景相机，旋转平台下表面固定有信号采集器，旋转平台上表面固定有一台或多台二维激光测距仪，二维激光测距仪位于全景相机支撑架的下方，电机设在减速齿轮组上。本发明系统测量视角大，同时测量距离远；信息准确、丰富，生成的模型既有很好的视角效果，又能提供丰富的环境原始信息；成本相对较低。
【专利说明】一种三维环境信息采集与重构系统及方法
【技术领域】
[0001]本发明涉及三维环境重构领域，尤其涉及一种三维环境信息采集与重构系统及方法。
【背景技术】
[0002]传统的环境信息采集与重构方法一般通过人工测绘或者简单二维激光传感器获得，其结果存在信息不够精确完备、专业性强，人机交互不够人性化的缺点。随着计算机技术和数字地图技术的发展和普及，高逼真度的三维场景也将逐渐走入我们的生活。三维环境的信息采集与重构对地理测绘、军事探测、机器人和无人机应用、环境结构监测、灾难和事故现场救援等特种应用有着重要意义。三维环境的信息采集与重构技术将产生巨大的经济和社会效益。
[0003]在三维环境信息采集和重构设备方面，当前主流的类型有:
(I)以产品Velodyne HDL 64E (美国专利号7969558)为代表的面阵激光，它能获得水平方向360度，垂直方向26度左右窄带区域范围的深度数据，这类系统观测范围有限，仅适用于开阔平坦的场景，且不包含真实图像信息。
[0004](2)以产品Leica ScanStation ClO和Riegl为代表的基于单个二维激光测距仪和单个相机的深度-视觉系统，二维激光测距仪和相机一同转动，扫描三维环境。其水平方向观测效率较低，采集时间较慢。且由于相机在不停转动需要克服图像模糊的问题，对相机设备要求高。同类的国内专利有:专利号CN201562075U。仅易于二维激光测距仪进行三维扫描的国内专利有:专利号CN302466240S、专利号CN102393516A、专利号CN201858962U、专利号 CN1970894A。
[0005](3)以产品Microsoft Kinect为代表的基于结构光的深度-视觉系统,其利用结构光原理测量环境深度图，并配以彩色相机增加颜色信息。其观测视角较小且深度数据的有效范围仅为0.5?4米之间。同类的国内专利有:专利号CN103162643A、专利号CN201583258U。
[0006](4 )以专利号CN202875336U为代表的纯视觉系统:使用照相机或摄像机为基本设备，利用多视角重构原理进行三维环境重构。其视角较小，深度信息精度不高且容易存在空洞，对于颜色均一的环境结构，出错概率较高。同类的国内专利还有:专利号CN101726257A。
[0007]综上所述，现有的设备在观测范围、工作效率、重构精度、真实纹理等方面尚无一个有效的系统能实现全部的功能。本发明基于此提出了基于全景相机和旋转的二维激光测距仪数据的三维环境信息采集重构系统，可实现周围全视野范围的三维环境信息采集和重构，系统操作简单，运行效率高，可精确真实还原周围的三维场景。
【发明内容】
[0008]本发明的目的是克服现有技术的不足，提供一种三维环境信息采集与重构系统及方法。
[0009]三维环境信息采集与重构系统包括二维激光测距仪、全景相机、旋转平台、机载处理器、电源、底座、导线滑轨、信号采集器、电机、减速齿轮组、全景相机支撑架、连杆；
底座上设有连杆、机载处理器、电源，在连杆上从下到上顺次套有减速齿轮组、导线滑轨、旋转平台，连杆顶部从下到上顺次设有全景相机支撑架、全景相机，旋转平台下表面固定有信号采集器，旋转平台上表面固定有一台或多台二维激光测距仪，二维激光测距仪位于全景相机支撑架的下方，电机设在减速齿轮组上。
[0010]所述的机载处理器的内部硬件模块连接关系为:
与中央处理器连接的PCI总线上挂载了内存、网络控制器、CAN控制器、串口、视频采集器，网络控制器提供无线网络接口和RJ45有线网口，CAN控制器通过CAN总线挂载电机驱动器，串口通过232总线挂载码盘信号采集器。
[0011]三维环境信息采集与重构系统的三维环境信息采集与重构方法的步骤如下:
1)设备时钟同步:将一台或多台二维激光测距仪、全景相机、转动平台的时钟同步到机载处理器时钟下，并进行在线实时修正，以使不同设备在不同时刻采集的数据能够正确对应； 2)激光测距仪-相机相对位姿标定:标定一台或多台二维激光测距仪、旋转平台、全景相机之间的相对位姿，并在线实时修正，以使二维激光测距仪采集的数据和全景相机采集的图像能进行正确的空间位置对应；
3)单帧点云增强:对二维激光测距仪采集得到的点云进行重采样以去除噪声并使点分布更为均匀，进行表面网格模型构建，并映射图像纹理，得到具有彩色纹理的表面网格模型；
4)多帧数据拼接:将不同位置采集到的表面网格模型进行拼接，从各帧所在的局部坐标系转换到统一的全局坐标系下，以恢复多帧数据之间的相对位姿关系；
5)多帧表面融合:将已经统一到全局坐标系下的不同位置采集到的表面网格模型进行表面融合，以克服由噪声引起的且多帧数据拼接后仍存在的模型重叠部分的几何形状不吻合，得到几何上和数据结构上都连续一致的带彩色纹理的整幅环境表面网格模型。
[0012]所述的步骤I)为:二维激光测距仪的数据通过激光数据读取模块读入，全景相机的图像通过图像读取模块读入，旋转平台通过的码盘数据码盘数据读取模块读入，时钟同步模块通过系统发送的数据请求时间戳及对应的数据接收时间戳，利用基于数据包时间戳的网络设备在线时钟同步方法，将各个数据包的时间戳对应到系统时钟下，实现多个设备数据的时钟同步，这些时间戳更新后的数据通过数据总线依次储存在共享内存中，时钟同步模块同时通过消息总线发布时钟同步完成信号及最新同步数据的地址。
[0013]所述的步骤2)为:机械参数估计模块首先根据时钟同步模块发布的时钟同步完成信号和最新同步数据地址，读入时间戳更新后的数据，即时钟同步后的激光数据、码盘数据、图像；激光数据流区间选取模块根据图像的时间戳确定相应的激光数据区间；转台姿态估计模块根据选取出的激光数据区间的时间戳序列
结合码盘数据中的角度数据印J及对应时间戳计算出姿态序列^ I ,
CtJ^JIAi
【权利要求】
1.一种三维环境信息采集与重构系统，其特征在于包括二维激光测距仪(I)、全景相机(2)、旋转平台(3)、机载处理器(4)、电源(5)、底座(6)、导线滑轨(7)、信号采集器(8)、电机(9 )、减速齿轮组(10 )、全景相机支撑架(11)、连杆(12 ); 底座(6)上设有连杆(12)、机载处理器(4)、电源(5)，在连杆(12)上从下到上顺次套有减速齿轮组(10)、导线滑轨(7)、旋转平台(3)，连杆(12)顶部从下到上顺次设有全景相机支撑架(11)、全景相机(2)，旋转平台(3)下表面固定有信号采集器(8)，旋转平台(3)上表面固定有一台或多台二维激光测距仪(1)，二维激光测距仪(I)位于全景相机支撑架(11)的下方，电机(9)设在减速齿轮组(10)上。
2.根据权利要求1所述的一种三维环境信息采集与重构系统，其特征在于所述的机载处理器(4)的内部硬件模块连接关系为: 与中央处理器连接的PCI总线上挂载了内存、网络控制器、CAN控制器、串口、视频采集器，网络控制器提供无线网络接口和RJ45有线网口，CAN控制器通过CAN总线挂载电机驱动器，串口通过232总线挂载码盘信号采集器。
3.一种使用如权利要求1所述三维环境信息采集与重构系统的三维环境信息采集与重构方法，其特征在于它的步骤如下: 1)设备时钟同步:将一台或多台二维激光测距仪(I)、全景相机(2)、转动平台(3)的时钟同步到机载处理器(4)时钟下，并进行在线实时修正，以使不同设备在不同时刻采集的数据能够正确对应； 2)激光测距仪-相机相对位姿标定:标定一台或多台二维激光测距仪(1)、旋转平台(3)、全景相机(2)之间的相对位姿，并在线实时修正，以使二维激光测距仪(1)采集的数据和全景相机(2)采集的图像能进行正确的空间位置对应； 3)单帧点云增强:对二维激光测距仪(I)采集得到的点云进行重采样以去除噪声并使点分布更为均匀，进行表面网格模型构建，并映射图像纹理，得到具有彩色纹理的表面网格模型； 4)多帧数据拼接:将不同位置采集到的表面网格模型进行拼接，从各帧所在的局部坐标系转换到统一的全局坐标系下，以恢复多帧数据之间的相对位姿关系； 5)多帧表面融合:将已经统一到全局坐标系下的不同位置采集到的表面网格模型进行表面融合，以克服由噪声引起的且多帧数据拼接后仍存在的模型重叠部分的几何形状不吻合，得到几何上和数据结构上都连续一致的带彩色纹理的整幅环境表面网格模型。
4.根据权利要求3所述一种三维环境信息采集与重构方法，其特征在于，所述的步骤1)为:二维激光测距仪(I)的数据通过激光数据读取模块读入，全景相机(2)的图像通过图像读取模块读入，旋转平台(3)通过的码盘数据码盘数据读取模块读入，时钟同步模块通过系统发送的数据请求时间戳及对应的数据接收时间戳，利用基于数据包时间戳的网络设备在线时钟同步方法，将各个数据包的时间戳对应到系统时钟下，实现多个设备数据的时钟同步，这些时间戳更新后的数据通过数据总线依次储存在共享内存中，时钟同步模块同时通过消息总线发布时钟同步完成信号及最新同步数据的地址。
5.根据权利要求3所述一种三维环境信息采集与重构方法，其特征在于，所述的步骤2)为:机械参数估计模块首先根据时钟同步模块发布的时钟同步完成信号和最新同步数据地址，读入时间戳更新后的数据，即时钟同步后的激光数据、码盘数据、图像；激光数据流区间选取模块根据图像的时间戳确定相应的激光数据区间；转台姿态估计模块根据选取出的激光数据区间的时间戳序列，结合码盘数据中的角度数据及对应时间戳isj ,计算出姿态序列&
6.根据权利要求3所述一种三维环境信息采集与重构方法，其特征在于，所述的步骤3)为:首先点云重采样模块根据时钟同步模块发布的时钟同步完成信号、机械参数估计模块发布的机械参数估计完成信号，读取激光数据，利用区域增长算法，以点云所指示表面一阶连续且二阶连续为条件，对点云进行分割，得到点云的若干子集，利用移动最小二乘算法单独对点云分割的每个子集进行重采样，完成后将所有重采样后的点云子集合并成新的点云C’，并通过数据总线将重采样后的点云储存在共享内存中，通过消息总线发布点云重采样完成信号以及重米样后的点云的储存地址；然后，表面网格生成模块根据点云重米样模块发布的点云重采样完成信号，利用基于局部投影的二维三角化算法构建点云C’的三角网格模型T，完成后通过数据总线将得到的三角网格模型储存到共享内存，并通过消息总线发布表面网格 生成完成信号及三角网格模型储存地址，最后，纹理映射模块根据表面网格生成模块发布的表面网格生成完成信号，将三角网格模型T中每个顶点投影到相机坐标系Coor_C下，找到该顶点对应的图像像素，对于三角网格模型中的每个三角面，根据该三角面每个顶点所对应的图像像素，裁剪图像并将裁剪后的图像映射到三角网格上，得到具有彩色纹理的三角网格模型，通过数据总线将得到的具有彩色纹理的三角网格模型中的纹理数据储存到共享内存中，并通过消息总线发布纹理映射完成信号。
7.根据权利要求3所述一种三维环境信息采集与重构方法，其特征在于，所述的步骤4)为:多帧拼接模块根据纹理映射模块发布的纹理映射完成信号，读取新一帧具有彩色纹理的三角网格模型以及对应的点云边缘点集，用新一帧的点云边缘点集与已有的历史点云边缘点集的合集进行三维曲线匹配，得到位姿变化矩阵后将新一帧具有彩色纹理的三角网格模型变换到全局坐标系下，通过数据总线储存全局坐标系下的具有彩色纹理的三角网格表面模型，并通过消息总线发布多帧拼接完成信号及全局坐标系下的具有彩色纹理的三角网格表面模型的储存地址。
8.根据权利要求3所述一种三维环境信息采集与重构方法，其特征在于，所述的步骤5)为:多帧表面融合模块根据多帧拼接模块发布的多帧拼接完成信号，读取新一帧的全局坐标系下的具有彩色纹理的三角网格表面模型，根据传感器设备特性和数据采集方式估计三角网格表面模型数据中每个三角网格顶点位置Ps的不确定性；新读取的模型及已有的历史整体模型构成两帧数据，对于这两帧数据中的每个三角网格顶点，评估该顶点所在局部表面与另一帧的近邻情况以确认两帧数据在该位置是否重叠，并标记两帧数据中所有处于重叠区域的三角网格顶点；对处于重叠区域的每个三角网格顶点匕，搜索三角网格顶点Pi在本帧数据中的所有相邻三角面以及在另一帧中的最近邻的一个对应三角面，根据这些三角面顶点的位置不确定性，估计三角网格顶点Ps在该局部区域的“隐表面”上投影Ps，
【文档编号】G06T17/00GK103729883SQ201310742704
【公开日】2014年4月16日 申请日期:2013年12月30日 优先权日:2013年12月30日
【发明者】熊蓉, 李千山, 朱秋国, 郑洪波 申请人:浙江大学