低成本无人飞行器移动测量方法及系统与流程

本发明涉及对低成本低空无人机移动测量技术方案，属于计算机视觉领域及激光点云测量数据处理自动化研究领域。

背景技术：

无人机(unmannedaerialvehicle，uav)搭载的移动测量系统(mobilemappingsystem，mms)结合激光扫描仪、相机、高精度定位定姿系统(positionandorientationsystem，pos)等多种优异的传感器，是近年来快速发展的一种新型集成高效的测量系统。利用该系统可以融合激光点云的几何属性及全景影像的光谱属性，生产具有可量测性的全景影像，用于城市规划、道路检测、市政部件资产普查等。而现有的无人机激光扫描系统大多成本高昂(>70万人民币)，因此限制了无人机移动测量系统的使用，因此设计一款低成本无人机低空移动测量系统是本发明的重点。

目前，国内外一些学者已经对上述问题做了一些研究，但数量较少。(jaakkolaetal.,2010)and(yangandchen,2015)研究了无人机载移动测量系统，搭载了激光扫描仪，相机，imu以及gps。上述二者均搭载了一款novatelspan-cpt紧耦合gps/ins接收机，该款接收机价格在50万人民币左右，加大了成本，不适合非专业用户。与(jaakkolaetal.,2010)相似，(wallaceetal.,2012)研发了一款低成本低空无人机，并用于森林普查。该系统使用了一块基于mems的imu(microstrain-3dm-gx3-35)以及一个双频gps接收机(novateloemv1-df)，而未使用高端的惯性导航系统。为了提高精度，(wallaceetal.,2012)将视屏信息通过sigmapoint卡尔曼滤波融入了导航数据中。但是该融合算法属于松耦合，仅仅将影像信息作为黑箱。

相关文献：

dong-si,t.-c.,mourikis,a.i.,2012.estimatorinitializationinvision-aidedinertialnavigationwithunknowncamera-imucalibration,intelligentrobotsandsystems(iros),2012ieee/rsjinternationalconferenceon.ieee,pp.1064-1071.

jaakkola,a.,j.,kukko,a.,yu,x.,kaartinen,h.,m.,lin,y.,2010.alow-costmulti-sensoralmobilemappingsystemanditsfeasibilityfortreemeasurements.isprsjournalofphotogrammetryandremotesensing65,514-522.

martinec,d.,pajdla,t.,2007.robustrotationandtranslationestimationinmultiviewreconstruction,2007ieeeconferenceoncomputervisionandpatternrecognition,pp.1-8.

shin,e.-h.,el-sheimy,n.,2004.anunscentedkalmanfilterforin-motionalignmentoflow-costimus,positionlocationandnavigationsymposium,2004.plans2004.ieee,pp.273-279.

wallace,l.,lucieer,a.,watson,c.,turner,d.,2012.developmentofauav-lidarsystemwithapplicationtoforestinventory.remotesensing4,1519-1543.

wu,c.,2011.siftgpu:agpuimplementationofscaleinvariantfeaturetransform(sift)(2007).urlhttp://cs.unc.edu/～ccwu/siftgpu.

yang,b.,chen,c.,2015.automaticregistrationofuav-bornesequentimagesandlidardata.isprsjournalofphotogrammetryandremotesensing101,262-27

技术实现要素：

本发明在以上研究的基础上，设计了一种新颖的低成本低空无人机移动测量技术方案。

本发明技术方案提供一种低成本无人飞行器移动测量方法，设置低成本无人飞行器，低成本无人飞行器的传感器部分由imu、相机和激光扫描仪组成，移动测量包括以下步骤，

步骤1，根据硬件时间戳，将所有传感器数据进行整合，包括imu、相机和激光扫描仪三类传感器的数据；

步骤2，在影像数据中提取sift特征点，并按照照片采集顺序进行匹配，之后进行增量式运动结构恢复；

步骤3，将imu与相机位置进行在线标定，并进行imu数据辅助的光束法平差，得到更加准确的影像外方位元素及任意时间点的系统状态；

步骤4，将imu与激光扫描仪位置进行在线标定，并解算出最终的激光点云。

而且，硬件时间同步方式为，无人飞行器的机载控制单元接收imu输出的信号，并根据预设的数目，在接收到imu输出的若干信号时，向相机发送曝光指令；并且，机载控制单元依据系统时间向激光扫描仪发送nmea信号与秒脉冲信号，将激光扫描仪时间与系统时间同步；在采集数据时，机载控制单元采集各传感器数据的同时，记录时间戳，为后续处理做准备。

而且，设第k张影像的姿态组成的集合为n为状态数量，k为状态序号，第k张影像特征点的三维坐标组成的集合为为第k张影像特征点的特征点数量，j为特征点序号，

为进行imu数据辅助的光束法平差，定义imu辅助光束法代价函数如下，

其中，是重投影误差，是imu测量误差，是重投影误差的权，是imu测量误差的权，j(x)是代价函数，inertial代表imu误差部分，visual代表视觉测量部分，

基于imu辅助光束法代价函数，同时考虑imu数据与影像数据，将二者融入姿态估计中。

而且，步骤4的实现方式为，首先利用多视立体像对计算出单张影像的深度图像，同时将激光测量值投影到相机平面，比较二者差异，将差异作为代价函数，从而解除imu与激光扫描仪的相对姿态。

本发明还提供一种低成本无人飞行器移动测量系统，设置低成本无人飞行器，低成本无人飞行器的传感器部分由imu、相机和激光扫描仪组成，移动测量包括以下步骤，

步骤1，根据硬件时间戳，将所有传感器数据进行整合，包括imu、相机和激光扫描仪三类传感器的数据；

步骤2，在影像数据中提取sift特征点，并按照照片采集顺序进行匹配，之后进行增量式运动结构恢复；

步骤3，将imu与相机位置进行在线标定，并进行imu数据辅助的光束法平差，得到更加准确的影像外方位元素及任意时间点的系统状态；

步骤4，将imu与激光扫描仪位置进行在线标定，并解算出最终的激光点云。

而且，硬件时间同步方式为，无人飞行器的机载控制单元接收imu输出的信号，并根据预设的数目，在接收到imu输出的若干信号时，向相机发送曝光指令；并且，机载控制单元依据系统时间向激光扫描仪发送nmea信号与秒脉冲信号，将激光扫描仪时间与系统时间同步；在采集数据时，机载控制单元采集各传感器数据的同时，记录时间戳，为后续处理做准备。

而且，设第k张影像的姿态组成的集合为n为状态数量，k为状态序号，第k张影像特征点的三维坐标组成的集合为为第k张影像特征点的特征点数量，j为特征点序号，

为进行imu数据辅助的光束法平差，定义imu辅助光束法代价函数如下，

其中，是重投影误差，是imu测量误差，是重投影误差的权，是imu测量误差的权，j(x)是代价函数，inertial代表imu误差部分，visual代表视觉测量部分，

基于imu辅助光束法代价函数，同时考虑imu数据与影像数据，将二者融入姿态估计中。

而且，步骤4的实现方式为，首先利用多视立体像对计算出单张影像的深度图像，同时将激光测量值投影到相机平面，比较二者差异，将差异作为代价函数，从而解除imu与激光扫描仪的相对姿态。

本发明设计并集成了一个低成本的机载移动测量系统，并实现了相机，imu，激光扫描仪的硬件同步；之后实现了一种imu信息辅助的光束法平差，并实现了imu与相机，imu与激光扫描仪的相对位置标定；最后解算出可用于测量的激光点云。本发明的优点在于：(1)降低了现有机载激光扫描系统的价格。本系统硬件成本为8万人民币，而一般商用机载扫描系统价格在90万人民币左右。主要由于本系统只用了基于memes的imu，且不依赖于gnss接收机，利用影像信息辅助定位。(2)本系统自带标定相机-imu-激光扫描仪安置角功能。无需在标定场事先标定，节约了大量人工。

附图说明：

图1是本发明实施例的方法流程图；

图2是本发明实施例的硬件同步示意图。

具体实施方式

本发明在以上研究的基础上，设计了一种新颖的低成本低空无人机移动测量系统，实现低成本无人飞行器高精度数据获取。该方案将相机，imu，激光扫描仪进行硬件时间同步，在采集数据的同时采集时间戳。在采集数据进行的处理为：第一步，根据硬件时间戳，将所有传感器数据进行整合。第二步，在影像数据中提取sift特征点，并按照照片采集顺序进行匹配，之后进行增量式运动结构恢复。第三步，将imu与相机位置进行在线标定，并进行imu数据辅助的光束法平差。第四步，将imu与激光扫描仪位置进行在线标定，并解算出最终的激光点云。

参见图1，本发明实施例提供一种利用激光点云辅助的可量测全景影像生成方法，包括以下步骤：

步骤1：根据硬件时间戳，将所有传感器数据进行整合。

本发明首先设计并集成了一个低成本的机载移动测量系统，并实现了相机，imu，激光扫描仪的硬件同步。本发明实施例中硬件集成原理图如图2所示，系统中包含imu，相机，激光扫描仪三类传感器，imu、相机和激光扫描仪分别接入机载控制单元，具体实施时可利用机载控制单元的通用信号输入输出接口接入。与现有技术不同，该硬件设计中传感器部分只由imu、相机和激光扫描仪组成，不包含gnss接收机，因此该设备在无gnss环境中仍然可以使用。实施例的传感器选择类型如表1，系统使用11.1v锂电池供电，供电方式见图2，电源vcc分别接入。

硬件时间同步方式如下：

机载控制单元接收imu200hz的信号，并在接收到20个信号(根据imu输出频率预设的数目)时，向相机发送曝光指令，以保证相机以10hz频率工作。机载控制单元依据系统时间向激光扫描仪发送nmea信号与秒脉冲信号，将激光扫描仪时间与系统时间同步。nmea(nationalmarineelectronicsassociation)是当前所有的gps接收机和最通用的数据输出格式，同时它也被用于与gps接收机接口的大多数的软件包里，它用来给每一个秒脉冲赋予绝对时间基准。gps秒脉冲信号pps是一秒钟一个，它的作用是用来指示整秒的时刻，而该时刻通常是用pps秒脉冲的上升沿来标示。

在采集数据时，机载控制单元采集各传感器数据的同时，记录时间戳，为后续处理做准备。其中数据存储方式如图2中数据箭头所示。

表1.传感器描述

步骤2：在影像数据中提取sift(wu,2011)特征点，并按照照片采集顺序进行匹配，之后进行增量式运动结构恢复(martinecandpajdla,2007)，从而获取影像的外方位元素。

步骤3：将imu与相机位置进行在线标定(dong-siandmourikis,2012)，并进行imu数据辅助的光束法平差，从而得到更加准确的影像外方位元素及任意时间点的系统状态。

实施例中，imu辅助影像进行光束法平差，具体步骤如下：

系统中需要被估计的状态量有：第k张影像(在tk时刻曝光)的姿态组成的集合：

(n为状态数量，k为状态序号，即第k张影像的姿态)，第k张影像特征点的三维坐标组成的集合：为第k张影像特征点的特征点数量，j为特征点序号)，相机与imu相对旋转四元数qsc以及激光扫描仪与imu相对旋转四元数qsl。相机姿态状态写作：

其中，so³是特殊正交群，是六维度实数组成的向量集合，和是第k个系统状态的位置与朝向(定义在世界坐标系w中，是第k个系统状态sk到世界坐标系w的旋转四元数，而是世界坐标系w到sk的旋转四元数，其他符号定义以此类推)。是第k个系统速度(定义在世界坐标系w中，而是第k+1个系统速度，其他符号定义以此类推)，和是第k个系统imu角速度计和加速度计的偏执量(而和是第k+1个，其他以此类推)。

本发明采用(shinandel-sheimy,2004)提出的简化版memsimu运动模型，并参考其中的符号运算系统：

其中，表示速度，即位置的变化；表示加速度，即速度的变化；表示第k个系统状态sk到世界坐标系w的旋转矩阵，bg、ba分别表示陀螺和加速度计的偏置，表示这两个偏置的变化，表示角速度，am和ωm分别是加速度和角速度测量值，an和ωn分别是对应的测量噪声，可以被模型化为带有高斯噪声and的随机游走，gw是重力加速度。假设时刻tk是对应的时间，时刻tk+1是对应的时间，δtk是与两个状态的时间间隔，为四元数乘法。

为求取时刻tk到时刻tk+1之间任意时刻t的系统状态，本发明进一步重新推导imu动力学模型如下：

其中，表示当前时间加速度的测量值，表示当前时间加速度计的偏置，是第k+1个系统状态的位置，表示时刻t的系统状态st到世界坐标系w的旋转矩阵。

其中，是第k+1个系统速度，是第k+1个系统状态的朝向四元数，是时刻t的系统状态st到参考坐标系(第k个系统状态sk)的转换四元数。表示t时刻测量得到的角速度，表示陀螺t时刻的零偏。

其中，表示世界坐标系w到参考坐标系(第k个系统状态sk)的旋转矩阵，和是第k个系统imu角速度计和加速度计的偏执量，而和是第k+1个系统imu角速度计和加速度计的偏执量。

定义为系统状态sk到sk+1的相对位移：

其中，表示时刻t的系统状态st到参考坐标系(第k个系统状态sk)的旋转矩阵。

定义为系统状态sk到sk+1的相对速度变化：

定义为系统状态sk到sk+1的相对旋转四元数：

其中，表示当前坐标系st到sk旋转的四元数。

定义imu辅助光束法代价函数如下：

其中是重投影误差，是imu测量误差，是重投影误差的权，是imu测量误差的权，j(x)是代价函数，inertial代表imu误差部分，visual代表视觉测量部分,是表示参考坐标系(第k个系统状态sk)对应的影像中可观测到的特征点组成的集合。这样可以同时考虑imu数据与影像数据，将二者融入姿态估计中。

步骤4：将imu与激光扫描仪位置进行在线标定，并解算出最终的激光点云。首先利用多视立体像对计算出单张影像的深度图像，同时将激光测量值投影到相机平面，比较二者差异，将差异作为代价函数，从而解除imu与激光扫描仪的相对姿态。代价函数如下：

其中，是代价函数，为待结算安置角度，height，width是影像的高度与宽度，是第k张影像的深度图中像素(u,v)对应的mvs深度值，是根据计算出的激光投影深度图中像素(u,v)对应的深度值。

具体实施时，本发明流程可采用软件技术实现自动运行流程。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。