实时点云的处理系统、方法及机载数据采集装置、方法与流程

本申请涉及计算机技术领域，尤其涉及一种实时点云的处理系统、实时点云的处理方法及机载数据采集装置、机载数据采集方法。

背景技术：

近年来，随着雷达技术（例如激光雷达技术）和无人机技术的快速发展，无人机载激光雷达系统在各个领域的应用越来越广泛。例如测绘、农业植保、林业调查和电力巡检等领域，大量采用机载激光雷达进行作业。

考虑到飞机端（包括无人机、客机、货机等）如果出现传感器失效或者卫星导航（globalnavigationsatellitesystem，gnss）数据丢失，会造成整个飞行架次的数据都变成无效数据的情况，业界提出了一种实时处理的方案。

具体地，位姿数据、激光扫描仪数据和照片都在飞机端采集，然后通过机载电脑进行数据处理，接着将处理后的数据通过数据链路下传到地面终端进行显示。

由于数据处理需要在机载电脑进行，因此，对机载电脑的配置要求较高，通常满足需求的机载电脑体积、重量和功耗都相对较高。因此，在机上进行数据处理，会导致系统重量增加，功耗上升，这会导致飞机（如无人机）的航时缩短，进而导致作业效率降低，作业成本增加。

技术实现要素：

本申请提供了一种包括实时点云的处理系统，该系统通过机载数据采集装置采集机载激光雷达的运行数据并进行压缩，地面数据采集装置采集机载激光雷达的基准站数据，地面数据处理装置获取压缩后的机载激光雷达的运行数据和机载激光雷达的基准站数据，获得点云数据，从而降低了飞机的功耗，提高了作业的效率。本申请还提供了上述系统对应的实时点云的处理方法以及机载数据采集装置、机载数据采集方法。

第一方面，本申请提供了一种实时点云的处理系统，该系统包括机载数据采集装置、地面数据采集装置和地面数据处理装置，其中，

机载数据采集装置用于采集机载激光雷达的运行数据，并对运行数据进行压缩，然后将压缩后的运行数据传输至地面数据处理装置；

地面数据采集装置用于采集机载激光雷达的基准站数据，然后将基准站数据传输至地面数据处理装置；

地面数据处理装置用于根据压缩后的运行数据和基准站数据获得点云数据。

在一些可能的实现方式中，机载数据采集装置包括上位机和下位机，上位机用于采集照片数据和测量数据，下位机用于采集位姿数据。

在一些可能的实现方式中，位姿数据包括惯性数据和导航数据，下位机还用于根据导航数据对惯性数据进行时间同步。

在一些可能的实现方式中，下位机具体用于通过记录每次同步时间和初次同步时间的增量，对惯性数据进行时间同步。

在一些可能的实现方式中，下位机包括部署有实时操作系统的单片机，上位机包括部署高级操作系统的嵌入式系统。

在一些可能的实现方式中，机载数据采集装置具体用于通过降采样方式对运行数据进行压缩。

第二方面，本申请提供了一种实时点云的处理方法，该方法包括：

机载数据采集装置采集机载激光雷达的运行数据，并对运行数据进行压缩，然后将压缩后的运行数据传输至地面数据处理装置；

地面数据采集装置采集机载激光雷达的基准站数据，然后将基准站数据传输至地面数据处理装置；

地面数据处理装置根据压缩后的运行数据和基准站数据获得点云数据。

在一些可能的实现方式中，机载数据采集装置包括上位机和下位机，上位机用于采集照片数据和测量数据，下位机用于采集位姿数据。

在一些可能的实现方式中，位姿数据包括惯性数据和导航数据，下位机还用于根据导航数据对惯性数据进行时间同步。

在一些可能的实现方式中，下位机具体用于通过记录每次同步时间和初次同步时间的增量，对惯性数据进行时间同步。

在一些可能的实现方式中，下位机包括部署有实时操作系统的单片机，上位机包括部署高级操作系统的嵌入式系统。

在一些可能的实现方式中，机载数据采集装置具体用于通过降采样方式对运行数据进行压缩。

第三方面，本申请提供了一种机载数据采集装置，该装置包括采集模块、压缩模块和传输模块，其中，

采集模块，用于采集机载激光雷达的运行数据；

压缩模块，用于对运行数据进行压缩；

传输模块，用于将压缩后的运行数据传输至地面数据处理装置。

在一些可能的实现方式中，机载数据采集装置包括上位机和下位机，上位机用于采集照片数据和测量数据，下位机用于采集位姿数据。

在一些可能的实现方式中，位姿数据包括惯性数据和导航数据，下位机还用于根据导航数据对惯性数据进行时间同步。

在一些可能的实现方式中，下位机具体用于通过记录每次同步时间和初次同步时间的增量，对惯性数据进行时间同步。

在一些可能的实现方式中，下位机包括部署有实时操作系统的单片机，上位机包括部署高级操作系统的嵌入式系统。

在一些可能的实现方式中，压缩模块具体用于通过降采样方式对运行数据进行压缩。

第四方面，本申请提供了一种机载数据采集方法，该方法应用于机载数据采集装置，包括：

采集机载激光雷达的运行数据；

对运行数据进行压缩；

将压缩后的运行数据传输至地面数据处理装置。

在一些可能的实现方式中，机载数据采集装置包括上位机和下位机，上位机用于采集照片数据和测量数据，下位机用于采集位姿数据。

在一些可能的实现方式中，位姿数据包括惯性数据和导航数据，下位机还用于根据导航数据对惯性数据进行时间同步。

在一些可能的实现方式中，下位机具体用于通过记录每次同步时间和初次同步时间的增量，对惯性数据进行时间同步。

在一些可能的实现方式中，下位机包括部署有实时操作系统的单片机，上位机包括部署高级操作系统的嵌入式系统。

在一些可能的实现方式中，对运行数据进行压缩具体包括通过降采样方式对运行数据进行压缩。

本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。

附图说明

为了更清楚地说明本申请实施例的技术方法，下面将对实施例中所需使用的附图作以简单地介绍。

图1为本申请实施例提供的一种实时点云的处理系统的架构图；

图2为本申请实施例提供的一种机载数据采集装置采集数据的流程示意图；

图3为本申请实施例提供的一种地面数据处理装置获得点云数据的流程示意图；

图4为本申请实施例提供的一种实时点云的处理方法的流程示意图

图5为本申请实施例提供的一种机载数据采集装置的架构图；

图6为本申请实施例提供的一种机载数据采集方法的流程示意图。

具体实施方式

本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

首先对本申请实施例中所涉及到的一些技术术语进行介绍。

点云（pointcloud）数据是指在一个三维坐标系统中的一组向量的集合。这些向量通常以x,y,z三维坐标的形式表示，而且一般主要用来代表一个物体的外表面形状。不经如此，除（x,y,z）代表的几何位置信息之外，点云数据还可以表示一个点的rgb颜色，灰度值，深度，分割结果等。点云数据在形状检测和分类、立体视觉、运动恢复结构、多视图重建中都有广泛的使用，点云的存储、压缩、渲染等问题也是研究的热点。

收集点云数据的主要方法是使用激光雷达（lidar）。激光雷达是一种类似于雷达的技术，其工作原理是光从设备中发出，并从物体上反弹回来，通过光回到设备的时间与光速一起计算距离。不同的是，无线电使用大波长的电波，而激光雷达使用小波长的激光来实现高精度。

随着激光雷达技术和无人机技术的不断发展，无人机载激光雷达系统在各个领域的应用越来越广泛，例如测绘、农业植保、林业调查和电力巡检等，通过激光雷达收集实时点云数据来进行作业。

现有的机载激光雷达实时点云的处理方案，位姿数据、激光扫描仪数据和照片都在飞机端采集，然后通过机载电脑进行数据处理，接着将处理后的数据通过数据链路下传到地面终端进行显示。由于数据处理需要在机载电脑上进行，因此对于机载电脑的配置要求较高，满足配置要求的机载电脑体积、重量和功耗都相对较高，因此在机上进行数据处理，会导致系统重量增加、功耗上升，影响无人机的航行时间。现有数据表明，如果使用现有的机载激光雷达实时点云的处理方案，会使无人机的航时较正常航行缩短20%左右，导致了无人机作业效率降低，影响了用户的经济效益。

基于此，本申请提供了一种实时点云的处理系统，包括机载数据采集装置、地面数据采集装置和地面数据处理装置，通过机载数据采集装置采集机载激光雷达的运行数据并进行压缩，地面数据采集装置采集机载激光雷达的基准站数据，地面数据处理装置获取压缩后的机载激光雷达的运行数据和机载激光雷达的基准站数据，获得点云数据，从而降低了飞机的功耗，提高了作业的效率。本申请中，将原本位于机上的数据处理改到地面进行，可以降低机载电脑所需的配置要求，从而降低机载电脑的体积、重量及功耗，从而提升飞机的航时，提升作业效率。

为了便于理解，下面结合附图对本申请实施例提供的实时点云的处理系统进行介绍。

参见图1所示的实时点云的处理系统的架构图，该系统100包括：机载数据采集装置102、地面数据采集装置104和地面数据处理装置106。下面对系统100的各个组成部分进行详细说明。

其中，机载数据采集装置102采集数据的过程如图2所示。

s202：机载数据采集装置102采集机载激光雷达的运行数据。

在一些可能的实现方式中，机载数据采集装置102包括上位机和下位机，上位机和下位机使用网络通信。

在一些可能的实现方式中，上位机可以选用部署高级操作系统的嵌入式系统，包含cpu和大容量存储设备，例如linux或者windows，方便程序开发，下位机可以选用部署有实时操作系统的单片机。

机载数据采集装置102采集机载激光雷达的运行数据主要包括：采集位姿数据、采集照片数据和采集测量数据。

位姿（pose）指物体的位置和姿态，在本申请中，位姿数据包括惯性数据（imu数据）和导航数据（gnss数据）。其中，imu数据包括飞机的角速率和加速度数据，gnss数据包括飞机的位置信息，例如经纬度信息。

卫星导航系统（globalnavigationsatellitesystem,gnss）是覆盖全球的自主地利空间定位的卫星系统，允许小巧的电子接收器确定它的所在位置（经度、纬度和高度），并且经由卫星广播沿着视线方向传送的时间信号精确到10米的范围内。接收机计算的精确时间以及位置，可以作为科学实验的参考。例如全球定位系统（gps）、北斗卫星导航系统（bds）、全球导航卫星系统（glonass）等。

由于位姿数据的实时性要求非常高，因此使用下位机的具有实时操作系统的单片机进行数据采集。其中，imu数据需要与gnss数据进行时间同步，可选的，时间同步精度应该小于1毫秒。单片机将原始gnss数据和进行时间同步后的imu数据转发给上位机。

照片数据的采集需要对照片进行时间同步，在相机拍摄地面照片的同时，由下位机采集相机输出的曝光同步信号，并记录时间，其中该时间与gnss时间同步。下位机在完成照片同步之后，产生中断信号发送上位机，上位机接收到中断信号之后，从下位机读取照片的曝光时间，同时，上位机从相机中获取最新的照片数据。

测量数据的采集由上位机从激光扫描仪中获取，包括距离和角度数据，由于激光扫描仪自身具备时间同步功能，因此获取的测量数据均包括gnss的同步时间。

s204：机载数据采集装置102对运行数据进行压缩。

由于imu数据的频率通常为几百赫兹，而激光扫描仪所采集的测量数据更大，通常为几十万赫兹，因此所需处理的数据量比较大，因此需要对数据进行压缩处理。

具体地，因为s202所采集的每一个数据都有对应的时间，为了保证数据精度，通常使用双精度浮点型数据对上述数据进行存储，然而这种存储在数据传输时会耗费大量的带宽。因此，在本申请中，下位机在完成首次gnss数据授时时，记录起始时间t0，后续在每一次时间同步时，均使用当前时间tc减去t0，只记录增量的毫秒数。即当前同步时间t=tc-t0。如此可以使用整型数据来记录时间，能够节约一半的存储空间和传输带宽。

激光扫描仪的扫描间隔很小，所采集的激光点密度很高，由于实时点云通常用于状态监控，对点密度的要求不高，因此可以对点云进行抽稀处理。

具体地，由于机载激光雷达仅需要获取对地的扫描数据，有效视场角通常不大（一般小于90度）。因此，把视场角意外的数据滤除，设定抽样比例为n（n>1），然后每隔n-1个数据提取一个有效值，作为待传输数据，这样可以实现对于点云的抽稀处理。

s206：机载数据采集装置102将压缩后的运行数据传输至地面数据处理装置106。

其中，压缩后的imu数据、gnss数据、激光扫描仪数据和照片数据均包含有同步时间，上述数据通过数据链路发送到地面数据处理装置106。

在一些可能的实现方式中，数据链路可以选用宽度视距链路，也可以选用5g链路。

地面数据采集装置104用于采集机载激光雷达的基准站数据，然后将基准站数据传输至地面数据处理装置106。

基准站是对卫星导航信号进行长期连续观测，并由通信设施将观测数据实时或定时传送至数据中心的地面固定观测站。

地面数据采集装置104通常为gnss数据基准站，例如北斗卫星导航系统基准站，在一些可能的实现方式中，也可以选用网络基准站（continuouslyoperatingreferencestations，cors）替代。

地面数据处理装置106根据压缩后的运行数据和基准站数据获得点云数据的过程如图3所示。

其中，地面数据处理装置106通常为高性能计算机，通过网络或者其他硬件接口与外部设备进行通信，从而传输数据。

s302：地面数据处理装置106利用位姿数据和基准站数据进行航迹解算，获得飞机的航迹和姿态数据。

其中，位姿数据包括imu数据和gnss数据，由机载数据采集装置102压缩后发送，基准站数据由地面数据采集装置104采集并发送。飞机的姿态数据包括飞机的横滚角、俯仰角和偏航角等。

s304：地面数据处理装置106利用照片数据以及同步时间，计算照片像素点到大地坐标系的投影坐标。

具体地，地面数据处理装置106利用照片数据的同步时间获取该时刻飞机的位置和姿态，再根据相机的安装位置以及安置角修正数据，计算得到相机的精确外方位元素，即相机相对于大地坐标系的具体坐标值，从而计算照片像素点到大地坐标系的旋转矩阵tp。可选的，根据相机的检校参数，对照片进行畸变矫正，获取照片上每个像素的坐标pk。根据照片上每个像素的坐标pk，结合照片像素点到大地坐标系的旋转矩阵tp，将像素点坐标转换到大地坐标系上，即：pk^w=tp*pk，其中，pk^w为像素点在大地坐标系的坐标。

s306：地面数据处理装置106利用激光扫描仪数据以及同步时间，计算激光扫描点到大地坐标系的投影坐标。

具体地，对每一个激光扫描仪数据，通过时间比对，获取该时刻飞机的位置和姿态，再根据激光扫描仪的安装位置以及安置角修正数据，计算得到激光扫描仪相对于大地坐标系的具体坐标值，从而计算激光扫描点到大地坐标系的旋转矩阵tl。根据激光扫描点在自身坐标系下三维坐标pi，结合激光扫描点到大地坐标系的旋转矩阵tl，将激光扫描点坐标转换到大地坐标系上，即：pi^w=tl*pi，其中pi^w为激光扫描点在大地坐标系的坐标。

s308：地面数据处理装置106以像素点的颜色为对应的激光点赋色。

具体地，对每一个激光点数据，通过投影坐标确定临近空间的照片像素点，根据该投影点的照片颜色对激光点进行赋色。

s310：显示器显示上述通过转换获得的激光点云数据。

由此，地面数据处理装置106可以实现根据压缩后的运行数据和基准站数据获得点云数据。

以上结合图1对于本申请实施例提供的实时点云的处理系统100进行了详细介绍，接下来，将结合附图对本申请实施例提供的实时点云的处理方法进行介绍。

参见图4所示的实时点云的处理方法的流程示意图，该方法应用于如图1所示的系统100中，该系统100包括机载数据采集装置102、地面数据采集装置104和地面数据处理装置106，该方法包括：

s402：机载数据采集装置102采集机载激光雷达的运行数据，并对运行数据进行压缩，然后将压缩后的运行数据传输至地面数据处理装置106。

在一些可能的实现方式中，机载数据采集装置102包括上位机和下位机，上位机用于采集照片数据和测量数据，下位机用于采集位姿数据。

在一些可能的实现方式中，位姿数据包括惯性数据和导航数据，下位机还用于根据导航数据对惯性数据进行时间同步。

在一些可能的实现方式中，下位机具体用于通过记录每次同步时间和初次同步时间的增量，对惯性数据进行时间同步。

在一些可能的实现方式中，下位机包括部署有实时操作系统的单片机，上位机包括部署高级操作系统的嵌入式系统。

在一些可能的实现方式中，机载数据采集装置102具体用于通过降采样方式对运行数据进行压缩。

s404：地面数据采集装置104采集机载激光雷达的基准站数据，然后将基准站数据传输至地面数据处理装置106。

s406：地面数据处理装置106根据压缩后的运行数据和基准站数据获得点云数据。

在一些可能的实现方式中，机载数据采集装置102包括上位机和下位机，上位机用于采集照片数据和测量数据，下位机用于采集位姿数据。

在一些可能的实现方式中，位姿数据包括惯性数据和导航数据，下位机还用于根据导航数据对惯性数据进行时间同步。

在一些可能的实现方式中，下位机具体用于通过记录每次同步时间和初次同步时间的增量，对惯性数据进行时间同步。

在一些可能的实现方式中，下位机包括部署有实时操作系统的单片机，上位机包括部署高级操作系统的嵌入式系统。

在一些可能的实现方式中，机载数据采集装置102具体用于通过降采样方式对运行数据进行压缩。

本申请实施例还提供了一种机载数据采集装置102，如图5所示，该装置包括采集模块502、压缩模块504和传输模块506，其中，

采集模块502，用于采集机载激光雷达的运行数据；

压缩模块504，用于对运行数据进行压缩；

传输模块506，用于将压缩后的运行数据传输至地面数据处理装置106。

在一些可能的实现方式中，数据采集装置102包括上位机和下位机，上位机用于采集照片数据和测量数据，下位机用于采集位姿数据。

在一些可能的实现方式中，位姿数据包括惯性数据和导航数据，下位机还用于根据导航数据对惯性数据进行时间同步。

在一些可能的实现方式中，下位机具体用于通过记录每次同步时间和初次同步时间的增量，对惯性数据进行时间同步。

在一些可能的实现方式中，下位机包括部署有实时操作系统的单片机，上位机包括部署高级操作系统的嵌入式系统。

在一些可能的实现方式中，压缩模块504具体用于通过降采样方式对运行数据进行压缩。

对应地，本申请还提供了一种机载数据采集方法，该方法应用于机载数据采集装置102，如图6所示，包括：

s602：采集模块502采集机载激光雷达的运行数据。

s604：压缩模块504对运行数据进行压缩。

s606：传输模块506将压缩后的运行数据传输至地面数据处理装置106。

在一些可能的实现方式中，机载数据采集装置102包括上位机和下位机，上位机用于采集照片数据和测量数据，下位机用于采集位姿数据。

在一些可能的实现方式中，位姿数据包括惯性数据和导航数据，下位机还用于根据导航数据对惯性数据进行时间同步。

在一些可能的实现方式中，下位机具体用于通过记录每次同步时间和初次同步时间的增量，对惯性数据进行时间同步。

在一些可能的实现方式中，下位机包括部署有实时操作系统的单片机，上位机包括部署高级操作系统的嵌入式系统。

在一些可能的实现方式中，对运行数据进行压缩具体包括通过降采样方式对运行数据进行压缩。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并或删减；本申请实施例装置中的模块可以根据实际需要进行划分、合并或删减。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。