一种无人机激光探测实时可视化方法、系统及存储介质与流程

本申请涉及激光探测技术领域，尤其涉及一种无人机激光探测实时可视化方法、系统及存储介质。

背景技术：

随着电力系统的发展，电网中的高压电力线路规模不断扩大，线路通道环境也越来越复杂，诸如异物缠挂、线路下方树木、违规施工、违章建筑等情况，容易导致线路安全距离不足而发生短路事故。事故一旦发生，后果严重，巨大的电流可能造成人员严重伤害，故障造成线路设备损坏，跳闸停运，对电网运行造成冲击，同时，故障对城市区域供电造成影响，扰乱企业和居民的正常生产生活秩序，带来重大经济损失。

对于电力线路安全距离的检测，目前常用的方式是电力工人巡线过程中，对线路段进行人工目视判断或全站仪量测，但线路安全距离不足的多发点通常在人迹难至之地，这些测量方式由于树木、建筑等遮挡以及视觉透视偏差，难以对疑似超限点得出准确有效的判断，不能适应现代化电网的发展和安全运行需要。

有人直升机及无人机携带激光扫描系统巡检技术已在电网巡检中逐渐得到应用。机载激光雷达测量系统可以很好地解决空间定位和测量精度等问题，它可直接而快速地采集线路走廊高精度三维激光点云数据，进而快速地获得高精度三维线路走廊的地形、地貌、地物和线路设施的空间信息。随着lidar点云数据处理技术的逐渐成熟，大部分无人机电力巡线系统都配备有lidar系统。并且，随着传感器技术的进步，激光扫描仪和定位定姿系统都在逐步小型化，lidar系统也随之轻小型化，从而能被多旋翼无人机所搭载。但目前基于lidar的导线地物安全检测绝大多是事后处理，即先采集整个导线的数据，然后再内业进行处理(包括定位定姿数据处理、lidar点云生成，导线提取等)，如此，在发现安全隐患时，又要重新回到隐患所在地才可以处理，浪费了时间和人力，消缺的延时性很大。

技术实现要素：

本申请实施例提供了一种无人机激光探测实时可视化方法、系统及可存储介质，解决了在无人机激光扫描巡检时，采集到的数据需要先传回处理中心进行可视化，从可视化出的图像中发现安全隐患时需要折回现场处理，导致隐患消除不及时，浪费了时间和人力的技术问题。

有鉴于此，本申请第一方面提供了一种无人机激光探测实时可视化方法，包括：

获取到无人机的姿态原始数据、定位原始数据以及激光扫描数据；

将所述姿态原始数据以及所述定位原始数据融合，修正得到无人机的航迹数据及姿态数据；

将所述激光扫描数据、所述航迹数据及所述姿态数据转换成全局坐标下的实时点云数据；

将所述实时点云数据发送至地面站进行可视化。

优选地，所述将所述姿态原始数据以及定位原始数据融合，修正得到无人机的航迹数据及姿态数据具体包括：

将所述姿态原始数据以及所述定位原始数据通过卡尔曼滤波算法融合，修正得到无人机的航迹数据及姿态数据。

优选地，所述将所述姿态原始数据以及所述定位原始数据通过卡尔曼滤波算法融合，修正得到无人机的航迹数据及姿态数据具体包括：

将所述姿态原始数据以及所述定位原始数据通过扩展卡尔曼滤波算法融合，修正得到无人机的航迹数据及姿态数据。

优选地，所述将所述姿态原始数据以及所述定位原始数据通过扩展卡尔曼滤波算法融合，修正得到无人机的航迹数据及姿态数据具体包括：

将所述姿态原始数据以及所述定位原始数据作为系统观测向量输入预设非线性系统状态估计值方程，根据滤波结果修正当前结果，递归优化出无人机的航迹数据及姿态数据。

优选地，所述将所述实时点云数据发送至地面站进行可视化具体包括：

将所述实时点云数据通过用户数据报协议udp将所述实时点云数据发送至地面站进行可视化。

优选地，所述获取到无人机的姿态原始数据、定位原始数据以及激光扫描数据具体包括：

获取到无人机imu系统提供的姿态原始数据、无人机rtk系统提供的定位原始数据以及激光扫描数据。

优选地，所述将所述激光扫描数据、所述航迹数据及所述姿态数据转换成全局坐标下的实时点云数据具体包括：

将所述激光扫描数据映射到所述航迹数据及所述姿态数据上，形成全局坐标下的实时点云数据。

本申请第二方面提供一种无人机激光探测实时可视化系统，包括：

无人机、cors系统及地面站；

所述无人机内设置有控制芯片，所述控制芯片用于上述第一方面任一项所述的方法；

所述无人机还搭载有imu系统、rtk系统以及激光雷达系统；

所述cors系统，与所述无人机通信连接，通过所述无人机的rtk系统实现差分定位；

地面站，用于接收所述无人机发送的实时点云数据并进行可视化。

优选地，所述控制芯片具体为fpga。

本申请第三方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例中，提供了一种无人机激光探测实时可视化方法，包括：获取到无人机的姿态原始数据、定位原始数据以及激光扫描数据；将姿态原始数据以及定位原始数据融合，修正得到无人机的航迹数据及姿态数据；将激光扫描数据、航迹数据及姿态数据转换成全局坐标下的实时点云数据；将实时点云数据发送至地面站进行可视化。

本申请实施例中，通过将姿态原始数据以及定位原始数据融合，修正得到准确的无人机的航迹数据及姿态数据，在结合激光扫描数据，将三种数据转换融合成全局坐标下的实时点云数据，将实时点云数据发送给地面站进行可视化。解决了在无人机激光扫描巡检时，采集到的数据只能先传回处理中心进行可视化，再从可视化出的图像中寻找安全隐患，若发现安全隐患，需要重新折回现场处理，导致隐患消除不及时，浪费了时间和人力的技术问题。

附图说明

图1为本申请第一个实施例提供的一种无人机激光探测实时可视化方法的流程示意图；

图2为本申请第二个实施例提供的一种无人机激光探测实时可视化方法的流程示意图；

图3为本申请实施例提供的imu/rtk组合导航系统的卡尔曼滤波器的信号流示意图；

图4为图3所示卡尔曼滤波器的信号流示意图；

图5为本申请实施例提供的一种无人机激光探测实时可视化系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

电力巡检人员在对电力线路进行巡检时，通常会操控无人机，利用其配备的lidar系统对电力线路进行激光探测。由于无人机的有一定的操控范围，因此电力巡检人员需要到线路现场对无人机进行操控，才可完成整个线路的巡检工作。然而，由于现有的激光雷达探测系统均为事后处理，没有能够一种能够实时可视化的方法，因此采集到的数据只能先传回地面站(数据处理中心)进行可视化处理，如此，电力巡检人员在通过可视化出的图像发现线路上的安全隐患后，又要重新折回隐患所在地进行处理，导致了隐患处理延迟性答，并且造成时间与人力的浪费。

请参阅图1，图1为本申请第一个实施例提供的一种无人机激光探测实时可视化方法的流程示意图，包括：

步骤101、获取到无人机的姿态原始数据、定位原始数据以及激光扫描数据。

无人机可以配备相应的imu系统以及定位系统，从而通过imu系统以及定位系统可以获得无人机的姿态原始数据以及定位原始数据。而激光扫描数据可以通过激光雷达扫描获得。

步骤102、将姿态原始数据以及定位原始数据融合，修正得到无人机的航迹数据及姿态数据。

考虑到imu系统提供的姿态原始数据经过了二次积分，有比较大的误差，因此可以通过定位原始数据去修正姿态原始数据。该过程可以看作是两种数据的互相作用过程，或者说是一种融合的过程，可以通过系统状态估计算法将两种数据的作用过程考虑进去，估计出系统状态的最优值。

具体的，可以通过卡尔曼滤波算法将两种数据进行融合。卡尔曼滤波可以考虑两者的互相作用，通过不断的修正递归，优化出系统的最优状态，此时，相应的，也可以得到最优系统状态下无人机准确的航迹数据及姿态数据。

步骤103、将激光扫描数据、航迹数据及姿态数据转换成全局坐标下的实时点云数据。

由于无人机的激光扫描数据、航迹数据以及姿态数据均是相对于无人机而言的局部坐标下的数据，因此，需要将其转换成全局坐标下的实时点云数据，以方便后续的可视化。

步骤104、将实时点云数据发送至地面站进行可视化。

实时点云数据已经包含了可视化的信息，因此地面站在接收到实时点云数据后可以容易的实现可视化。

本申请实施例中，提供了一种无人机激光探测实时可视化方法，包括：获取到无人机的姿态原始数据、定位原始数据以及激光扫描数据；将姿态原始数据以及定位原始数据融合，修正得到无人机的航迹数据及姿态数据；将激光扫描数据、航迹数据及姿态数据转换成全局坐标下的实时点云数据；将实时点云数据发送至地面站进行可视化。

本申请实施例中，通过将姿态原始数据以及定位原始数据融合，修正得到准确的无人机的航迹数据及姿态数据，再结合激光扫描数据，将三种数据转换融合成全局坐标下的实时点云数据，将实时点云数据发送给地面站进行可视化。解决了在无人机激光扫描巡检时，采集到的数据只能先传回处理中心进行可视化，再从可视化出的图像中寻找安全隐患，若发现安全隐患，需要重新折回现场处理，导致隐患消除不及时，浪费了时间和人力的技术问题。

请参阅图2，图2为本申请第二个实施例提供的一种无人机激光探测实时可视化方法的流程示意图，包括：

步骤201、获取到无人机imu系统提供的姿态原始数据、无人机rtk系统提供的定位原始数据以及激光扫描数据。

在实时可视化过程中，考虑到现有的gps定位通常也是后处理，可以应用网络rtk技术，搭建实时动态探测网络，从而实现定位的实时性。并且与普通的gps定位相比，网络rtk的差分定位具有更好的精确度，可以实现更高质量的可视化。

步骤202、将姿态原始数据以及定位原始数据作为系统观测向量输入预设非线性系统状态估计值方程，根据滤波结果修正当前结果，递归优化出无人机的航迹数据及姿态数据。

需要说明的是，考虑到实际应用中系统总存在不同程度的非线性，只是可以近似看成是线性的。为了获取更好的结果，可以在充分考虑非线性因素的情况下，改进使用扩展卡尔曼滤波算法。

下面对如何构建反映实际系统的非线性数学模型进行说明。

通常，非线性系统数学模型如下：

x(k)＝f[xk-1，k-1]+γ[xk-1，k-1]wk-1(1)

z(k)＝h[xk-1，k-1]+v(k)(2)

式中，w(k)和v(k)均为零均值和白噪声序列，其统计特性如下：

根据系统的状态方程(1)，将非线性化函数f[·]围绕滤波值展开成泰勒级数，并且忽略二次以上的高次项，得：

假设

则系统的状态方程为：

和随机线性基本卡尔曼滤波方程相比，在已经求得的前一步滤波值的条件下，状态方程增加了非随机的外作用项φ(k-1)。

由观测方程(2)，将非线性函数h[]围绕滤波值展开成泰勒级数，并略去二阶以上项，得：

假设

则观测方程为：

z(k)＝h(k)x(k)+y(k)+v(k)(5)

应用于基本卡尔曼滤波算法，可以得到扩展卡尔曼滤波方程：

1、系统状态一步预测估计方程：

2、系统状态估计值方程：

3、滤波增益方程：

k(k)＝p(k|k-1)ht(k)[h(k)p(k|k-1)ht(k)+r(k)]^-1(8)

4、一步预测估计误差方差方程：

5、滤波误差方差方程：

p(k)＝[i-k(k)h(k)]p(k|k-1)(10)

在一个滤波周期内，卡尔曼滤波具有两个明显的信息更新过程：时间更新过程和观测更新过程。

观测更新过程：系统状态一步预测估计方程说明根据k-1时刻的状态估计预测k时刻状态的方法，一步预测误差估计方差方程对这种预测的质量优劣做了定量的描述。这两个式子的计算中仅仅使用了与系统的动态特征有关的信息，例如系统状态进一步转移矩阵、系统噪声输入阵、系统过程噪声方差阵、系统观测噪声方程阵。

时间更新过程：从时间推移的过程来看，系统状态一步预测估计方程和一步预测误差估计方差方程将系统时间从k-1时刻推进到k时刻，描述了卡尔曼滤波的时间更新过程。系统状态估计值方程、滤波增益方程和滤波误差方差方程用来计算对时间更新值的修正量，这个修正量是由时间更新的质量优劣p(k|k-1)、观测信息的质量优劣r(k)、观测与状态的关系h(k)以及具体的观测信息z(k)来确定。

通过以上对扩展卡尔曼滤波算法的说明，可以构建出适合无人机激光雷达探测系统的非线性系统状态方程，将姿态原始数据以及定位原始数据作为系统观测向量输入该预设非线性系统状态估计值方程，再根据滤波结果修正当前结果，递归优化出无人机的航迹数据及姿态数据。

卡尔曼滤波算法的实现可以通过在无人机中设置fpga，以fpga为载体承载扩展卡尔曼滤波算法。具体的，可以参考图3与图4，图3为本申请实施例提供的imu/rtk组合导航系统的卡尔曼滤波器的信号流示意图，图4为图3所示卡尔曼滤波器的信号流示意图。

图4中，fpga包括一个系统状态的输入，该输入为系统的观测向量z(k)，时钟输入clk和重置信号reset，还包括一个系统状态的输出，为系统的状态估计值reset是一个复位信号，其主要功能是在高电平是把系统的初始值赋给系统的观测向量z(k)，以便卡尔曼滤波算法以最优估计输出值无限递归下去。

步骤203、将激光扫描数据映射到航迹数据及姿态数据上，形成全局坐标下的实时点云数据。

激光扫描数据的实质可以认为是点数据的集合，航迹数据包含有坐标信息，姿态数据也包含有坐标信息，将三者转换成全局坐标下的点云数据时，具体的，可以将激光扫描数据映射到航迹数据及姿态数据上。

步骤204、将实时点云数据通过用户数据报协议udp将所述实时点云数据发送至地面站进行可视化。

在通信中，可以使用用户数据报协议udp数据包进行处理，生成实时激光点云数据后，利用该网络协议实时透传，将激光点云实时数据传输回地面站，实现实时激光点云数据的可视化呈现。

本申请实施例中，将姿态原始数据以及定位原始数据通过扩展卡尔曼滤波算法融合，修正得到准确的无人机的航迹数据及姿态数据，再结合激光扫描数据，将三种数据转换融合成全局坐标下的实时点云数据，将实时点云数据发送给地面站进行可视化。解决了在无人机激光扫描巡检时，采集到的数据只能先传回处理中心进行可视化，再从可视化出的图像中寻找安全隐患，若发现安全隐患，需要重新折回现场处理，导致隐患消除不及时，浪费了时间和人力的技术问题。

请参阅图5，图5为本申请实施例提供的一种无人机激光探测实时可视化系统的结构示意图，包括：无人机501、cors系统502及地面站503。

其中，无人机内设置有控制芯片5011，控制芯片5011用于执行上述实施例提供的任一种方法。

具体的，控制芯片5011可以为fpga。

无人机还搭载有imu系统5012、rtk系统5013以及激光雷达系统5014。

为了与rtk系统5013配套实现差分定位，该系统还包括cors系统502，其与无人机501中的rtk系统5013通信连接。

地面站503，用于接收无人机501发送的实时点云数据并进行可视化。

具体的，可以参见下表，表中为本申请实施例提供的一种无人机激光探测实时可视化系统的应用例的重要参数。

本申请实施例提供的无人机激光探测实时可视化系统，通过无人机、cors系统实现高精度的差分定位dgps，结合控制芯片执行的无人机激光探测实时可视化方法，实现实时生成实时点云数据，通过通信手段发送给地面站，在地面站实现激光探测的实时可视化。

本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种无人机激光探测实时可视化方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。