基于实时和历史数据的无人机监测大气数据丢失补偿方法

本发明涉及环境科学监测，具体涉及一种基于实时和历史数据的无人机监测大气数据丢失补偿方法。

背景技术：

1、随着城市的不断进步及发展进程加速，引发的大气污染已成为全球关注的重大环境问题，对人类健康和生态系统产生严重的负面影响。监测大气污染数据不仅可以为政府、企业和公众提供实时的空气质量信息，还可以帮助科研机构分析污染源和传播路径，为制定有效的环保政策提供科学依据。此外，通过长期的数据监测，我们可以了解大气污染的趋势和变化，从而预测未来的环境风险，并采取适当的措施应对。总之，监测大气污染数据是确保人类健康、维护生态平衡和实现可持续发展的关键步骤。

2、固定监测站是传统的大气污染监测方法，它们通常设在特定的地点，能够提供长期、稳定的数据。然而，它们的分布可能不够均匀，导致某些地区的污染水平无法得知。随着技术的进步，便捷式监测设备的出现，让人们可以在步行或骑行时携带这些设备，实时监测他们所在的环境。这种方法提供了更高的空间分辨率，帮助我们更好地探究城市中的污染热点和微观环境，然而，携带便捷设备移动测量更容易受到步行过程中呼吸和颗粒再悬浮等人为影响，从而降低测量的准确性。

3、无人机技术在大气污染监测中的引入，可以利用其效率高、机动性好、飞行时无排放等特点，通过在无人机上适当安装便携式设备，在传统方法难以到达的区域收集空气质量数据。然而在实际的监测过程中，由于各种原因，如设备故障、维护或其他外部干扰，数据丢失是一个常见的问题。这种数据缺失导致地面监测平台监测效果下降，对污染水平产生误解，从而影响决策制定和公众的健康。

4、为了解决这一问题，插补丢失的大气污染数据变得至关重要。通过使用合适的统计方法和算法，我们可以估计丢失的数据，从而确保数据集的完整性和连续性。如何在无人机搭载设备监测大气数据实时对数据集进行插值，让监测数据集保持较高的质量，让地面移动监测平台可视化表现提升，又或是对历史数据集进行更复杂全面的插值，帮助研究人员更准确地理解和分析过去的大气变化，仍然是一个需要解决的问题。

技术实现思路

1、为解决上述问题，本发明提供了一种贯穿完整监测过程的基于无人机监测大气数据插值方法，可通过实时插值途径和历史插值途径，对实时数据集和历史数据集进行数据丢失补偿，从而优化实时大气监测可视化的表现，补足无人机监测大气数据丢失带来的弊端。

2、为了实现上述的技术目的，本发明所采用的技术方案为：

3、一种基于实时和历史数据的无人机监测大气数据丢失补偿方法，包括：

4、1)：无人机搭载传感器在待测区域展开飞行，同时通过地面移动监测平台进行监测；其中，地面移动监测平台，可以是行人背包移动监测平台，自行车移动监测平台，或汽车车载监测平台。

5、2)：通过地面移动监测平台接收无人机监测数据，所述监测数据的插值方法分为实时数据插值和历史数据插值，实时数据插值贯穿整个监测过程，历史数据插值在监测完成后进行；

6、3)：在监测过程的实时数据插值中，地面移动监测平台在每次接收时判断是否出现数据丢失，并分别将该时刻数据接收状态分为丢失数据及未丢失数据；

7、若为未丢失数据，则直接保存数据；若为丢失数据，则对丢失数据进行待插值标记，成为待插值丢失数据，并保存；

8、4)：每次数据保存完，判断已保存数据中是否存在带有待插值标记的丢失数据，若是，则判断以其为中心的指定搜索半径内未丢失数据及已插值丢失数据的总数量是否达到最少个数；其中，搜索半径可以为5m、10m、20m、30m及更大或更小，所述最少个数可以为5个，10个，15个或20个及更大或更小，搜索半径与最少个数并不固定，视具体情况而定。

9、若是，使用idw(反距离加权法)高效地对该丢失数据进行插值补偿，并进行已插值标记，该数据即成为已插值丢失数据，弥补地面移动监测平台数据缺失时实时可视化的呈现；若否，则地面移动监测平台直接进行可视化；

10、5)：在监测完成后的历史数据插值中，地面移动监测平台将接收到的历史数据集保存于数据库，成为历史数据集；

11、6)：对历史数据集进行预处理，然后对历史数据进行正态检验及正态分布转换；

12、7)：计算各数据点之间的距离及半方差值；

13、8)：交叉验证选取最优拟合模型，并计算相关参数；

14、9)：使用kriging插值法进行插值，得到kriging插值数据集；

15、10)：对于实时数据插值方法及历史数据插值方法得到的数据集，地面移动监测平台均将其保存于数据库。

16、作为一种可能的实施方式，进一步，所述无人机的监测平台，还可用热气球高空移动监测平台；其中，高空指距离地面3m以上，500m以下的近地空间。

17、进一步的，所述地面移动监测平台可接收无人机搭载传感器所监测的数据，并且可以将监测数据进行可视化。所述可视化，即利用计算机图形学和图像处理技术，将监测到的数据转换成图形或图像在屏幕上显示，并进行交互。

18、进一步的，步骤2)中所述监测数据包括污染物数据、气象数据、对应的经纬度坐标、采样时间、无人机高度值，但不限于以上数据。上述提供的数据为较为上位的概念，实际中数据可以具体，例如，其中，污染物数据可以为pm2.5数据，其他数据类似。

19、进一步的，步骤2)中所述实时数据插值的方法能够在监测过程中基于未丢失数据及已插值丢失数据对丢失数据进行idw实时插值，idw插值迅速，适合于监测过程实时进行，且实时数据插值的方法可以在地面移动监测平台主动开启或关闭。

20、所述历史数据插值的方法能够在监测完成后基于历史数据进行kriging插值，kriging插值精确但更为复杂和耗时，适合于监测完成后进行，需要手动开启，插值完成后自动关闭。

21、进一步的，所述idw(反距离加权插值)方法的表达式如下：

22、距离公式：

23、

24、反距离加权插值公式：

25、

26、

27、其中，d0i为预测点x0与已知的观测点xi之间的欧氏距离；xi为第i个已知数据点的经度坐标值；x0为预测点的经度坐标值；yi为第i个已知数据点的纬度坐标值；y0为预测点的的纬度坐标值。；z(x0)为预测点x0的估计值；z(xi)为已知的观测点xi的值；μi是给观测值z(xi)分配的权重；n是已知观测点的总数量；p为正实数，决定权重随距离变化的速度，常用值为2，并可以根据情况调整。

28、进一步的，所述未丢失数据定义为地面移动监测平台接收一次数据其污染物数据、气象数据、对应的经纬度坐标、采样时间、无人机高度值均未丢失；

29、所述丢失数据定义为地面移动监测平台接收一次数据其对应的经纬度坐标、无人机高度值及采样时间未丢失，污染物数据或气象数据丢失；

30、待插值标记丢失数据定义为带有待插值标记的丢失数据；

31、已插值丢失数据定义为已通过idw方法对待插值丢失数据进行插补后的数据；

32、所述历史数据集定义为经过实时数据插值处理的数据集或未经过实时数据插值处理的数据集。

33、进一步的，步骤6)中预处理方法，包括：

34、去除掉历史数据集中所有污染物数据、气象数据、对应的经纬度坐标、采样时间、无人机高度值为0和小于0的异常数据，使其为空，按照如下公式对历史数据集中所有污染物数据、气象数据进行转换：

35、γ(xi)＝ln(z(xi))  (4)

36、其中，z(xi)为历史数据集；γ(xi)为转化后的历史数据集；ln为自然对数。预处理的作用在于让历史数据集呈类正态分布，提高后续插值准确度。

37、进一步的，步骤7)中计算各数据点之间距离的公式如下：

38、

39、其中，xi为第i个点的经度坐标值；xj为第j个点的经度坐标值；yi为第i个点的纬度坐标值；yj为第j个点的纬度坐标值；

40、计算数据点之间的半方差值的公式如下：

41、

42、其中，n(dij)是距离为dij的数据对的数量，z(xi)和z(xj)是对应位置的观测值。

43、进一步的，步骤8)中交叉验证过程会将转化后的历史数据集分割为训练集与验证集，然后使用训练集数据，为每个半方差函数模型拟合一个克里金模型，接着再使用每个拟合的克里金模型对验证集数据进行预测，最后对每个克里金模型的预测结果进行评估(评估可采用均方误差(mse)作为评价标准)，最终基于评估结果，选取表现最好的模型作为最佳模型。

44、所述半方差函数模型包括高斯模型、线性模型、球状模型、指数模型、幂函数模型，各模型的表达式如下：

45、高斯模型：

46、

47、线性模型：

48、

49、球状模型：

50、

51、指数模型：

52、

53、幂函数模型：

54、γ(dij)＝c0+c·dij∝ 0<∝<2  (11)

55、其中c0是块金，代表在非零距离的微小变化下的方差；c取决于数据的方差或振幅，a是范围参数。

56、进一步的，步骤9)中所述的kriging插值公式如下：

57、预测公式：

58、

59、克里金权重：

60、

61、其中，z(x0)为预测点对应的预测值，z(xi)是第i个已知点的观测值，λi是第i个已知点的权重。

62、采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：

63、本发明提供的基于实时和历史数据的无人机监测大气数据丢失补偿方法兼顾了无人机监测过程及监测完成后数据集的插值补偿，既能提高实时监测数据的质量，使地面移动监测平台实时可视化的表现得到优化，又能够在监测完成后对历史数据进行更为详细的解析与补偿，帮助研究人员更准确地理解和分析过去的监测数据变化情况。