本发明属于遥感数据处理和技术应用领域,具体涉及一种多源数据融合的反演pm10方法。
背景技术:
1、pm10是空气动力学当量直径小于等于10微米的可吸入颗粒物,指漂浮在空气中的固态和液态颗粒物的总称。该可吸入颗粒物对人体的害处表现在:对呼吸系统疾病的影响:大气中pm10浓度的上升容易引起上呼吸道感染、使鼻炎、慢性咽炎、慢性支气管炎、支气管哮喘、肺气肿、尘肺等。对心血管疾病的影响:会增加血液的粘稠度和血液中某些白蛋白,从而引起血栓。具有致癌、致突变、致残作用:石油、煤等化石燃料及木材、烟草等有机物在不完全燃烧过程中会产生多环芳烃(pahs),由于pahs具有致癌、致突变、致残作用,因此对人体健康危害极大,其中代表物苯并(a)芘(bap)是最具致癌性的物质,能诱发皮肤癌、肺癌和胃癌。
2、现有技术的pm10监测的深度和广度远远跟不上人类抗疾病需求的发展,表现在:
3、第一、pm10的监测能力发展不平衡。区域间、层级间、城乡间pm10监测基础能力差异较大,部分中西部地区监测设备老化、实验条件简陋,区县监测能力难以满足执法监测和应急监测任务要求,农村环境监测刚刚起步。国家和重点区域监测技术实验能力不足、发展空间受限,遥感监测星的应用基础设施短缺,全国监测系统信息化建设缺乏统一规划,数据壁垒未实质性打通,海量监测数据有效归集和智能分析应用亟需加强。
4、第二、传统pm10地面监测站点无法提升监测站数据的影响范围:①无法获取区域性污染分布特征的现状;②可以全天候、大尺度观测,但是精度不高,也不能提供数据产品;③无法为大气污染的全方位立体监测提供重要的信息来源。
技术实现思路
1、本发明针对现有技术存在的问题,提出一种多源数据融合的反演pm10方法,目的在于解决传统pm10地面监测站点的监测能力发展不平衡,以及传统pm10地面监测站点无法提升监测站数据的影响范围的问题。
2、本发明为解决其技术问题提出以下技术方案:
3、一种多源数据融合的反演pm10方法,该方法基于一种多源数据融合的反演pm10系统,其特点是,该方法包括以下步骤:
4、步骤一、向反演pm10系统输入数据,针对不同遥感影像数据进行格式转换;
5、步骤二、对监测站点的输入数据进行插值计算、针对原始影像缺失值进行填补缺失值的数据计算,获得监测站点pm10均值、监测站点的“点”的高分辨率气象数据二维矩阵、以及监测站点“点”的高分辨率aod数据二维矩阵,并且完成机器学习的训练阶段;
6、步骤三、依据插值和填补后的数据进行反演,生成最终反演结果。
7、进一步地,所述步骤一的向反演pm10系统输入数据,针对不同遥感影像数据进行格式转换;具体过程如下:
8、1)向反演系统输入监测站点的经纬度数据;
9、2)获取监测站点的原始三维气象数据、原始三维aod数据;
10、3)对监测站点的原始三维气象数据和原始三维aod数据进行不同遥感影像数据的格式转换;
11、所述气象数据包括空气压力、湿度、风速、温度、风向数据,所述aod数据即为气溶胶数据;
12、进一步地,所述步骤二的对监测站点的输入数据进行插值计算、针对原始影像缺失值进行填补缺失值的数据计算,获得监测站点pm10均值、监测站点的“点”的高分辨率气象数据二维矩阵、以及监测站点“点”的高分辨率aod数据二维矩阵,并且完成机器学习的训练阶段;具体过程如下:
13、1)将监测站点的原始三维气象数据、原始三维aod数据转换为原始二维气象数据、以及原始二维aod数据;该三维数据格式的气象数据按照日期、经度、纬度组成三维数据;该三维数据格式的aod数据按照日期小时、经度、纬度组成三维数据;当它们以各自特定日期或者特定的日期小时为单位进行划分时,即可得到该站点该日期的低分辨率原始二维气象数据、以及该站点该日期小时的低分辨率原始二维aod数据;
14、2)对该站点的低分辨率原始二维气象数据进行插值计算,获得监测站点的“点”的高分辨率气象数据二维矩阵;
15、3)对该站点的低分辨率原始二维aod数据进行填补计算和插值计算,获得
16、监测站点“点”的高分辨率aod数据二维矩阵,此处的aod数据二维矩阵指的是具体日期的数据;
17、4)获得机器学习训练阶段的输入数据和输出数据,并完成机器学习的训练阶段。
18、进一步地,所述步骤二过程2)对该站点的低分辨率原始二维气象数据进行插值计算,获得监测站点的“点”的高分辨率气象数据二维矩阵,具体为:
19、a.克里金插值计算:对低分辨率原始二维气象数据进行克里金插值计算;所述克里金插值计算就是将低分辨率原始二维气象数据变成高分辨率的m行m列二维气象数据;
20、b.对高分辨率的m行m列二维气象数据的每个栅格的经纬度进行细分,得到细分经纬度以后的高分辨率的m行m列气象数据二维矩阵;
21、c.在细分经纬度以后的高分辨率的m行m列气象数据二维矩阵中搜索对应该站点经纬度的高精度原始气象数据,获得监测站点的“点”的高分辨率气象数据二维矩阵;
22、进一步地,所述步骤二过程3)对该站点的低分辨率原始二维aod数据进行填补计算,具体步骤如下:
23、①将该站点的低分辨率原始aod二维矩阵划分为n行n列的栅格,该n行n列的栅格和该低分辨率原始aod二维矩阵的行数和列数相对应;
24、②生成用于计数的n行n列计数aod全零二维矩阵和用于合计的n行n列合计aod全零二维矩阵;所述计数aod全零二维矩阵用于统计每个栅格在不同时间内出现有效aod数据的次数;所述合计aod全零二维矩阵用于统计每个栅格在不同时间的气溶胶数据:所述不同时间是指同一个日期的不同小时。
25、③统计该计数aod全零二维矩阵在不同时间内每个栅格内出现有效aod数据的次数,并生成计数aod二维矩阵;并统计合计aod全零二维矩阵在每个时间内每个栅格的气溶胶数据,并生成合计aod二维矩阵。
26、④用该合计aod二维矩阵每个栅格的值除以计数aod二维矩阵每个栅格的值,生成低分辨率的aod均值二维矩阵。
27、进一步地,所述步骤二过程3)对该站点的低分辨率原始二维aod数据进行插值计算,具体步骤为:
28、①对低分辨率的aod均值二维矩阵进行插值计算,得到高分辨率的m行m列aod均值二维矩阵,具体为:插值后由n行n列扩大为m行m列,m=n*k,k为扩大倍数;
29、③对高分辨率的m行m列aod均值二维矩阵的每个栅格的经纬度进行细分,得到细分经纬度以后的高分辨率的m行m列aod均值二维矩阵;
30、④在分经纬度以后的高分辨率的m行m列aod均值二维矩阵搜索站点经纬度对应的aod均值,获得监测站点“点”的高分辨率aod数据二维矩阵;
31、进一步地,所述步骤二过程4)获得机器学习训练阶段的输入数据和输出数据,并完成机器学习的训练阶段,具体步骤如下:
32、a.获取监测站点检测数据的日期;该日期为当天有监测数据的日期;
33、b.根据气象数据计算该日期监测站点的空气压力、湿度、风速、温度、风向的平均值;
34、c.根据气溶胶数据计算该日期监测站点的气溶胶数据的平均值;
35、d.获取该监测站点当日实际测量的pm10均值;
36、e.将以上数据转换为机器学习能够识别的格式;
37、f.将监测站点的“点”的高分辨率气象数据二维矩阵、以及监测站点“点”的高分辨率aod数据二维矩阵作为机器学习输入端数据,将监测站点pm10均值作为机器学习的输出值,实现模型训练。
38、进一步地,所述步骤三的依据插值和填补后的数据进行反演,具体过程如下:
39、a.输入当前待反演pm10数据的目标物理区域shp文件以及日期;所述目标物理区域包括某个省、市、区、县;
40、b.获取该日期目标物理区域的低分辨率原始三维气象数据、原始三维aod数据,再将原始三维气象数据、原始三维aod数据分别转换为低分辨率原始气象数据二维矩阵、以及低分辨率原始aod数据二维矩阵;
41、c.对该日期目标物理区域的低分辨率原始气象数据二维矩阵进行插值计算,得到该日期目标物理区域的多个高分辨率的m行m列气象数据二维矩阵;对低分辨率原始aod数据二维矩阵进行填补计算和插值计算,得到该日期目标物理区域的高分辨率的m行m列aod均值二维矩阵;
42、d.对该日期和该目标物理区域的多个高分辨率的m行m列气象数据二维矩阵、以及一个高分辨率的m行m列aod均值二维矩阵进行降维,降维后,得到多个多行单列的高分辨率气象数据的一维矩阵、以及一个多行单列的高分辨率aod均值数据一维矩阵;所述多个多行单列的高分辨率气象数据的一维矩阵包括多行单列的高分辨率气象数据的一维矩阵、相对湿度多行单列的高分辨率气象数据的一维矩阵、风速多行单列的高分辨率气象数据的一维矩阵、温度多行单列的高分辨率气象数据的一维矩阵、风向多行单列的高分辨率气象数据的一维矩阵。
43、e.将上述多个多行单列的高分辨率气象数据的一维矩阵、以及一个多行单列的高分辨率aod均值数据一维矩阵作为机器学习应用阶段的输入数据;
44、f.机器模型输出反演pm10多行单列一维矩阵。
45、进一步地,所述步骤三的生成最终反演结果,具体过程如下:
46、1)将机器模型输出的反演pm10多行单列一维矩阵转为反演pm10的多行多列的二维矩阵;
47、2)将反演pm10的多行多列的二维矩阵以及目标物理区域shp文件输入给gdal裁剪方法文件;
48、3)gdal裁剪方法文件输出该目标物理区域的pm10图形文件。
49、所述过程1)将机器模型输出的反演pm10多行单列一维矩阵转为反演pm10的多行多列的二维矩阵,具体过程如下:
50、a.根据降维前的行数和列数定义,将机器模型输出一维数组转换为二维数组的行数和列数;
51、b.根据该定义的行数和列数将机器模型输出的单列多行一维数组转换为多行多列的二维数组。
52、本发明的优点效果
53、1、本发明实现了全国范围内pm10的监测能力的平衡发展:本发明将地面监测站技术、克里金插值技术、填补缺失数据技术、融合技术、“二维矩阵”和“一维矩阵”相互转换技术、机器模型技术有机组合在一起,成功用多源数据融合+机器模型反演pm10取得了较好的效果,实现了全国范围内pm10监测能力的平衡发展。对于区域间、层级间、城乡间pm10监测基础能力差异较大、部分中西部地区监测设备老化、实验条件简陋等不具备地面监测站条件的地区,应用本发明的反演pm10技术,同样能够监测到当地的pm10状况。极大地解决了偏远山区和基础条件落后地区监测pm10的燃眉之急,也有效节省了建设地面监测站的设备成本和人工成本。
54、2、本发明提升了地面监测站数据的影响范围:应用本发明的pm10反演技术,不仅能够监测到“点”的污染分布特征的现状,还能监测到区域“面”的污染分布特征的现状。具体为:利用基于监测站点的机器模型,再获取待反演pm10的省市区县当地每日的原始气象数据、以及每日每时的原始aod数据,经过多源数据融合,即可得到该省市区县的pm10分布图形。使得一个站点的数据能够为全国所用,提升了地面监测站数据的影响范围。