1.一种基于云计算的遥感卫星数据解压缩处理系统,其特征在于,包括输入格式组件、分块读取组件、数据划分组件、解压缩mapper组件、解压缩shuffle组件、解压缩reducer组件、原始数据解压缩组件、图像拼接组件;
输入格式组件:根据设置的原始数据分块大小和位置,将原始数据切割成分块数据,调用分块读取组件,生成可供解压缩mapper组件处理的原始分块数据键值对<key,value>,并分发至各个map处理节点;
数据划分组件:记录各个原始分块数据的大小和位置;
分块读取组件:根据原始分块数据,生成key值和value值,组合成原始分块数据键值对<key,value>;
解压缩mapper组件:接收原始分块数据键值对,进行数据提取操作,同时调用原始数据解压缩组件,将原始分块数据解压缩,生成图像块数据,并将其重新组织成键值对<key,value>的形式;
解压缩shuffle组件:接收图像块数据键值对,按照图像幅号以及幅内块号进行排序,输出至解压缩reducer组件;
解压缩reducer组件:接收排序后的图像块数据,调用图像拼接组件进行图像数据的拼接、辅助数据恢复和数据校验;
原始数据解压缩组件:以原始分块数据为单位进行数据解压缩,输出解压缩后数据;
图像拼接组件:将具有同一幅号的图像块和辅助数据块按照块号进行排序,并进行拼接,最终形成符合卫星数据格式规范的图像数据和辅助数据。
2.一种基于云计算的遥感卫星数据解压缩处理方法,其特征在于,包括步骤如下:
(1)根据每颗遥感卫星的原始数据格式特征,确定用于并行计算的输入数据分块长度,调用数据划分组件,生成原始数据分割信息描述文件;
(2)根据输入的原始数据分割信息描述文件,调用输入格式组件、分块读取组件、数据划分组件,进行原始数据的划分,将原始数据分割为原始分块数据键值对<key,value>的集合,同时分配各原始分块数据存储的数据节点;
(3)hadoop平台根据各map节点的负载与原始分块数据的存储位置,将各个原始分块数据键值对分配至最优的map处理节点进行运算;
(4)各解压缩mapper组件处理原始分块数据键值对,进行数据提取操作,同时调用原始数据解压缩组件,将原始分块数据解压缩,生成图像块数据,并重新组合成图像块数据键值对<key,value>的形式,处理结果以数据流的方式传输到解压缩shuffle组件;如果节点出现异常错误,则调度到其他节点重新运算;
(5)解压缩shuffle组件接收数据流,按照图像幅号以及幅内块号将键值对排序后,以数据流的方式传输至各解压缩reducer组件;
(6)各解压缩reducer组件将具有同一幅号的图像块和辅助数据块按照块号进行排序,对同一幅号的图像数据和辅助数据进行拼接,同时进行校验,最后生成遥感卫星各个类型传感器完整的图像数据和辅助数据。
3.根据权利要求2所述的一种基于云计算的遥感卫星数据解压缩处理方法,其特征在于,分割信息描述文件结构如下:
<split>
<id>分块序号</id>
<start>起始坐标</start>
<end>结束坐标</end>
</split>
其中,id为数据分块序号,start为数据分块起始字节值,end为数据分块结束字节值。
4.根据权利要求2或3所述的一种基于云计算的遥感卫星数据解压缩处理方法,其特征在于,所述输入格式组件:根据设置的原始数据分块大小和位置,将原始数据切割成分块数据,调用分块读取组件,生成可供解压缩mapper组件处理的原始分块数据键值对<key,value>,并分发至各个map处理节点。
5.根据权利要求4所述的一种基于云计算的遥感卫星数据解压缩处理方法,其特征在于,所述数据划分组件:记录各个原始分块数据的大小和位置。
6.根据权利要求5所述的一种基于云计算的遥感卫星数据解压缩处理方法,其特征在于,所述分块读取组件:根据原始分块数据,生成key值和value值,组合成原始分块数据键值对<key,value>。