一种基于云计算的遥感卫星数据解压缩处理系统及方法与流程

文档序号:20039038发布日期:2020-02-28 11:40阅读:来源:国知局

技术特征:

1.一种基于云计算的遥感卫星数据解压缩处理系统,其特征在于,包括输入格式组件、分块读取组件、数据划分组件、解压缩mapper组件、解压缩shuffle组件、解压缩reducer组件、原始数据解压缩组件、图像拼接组件;

输入格式组件:根据设置的原始数据分块大小和位置,将原始数据切割成分块数据,调用分块读取组件,生成可供解压缩mapper组件处理的原始分块数据键值对<key,value>,并分发至各个map处理节点;

数据划分组件:记录各个原始分块数据的大小和位置;

分块读取组件:根据原始分块数据,生成key值和value值,组合成原始分块数据键值对<key,value>;

解压缩mapper组件:接收原始分块数据键值对,进行数据提取操作,同时调用原始数据解压缩组件,将原始分块数据解压缩,生成图像块数据,并将其重新组织成键值对<key,value>的形式;

解压缩shuffle组件:接收图像块数据键值对,按照图像幅号以及幅内块号进行排序,输出至解压缩reducer组件;

解压缩reducer组件:接收排序后的图像块数据,调用图像拼接组件进行图像数据的拼接、辅助数据恢复和数据校验;

原始数据解压缩组件:以原始分块数据为单位进行数据解压缩,输出解压缩后数据;

图像拼接组件:将具有同一幅号的图像块和辅助数据块按照块号进行排序,并进行拼接,最终形成符合卫星数据格式规范的图像数据和辅助数据。

2.一种基于云计算的遥感卫星数据解压缩处理方法,其特征在于,包括步骤如下:

(1)根据每颗遥感卫星的原始数据格式特征,确定用于并行计算的输入数据分块长度,调用数据划分组件,生成原始数据分割信息描述文件;

(2)根据输入的原始数据分割信息描述文件,调用输入格式组件、分块读取组件、数据划分组件,进行原始数据的划分,将原始数据分割为原始分块数据键值对<key,value>的集合,同时分配各原始分块数据存储的数据节点;

(3)hadoop平台根据各map节点的负载与原始分块数据的存储位置,将各个原始分块数据键值对分配至最优的map处理节点进行运算;

(4)各解压缩mapper组件处理原始分块数据键值对,进行数据提取操作,同时调用原始数据解压缩组件,将原始分块数据解压缩,生成图像块数据,并重新组合成图像块数据键值对<key,value>的形式,处理结果以数据流的方式传输到解压缩shuffle组件;如果节点出现异常错误,则调度到其他节点重新运算;

(5)解压缩shuffle组件接收数据流,按照图像幅号以及幅内块号将键值对排序后,以数据流的方式传输至各解压缩reducer组件;

(6)各解压缩reducer组件将具有同一幅号的图像块和辅助数据块按照块号进行排序,对同一幅号的图像数据和辅助数据进行拼接,同时进行校验,最后生成遥感卫星各个类型传感器完整的图像数据和辅助数据。

3.根据权利要求2所述的一种基于云计算的遥感卫星数据解压缩处理方法,其特征在于,分割信息描述文件结构如下:

<split>

<id>分块序号</id>

<start>起始坐标</start>

<end>结束坐标</end>

</split>

其中,id为数据分块序号,start为数据分块起始字节值,end为数据分块结束字节值。

4.根据权利要求2或3所述的一种基于云计算的遥感卫星数据解压缩处理方法,其特征在于,所述输入格式组件:根据设置的原始数据分块大小和位置,将原始数据切割成分块数据,调用分块读取组件,生成可供解压缩mapper组件处理的原始分块数据键值对<key,value>,并分发至各个map处理节点。

5.根据权利要求4所述的一种基于云计算的遥感卫星数据解压缩处理方法,其特征在于,所述数据划分组件:记录各个原始分块数据的大小和位置。

6.根据权利要求5所述的一种基于云计算的遥感卫星数据解压缩处理方法,其特征在于,所述分块读取组件:根据原始分块数据,生成key值和value值,组合成原始分块数据键值对<key,value>。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1