一种基于Spark的成像卫星任务预处理并行化方法与流程

文档序号:11917851阅读:来源:国知局

技术特征:

1.一种基于Spark的成像卫星任务预处理并行化方法,其特征在于,包括步骤:

A、轨道预报的并行化设计,将大规模观测任务分解若干个小任务,每个小任务独立完成;

B、轨道预报的并行化实现。

2.根据权利要求1所述的基于Spark的成像卫星任务预处理并行化方法,其特征在于,所述步骤A中,将大规模观测任务分解若干个小任务是针对并行计算的思想设计一个全新的并行化算法来达到并行计算。

3.根据权利要求1-2所述的基于Spark的成像卫星任务预处理并行化方法,其特征在于,所述步骤A中,轨道预报的并行化设计包括步骤:

A1、获取多颗卫星轨道预报输入;

A2、将所述输入封装在RDD中;

A3、将封装后数据通过轨道预报程序输出;

A4、所述输出为写入本地文件系统、写入RDD、写入Redis。

4.根据权利要求3所述的基于Spark的成像卫星任务预处理并行化方法,其特征在于,所述步骤A1包括:所述尾气传输管连接所述集气罩的一端处于整跟管路的最低位置,连接所述氧转移效率测定仪的一端处于整跟管路的最高位置,防止冷凝水堵塞管道。

5.根据权利要求3所述的基于Spark的成像卫星任务预处理并行化方法,其特征在于,所述步骤A1包括:将一颗卫星计算所需要的两个文件数据放在一行,并添加一个参数标识卫星名称,输入数据之间以空格或者其他字符隔开,RDD的每一行都表示一颗卫星的轨道计算输入。

6.根据权利要求3所述的基于Spark的成像卫星任务预处理并行化方法,其特征在于,所述步骤A2包括:RDD分区策略,所述RDD分区策略是计算多颗卫星的轨道预报,将几颗卫星的计算任务放在同一个分区,外部程序能接受多个计算输入,并在所述程序中依次执行得到最终的计算结果。

7.根据权利要求3所述的基于Spark的成像卫星任务预处理并行化方法,其特征在于,所述步骤A3包括:每颗卫星在每个计算时间段的轨道预报计算都会得到一个输出结果,通过轨道标识参数对输出结果进行区分,轨道预报输出结果的存储方式在外部程序的代码中进行指定,存储方式有三种:

a)写入本地文件系统;

b)写入RDD;

c)写入Redis内存。

8.根据权利要求1所述的基于Spark的成像卫星任务预处理并行化方法,其特征在于,所述步骤B包括:

B1、初始化Spark集群环境,配置集群参数;

B2、从本地文件系统或者Redis中读取输入数据集生成RDD;

B3、通过pipe()方法将RDD中的元素传递给轨道预报这个外部程序;

B4、调用RDD的行动操作触发实际计算。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1