一种多星遥感数据处理系统的制作方法
【技术领域】
[0001] 本发明涉及遥感数据处理领域，特别是涉及一种多星遥感数据处理系统。
【背景技术】
[0002] 传统遥感地面站数据处理系统，针对多颗卫星需要建立多套处理系统，使得传统 遥感地面站的硬件设备的大幅增加，并且由于不同设备只处理不同卫星的数据，导致这些 硬件设备的资源使用率也相对较低的。因此，随着我国拥有的遥感卫星数量快速增加，传统 遥感地面站数据处理系统已不能满足应用的需要。
[0003] 而随着集群负载调度算法和负载均衡技术的不断发展，在利用超级计算机或高可 用性集群处理数据的过程中，越来越多的技术人员都在考虑利用负载均衡。但是部分负载 均衡静态调度算法，比如传统的有轮转算法、加权轮转算法，适用于小规模访问量的系统， 但对于有大规模访问量的集群，显然效率低，且稳定性差。而还有部分负载均衡动态调度算 法，比如最小连接、加权最小连接等，都是以连接为粒度，没有实现真正的动态调度，负载均 衡效果并不理想。
[0004] 本发明即是考虑到负载均衡技术，对现有负载均衡算法进行改进，使其适用于多 星遥感数据处理过程。
【发明内容】
[0005] 本发明所要解决的技术问题是提供一种多星遥感数据处理系统，用于解决传统遥 感地面站数据处理系统不适用于多星遥感数据处理的问题。
[0006] 本发明解决上述技术问题的技术方案如下：一种多星遥感数据处理系统，包括：
[0007] 系统层，用于提供软件支撑环境；
[0008] 数据服务层，用于存储遥感数据和配置信息；
[0009] 基础服务层，用于通过负载均衡调度器根据调度算法控制不同的资源节点处理不 同卫星的遥感数据；
[0010] 应用服务层，用于通过业务组件和所述基础服务层的负载均衡调度器，进行多星 遥感数据的任务调度与流程控制本发明的有益效果是：本发明解决了传统模式下针对多颗 卫星建立多套处理系统的问题，通过配置即可实现简单流程的任务调度，且提供简便的二 次开发接口以实现复杂流程的任务调度，实现了多星数据在一个系统中使用的目的；同时 提供了多种任务调度的负载均衡机制，提高了硬件资源的使用效率。
[0011] 在上述技术方案的基础上，本发明还可以做如下改进。
[0012] 进一步，所述负载均衡调度器用于探测所述资源节点是否在线、确认所述资源节 点上的软件系统是否运行正常、收集所述节点上的参数信息、根据所述资源节点的故障情 况进行报警以及动态添加、修改或删除所述资源节点。
[0013] 采用上述进一步方案的有益效果是：使多星遥感数据处理系统具备完善的系统监 控能力和强大的集群管理能力，能够动态添加，修改，删除处理节点，能够实时显示每个处 理节点的资源状态、任务运行状态，具备故障设备自动报警能力，具备在节点故障时系统正 常运行的能力。
[0014] 进一步，所述调度算法包括优化的加权最小连接调度算法、优化的负载最小优先 算法、任务级并行计算算法、算法级并行计算算法和数据级并行计算算法中的一种或多种。
[0015] 采用上述进一步方案的有益效果是：设定了多种负载均衡算法，便于负载均衡调 度器进行资源节点的分配。
[0016] 进一步，所述优化的负载最小优先算法包括：利用动态反馈机制，通过周期性的负 载信息查询来修正所述负载均衡调度器上的负载表，所述负载表中记录了各个所述资源节 点的负载情况；当下一个更新周期到来前，将请求分配到当前综合负载最小的所述资源节 点，并按照预设经验算法修正该所述资源节点的负载信息，所述预设经验算法的修正因子 包括遥感数据量和单位算法处理时间。进一步，
[0017] 采用优化的负载最小优先算法分配相应的资源节点处理不同卫星的遥感数据包 括以下步骤：
[0018] 初始化负载表，将遥感数据量和单位算法处理时间作为计算因子计算负载信息；
[0019] 接收一个客户机的新请求，如果负载表为空，依次将请求分配到集群的各资源节 点上，直到负载表的各项都不为空；
[0020] 如果负载表的各项都不为空，从负载表中选取负载数最小的节点，将新请求转发 到该所述资源节点上，并根据预设经验算法修正负载表中该所述资源节点的负载信息；
[0021] 循环上述相应步骤，直到更新周期到达；
[0022] 若更新周期到达，则刷新负载表；
[0023] 若在更新周期内存在未向负载均衡调度器发送节点信息的所述资源节点，则在负 载表中，将该所述资源节点设置为不可达节点；
[0024] 若在下一更新周期收到不可达节点发送的节点信息，则更新该不可达节点的表 项，将其重置为可达的资源节点。进一步，
[0025] 所述将遥感数据量和单位算法处理时间作为计算因子计算负载信息包括：
[0026]
[0027] 其中，Xl为遥感数据量，x2为单位算法处理时间，Ti为负载信息，kl表示负载信 息对遥感数据量的依赖程度，k2表示负载信息对单位算法时间的依赖程度。
[0028] 采用上述进一步方案的有益效果是：给出了一种全新优化的负载均衡算法，能够 使最大限度使用系统资源，并以此来改善各个服务器负载的平衡性。进一步，
[0029] 所述应用服务层的业务组件包括：
[0030] 第一外部接口适配组件，用于实现多星遥感数据处理系统与外部系统的交互；
[0031] 调度扩展策略组件，用于结合所述第一外部接口适配组件，生成分别用于存储遥 感数据中的订单和任务的订单/任务管理池；
[0032] 节点管理组件，用于提供资源节点的节点信息；
[0033] 流程配置管理组件，用于提供与订单对应的流程信息；
[0034] 流程控制与调度组件，用于提取订单/任务管理池中未处理的订单，并根据所述 流程配置管理组件提供的所述与订单对应的流程信息，将所述订单分配到所述任务，再根 据所述节点管理组件提供的所述节点信息，将所述任务分配到不同的所述资源节点上用于 进行处理。
[0035] 进一步，所述应用服务层的业务组件还包括第一数据库管理组件，用于保存流程 执行过程中的订单/任务信息和日志信息。
[0036] 进一步，所述应用服务层，还设置有用于统计订单的订单统计模块、用于配置参数 的参数配置模块和用于收集错误信息的错误信息收集模块。
[0037] 进一步，
[0038] 所述流程控制与调度组件将将所述任务分配到不同的所述资源节点上后，相应的 用于进行处理的所述资源节点是通过所述应用服务层的业务组件进行任务处理，该进行任 务处理的业务组件包括第二外部接口适配组件、任务扩展组件、队列配置管理组件、工作队 列处理组件和第二数据库管理组件；
[0039] 所述第二外部接口适配组件，用于实现与所述流程控制与调度组件的交互；
[0040] 所述任务扩展组件，用于结合所述第二外部接口适配组件，生成用于存储任务的 任务管理池；
[