一种基于算法分类的多源遥感卫星数据并行处理系统及方法

一种基于算法分类的多源遥感卫星数据并行处理系统及方法
【专利摘要】一种基于算法分类的多源遥感卫星数据并行处理系统及方法，支持新算法注册，对所注册的算法进行储存和管理；根据任务的需要，从算法注册模块中选取一个或多个算法，将需要处理的遥感卫星数据和选取的算法推送到并行处理节点进行处理；多个并行处理节点同时根据各个节点接收的算法，按照执行顺序，对需要处理的遥感卫星数据并行计算；对送至各并行处理节点算法的执行情况进行监控；对各个并行处理节点得到的处理结果进行归档存储。本方案支持各类遥感算法与多源遥感数据，能够在分布式集群上同时响应和执行多源遥感数据处理请求，解决多源遥感卫星数据多算法综合处理、并行计算和分布存储的问题，达到多源遥感卫星数据并行处理的效果。
【专利说明】
-种基于算法分类的多源遥感卫星数据并行处理系统及方法
技术领域
[0001] 本发明设及一种基于算法分类的多源遥感卫星数据并行处理系统及方法，属于卫 星数据处理和应用领域。
【背景技术】
[0002] 卫星数据处理是指将卫星下传的原始数据经加工处理成为相应的影像，W及从卫 星数据中提取各类信息，凭借卫星数据具有的全球性、高动态、连续性、全天候、全天时、多 样化数据获取特点，广泛用于为农业、林业、水利、测绘、交通、气象、海洋等专业领域提供数 据支持。其目的在于能够在有限的硬件条件下，尽可能稳定、快速地执行特定数据处理算 法，生产高质量的卫星数据产品。
[0003] 经过多年的发展，我国卫星信息获取、处理及应用技术取得了显著的成绩，逐步形 成了气象、资源、海洋、环境减灾四大民用遥感卫星系列。在863计划、高分专项等大型课题 的推动下，我国遥感应用研究进入了大型化、快速化的发展阶段。与此同时，各种卫星平台 和传感器器无 论种类、数量还是质量都在不断提升。我国卫星遥感地面站接收的数据目前 已经超过PB级，并将W超过IOTB/天的速率增长。卫星遥感数据庞大的数据量，需要借助海 量数据存储方法进行归档存储。海量不仅包括大容量的数据存储能力，还包括大规模的数 据吞吐能力。随着业务量的增长，数据存储量和存储性能急速增长，还要求方法具有极高的 动态可扩展性能，避免存储扩容对业务系统造成长时间中断。另一方面，W监测、灾害应急 等为目的的卫星应用对于时效性的需求越来越高，给卫星数据处理带来了新的挑战。面对 接收的海量数据，要具备高效的数据处理能力，才能满足面向农情、火情、灾情、环境、气象 等多行业的应用需求，而由于处理设备和传统技术方法的限制，仍然有大量的数据没有得 到有效的处理和利用，一般50%到90%数据处于闲置或半闲置状态，对于卫星资源和存储 资源极大浪费。此外，常规的集群并行处理解决方案要保证最高计算需求的资源使用率需 要配置超过一倍的冗余计算和存储资源，导致在小计算需求的时段大部分资源处于无负荷 运转状态。

【发明内容】

[0004] 本发明解决的技术问题为：克服现有技术不足，提供一种基于算法分类的多源遥 感卫星数据并行处理系统及方法，W解决现有技术中，遥感卫星数据处理系统无法匹配越 来越复杂的卫星数据种类、卫星数据处理算法W及海量数据归档与存储需要，制约卫星数 据综合处理与应用的扩展性差和资源利用率低的缺陷，实现匹配海量的卫星数据、复杂的 卫星数据处理算法，提供卫星数据高性能快速并行计算的能力。
[0005] 本发明提供的技术方案为:一种基于算法分类的多源遥感卫星数据并行处理系统 及方法，包括算法注册模块、算法推送模块、并行处理模块、任务监控模块、数据归档模块；
[0006] 算法注册模块，支持新算法注册，对所注册的算法进行储存和管理。算法注册模 块，支持新算法注册，对所注册的算法进行储存和管理。所述新算法主要执行过程应不包含 人机交互，且算法执行所需的所有参数可在算法执行前确定；
[0007] 算法推送模块，根据任务的需要，从算法注册模块中选取需要的一个或多个算法， 当有多个算法时，能够对多个算法的执行顺序进行排列，按照需要处理的遥感卫星数据到 达每个并行处理节点的迁移量，将多个并行处理节点进行排列，根据任务需要的并行处理 节点的数量，选择使遥感卫星数据迁移量最小的几个节点，若运些节点具有满足按照选定 的算法进行数据处理的资源，则将需要处理的遥感卫星数据和选取的算法送至运些节点； 若选择的使遥感卫星数据迁移量最小的几个节点中有节点不具有按照选定的算法进行数 据处理的资源，则顺延选取迁移量最小的运几个节点W外的具有按照选定的算法进行数据 处理的所需资源的节点，W替换不具有按照选定的算法进行数据处理的所需资源的节点， 将需要处理的遥感卫星数据和选取的算法送至运些节点；
[0008] 并行处理模块中的多个并行处理节点同时根据各个节点接收的算法，按照执行顺 序，对需要处理的遥感卫星数据并行计算，多个并行处理节点得到多个计算结果并储存，多 个并行处理节点能够根据任务的需要，再次将多个计算结果重复计算使用；
[0009] 任务监控模块，对送至各并行处理节点的一个或多个算法的执行情况进行监控， 当任务需要执行多个算法时，在一个算法完成后，任务监控模块能够通知任务需要执行的 下一个算法进行数据处理，直至任务需要执行的所有算法结束。
[0010] 数据归档模块，对各个并行处理节点得到的处理结果进行归档存储，能够建立处 理结果与处理结果的元数据的对应关系，根据该处理结果与处理结果的元数据的对应关 系，能够调取需要的处理结果。
[0011] 任务监控模块能够监控并行处理节点的资源使用状况和记录执行过的算法的执 行时间。
[0012] 所述并行处理节点为多个，将所述处理结果拆分成多个64MB的原文件块，并将该 多个64MB的文件块复制得到复制文件块，将原文件块和复制文件块均匀存储在所有并行处 理节点中，且复制文件块和原文件块不在同一并行处理节点内。
[0013] 算法注册模块在新算法注册时，按照设定的接口规范，利用XML语言编写算法需要 的参数列表。
[0014] 一种多源遥感卫星数据并行处理方法，包括步骤如下：
[0015] (1)算法注册模块，支持新算法注册，对所注册的算法进行储存和管理；
[0016] (2)算法推送模块，根据任务的需要，从步骤（1)算法注册模块中选取需要的一个 或多个算法，当有多个算法时，能够对多个算法的执行顺序进行排列，按照需要处理的遥感 卫星数据到达每个并行处理节点的迁移量，将多个并行处理节点进行排列，根据任务需要 的并行处理节点的数量，选择使遥感卫星数据迁移量最小的几个节点，若运些节点具有满 足按照选定的算法进行数据处理的资源，则将需要处理的遥感卫星数据和选取的算法送至 运些节点;若选择的使遥感卫星数据迁移量最小的几个节点中有节点不具有按照选定的算 法进行数据处理的资源，则顺延选取迁移量最小的运几个节点W外的具有按照选定的算法 进行数据处理的所需资源的节点，W替换不具有按照选定的算法进行数据处理的所需资源 的节点，将需要处理的遥感卫星数据和选取的算法送至运些节点；
[0017] (3)并行处理模块中的多个并行处理节点同时根据各个节点接收的算法，按照执 行顺序，对需要处理的遥感卫星数据并行计算，多个并行处理节点得到多个计算结果，多个 并行处理节点能够根据任务的需要，再次将多个计算结果重复计算使用；
[0018] (4)任务监控模块，对送至各并行处理节点的一个或多个算法的执行情况进行监 控，当任务需要执行多个算法时，在一个算法完成后，任务监控模块能够通知任务需要执行 的下一个算法进行数据处理，直至任务需要执行的所有算法结束。
[0019] (5)数据归档模块，对各个并行处理节点得到的处理结果进行归档存储，能够建立 处理结果与处理结果的元数据的对应关系，根据该处理结果与处理结果的元数据的对应关 系，能够调取需要的处理结果。
[0020] 本发明与现有技术相比的优点在于：
[0021] (1)本发明在将遥感卫星数据处理算法推送到不同的处理节点进行处理前，还包 括:判断前述遥感卫星数据处理算法所需数据文件存储位置，并选择数据迁移量最小的节 点，将算法向前述数据迁移量最小的节点迁移；
[0022] (2)本发明的卫星数据并行处理模块中：对所述生产任务的并行执行流程进行管 理和监控，通过监控计算节点的资源状况和历史执行记录为并行处理策略提供依据；
[0023] (3)本发明的卫星数据并行处理模块中：所述生产任务的结果采用分布式方法存 储在所有节点中；
[0024] (4)本发明的分布式存储方法，还包括:所述生产任务的处理结果归档存储的同 时，按照预设的规则建立元数据和数据的索引；
[0025] (5)本发明的算法注册模块，还包括:标准的算法接口规范，对于符合接口规范的 新算法，能够动态地纳入并行处理流程中参与所述遥感卫星数据处理算法的执行。
[0026] (6)本发明提供的基于算法分类的多源遥感卫星数据并行处理系统及方法中，能 够在分布式计算机集群上同时响应和执行多源遥感数据的多种处理算法请求，根据算法和 数据存放位置自适应地选择执行操作的节点计算机。与传统单卫星单处理方法相比，能够 充分利用卫星数据的多样性和处理算法的复用性，减少了计算节点之间数据的迁移。本方 案能够支持各类遥感算法与多源遥感数据，能够在分布式集群上同时响应和执行多源遥感 数据处理请求，降低多源卫星数据处理中的数据吞吐瓶颈，提高生产效率，解决多源遥感卫 星数据多算法综合处理、并行计算和分布存储的问题，达到多源遥感卫星数据并行处理的 效果。
【附图说明】
[0027] 图1为本发明提供的多源卫星数据并行处理系统框架示意图；
[0028] 图2为本发明提供的多源卫星数据并行处理方法层次结构图；
[0029] 图3为本发明提供的多源卫星数据并行处理方法数据管理层次结构图；
[0030] 图4为本发明提供的海上溢油监测与仿真算法执行示意图。
【具体实施方式】
[0031] 本发明的基本思路为:本发明提供了一种基于算法分类的多源遥感卫星数据并行 处理系统及方法，支持新算法注册，对所注册的算法进行储存和管理;根据任务的需要，从 算法注册模块中选取一个或多个算法，将需要处理的遥感卫星数据和选取的算法推送到并 行处理节点进行处理;多个并行处理节点同时根据各个节点接收的算法，按照执行顺序，对 需要处理的遥感卫星数据并行计算;对送至各并行处理节点算法的执行情况进行监控;对 各个并行处理节点得到的处理结果进行归档存储。本方案支持各类遥感算法与多源遥感数 据，能够在分布式集群上同时响应和执行多源遥感数据处理请求，解决多源遥感卫星数据 多算法综合处理、并行计算和分布存储的问题，达到多源遥感卫星数据并行处理的效果。
[0032]下面结合附图和具体实施例对本发明进行详细说明。
[003引实施例一：
[0034] 针对现有技术中，遥感卫星数据处理系统无法匹配越来越复杂的卫星数据种类、 卫星数据处理算法W及海量数据归档与存储需要，制约卫星数据综合处理与应用的扩展性 差和资源利用率低的缺陷，本申请实施例实现匹配海量的卫星数据、复杂的卫星数据处理 算法，提供卫星数据高性能快速并行计算的能力。
[0035] 结合附图1所述系统框架示意图，对本实施例作进一步说明，该方法包含W下步 骤：
[0036] 算法注册模块101，支持新算法注册，对所注册的算法进行储存和管理。所述新算 法主要执行过程应不包含人机交互，且算法执行所需的所有参数可在算法执行前确定。按 照设定的接口规范，利用XML语言编写算法需要的参数列表。
[0037] 具体的，根据遥感算法的特点，在注册算法时，通过读取算法作者所提交的注册接 口，包括产品名称、执行程序名称、需要的生产参数及说明，为每个应遥感算法生成特定的 生产流程。
[0038] 算法推送模块102,根据任务的需要，从算法注册模块中选取需要的一个或多个算 法，当有多个算法时，能够对多个算法的执行顺序进行排列，按照需要处理的遥感卫星数据 到达每个并行处理节点的迁移量，将多个并行处理节点进行排列，根据任务需要的并行处 理节点的数量，选择使遥感卫星数据迁移量最小的几个节点，若运些节点具有满足按照选 定的算法进行数据处理的资源，则将需要处理的遥感卫星数据和选取的算法送至运些节 点;若选择的使遥感卫星数据迁移量最小的几个节点中有节点不具有按照选定的算法进行 数据处理的资源，则顺延选取迁移量最小的运几个节点W外的具有按照选定的算法进行数 据处理的所需资源的节点，W替换不具有按照选定的算法进行数据处理的所需资源的节 点，将需要处理的遥感卫星数据和选取的算法送至运些节点。
[0039] 并行处理模块103,并行处理模块中的多个并行处理节点同时根据各个节点接收 的算法，按照执行顺序，对需要处理的遥感卫星数据并行计算，多个并行处理节点得到多个 计算结果并储存，多个并行处理节点能够根据任务的需要，再次将多个计算结果重复计算 使用。
[0040] 如图2所述的并行处理模块层次结构图，描述了优选的并行处理模块的实现方法， 在通过下层分布式文件系统、并行处理集群和流程调度方案获得算法和集群运行状态后， 根据设定的策略将算法推送到优先级最高的计算节点进行执行，并保持对算法的跟踪W获 得执行结果信息。
[0041] 并行处理模块，包括模型组件、数据访问组件、基础服务组件、业务服务组件、资源 组件。
[0042] 首先，模型组件将平台提供的数据和算法转化为数据模型和算法模型，由数据访 问组件通过对运些模型进行操作，实现对相应资源的访问；同时，基础服务组件使用持久化 框架、IOC容器等技术实现对分布式文件系统、并行处理集群和流程调度方案的管理;业务 服务组件利用上述资源实现各种服务于平行处理业务的服务，其中，业务服务组件具有业 务管理功能实现对数据和算法所在集群节点位置的动态感知并依此信息对处理算法的执 行节点进行动态分派，算法推送功能执行将算法迁移到节点的具体操作，任务管理功能能 够查询正在执行的算法信息并获得其执行状态，业务服务组件具有任务调度功能负责启动 具体的算法执行任务;接着，工作流组件使用业务服务组件提供的流程调度相关服务，启动 并行处理流程;最后，由资源组件通过调用工作流组件处理流程相关的操作，对其他模块发 布并行处理服务。
[0043] 任务监控模块104,对送至各并行处理节点的一个或多个算法的执行情况进行监 控，能够监控并行处理节点的资源使用状况和记录执行过的算法的执行时间。当任务需要 执行多个算法时，在一个算法完成后，任务监控模块能够通知任务需要执行的下一个算法 进行数据处理，直至任务需要执行的所有算法结束。
[0044] 数据归档模块105,对各个并行处理节点得到的处理结果进行归档存储，能够建立 处理结果与处理结果的元数据的对应关系，根据该处理结果与处理结果的元数据的对应关 系，能够调取需要的处理结果。归档过程将所述处理结果拆分成多个64MB的原文件块，并将 该多个64MB的文件块复制得到复制文件块，将原文件块和复制文件块均匀存储在所有并行 处理节点中，且复制文件块和原文件块不在同一并行处理节点内。
[0045] 如图3所述的数据管理层次结构图。卫星数据及其处理结果采用分布式的方法存 储在整个集群中，配合数据检索、提取、统计分析的方法，可W管理数据的属性并进行空间 检索、将分布于整个集群中的卫星数据及产品数据拷贝到指定的位置，保持对海量数据信 息的监控，从而为步骤SlOl提供数据支撑，并保证最小数据延迟。
[0046] 实施例二：
[0047] 在实施例一算法注册模块101所述支持新算法注册，对所注册的算法进行储存和 管理，按照设定的接口规范，利用XML语言编写算法需要的参数列表的基础上，本实施例提 供了一种详细的XML语言参数定义，如表1所示，算法的参数定义具体如下表1:
[004引表1参数定义内容
[0049]
[(K)加 ]
[0051 ] I.参数定义中所述[ProductName]标签为算法名称；
[0052] 2. [Manual化rams]标签中包含了各个子算法所有需要的参数值，包括文件类型参 数[FileArg]、数值类型参数[化IueArg];
[0053] 3. [ModelArgs]标签中包含了子算法所有指定参数，如果算法包含多个子算子，贝U 参数定义中也包含多个对应的[ModelArgs ]标签组；
[0054] 4. [FileArg]标签中包含了当前子算法的所有文件类型参数的文件完整路径；
[0055] 5.[化IueArg]标签中包含了当前子算法的所有数值或者字符串类型的参数。
[0056] 本实施例中，采用标准化的XML标记语言对对算法需要的参数列表进行定义，在算 法调用过程中不设及具体的参数文件解析或参数类型判断，特别适用于跨行业、数据源复 杂的遥感算法处理，具有良好的通用性，并对未来更复杂的遥感算法具有可扩展性。
[0057] 实施例
[0058] 在实施例一算法推送模块102所述根据任务的需要，从算法注册模块中选取需要 的一个或多个算法的基础上，本实施例提供了一种对于不同遥感算法的具体选取策略。对 于复杂的卫星数据处理算法，根据预先设定的策略，分解为一个或多个有一定触发机制的 系列子算法，每一个子算法可W描述为并行计算的基本形式一一映射（Map)和化简 (Reduce)。例如，海上溢油仿真和风暴潮监测等算法，要分解为有一定触发机制的一系列子 算法链；
[0059] E0S±壤水含量反演算法可W视为只包含一个子算法。
[0060] 其中，针对不同的算法类型，可W有W下的分解设定策略：
[0061 ] 1.单景独立处理类算法：同样的算法作为子算法多次调用，W算法具体约束为触 发机制，分配到集群中的不同节点执行。算法执行结果由多次调用结果汇集归档。
[0062] 2.多景多时相综合处理类算法:将算法分解为多个包含映射化简循环的子算法， 依据就近原则和节点负载，选择数据迁移较少和负载较轻的节点，按照算法具体约束在多 个节点同时执行所有子算法，最后将整个算法作为映射化简循环得到算法执行结果进行归 档。
[0063] 3.半自动交互式算法:根据算法具体特征，抽象出算法中适用于并行处理的部分， 将此部分再次作为独立算法参考单景独立处理类算法或多景多时相综合处理类算法策略 进行并行处理。需要交互的部分通过虚拟化的方式独立运行。
[0064] 本实施例提供了针对不同类型遥感处理算法的分类策略，根据算法具体的执行过 程和调用数据的特征配置相应的集群资源和执行流程，可W应对更多类型、更复杂执行过 程的算法，便于为不同算法分配合适的执行流程，能够提高多元遥感卫星数据处理算法的 执行效率和效果。
[0065] 实施例四：
[0066] 本申请中，对于多源遥感卫星数据并行处理算法的执行是一个动态调用和监控的 过程，需要不断获取算法执行状态并按照算法注册时的定义控制算法的执行过程。本实施 例提供了海上溢油监测与仿真算法的算法调用和数据流实施例，如图4所述。
[0067] 1.溢油遥感面积提取子算法，输入溢油区域遥感数据，利用分类决策树算法，通过 分类样本训练完成对遥感数据的决策树分类，进而提取溢油面积信息。子算法适用并行，直 接获取分布式存储的遥感数据，在各处理节点上并行处理。
[0068] 2.溢油仿真模拟子算法，对于溢油仿真数据(包含仿真溢油数据与洋流、天气等数 据），采用ECOM模型，完成对溢油事件油粒子漂移及风化过程的模拟，获得连续时间段溢油 面积f胃息；
[0069] 3. DDDAS数据驱动子算法，首先，对步骤1和步骤2中的得到的遥感提取面积与ECOM 仿真面积做数据整合，获得较为精确的溢油面积，并由神经网络算法得出溢油初始条件，进 而进行下一时刻较为精确的溢油仿真模拟，并结合下一时刻的遥感溢油面积得出质量评价 结果；
[0070] 4.动态结果合成子算法，在前述步骤2和步骤3执行完成后，将多个时相的溢油仿 真面积绘制成动态GIF图像；
[0071 ] 5.质量评价子算法，将仿真模型得出的溢油面积与遥感提取的溢油面积做叠置分 析，得出溢油模拟精度及扩散趋势正确率。输入为遥感溢油提取面积，输出为面积重合比值 及扩散趋势正确率。
[0072] 本实施例所提供的上述方法根据海上溢油监测与仿真算法的执行特征对算法进 行分解和重组，提高了对计算资源的利用率和算法的执行效率。
[0073] 实施例五：
[0074] 本发明中，对于各类遥感卫星数据处理算法分别进行了测试，形成如下结论：
[0075] I.支持表2所述分属遥感、农业、林业、水利、测绘、交通、气象、海洋等各领域的多 源遥感卫星数据处理算法。
[0076] 2.提高了算法执行效率，相较于单机处理，在两个处理节点的条件下算法执行效 率约为200%，在8节点条件下算法执行效率约为800%，本发明能够实现算法执行效率随集 群计算能力提升而线性提升。
[0077] 3.本发明提高了资源利用率，能够快速汇集数据资源并充分利用所有处理节点的 处理能力。
[0078] 表 2
[0079]
[0080]
[00川实施例六：
[0082] 相应于上述实施例所述的系统，本实施例还提供了一种多源遥感卫星数据并行处 理方法，包括步骤如下：
[0083] (1)新算法注册，对所注册的算法进行储存和管理；
[0084] (2)根据任务的需要，从步骤(1)中选取需要的一个或多个算法，当有多个算法时， 能够对多个算法的执行顺序进行排列，按照需要处理的遥感卫星数据到达每个并行处理节 点的迁移量，将多个并行处理节点进行排列，根据任务需要的并行处理节点的数量，选择使 遥感卫星数据迁移量最小的几个节点，若运些节点具有满足按照选定的算法进行数据处理 的资源，则将需要处理的遥感卫星数据和选取的算法送至运些节点；若选择的使遥感卫星 数据迁移量最小的几个节点中有节点不具有按照选定的算法进行数据处理的资源，则顺延 选取迁移量最小的运几个节点W外的具有按照选定的算法进行数据处理的所需资源的节 点，W替换不具有按照选定的算法进行数据处理的所需资源的节点，将需要处理的遥感卫 星数据和选取的算法送至运些节点；
[0085] (3)多个并行处理节点同时根据各个节点接收的算法，按照执行顺序，对需要处理 的遥感卫星数据并行计算，多个并行处理节点得到多个计算结果，多个并行处理节点能够 根据任务的需要，再次将多个计算结果重复计算使用；
[0086] (4)对送至各并行处理节点的一个或多个算法的执行情况进行监控，当任务需要 执行多个算法时，在一个算法完成后，任务监控模块能够通知任务需要执行的下一个算法 进行数据处理，直至任务需要执行的所有算法结束。
[0087] (5)对各个并行处理节点得到的处理结果进行归档存储，能够建立处理结果与处 理结果的元数据的对应关系，根据该处理结果与处理结果的元数据的对应关系，能够调取 需要的处理结果。
[0088] 本实施例为实施例一、二、=、四对应的装置实施例，其类同之处相互参见即可，在 此不再寶述。
[0089] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他 实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0090] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。 对运些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的 一般原理可W在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明 将不会被限制于本文所示的运些优选实施例，而是要符合与本文所公开的原理和新颖特点 相一致的最宽的范围。
【主权项】
1. 一种基于算法分类的多源遥感卫星数据并行处理系统，其特征在于：包括算法注册 模块、算法推送模块、并行处理模块、任务监控模块、数据归档模块； 算法注册模块，支持新算法注册，对所注册的算法进行储存和管理，所述算法执行所需 的所有参数在算法执行前确定； 算法推送模块，根据任务的需要，从算法注册模块中选取需要的一个或多个算法，当有 多个算法时，能够对多个算法的执行顺序进行排列，按照需要处理的遥感卫星数据到达每 个并行处理节点的迀移量，将多个并行处理节点进行排列，根据任务需要的并行处理节点 的数量，选择使遥感卫星数据迀移量最小的几个节点，若这些节点具有满足按照选定的算 法进行数据处理的资源，则将需要处理的遥感卫星数据和选取的算法送至这些节点；若选 择的使遥感卫星数据迀移量最小的几个节点中有节点不具有按照选定的算法进行数据处 理的资源，则顺延选取迀移量最小的这几个节点以外的具有按照选定的算法进行数据处理 的所需资源的节点，以替换不具有按照选定的算法进行数据处理的所需资源的节点，将需 要处理的遥感卫星数据和选取的算法送至这些节点； 并行处理模块中的多个并行处理节点同时根据各个节点接收的算法，按照执行顺序， 对需要处理的遥感卫星数据并行计算，多个并行处理节点得到多个计算结果并储存，多个 并行处理节点能够根据任务的需要，再次将多个计算结果重复计算使用； 任务监控模块，对送至各并行处理节点的一个或多个算法的执行情况进行监控，当任 务需要执行多个算法时，在一个算法完成后，任务监控模块能够通知任务需要执行的下一 个算法进行数据处理，直至任务需要执行的所有算法结束； 数据归档模块，对各个并行处理节点得到的处理结果进行归档存储，能够建立处理结 果与处理结果的元数据的对应关系，根据该处理结果与处理结果的元数据的对应关系，能 够调取需要的处理结果。2. 根据权利要求1所述的一种基于算法分类的多源遥感卫星数据并行处理系统，其特 征在于:任务监控模块能够监控并行处理节点的资源使用状况和记录执行过的算法的执行 时间。3. 根据权利要求1所述的一种基于算法分类的多源遥感卫星数据并行处理系统，其特 征在于:所述并行处理节点为多个，将所述处理结果拆分成多个64MB的原文件块，并将该多 个64MB的文件块复制得到复制文件块，将原文件块和复制文件块均匀存储在所有并行处理 节点中，且复制文件块和原文件块不在同一并行处理节点内。4. 根据权利要求1所述的一种基于算法分类的多源遥感卫星数据并行处理系统，其特 征在于:算法注册模块在新算法注册时，按照设定的接口规范，利用XML语言编写算法需要 的参数列表。5. -种基于算法分类的多源遥感卫星数据并行处理方法，其特征在于，包括步骤如下： (1) 算法注册模块能够支持新算法注册，对所注册的算法进行储存和管理； (2) 算法推送模块根据任务的需要从步骤（1)算法注册模块中选取需要的一个或多个 算法，当有多个算法时，能够对多个算法的执行顺序进行排列，按照需要处理的遥感卫星数 据到达每个并行处理节点的迀移量，将多个并行处理节点进行排列，根据任务需要的并行 处理节点的数量，选择使遥感卫星数据迀移量最小的几个节点，若这些节点具有满足按照 选定的算法进行数据处理的资源，则将需要处理的遥感卫星数据和选取的算法送至这些节 点;若选择的使遥感卫星数据迀移量最小的几个节点中有节点不具有按照选定的算法进行 数据处理的资源，则顺延选取迀移量最小的这几个节点以外的具有按照选定的算法进行数 据处理的所需资源的节点，以替换不具有按照选定的算法进行数据处理的所需资源的节 点，将需要处理的遥感卫星数据和选取的算法送至这些节点； (3) 并行处理模块中的多个并行处理节点同时根据各个节点接收的算法，按照执行顺 序，对需要处理的遥感卫星数据并行计算，多个并行处理节点得到多个计算结果，多个并行 处理节点能够根据任务的需要，再次将多个计算结果重复计算使用； (4) 任务监控模块对送至各并行处理节点的一个或多个算法的执行情况进行监控，当 任务需要执行多个算法时，在一个算法完成后，任务监控模块能够通知任务需要执行的下 一个算法进行数据处理，直至任务需要执行的所有算法结束； (5) 数据归档模块对各个并行处理节点得到的处理结果进行归档存储，能够建立处理 结果与处理结果的元数据的对应关系，根据该处理结果与处理结果的元数据的对应关系， 能够调取需要的处理结果。
【文档编号】G06K9/00GK106022245SQ201610322284
【公开日】2016年10月12日
【申请日】2016年5月16日
【发明人】曹宇, 王峰, 祝令亚, 孙业超
【申请人】中国资源卫星应用中心