一种基于集群的高时谱遥感图像数据组织方法及系统与流程

本发明涉及遥感图像数据组织领域，尤其涉及一种基于集群的高时谱遥感图像数据组织方法及系统。

背景技术：

针对gf－4卫星高频次、快速机动观测特点，研究基于高时间谱gf－4卫星遥感影像的地类快速识别方法，开展面向耕地、林地、草地、居民地、积雪、冰凌、水域等典型地类的特征提取模型研究，并研发针对典型地类的高性能监测平台构建技术，为减灾救灾、气候变化研究、地震环境调查、森林及水资源调查等工作提供基础本底数据，并为我国高分系列卫星数据遥感产品生产和业务系统构建提供技术与方法支撑，对提升我国自主研发的高频次时间序列的地球同步静止卫星遥感数据应用广度与深度具有重要的指导意义和示范作用。

目前，高时间谱gf－4卫星遥感影像是新的高分遥感影像，具有高频次、快速机动观测特点，基于gf-4微星遥感影响的地类快速识别方法与以往的识别算法相比具有新的特点。由于识别算法在平台开发和编程语言上存在多样性，造成模型的可复用性太低，普及程度受限，已有平台基本是针对具体识别算法进行平台的开发，而不能将识别算法作为插件进行集成，实现多语言、多平台模型层次化管理。

技术实现要素：

本发明旨在解决上面描述的问题。本发明的目的是提供解决以上问题的一种基于集群的高时谱遥感图像数据组织方法及系统。

根据本发明的一方面，提供了基于集群的高时谱遥感图像数据组织方法，应用于主节点，包括：

步骤1，接收地物识别指令，基于所述地物识别指令中包括的卫星采集数据确定地物识别算法；

步骤2，获取已建立连接的多个计算节点的运行状态，确定可用的计算节点及可用的计算节点的总数；

步骤3，基于所述地物识别算法、可用的计算节点及可用的计算节点的总数，确定待分配给每个可用的计算节点的计算子模块，所述计算子模块均包括所述地物识别算法和针对各计算子模块的计算参数；

步骤4，将所述计算子模块传输给相应的可用的计算节点；

步骤5，从每个可用的计算节点接收计算结果，并基于所述地物识别算法确定识别结果，将所述识别结果发送至客户端。

上述基于集群的高时谱遥感图像数据组织的方法还具有以下特点：

所述步骤2包括：所述运行状态包括所述计算节点的各项资源的使用率和cpu的执行效率，将所述各项资源的使用率均低于预设值并且cpu的执行效率高于预设值的计算节点作为可用的计算节点。

上述基于集群的高时谱遥感图像数据组织的方法还具有以下特点：

所述步骤3还包括：设置每个可用的计算节点的标识，根据所述标识建立计算子模块和可用的计算节点的对应关系。

上述基于集群的高时谱遥感图像数据组织的方法还具有以下特点：

所述方法还包括在所述步骤4和所述步骤5之间的步骤：在所述可用的计算节点中的计算子模块进行计算的过程中，实时获取所述可用的计算节点的各项资源的使用率和cpu的执行效率，调整各计算子模块执行的计算任务，以使所述各计算子模块执行完计算任务所花费的时间趋于一致，并且使各计算节点各项资源的利用率不超过预设值。

上述基于集群的高时谱遥感图像数据组织的方法还具有以下特点：

所述调整各计算子模块执行的计算任务包括：通过调整各计算子模块的计算参数来调整各计算子模块执行的计算任务，将调整后的计算参数发送至相应的可用计算节点的计算子模块中。

根据本发明的另一方面，提供了一种基于集群的高时谱遥感图像数据组织方法，应用于计算节点，包括：

向主节点实时发送计算节点当前的运行状态；

接收主节点发送的计算子模块和与所述计算子模块对应的卫星采集数据，所述计算子模块执行计算任务，所述计算子模块包括地物识别算法和计算参数，在所述计算子模块进行计算的过程中，当接收到所述主节点发送的计算参数和与所述计算参数对应的卫星采集数据时，所述计算子模块根据接收到的计算参数执行计算任务；

向所述主节点发送计算结果。

上述基于集群的高时谱遥感图像数据组织的方法还具有以下特点：

所述计算子模块执行计算任务时采用异步的方式执行任务，并且执行的任务的并行粒度采用大粒度或中粒度。

根据本发明的另一方面，提供了一种使用上述基于集群的高时谱遥感图像数据组织方法的主节点，包括：

算法确定模块，用于接收地物识别指令，基于所述地物识别指令中包括的卫星采集数据确定地物识别算法；

计算节点确定模块，用于获取已建立连接的多个计算节点的运行状态，确定可用的计算节点及可用的计算节点的总数；

计算子模块确定模块，用于基于所述地物识别算法、可用的计算节点及可用的计算节点的总数，确定待分配给每个可用的计算节点的计算子模块，所述计算子模块均包括所述地物识别算法和针对各计算子模块的计算参数；

第一发送模块，用于将所述计算子模块传输给相应的可用的计算节点；

识别结果确定模块，用于从每个可用的计算节点接收计算结果，并基于所述地物识别算法确定识别结果；

第二发送模块，用于将所述识别结果发送至客户端。

根据本发明的另一方面，提供了一种使用上述基于集群的高时谱遥感图像数据组织方法的计算节点，包括：

第一发送模块，用于向主节点实时发送计算节点当前的运行状态；

接收模块，用于接收主节点发送的计算子模块和与所述计算子模块对应的卫星采集数据，并使所述计算子模块执行计算任务，所述计算子模块包括地物识别算法和计算参数；

计算子模块更新模块，用于在所述计算子模块进行计算的过程中，当所述接收模块接收到所述主节点发送的计算参数和与所述计算参数对应的卫星采集数据时，使所述计算子模块根据接收到的计算参数执行计算任务；

第二发送模块，用于向所述主节点发送计算结果。

根据本发明的另一方面，提供了一种使用上述基于集群的高时谱遥感图像数据组织系统，包括：前述主节点、多个前述计算节点和客户端，所述主节点和多个所述计算节点通信连接，所述主节点和所述客户端通信连接。

本发明提供的基于集群的高时谱遥感图像数据组织方法及系统，通过将基于高时间谱数据的耕地、林地、草地、居民地、积雪、冰凌、水域等识别插件进行集成，能够实现多语言、多平台模型层次化管理，解决模型可拆卸，可共享和系统的快速构建等问题，在统一框架下实现遥感业务分析处理的协调工作，同时支持应用方案的集成搭建和可视化配置，增强系统使用需求不断变化的能力，降低开发难度，为遥感业务化应用提供基础支撑。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明的实施例一提供的基于集群的高时谱遥感图像数据组织方法的流程图；

图2是根据本发明的实施例二提供的基于集群的高时谱遥感图像数据组织方法的流程图；

图3是根据本发明的实施例三提供的主节点的结构示意图；

图4是根据本发明的实施例四提供的计算节点的结构示意图；

图5是根据本发明的实施例五提供的基于集群的高时谱遥感图像数据组织系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

下面结合附图详细描述本发明的示例性实施例基于集群的高时谱遥感图像数据组织方法及系统。

实施例一

图1是示出根据本发明实施例一的基于集群的高时谱遥感图像数据组织方法的流程图，应用于主节点。参照图1，所述方法包括：

步骤101，接收地物识别指令，基于地物识别指令中包括的卫星采集数据确定地物识别算法；

步骤102，获取已建立连接的多个计算节点的运行状态，确定可用的计算节点及可用的计算节点的总数；

步骤103，基于地物识别算法、可用的计算节点及可用的计算节点的总数，确定待分配给每个可用的计算节点的计算子模块，计算子模块均包括地物识别算法和针对各计算子模块的计算参数；

步骤104，将计算子模块传输给相应的可用的计算节点；

步骤105，从每个可用的计算节点接收计算结果，并基于地物识别算法确定识别结果，将识别结果发送至客户端。

上述步骤102中，运行状态包括计算节点的各项资源的使用率，将各项资源的使用率均低于预设值的计算节点作为可用的计算节点。

上述步骤103还包括：设置每个可用的计算节点的标识，根据标识建立计算子模块和可用的计算节点的对应关系。

各可用计算节点的标识可以是计算节点的地址信息，或者是根据地址信息设置的编号。

上述步骤104和步骤105之间还包括：在可用的计算节点中的计算子模块进行计算的过程中，实时获取可用的计算节点的各项资源的使用率和cpu的执行效率，调整各计算子模块执行的计算任务，以使各计算子模块执行完计算任务所花费的时间趋于一致，并且使各计算节点各项资源的利用率不超过预设值。调整各计算子模块执行的计算任务的方法为：通过调整各计算子模块的计算参数来调整各计算子模块执行的计算任务，将调整后的计算参数发送至相应的可用计算节点的计算子模块中。

计算节点的各项资源的使用率包括cpu使用率和内存使用率等，例如，可以为cpu执行效率高或各项资源使用率较低的计算节点分配较多的计算任务，使各计算子模块尽量同时完成计算任务又不会导致执行计算任务时占用过多的资源，从而达到计算节点的资源均衡分配的目的。

本实施例中，各计算子模块可以通过标准的接口或协议进行统一的组织，实现不同资源的共享和程序的复用。

实施例二

图2是示出根据本发明实施例二的基于集群的高时谱遥感图像数据组织方法的流程图，应用于计算节点。参照图2，所述方法包括：

步骤201，向主节点实时发送计算节点当前的运行状态；

步骤202，接收主节点发送的计算子模块和与计算子模块对应的卫星采集数据，计算子模块执行计算任务，计算子模块包括地物识别算法和计算参数，在计算子模块进行计算的过程中，当接收到主节点发送的计算参数和与计算参数对应的卫星采集数据时，计算子模块根据接收到的计算参数执行计算任务；

步骤203，向主节点发送计算结果。

上述计算子模块执行计算任务时采用异步的方式执行任务，并且执行的任务的并行粒度采用大粒度或中粒度，这样可以充分加大计算时间相对于通信时间的比重，大大降低通信次数，提高整个系统的运算效率。

实施例三

图3是示出根据本发明实施例三的主节点的结构示意图，可用于执行如图1所示实施例的方法步骤。参照图3，所述主节点包括：

算法确定模块301，用于接收地物识别指令，基于地物识别指令中包括的卫星采集数据确定地物识别算法；

计算节点确定模块302，用于获取已建立连接的多个计算节点的运行状态，确定可用的计算节点及可用的计算节点的总数；

计算子模块确定模块303，用于基于地物识别算法、可用的计算节点及可用的计算节点的总数，确定待分配给每个可用的计算节点的计算子模块，计算子模块均包括地物识别算法和针对各计算子模块的计算参数；

第一发送模块304，用于将计算子模块传输给相应的可用的计算节点；

识别结果确定模块305，用于从每个可用的计算节点接收计算结果，并基于地物识别算法确定识别结果；

第二发送模块306，用于将识别结果发送至客户端。

实施例四

图4是示出根据本发明实施例四的计算节点的结构示意图，可用于执行如图2所示实施例的方法步骤。参照图4，所述计算节点包括：

第一发送模块401，用于向主节点实时发送计算节点当前的运行状态；

接收模块402，用于接收主节点发送的计算子模块和与计算子模块对应的卫星采集数据，并使计算子模块执行计算任务，计算子模块包括地物识别算法和计算参数；

计算子模块更新模块403，用于在计算子模块进行计算的过程中，当接收模块接收到主节点发送的计算参数和与计算参数对应的卫星采集数据时，使计算子模块根据接收到的计算参数执行计算任务；

第二发送模块404，用于向主节点发送计算结果。

实施例五

图5是示出根据本发明实施例五的基于集群的高时谱遥感图像数据组织系统的结构示意图。参照图5，所述系统包括：如前述实施例三所述主节点501、多个如前述实施例四所述的计算节点502和客户端503，其中，主节点和多个计算节点通信连接，主节点和客户端通信连接。

本发明提供的基于集群的高时谱遥感图像数据组织方法及系统，通过将基于高时间谱数据的耕地、林地、草地、居民地、积雪、冰凌、水域等识别插件进行集成，能够实现多语言、多平台模型层次化管理，解决模型可拆卸，可共享和系统的快速构建等问题，在统一框架下实现遥感业务分析处理的协调工作，同时支持应用方案的集成搭建和可视化配置，增强系统使用需求不断变化的能力，降低开发难度，为遥感业务化应用提供基础支撑。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各装置/单元可以采用硬件的形式实现，也可以采用软件功能装置的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。