一种面向遥感大数据的动态自适应分布式协同工作方法与流程

1.本发明涉及遥感数据处理技术领域，具体涉及一种面向遥感大数据的动态自适应分布式协同工作方法。


背景技术：

2.随着我国遥感技术的发展以及高分系列卫星的正式投入使用，可接收数据的卫星数量稳定上升，每个卫星搭载的载荷也更加丰富，同时单景数据的规模也达到了gb级别，总体来看，接收到的数据呈现出多源异构及海量的特点．很多学者研究了海量遥感数据的处理与信息提取，使用这些丰富的数据为国民生产生活提供了大量有用的信息，另一方面也挑战着传统的遥感数据处理方式。
3.目前，分布式系统在进行遥感数据处理过程中，每经过一个时序就会对各个分布式工作节点进行一次资源与多源遥感数据进行匹配分析，以判断分布式工作节点的资源是否能够满足处理多源遥感数据的需要，因此在每个时序都要对每个分布式工作节点进行逐一分析，其中，多源遥感数据变化率小的时序之间，如此逐一分析操作存在了大量的冗余计算，降低分布式协同工作的效率。


技术实现要素：

4.本发明的目的在于提供一种面向遥感大数据的动态自适应分布式协同工作方法，以解决现有技术中存在冗余计算，降低分布式处理效率的技术问题。
5.为解决上述技术问题，本发明具体提供下述技术方案：一种面向遥感大数据的动态自适应分布式协同工作方法，包括以下步骤：步骤s1、获取处理遥感大数据分布式系统中各个分布式节点与遥感数据类别的工作拓扑，实时监测多类别遥感数据得到多类别遥感数据的动态时序序列；步骤s2、将多类别遥感数据的动态时序序列中任意后一时序处的多类别遥感数据与对应的前一时序处的多类别遥感数据之间进行变动测算得到后一时序处的多类别遥感数据动态量，并对后一时序处的多类别遥感数据动态量依据所述工作拓扑进行拓扑更新得到后一时序处的动态工作拓扑；步骤s3、对后一时序处的动态工作拓扑进行模型推理得到后一时序处各个分布式节点的协同资源更新状态，并依据协同资源更新状态在后一时序处对各个分布式节点进行协同更新，以实现分布式节点随动态遥感大数据进行动态自适应协同工作。
6.作为本发明的一种优选方案，所述工作拓扑的构建包括：依次将分布式节点作为拓扑中心节点，将分布式节点处理遥感数据类别作为连接在拓扑中心节点上的拓扑分支节点，拓扑中心节点和拓扑分支节点组成工作拓扑；所述工作拓扑的数量与遥感数据类别的数量相一致。
7.作为本发明的一种优选方案，后一时序处的所述多类别遥感数据动态量的测算包括：
利用协方差对后一时序处的多类别遥感数据与对应的前一时序处的多类别遥感数据之间进行变动测算得到后一时序处的多类别遥感数据动态量；所述多类别遥感数据动态量的测算表达式为：；式中，si为第i个类别的遥感数据动态量，xi为后一时序处的第i个类别的遥感数据，yi为前一时序处的第i个类别的遥感数据，cov为协方差运算符，i为计量数。
8.作为本发明的一种优选方案，所述对后一时序处的多类别遥感数据动态量依据所述工作拓扑进行拓扑更新得到后一时序处的动态工作拓扑，包括：将后一时序处的多类别遥感数据动态量中各个类别的遥感数据动态量作为对应的拓扑分支节点的节点权重，以将所述工作拓扑进行拓扑更新得到所述动态工作拓扑。
9.作为本发明的一种优选方案，所述对后一时序处的动态工作拓扑进行模型推理得到后一时序处各个分布式节点的协同资源更新状态，包括：将后一时序处的动态工作拓扑输入至预建立的更新状态评估模型，由更新状态评估模型输出分布式节点更新状态；所述更新状态评估模型的构建方法包括：利用模糊c均值聚类方法对后一时序处的动态工作拓扑进行条件随机场的二阶势构造，利用高斯核函数对多类别遥感数据的动态时序序列中的遥感数据类别与时序序列进行条件随机场的多阶势构造；组合条件随机场的二阶势和条件随机场的多阶势得到条件随机场的吉布斯能量函数，基于吉布斯能量函数对条件随机场进行后验概率最大化求解得到后一时序处的各个分布式节点的协同资源更新状态；将动态时序序列中各个后一时序处的动态工作拓扑作为神经网络的输入项，将动态时序序列中各个后一时序处的各个分布式节点的协同资源更新状态作为神经网络的输出项，利用神经网络对所述输入项和所述输出项进行网络训练得到所述更新状态评估模型；所述更新状态评估模型的模型表达式为：label=network(g)；式中，label为协同资源更新状态，g为动态工作拓扑，network为神经网络。
10.所述协同资源更新状态包括更新和不更新两种状态。
11.作为本发明的一种优选方案，所述依据协同资源更新状态在后一时序处对各个分布式节点进行协同更新，包括：当后一时序处分布式节点的协同资源更新状态为更新，则将对应的分布式节点进行更新；当后一时序处分布式节点的协同资源更新状态为不更新，则不将对应的分布式节点进行更新。
12.作为本发明的一种优选方案，每个类别的遥感数据中包含至少一个数据分量，对多类别遥感数据的动态时序序列中各个时序处的多类别遥感数据进行归一化处理。
13.作为本发明的一种优选方案，所述条件随机场的二阶势表征分布式节点与多类别遥感数据的二元关系，所述条件随机场的多阶势表征多类别遥感数据与动态时序序列的多
元关系。
14.作为本发明的一种优选方案，所述神经网络中将损失函数设定为神经网络输出得到的协同资源更新状态与对条件随机场进行后验概率最大化求解得到的协同资源更新状态间的二范数值。
15.作为本发明的一种优选方案，利用循环信念传播算法对条件随机场进行后验概率最大化求解。
16.本发明与现有技术相比较具有如下有益效果：本发明构建工作拓扑和动态工作拓扑，对后一时序处的动态工作拓扑进行模型推理得到后一时序处各个分布式节点的协同资源更新状态，并依据协同资源更新状态在后一时序处对各个分布式节点进行协同更新，以实现分布式节点随动态遥感大数据进行动态自适应协同工作，无需在每个时序都要对每个分布式工作节点进行逐一分析，降低了冗余计算量，提高分布式协同工作的效率。
附图说明
17.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
18.图1为本发明实施例提供的动态自适应分布式协同工作方法流程图；图2为本发明实施例提供的条件随机场确定协同资源更新状态的方法流程图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.如图1所示，本发明提供了一种面向遥感大数据的动态自适应分布式协同工作方法，包括以下步骤：步骤s1、获取处理遥感大数据分布式系统中各个分布式节点与遥感数据类别的工作拓扑，实时监测多类别遥感数据得到多类别遥感数据的动态时序序列；工作拓扑的构建包括：依次将分布式节点作为拓扑中心节点，将分布式节点处理遥感数据类别作为连接在拓扑中心节点上的拓扑分支节点，拓扑中心节点和拓扑分支节点组成工作拓扑；工作拓扑的数量与遥感数据类别的数量相一致。
21.构建分布式节点与遥感数据类别的工作拓扑，表征出分布式节点与遥感数据类别的关联关系，即遥感数据在依据时序产生动态变化时掌握分布式节点的受影响状态，从而更新分布式节点以适应当前的遥感数据产生的动态变化，因此工作拓扑的构建是后续分布式节点对遥感数据动态自适应的基础部分。多类别遥感数据由多源遥感数据的遥感数据类别。工作拓扑中分布式节点1对应遥感数据类别1,3,7，则分布式节点1和遥感数据类别1,3,
7构成一个工作拓扑。
22.步骤s2、将多类别遥感数据的动态时序序列中任意后一时序处的多类别遥感数据与对应的前一时序处的多类别遥感数据之间进行变动测算得到后一时序处的多类别遥感数据动态量，并对后一时序处的多类别遥感数据动态量依据工作拓扑进行拓扑更新得到后一时序处的动态工作拓扑；后一时序处的多类别遥感数据动态量的测算包括：利用协方差对后一时序处的多类别遥感数据与对应的前一时序处的多类别遥感数据之间进行变动测算得到后一时序处的多类别遥感数据动态量；多类别遥感数据动态量的测算表达式为：；式中，si为第i个类别的遥感数据动态量，xi为后一时序处的第i个类别的遥感数据，yi为前一时序处的第i个类别的遥感数据，cov为协方差运算符，i为计量数。
23.对后一时序处的多类别遥感数据动态量依据工作拓扑进行拓扑更新得到后一时序处的动态工作拓扑，包括：将后一时序处的多类别遥感数据动态量中各个类别的遥感数据动态量作为对应的拓扑分支节点的节点权重，以将工作拓扑进行拓扑更新得到动态工作拓扑。
24.对连续的多类别遥感数据进行相邻时序间的变化程度进行量化作为本技术的多类别遥感数据动态量，实现定量化的掌握多类别遥感数据的时序变化程度，将表征分布式节点与遥感数据类别的关联关系的工作拓扑利用多类别遥感数据的时序变化程度进行拓扑更新得到表征分布式节点与遥感数据类别间的时序变化量关联关系，即得到本技术中的动态工作拓扑，动态工作拓扑可以反映出在遥感数据发生时序变化程度时分布式节点产生的关联影响，进而能够掌握分布式节点的状态，以确定是否需要进行分布式节点的状态更新，即依据遥感数据的变化程度，确定出分布式节点的更新状态，实现分布式节点随遥感数据的动态自适应，因此动态工作拓扑为确定分布式节点的协同资源更新状态奠定基础。
25.步骤s3、对后一时序处的动态工作拓扑进行模型推理得到后一时序处各个分布式节点的协同资源更新状态，并依据协同资源更新状态在后一时序处对各个分布式节点进行协同更新，以实现分布式节点随动态遥感大数据进行动态自适应协同工作。
26.对后一时序处的动态工作拓扑进行模型推理得到后一时序处各个分布式节点的协同资源更新状态，包括：将后一时序处的动态工作拓扑输入至预建立的更新状态评估模型，由更新状态评估模型输出分布式节点更新状态；更新状态评估模型的构建方法包括：如图2所示，利用模糊c均值聚类方法对后一时序处的动态工作拓扑进行条件随机场的二阶势构造，利用高斯核函数对多类别遥感数据的动态时序序列中的遥感数据类别与时序序列进行条件随机场的多阶势构造；组合条件随机场的二阶势和条件随机场的多阶势得到条件随机场的吉布斯能量函数，基于吉布斯能量函数对条件随机场进行后验概率最大化求解得到后一时序处的各个分布式节点的协同资源更新状态；条件随机场的二阶势表征分布式节点与多类别遥感数据的二元关系，条件随机场
的多阶势表征多类别遥感数据与动态时序序列的多元关系。
27.利用类别判断模型中的条件随机场进行分布式节点的协同资源更新状态进行判断，其中条件随机场的二阶势能够避免海量遥感数据与多个分布式节点之间的独立假设条件，充分表征二者之间的关联性，而条件随机场的多阶势能够更好的引入空间信息（多类别遥感数据）、时间信息（动态时序序列）这些高级语义信息构建分布式节点上的数据关联性，进而利用条件随机场推测出分布式节点的协同资源更新状态，由于条件随机场属于现有成熟的计算方法，在此并不赘述他的计算公式、求解过程，也可以利用类别判断模型中的马尔科夫链等进行等效替换。
28.而利用条件随机场进行分布式节点的协同资源更新状态进行判断需要处理的数据量维度也较多，因此本技术对其进行降维，采用神经网络对条件随机场进行分布式节点的协同资源更新状态判断的过程进行学习得到表征动态工作拓扑和分布式节点的协同资源更新状态映射关系的更新状态评估模型，进而在获得动态工作拓扑后即可分析得到分布式节点的协同资源更新状态，实时性更强，而且内核又是条件随机场进行分布式节点的协同资源更新状态判断能力的学习，因此又具有条件随机场进行分布式节点的协同资源更新状态判断的准确度。
29.将动态时序序列中各个后一时序处的动态工作拓扑作为神经网络的输入项，将动态时序序列中各个后一时序处的各个分布式节点的协同资源更新状态作为神经网络的输出项，利用神经网络对输入项和输出项进行网络训练得到更新状态评估模型；更新状态评估模型的模型表达式为：label=network(g)；式中，label为协同资源更新状态，g为动态工作拓扑，network为神经网络。
30.协同资源更新状态包括更新（或表示为1）和不更新（或表示为0）两种状态。
31.依据协同资源更新状态在后一时序处对各个分布式节点进行协同更新，包括：当后一时序处分布式节点的协同资源更新状态为更新，则将对应的分布式节点进行更新；当后一时序处分布式节点的协同资源更新状态为不更新，则不将对应的分布式节点进行更新。
32.每个类别的遥感数据中包含至少一个数据分量，对多类别遥感数据的动态时序序列中各个时序处的多类别遥感数据进行归一化处理。
33.神经网络中将损失函数设定为神经网络输出得到的协同资源更新状态与对条件随机场进行后验概率最大化求解得到的协同资源更新状态间的二范数值。
34.利用循环信念传播算法对条件随机场进行后验概率最大化求解。
35.本发明构建工作拓扑和动态工作拓扑，对后一时序处的动态工作拓扑进行模型推理得到后一时序处各个分布式节点的协同资源更新状态，并依据协同资源更新状态在后一时序处对各个分布式节点进行协同更新，以实现分布式节点随动态遥感大数据进行动态自适应协同工作，无需在每个时序都要对每个分布式工作节点进行逐一分析，降低了冗余计算量，提高分布式协同工作的效率。
36.以上实施例仅为本技术的示例性实施例，不用于限制本技术，本技术的保护范围由权利要求书限定。本领域技术人员可以在本技术的实质和保护范围内，对本技术做出各
种修改或等同替换，这种修改或等同替换也应视为落在本技术的保护范围内。