专利名称：一种分布式环境中空间分析方法的计算代价编码方法
技术领域：
本发明涉及一种分布式环境中的空间分析方法的计算代价编码方法，以及建立在 该编码方法基础上的计算代价评估和预测系统，主要用于分布式环境中空间信息服务的质 量管理和空间信息服务的并行化处理。
背景技术：
当前分布式环境中的空间分析技术也称空间信息处理技术主要指局域网或是 广域网条件下的空间信息处理技术，包括面向网络的分布式空间对象技术和面向Web的 空间信息服务技术。面向网络的分布式对象技术有采用Corba(Common Object Request BrokerArchitecture)技术的分布式对象、米用 DCom(Distributed Component Object Model)技术的分布式组件和采用WPS (Web Processing Service)技术的空间信息Web服务 等。通过这些分布式对象或是Web服务技术可以将本地化的空间分析计算封装为可以远程 访问的分布式空间信息服务，这样可以让空间信息为更多的用户提供服务，既提高了空间 信息的价值，又为拓展空间信息的应用提供了更多技术手段。在空间分析技术中分布式环境中计算代价预测是一个技术难点问题，对于空间分 析计算也是这样。当前分布式计算代价预测没有通用的方法，计算代价预测方法都面临方 法的通用性和预测的准确性之间的矛盾。在分布式环境中，要取得较为准确的计算代价预 测结果，不同类型的空间分析具有不同的计算代价模型，需要有不同的计算代价预测公式。当前分布式环境中空间分析的性能预测需求主要来源于两个方面，一个方面是分 布式环境中空间信息服务的质量管理，通过预测空间服务在不同配置下的性能，可以为分 布式空间服务的系统架构做出良好的规划；另一个方面的应用需求来源于分布式环境下并 行计算，在分布式环境下，如果存在提供同样服务的多个空间分析计算时，可以采用数据并 行或是任务并行的方式来提高空间分析计算的速度，在设计并行方案时空间分析计算代价 预测就必不可少了。当前在分布式环境中，缺乏一种可以同时表达不同类型空间分析计算代价的表达 方法，也缺乏一种能同时适用于多种空间分析计算代价预测系统，这给分布式环境中空间 信息服务的质量管理或分布式环境中空间信息的并行化处理带来了很大的困难。
发明内容
本发明的技术解决问题克服现有技术的不足，提供了一种分布式环境中空间分 析方法的计算代价的XML编码方法，以及建立在该编码方法基础上的计算代价评估和预测 系统。，该方法可以为分布式环境中空间信息服务的质量管理或分布式环境中的空间信息 并行方案优化提供了数据支撑，大大提高了空间信息数据的并行处理能力。本发明的技术解决方案一种分布式环境中的空间分析方法的计算代价XML编码方法，实现步骤如下(1)分布式环境中空间分析方法的计算代价公式采用XML进行编码，其中的XML编码元素包括系数常量、系数变量、特征变量、算术运算符、数学函数，将上述XML编码元 素按照需求组合起来即得到所述计算代价公式；所述系数常量用XML元素constant表示， 该元素定义中可以包含一个可以转化为数值常量的字符表达；所述系数变量用XML元素 variable表达，用字符名称的方式表示公式中的一个系数变量；所述特征变量用XML元素 property表达，用字符名称的方式表示公式中具有特定语义的特征变量；所述算术运算符 包括“加”、“减”、“乘”和“除”四种类型，对应XML表达式中XML元素为add、sub、mul和 div ；所述数学函数用XML元素function表达，通过该元素名中的属性name识别数学函数 类型；在基于XML编码的计算代价公式中存在一个根元素(root) equation，作为计算代价 公式的容器，将所有的XML元素包含在该根元素中。所述特征变量的名称由两部分构成，即由“类别名.特征名”形式的文本构成，其 中“类别名，，有三种类别“输入数据Input”、“机器运行监测Machine”或“网络运行监测 Network”，当有多个输入数据时，通过Inputl、Input2…标识空间分析方法中的输入数据顺 序，特征名则依附于类别名，不同类别拥有不同类型的特征。当所述特征变量名称的类型是空间类型数据输入时，特征名具有明确的空间数据 统计特征相关的语义，如“Input. Bounds"标识输入空间数据集的外包多变性；” Input. Pixels”标识遥感类型输入数据的像素总数。(2)根据三种类型的计算代价公式的计算相应类型空间分析方法的计算代价值。基于XML编码的分布式环境中空间分析方法的计算代价公式有三种类型，第一种 类型的计算代价公式为同时具有系数变量和特征变量的计算代价公式，不可以直接求值， 在具体分布式系统环境下，通过计算代价评估系统采用数据集训练后求取计算代价公式的 系数变量，从而转化为第二种类型的计算代价公式；第二种类型的计算代价公式是只具有 参数变量的计算代价公式，它通过计算代价评估系统根据当前系统状态和数据输入信息评 估第二种计算代价公式获取特征变量的值，然后才可以求值，从而转化为第三种类型的计 算代价公式；第三种类型的计算代价公式是不包含任何变量的数学公式表达的计算代价公 式，可以直接求值，通过第三种类型的计算代价公式即可最终获取相应的空间分析方法的 计算代价值；计算代价评估系统包括训练数据集管理模块、空间分析方法训练模块和计算代价 公式评估模块，其中a.训练数据集管理模块负责管理各种训练数据，包括遥感影像数据和空间数据 集，并通过数据预分析获取训练数据的特征信息，为空间分析方法的计算代价公式的快速 训练提前进行数据准备；b.空间分析方法训练模块通过设置训练数据作为空间分析方法的处理对象，对部 属在某个服务器中的空间分析方法发起调用请求，并通过网络日志系统获取训练用例的统 计信息，训练模块通过收集空间分析方法的所用空间数据特征信息和实际训练运行结果统 计信息，为代价公式评估提供信息准备；c.计算代价评估模块利用空间分析方法训练模块获取的空间数据特征信息和训 练结果统计信息，结合第一种类型计算代价公式，建立关于计算代价公式中系统变量的线 性方程组，并通过线性方程组的自动求解获取系数变量的值，从而将第一种类型计算代价 公式转化为第二种类型计算代价公式；
所述计算代价预测系统包括输入数据分析模块、监测数据分析模块和空间分析 计算代价预测模块，其中a.输入数据分析模块对待处理输入数据进行分析获取输入数据特征变量值；b.监测数据分析模块通过访问外部存在的分布式系统监测系统获取当前空间分 析服务器运行状态和网络运行状态，获取机器或是网络特征变量值；c.空间分析计算代价预测模块通过上述步骤获取的特征变量值，结合当前空间分 析方法通过上述步骤3所获取的第二种类型计算代价公式，将其转化为第三种类型的计算 代价表达公式，从而直接获得计算代价值；
(3)将步骤(2)最终获取的空间分析的计算代价值应用于分布式空间分析方法的 管理中，可以评估当前空间分析服务在不同计算资源上的执行效率，从而为当前分析服务 进行资源优化配置，提高执行效率；当应用于空间分析方法的并行化时，可以通过计算代价 值来分析在不同计算资源上的执行效率，从而对并行化执行方案进行优化。本发明与现有技术相比的优点在于本发明通过XML编码方式可以同时表达不同 类型空间分析方法的计算代价公式，并建立了一种能同时适用于多种空间分析方法的计算 代价评估和预测系统，通过评估系统运用训练数据集求取公式中的系数变量值，并通过特 别设计的预测系统根据当前系统状态和数据输入信息评估计算代价公式，计算出相应的空 间数据计算代价值，计算代价值为分布式环境中空间信息服务的质量管理或分布式环境中 的空间信息并行方案优化提供了数据支撑。。
图1为本发明实现过程流程图；图2为本发明中的计算代价评估系统结构图；图3为图2中空间分析方法训练模块流程图；图4为图2中的计算代价评估模块流程图；图5为本发明的计算代价预测系统结构图；图6为图4中计算代价预测模块工作流程图。
具体实施例方式下面对本发明中采用的术语进行一下说明。基本术语(1)空间分析方法指矢量空间数据、遥感空间数据等空间信息的基本处理方法， 包括矢量数据的拓扑分析、遥感数据处理方法和空间信息的专业分析方法等。(2) XML编码即采用XML (Exensible Markup Language，即可扩展标识语言)形式 进行内容的文本编码。(3) XML Schema 是XML编码表达的文本内容的模式定义，定义XML编码文档中所 出现的元素类型的类型定义，以及这些元素在XML文本内容中的出现次序和频率等。本发明方法的实现了一种基于XML编码的分布式环境中不同类型空间分析方法 计算代价表达方法、基于该编码公式的计算代价评估和预测系统，其中一种基于XML编码 的分布式环境中空间分析方法计算代价公式表达方法，包括下列XML元素系数常量、系数变量、特征变量、算术运算符、数学函数。在本发明的实施例中，在基于XML编码的计算代价公式的XML Schema定义中，存 在一个抽象元素Expression,其类型为ExpressionType,定为<xsd:element name = “ expression“ type = “ ExpressionType “ abstract =〃 true" /><xsd:complexType name = " ExpressionType" abstract = " true" />ExpressionType是计算代价公式中所有XML元素的基类。在本发明的实施例中，计算代价公式中的系数常量用XML元素constant表示，该 元素定义中可以包含一个可以转化为数值常量的字符表达，定义为<xsd: element name = “ constant “ type =〃 ConstantType" substitutionGroup =〃 expression" /><xsd: complexType name =，，ConstantType，，><xsd:complexContent mixed =，，true，，><xsd:extension base =，，ExpressionType，，/></xsd:complexContent)</xsd:complexType)在本发明的实施例中，代价公式中的系数变量用XML元素variable表达，用字符 名称的方式表示公式中的一个系数变量，包含系数变量的公式无法直接求值，公式中的系 数变量需要通过计算代价评估系统，釆用训练数据集训练后才可求出该参数的适用值，定 义为<xsd: element name =，，variable，，type =，，VariableType，，substitutionGroup =” expression" /><xsd: eomplexType name =，，VariableType，，><xsd:complexContent mixed =，，true，，><xsd:extension base =，，ExpressionType，，/></xsd:complexContent)</xsd:complexType)在本发明的实施例中，代价公式中的特征变量用XML元素property表达，用字符 名称的方式表示公式中具有特定语义的特征变量，定义为<xsd: element name =，，property，，type =，，PropertyType，，substitutionGroup =” expression" /><xsd: complexType name =，，PropertyType，，><xsd:complexContent mixed =，，true，，><xsd:extension base =，，ExpressionType，，/></xsd:complexContent)</xsd:complexType)在本发明的实施例中，特征变量的名称由两部分构成，即由“类别名.特征 名”形式的文本构成，其中“类别名”有三种类别“输入数据(Input)”、“机器运行监测 (Machine)”或“网络运行监测(Network)”。当有多个输入数据时，通过Inputl、Input2…
7标识空间分析方法中的输入数据顺序。特征名则依附于类别名，不同类别拥有不同类型的 特征。本发明的实施例中，所定义的特征变量如表1所示。表1特征变量定义表 在本发明的实施例中，代价公式中的算术运算符包括“加”、“减”、“乘”和“除”四 种类型，对应XML表达式中XML元素为add、sub、mul和div，定义如下<xsd:element name =，，add，，type =，，BinaryOperatorType，，substitutionGroup =” expression" /><xsd:element name =，，sub，，type =，，BinaryOperatorType，，substitutionGroup =” expression" /><xsd:element name =，，mul，，type =，，BinaryOperatorType，，substitutionGroup =” expression" /><xsd:element name =，，div，，type =，，BinaryOperatorType，，substitutionGroup =” expression" /><xsd:complexType name = ”BinaryOperatorType”><xsd:complexContent><xsd:extension base =，，ExpressionType，，/><xsd: sequence)<xsd:element ref = "expression"minOccurs =，，2，，max0ccurs =，，2，，/></xsd: sequence)</xsd:complexContent>
</xsd:complexType>在本发明的实施例中，计算代价公式中的数学函数用XML元素function表达，通 过该元素名中的属性name识别数学函数类型，定义如下<xsd: element name =，，function，，type =，，FunctionType，，substitutionGroup =” expression" /><xsd: complexType name =，，FunctionType，，><xsd: complexContent><xsd: extension base =，，ExpressionType，，><xsd: sequence)<xsd: element ref = ” expression，，minOccurs =，，0”maxOccurs =” unbounded”/〉</xsd: sequence)〈xsd: attribute name =”name，，type =，，xsd: string”use = "required V></xsd: extension)</xsd:complexContent></xsd:complexType)在本发明的实施例中，在基于XML编码的计算代价公式中存在一个根元素(root) equation，是计算代价公式的容器，其定义为<xsd: element name =，，equation，，，type =，，EquationType，，/>〈xsd: complexType name =，，EquationType，，>〈xsd: sequence)〈xsd: element ref =，，expression，，></xsd: sequence)</xsd:complexType)在本发明的实施例中，代价公式包括三种不同抽象程度的代价公式类型，第一种 是同时具有系数变量和特征变量的代价公式，一般是某种类型空间分析方法的计算代价模 型通用的表达方式，不与具体的计算机和网络发生直接关系，不可以直接求值；第二种是只 具有参数变量的代价公式，该公式一般用来表达某种类型空间分析方法在某个计算机和网 络上运行时的代价公式，这种类型公式需要有专用系统获取特征变量的值，然后才可以求 值；第三种类型是不包含任何变量的数学公式表达的代价公式，可以直接求值，这种公式只 在空间分析方法输入参数确定、系统运行环境状态信息充分的情况下才可以获得。任何代 价公式只有最终转化为第三种类型代价公式时才可以被求值。针对具体类型分布式空间分析方法，首先存在的都是第一种类型计算代价公式， 在具体分布式系统环境下，通过计算代价评估系统求取计算代价公式的系数变量，从而转 化为第二种类型的代价公式；当算法的输入也明确，而且可获取系统监测信息情况下，可 通过计算代价预测系统将其转化为第三种类型的代价公式，从而获取最终的计算代价预测值。在本发明的实施例中，存在某种类型遥感数据处理方法，假设它的第一种类型计 算代价公式为
9
a氺Input· Pixels+b(1)其中a、b为系统变量，Input. Pixels为特征变量，在本发明一个实施例中，公式⑴表达为<equation><add><mul><variable>a</variable>
<property>Input. Pixels</property></mul><variable>b</variable></add></equation>下面以公式(1)为一个实施例，阐述计算代价评估系统和预测系统的结构和工作流程。在本发明中，要求所有的第一种类型计算代价公式中的系统变量都是线性的，从 而为计算代价评估系统的成功执行提供先决条件。计算代价评估系统主要目标是获取第一种类型计算代价评估公式中的系统变量 值，如图2所示，该系统包括训练数据集管理模块、空间分析方法训练模块和计算代价公式 评估模块，具体功能如下a.训练数据集管理模块负责管理各种训练数据，包括遥感影像数据和空间数据 集，并通过数据预分析获取训练数据的特征信息，为空间分析方法计算代价公式的快速训 练提前进行数据准备。B.空间分析方法训练模块通过设置训练数据作为空间分析方法的处理对象，对部 属在某个服务器中的空间分析方法发起调用请求，并通过网络日志系统获取训练用例的统 计信息，如图3所示，空间分析方法训练模块通过收集空间分析方法的所用空间数据特征 信息和实际训练运行结果统计信息，为计算代价公式评估提供信息准备。c.计算代价评估模块是评估系统的核心模块，模块的工作流程如图4所示。该模 块利用空间分析方法训练模块获取的空间数据特征信息和训练结果统计信息，结合第一种 类型计算代价公式，建立关于计算代价公式中系统变量的线性方程组，并通过线性方程组 的自动求解获取系数变量的值，从而将第一种类型计算代价公式转化为第二种类型计算代 价公式。在本发明的一个实施例中，某种类型的遥感数据处理方法的代价公式如公式(1) 所示，在该公式的某个运行部署中，经过计算代价评估系统的训练，公式中的系数变量a的 值为0. 000005，b的值为0. 2，则公式(1)转化为第二种类型计算代价公式，即0. 000005*Input. Pixels+0. 2(2)其中Input. Pixels为特征变量，在本发明的一个实施例中，公式(2)表达为<equation><add>
<mul><constant>0. 000005</constant><property>Input. Pixels</property></mul><constant>0. 2</constant></add></equation>计算代价预测系统是针对具体空间分析服务，在设定第二种类型空间分析的计算代价公式的前提下，对于给定输入数据，结合系统当前状态获取空间分析方法的计算代价 预测值。在本发明的实施例中，如图5所示，计算代价预测系统包括输入数据分析模块、监 测数据分析模块和空间分析计算代价预测模块。具体功能如下输入数据分析模块对待处理输入数据进行分析获取输入数据特征变量值；监测数据分析模块通过访问外部存在的分布式系统监测系统获取当前空间分析 服务器运行状态和网络运行状态，获取机器或是网络特征变量值；空间分析计算代价预测模块工作流程如图6所示，通过上述步骤获取的特征变量 值，结合当前空间分析方法的第二种类型计算代价公式，将其转化为第三种类型的计算代 价表达公式，从而直接计算出空间分析方法的的计算代价值。在本发明的一个实施，某个遥感数据数据处理方法的第二种类型计算代价公式 如公式(2)所示，在给定某个遥感输入数据条件下，假定该遥感数据的特征变量Input. Pixels的值为Input. Pixels = 20000000(4000*5000)；在经过代价预测公式处理后，公式(2)转化为可直接求值的第三种类型代价公 式，具体如下0. 000005*20000000+0. 2(3)在本发明的一个实施例中，公式(3)表达为<equation><add><mul><constant>0. 000005</constant><constant>20000000</constant></mul><constant>0. 2</constant></add></equation>上述公式(1)、⑵、(3)以示例的方式阐述了图1实施的过程，即针对某种类型遥 感数据处理方法，通过以上步骤可以获取该分析方法在不同计算资源上的计算代价值，这 些值可以为该空间分析方法优化配置计算资源提高该空间分析方法服务的服务质量提供 数据支撑，或是该空间分析方法在多个计算资源上进行并行化时优化并行方案提供数据支撑。
本发明未详细阐述部分属于本领域的公知技术。
以上所描述的是本发明的一种实施方式，但是可以不脱离本发明的主旨和范围而 做出给出改型和替代，因此应该理解本发明是以一种示例的方式而不是限制的方式描述 的，在不脱离本发明原理的前提下，所做出的改进和润饰也应该视为本发明的保护范围。
权利要求
一种分布式环境中的空间分析方法的计算代价XML编码方法，实现步骤如下(1)分布式环境中空间分析方法的计算代价公式采用XML进行编码，其中的XML编码元素包括系数常量、系数变量、特征变量、算术运算符、数学函数，将上述XML编码元素按照需求组合起来即得到所述计算代价公式；所述系数常量用XML元素constant表示，该元素定义中可以包含一个可以转化为数值常量的字符表达；所述系数变量用XML元素variable表达，用字符名称的方式表示公式中的一个系数变量；所述特征变量用XML元素property表达，用字符名称的方式表示公式中具有特定语义的特征变量；所述算术运算符包括“加”、“减”、“乘”和“除”四种类型，对应XML表达式中XML元素为add、sub、mul和div；所述数学函数用XML元素function表达，通过该元素名中的属性name识别数学函数类型；在基于XML编码的计算代价公式中存在一个根元素(root)equation，作为计算代价公式的容器，将所有的XML元素包含在该根元素中；(2)根据三种类型的计算代价公式的计算相应类型空间分析方法的计算代价值，基于XML编码的分布式环境中空间分析方法的计算代价公式有三种类型，第一种类型的计算代价公式为同时具有系数变量和特征变量的计算代价公式，不可以直接求值，在具体分布式系统环境下，通过计算代价评估系统采用数据集训练后求取计算代价公式的系数变量，从而转化为第二种类型的计算代价公式；第二种类型的计算代价公式是只具有参数变量的计算代价公式，它通过计算代价评估系统根据当前系统状态和数据输入信息评估第二种计算代价公式获取特征变量的值，然后才可以求值，从而转化为第三种类型的计算代价公式；第三种类型的计算代价公式是不包含任何变量的数学公式表达的计算代价公式，可以直接求值，通过第三种类型的计算代价公式即可最终获取相应的空间分析方法的计算代价值；计算代价评估系统包括训练数据集管理模块、空间分析方法训练模块和计算代价公式评估模块，其中a.训练数据集管理模块负责管理各种训练数据，包括遥感影像数据和空间数据集，并通过数据预分析获取训练数据的特征信息，为空间分析方法的计算代价公式的快速训练提前进行数据准备；b.空间分析方法训练模块通过设置训练数据作为空间分析方法的处理对象，对部属在某个服务器中的空间分析方法发起调用请求，并通过网络日志系统获取训练用例的统计信息，训练模块通过收集空间分析方法的所用空间数据特征信息和实际训练运行结果统计信息，为代价公式评估提供信息准备；c.计算代价评估模块利用空间分析方法训练模块获取的空间数据特征信息和训练结果统计信息，结合第一种类型计算代价公式，建立关于计算代价公式中系统变量的线性方程组，并通过线性方程组的自动求解获取系数变量的值，从而将第一种类型计算代价公式转化为第二种类型计算代价公式；所述计算代价预测系统包括输入数据分析模块、监测数据分析模块和空间分析计算代价预测模块，其中a.输入数据分析模块对待处理输入数据进行分析获取输入数据特征变量值；b.监测数据分析模块通过访问外部存在的分布式系统监测系统获取当前空间分析服务器运行状态和网络运行状态，获取机器或是网络特征变量值；c.空间分析计算代价预测模块通过上述步骤获取的特征变量值，结合当前空间分析方法通过上述步骤3所获取的第二种类型计算代价公式，将其转化为第三种类型的计算代价表达公式，从而直接获得计算代价值；(3)将步骤(2)最终获取的空间分析的计算代价值应用于分布式空间分析方的管理中，可以评估当前空间分析服务在不同计算资源上的执行效率，从而为当前分析服务进行资源优化配置，提高执行效率；当应用于空间分析方法的并行化时，可以通过计算代价值来分析在不同计算资源上的执行效率，从而对并行化执行方案进行优化。
2.根据权利要求1所述的分布式环境中空间分析方法的计算代价公式的XML编码方 法，其特征在于所述特征变量的名称由两部分构成，即由“类别名.特征名”形式的文本 构成，其中“类别名”有三种类别“输入数据Input”、“机器运行监测Machine”或“网络运 行监测Network”，当有多个输入数据时，通过Inputl、Input2…标识空间分析方法中的输 入数据顺序，特征名则依附于类别名，不同类别拥有不同类型的特征。
3.根据权利要求2所述的XML编码方法中特征变量的名称，其特征在于当所述特征 变量名称的类型是空间类型数据输入时，特征名具有明确的空间数据统计特征相关的语 义，如“ Input. Bounds"标识输入空间数据集的外包多变性；” Input. Pixels"标识遥感类 型输入数据的像素总数。
全文摘要
一种分布式环境中的空间分析方法的计算代价编码方法，采用XML编码方式表达分布式环境中不同类型空间分析方法的计算代价公式，在特别设计的评估系统中通过训练数据集求取表达公式中的系数变量，最后预测系统运用计算代价公式计算相应的空间分析方法的计算代价值。本发明可以为分布式环境中空间信息服务的质量管理或分布式环境中的空间信息并行化处理提供数据支撑。
文档编号G06F17/30GK101840431SQ201010167128
公开日2010年9月22日 申请日期2010年4月30日 优先权日2010年4月30日
发明者刘庆生, 刘高焕, 曾少斌, 李佳琪, 谢传节, 黄翀 申请人:中国科学院地理科学与资源研究所