基于高维空间的web系统性能评价方法
【专利摘要】本发明公开了一种基于高维空间的WEB系统性能评价方法，包括以下步骤：根据WEB系统性能评价的不同指标选择性能指标；设定每种WEB系统的环境配置、负载配置、业务目标，并进行系统分类；根据分类结果建立性能指标的评估模型；以性能指标为维度，根据性能指标的评估模型建立性能高维空间，根据对性能指标的度量或测量通过性能指标的度量模型的计算使WEB系统性能评价回归为一个性能点，以根据WEB系统的性能点是否落入性能高维空间或偏离性能高维空间的空间进行性能评价。本发明实施例的评价方法通过建立性能指标的评估模型，从而以性能指标为维度，根据评估模型建立性能高维空间，实现对WEB系统进行性能评价，简单方便，精准可靠。
【专利说明】基于高维空间的WEB系统性能评价方法
【技术领域】
[0001] 本发明涉及电力信息【技术领域】，特别涉及一种基于高维空间的WEB系统性能评价 方法。
【背景技术】
[0002] 由于WEB系统的复杂性，仅采用性能测试或单一建模方法在多个性能指标度 量准确性、预测有效性和测试迭代控制等方面存在局限性。相关技术中，业界众多专家 学者对系统性能评价模型进行了多方面探索，例如Kounev等人给出了 J2EE基准应用 SPECAppServer2002的一个非乘积解排队网络模型，以度量WEB系统的响应时间、吞吐量和 资源利用率多个性能指标，由于模型的规模较大，所采用的Mult isum算法无法给出高负载 情况下WEB系统响应时间的可靠度量；例如Gokhale等人基于连续Markov链给出了一个小 型电子商务系统的性能模型，但该模型存在伸缩性问题，无法处理规模较大WEB系统的资 源关系；又例如Jain使用排队网络、随机Pet ri网等图形性能建模语言，但忽略对性能指 标度量有重要影响的系统资源、系统结构或假设条件，导致降低了度量的准确性。
【发明内容】
[0003] 本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
[0004] 为此，本发明的目的在于提出一种简单方便、精准可靠的基于高维空间的WEB系 统性能评价方法。
[0005] 为达到上述目的，本发明实施例提出了一种基于高维空间的WEB系统性能评价 方法，包括以下步骤：根据WEB系统性能评价的不同指标选择性能指标，其中，如果所述性 能指标是可测量的，则直接取所述性能指标的数值，否则需要建模，执行回归分析和测试， 以构建指标的封闭函数及其度量假设条件，以及建立所述性能指标的度量模型；设定每种 WEB系统的环境配置、负载配置、业务目标，并根据所述每种WEB系统的环境配置、负载配 置、业务目标进行系统分类；根据所述WEB系统类型的分类结果通过经验等式、排队网络、 随机Petri网和随机进程代数中的一种或多种方式建立所述性能指标的评估模型；以及以 所述性能指标为维度，并根据所述性能指标的评估模型建立性能高维空间，根据对所述性 能指标的度量或测量通过所述性能指标的度量模型的计算使所述WEB系统性能评价回归 为一个性能点，以根据所述WEB系统的性能点是否落入所述性能高维空间或偏离所述性能 高维空间的空间进行性能评价。
[0006] 根据本发明实施例提出的基于高维空间的WEB系统性能评价方法，根据WEB系统 性能评价的不同指标选择性能指标，并进行系统分类，通过分类的结果建立性能指标的评 估模型，从而以性能指标为维度，根据性能指标的评估模型建立性能高维空间，实现利用高 维空间对WEB系统进行性能评价，简单方便，精准可靠。
[0007] 另外，根据本发明上述实施例的基于高维空间的WEB系统性能评价方法还可以具 有如下附加的技术特征：
[0008] 进一步地，在本发明的一个实施例中，所述根据所述WEB系统的性能点是否落入 所述性能高维空间或偏离所述性能高维空间的空间进行性能评价，进一步包括：如果根据 所述WEB系统的性能点是否落入所述性能高维空间的空间进行性能评价，则对所述WEB系 统的性能点在各个维度与所述性能高维空间的偏差进行衡量。
[0009] 进一步地，在本发明的一个实施例中，所述根据所述WEB系统的性能点是否落入 所述性能高维空间或偏离所述性能高维空间的空间进行性能评价，进一步包括：如果根据 所述WEB系统的性能点是否偏离所述性能高维空间的空间进行性能评价，则通过对供电已 有系统的性能数据获取所述供电已有系统的性能点；使所述供电已有系统的性能点落入 所述性能高维空间，并获取所述供电已有系统的性能点与所述WEB系统的性能点的空间距 离；以及根据所述供电已有系统的性能点与所述WEB系统的性能点的空间距离进行性能评 价。
[0010] 进一步地，在本发明的一个实施例中，上述评价方法还包括：采集所述供电已有系 统的运行数据，并建立性能数据库；通过所述性能数据库的数据训练所述性能指标的评估 模型的参数；通过训练后的评估模型训练所述性能高维空间的参数；在所述供电已有系统 中选择不同类型的供电系统，并在所述性能高维空间中建立参考点；以及通过所述参考点 与所述WEB系统的性能点的空间距离进行性能评价。
[0011] 进一步地，在本发明的一个实施例中，所述根据所述性能指标的评估模型建立性 能高维空间，进一步包括：如果所述性能高维空间不能封闭，则对所述性能指标的评估模型 进行修正。
[0012] 进一步地，在本发明的一个实施例中，上述评价方法还包括：通过测试用例设计和 性能数据设计对所述性能高维空间进行修正。
[0013] 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
【专利附图】
【附图说明】
[0014] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变 得明显和容易理解，其中 ：
[0015] 图1为根据本发明一个实施例的基于高维空间的WEB系统性能评价方法的流程 图。
【具体实施方式】
[0016] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0017] 此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或 者隐含地包括一个或者更多个该特征。在本发明的描述中，"多个"的含义是两个或两个以 上，除非另有明确具体的限定。
[0018] 在本发明中，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"、"固定"等 术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机 械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元 件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发 明中的具体含义。
[0019] 在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下" 可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它 们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一 特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征 在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表 示第一特征水平高度小于第二特征。
[0020] 下面参照附图描述根据本发明实施例提出的基于高维空间的WEB系统性能评价 方法。参照图1所示，该评价方法包括以下步骤：
[0021] S101，根据WEB系统性能评价的不同指标选择性能指标，其中，如果性能指标是可 测量的，则直接取性能指标的数值，否则需要建模，执行回归分析和测试，以构建指标的封 闭函数及其度量假设条件，以及建立性能指标的度量模型。
[0022] 具体地，在本发明的一个实施例中，首先选择性能指标，根据系统性能评价的不同 指标，选择有代表性的指标。若指标是可测量的，就直接取指标的数值；若指标是不可测量 的，则需要建模，执行回归分析和测试，构建指标的封闭函数及其度量假设条件，最终建立 指标的度量模型。
[0023] S102,设定每种WEB系统的环境配置、负载配置、业务目标，并根据每种WEB系统的 环境配置、负载配置、业务目标进行系统分类。
[0024] 具体地，在本发明的一个实施例中，其次系统分类，由于性能测试过程是由特定测 试目标的量化内容所引发的，因此需要对系统类型进行划分，设定每种系统的环境配置、负 载配置、业务目标等参数。
[0025] S103,根据WEB系统类型的分类结果通过经验等式、排队网络、随机Petri网和随 机进程代数中的一种或多种方式建立性能指标的评估模型。
[0026] 具体地，在本发明的一个实施例中，然后建立指标评估模型，基于不同类型的系统 配置参数，建立指标的评估模型，模型的构建不受制于特定的形式化方法，可采用经验等 式、排队网络、随机Petri网和随机进程代数等。
[0027] S104,以性能指标为维度，根据性能指标的评估模型建立性能高维空间，根据对性 能指标的度量或测量通过性能指标的度量模型的计算使WEB系统性能评价回归为一个性 能点，以根据WEB系统的性能点是否落入性能高维空间或偏离性能高维空间的空间进行性 能评价。
[0028] 其中，在本发明的一个实施例中，根据WEB系统的性能点是否落入性能高维空间 或偏离性能高维空间的空间进行性能评价，进一步包括：如果根据WEB系统的性能点是否 落入性能高维空间的空间进行性能评价，则对WEB系统的性能点在各个维度与性能高维空 间的偏差进行衡量。
[0029] 进一步地，在本发明的一个实施例中，根据WEB系统的性能点是否落入性能高维 空间或偏离性能高维空间的空间进行性能评价，进一步包括：如果根据WEB系统的性能点 是否偏离性能高维空间的空间进行性能评价，则通过对供电已有系统的性能数据获取供电 已有系统的性能点；使供电已有系统的性能点落入性能高维空间，并获取供电已有系统的 性能点与WEB系统的性能点的空间距离；根据供电已有系统的性能点与WEB系统的性能点 的空间距离进行性能评价。
[0030] 进一步地，在本发明的一个实施例中，根据性能指标的评估模型建立性能高维空 间，进一步包括：如果性能高维空间不能封闭，则对性能指标的评估模型进行修正。
[0031] 进一步地，在本发明的一个实施例中，上述评价方法还包括：通过测试用例设计和 性能数据设计对性能高维空间进行修正。
[0032] 具体地，在本发明的一个实施例中，最后建立性能高维空间。以性能指标为维度， 根据指标评估模型建立性能高维空间，要保证高维空间是一个凸空间。若高维空间不能封 闭，还需要对性能指标评估模型进行修正（例如性能评估模型是非线性函数，需要进行数 学变换进行修正），确保高维空间的封闭性。此外还要通过测试用例设计和性能数据设计， 对性能高维空间进行修正，提高准确性。
[0033] 其中，在本发明的一个实施例中，本发明实施例的方法还包括建立性能评价方法， 通过对系统性能指标的度量或测量，然后通过指标评估模型的计算，使得系统性能评价回 归为一个性能点，根据性能点是否落入高维空间或偏离高维空间的空间进行性能评价。评 价思路有两种：
[0034] a)性能点是否落入高维空间，它在各个维度与高维空间的偏差进行衡量。
[0035] b)使用供电已有系统的性能数据进行计算，求出性能点并且使得该性能点落入高 维空间，作为参考点，对新系统同样计算性能点，然后比较新性能点与参考点的空间距离， 从而进行评价。
[0036] 另外，在本发明的一个实施例中，上述评价方法还包括：采集供电已有系统的运 行数据，并建立性能数据库；通过性能数据库的数据训练性能指标的评估模型的参数；通 过训练后的评估模型训练性能高维空间的参数；在供电已有系统中选择不同类型的供电系 统，并在性能高维空间中建立参考点；通过参考点与WEB系统的性能点的空间距离进行性 能评价。
[0037] 具体地，在本发明的一个实施例中，为了使高维空间模型匹配供电已有系统的性 能评价，本发明实施例计划建立一个自学习型的系统性能数据库，主要工作包括：
[0038] -、采集现有系统的运行性能数据，建立性能数据库。
[0039] 二、使用性能数据训练指标评估模型的参数，修订模型参数，提高指标评估准确 性。
[0040] 三、使用训练后的指标数据去训练性能高维空间模型，修订高维空间模型的参数， 提高高维空间模型的有效性。
[0041] 四、将现有系统中选择不同系统类型的典型代表，在高维空间中建立参考点。
[0042] 五、测量新上线系统在高维空间的性能点与参考点的空间距离，研究对新上线系 统的性能评价。
[0043] 综上所述，本发明实施例提出一种基于高维空间的系统性能评价模型。其中，该 模型是依据不同的性能指标，采取不同的建模方法，建立每个性能指标的测量或度量方法， 然后以多个性能指标为维度，再通过数学变换方法构建出一个系统性能的高维空间。本发 明实施例以一个高维空间来表示系统性能模型。具体地，本发明实施例分两个阶段，一是建 模阶段，二是建库阶段。第一阶段主要是使用数据方法构建系统性能的高维空间和评价方 法；第二阶段是建立自学习型系统性能数据库，通过收集供电已有的系统运行数据建立系 统性能数据库，并把数据库的数据应用于数据模型中，通过回归分析和测试对模型的各项 参数进行验证和修正，使得模型越来越"聪明"，使得模型与电力现有系统更加匹配，具有实 用性，将来可以通过模型和性能数据库去检验新进入的系统。
[0044] 本发明实施例的评价方法主要针对WEB系统，通过对WEB系统性能指标的建模，来 解决系统性能性能分析与调优、系统性能评估与能力规划的问题，预期实现以下作用：
[0045] >为系统是否满足性能需求规范提供证据
[0046] >比较性能调优前后响应时间和吞吐量变化，以判定性能调优的效果
[0047] >评估软硬件配置能力是否支持预期负载。
[0048] >验证新上线系统是否能融入现有系统环境
[0049]目前在性能评价上进行建模的多是一维向量或二维平面，没有高维空间的建模， 而且在评价方法上主要采用验证数值在门限范围内，没有从多维空间角度进行测量。本发 明实施例使用建模方法和数学推导方法，其创新点包括：
[0050] 1.性能指标评估模型的建立。当性能指标是一种综合性指标，无法直接测量，就需 要建立相应的模型。例如系统伸缩性，我们已有的研究成果中已经建立了 US-Y模型，通过 参数Y可以进行度量。
[0051] 2.性能高维空间模型的建立，因为要求高维空间是一个凸包，从而保证性能点落 入空间中，因此该模型建立受到性能指标相关性的影响，可能需要对性能指标模型进行数 学转换和修正才能建立性能高维空间。
[0052] 3.系统性能数据库的构建，数据的采集取决于单位现有的设备，如果没有数据库， 则会采用模拟数据，根据性能数据的概率分布或通过用户自定义的方式来生成测试数据。
[0053] 根据本发明实施例提出的基于高维空间的WEB系统性能评价方法，根据WEB系统 性能评价的不同指标选择性能指标，并进行系统分类，通过分类的结果建立性能指标的评 估模型，从而以性能指标为维度，根据性能指标的评估模型建立性能高维空间，实现利用高 维空间对WEB系统进行性能评价，简单方便，精准可靠。
[0054] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括 一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部 分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺 序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明 的实施例所属【技术领域】的技术人员所理解。
[0055] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是 用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以 供指令执行WEB系统、装置或设备（如基于计算机的WEB系统、包括处理器的WEB系统或其 他可以从指令执行WEB系统、装置或设备取指令并执行指令的WEB系统）使用，或结合这些 指令执行WEB系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何 可以包含、存储、通信、传播或传输程序以供指令执行WEB系统、装置或设备或结合这些指 令执行WEB系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性 列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装 置），随机存取存储器（RAM)，只读存储器（ROM)，可擦除可编辑只读存储器（EPROM或闪速存 储器），光纤装置，以及便携式光盘只读存储器（⑶ROM)。另外，计算机可读介质甚至可以是 可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光 学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程 序，然后将其存储在计算机存储器中。
[0056] 应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述 实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行WEB系统执行的 软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知 的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门 电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA)， 现场可编程门阵列（FPGA)等。
[0057] 本【技术领域】的普通技术人员可以理解实现上述实施例方法携带的全部或部分步 骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介 质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0058] 此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以 是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模 块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如 果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机 可读取存储介质中。
[0059] 上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0060] 在本说明书的描述中，参考术语"一个实施例"、"一些实施例"、"示例"、"具体示 例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何 的一个或多个实施例或示例中以合适的方式结合。
[0061] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨 的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
【权利要求】
1. 一种基于高维空间的w邸系统性能评价方法，其特征在于，包括w下步骤： 根据WEB系统性能评价的不同指标选择性能指标，其中，如果所述性能指标是可测量 的，则直接取所述性能指标的数值，否则需要建模，执行回归分析和测试，W构建指标的封 闭函数及其度量假设条件，W及建立所述性能指标的度量模型； 设定每种肥B系统的环境配置、负载配置、业务目标，并根据所述每种肥B系统的环境 配置、负载配置、业务目标进行系统分类； 根据所述W邸系统类型的分类结果通过经验等式、排队网络、随机化tri网和随机进程 代数中的一种或多种方式建立所述性能指标的评估模型；W及 W所述性能指标为维度，根据所述性能指标的评估模型建立性能高维空间，根据对所 述性能指标的度量或测量通过所述性能指标的度量模型的计算使所述W邸系统性能评价 回归为一个性能点，W根据所述W邸系统的性能点是否落入所述性能高维空间或偏离所述 性能高维空间的空间进行性能评价。
2. 如权利要求1所述的基于高维空间的W邸系统性能评价方法，其特征在于，所述根据 所述肥B系统的性能点是否落入所述性能高维空间或偏离所述性能高维空间的空间进行 性能评价，进一步包括： 如果根据所述W邸系统的性能点是否落入所述性能高维空间的空间进行性能评价，贝U 对所述W邸系统的性能点在各个维度与所述性能高维空间的偏差进行衡量。
3. 如权利要求1所述的基于高维空间的W邸系统性能评价方法，其特征在于，所述根据 所述W邸系统的性能点是否落入所述性能高维空间或偏离所述性能高维空间的空间进行 性能评价，进一步包括： 如果根据所述W邸系统的性能点是否偏离所述性能高维空间的空间进行性能评价，贝U 通过对供电已有系统的性能数据获取所述供电已有系统的性能点； 使所述供电已有系统的性能点落入所述性能高维空间，并获取所述供电已有系统的性 能点与所述肥B系统的性能点的空间距离；W及 根据所述供电已有系统的性能点与所述肥B系统的性能点的空间距离进行性能评价。
4. 如权利要求3所述的基于高维空间的肥B系统性能评价方法，其特征在于，还包括： 采集所述供电已有系统的运行数据，并建立性能数据库； 通过所述性能数据库的数据训练所述性能指标的评估模型的参数； 通过训练后的评估模型训练所述性能高维空间的参数； 在所述供电已有系统中选择不同类型的供电系统，并在所述性能高维空间中建立参考 点；W及 通过所述参考点与所述肥B系统的性能点的空间距离进行性能评价。
5. 如权利要求1所述的基于高维空间的W邸系统性能评价方法，其特征在于，所述根据 所述性能指标的评估模型建立性能高维空间，进一步包括： 如果所述性能高维空间不能封闭，则对所述性能指标的评估模型进行修正。
6. 如权利要求1所述的基于高维空间的肥B系统性能评价方法，其特征在于，还包括： 通过测试用例设计和性能数据设计对所述性能高维空间进行修正。
【文档编号】G06F11/36GK104461868SQ201410623812
【公开日】2015年3月25日 申请日期:2014年11月6日 优先权日:2014年11月6日
【发明者】孙强强, 冯斌, 赵铭, 丘惠军 申请人:深圳供电局有限公司