一种综合业务接入网运行质量评价方法及其测试平台与流程

本发明涉及智能电网运维指标及测试技术领域，具体涉及一种综合业务接入网运行质量评价方法及其测试平台。

背景技术：

当前，国家电网公司已经进入全面建设智能电网的新时期，国家电网的发展也进入到了推进管理变革并构建“三集五大”体系的新阶段，并对提高大电网的驾驭能力，加强专业化程度以及精益化水平提出了更高的需求。

通信接入网是面向配电、用电环节的终端通信接入网络，支撑着配电自动化、用电信息采集、电力光纤到户多网融合等接入业务。相对于骨干通信网，具有以下特点：一是网络规模庞大、接入节点数量多、覆盖区域很大；二是通信技术种类多，如xPON、工业以太网、中低压PLC、公网无线、专网无线等；三是相对于电力骨干通信网，终端通信接入网的网络结构、组网方式、接入业务差异很大；四是存在很各种不同形式的混合组网方式，如xPON+PLC模式、xPON+无线等。基于以上特点，使得终端通信接入网是一个难以运维和管理的网络。

为了调高对通信网的管理效率，我们不仅仅需要依靠科技进步，更需要强大的通信网络管理系统来提供坚强的后盾。早起的人工管理系统已经不能满足其快速发展的需求了，如果不提高综合业务接入网的管理网的质量，将成为国家电网建设的瓶颈，根据通信接入网的特点，研究一套综合管理系统，来完成资源管理、设备运行状况的监视等，将极大的提高人员的工作效率，也对通信网的稳定运行有重要意义。通信接入网络主要有PLC、无线网络等类型，其中对设备管理的主要体现在告警信息的管理，对设备性能管理及资源信息的管理等。为了获取设备比较全面的信息，需要对以上方面进行分别查询分析，但是这样人工分析仍然不能对设备总体的运行状况有个明确的了解，并且管理人员的工作效率较低，采用综合的质量评价方法进行数据分析，可以宏观的了解网络运行情况，进一步提高智能配用电网络的接入质量。

通信网络对电力业务支撑能力的好坏将直接决定电力通信业务质量的优良，近年来，随着电力通信业务需求的不断增大，为了保障网络的服务质量，如何测试电力通信业务的接入网络指标显得尤为重要。测试电力多业务性能方法有多种，而且基于业务的测试方法，能够较客观的反映数据的传输性能。但如果单纯依靠简单的实际业务测试，存在定量不足、测试 偶然性等问题，除了主观感觉外，很难准确地测试其性能参数，特别是延时、抖动、丢包率等指标。尤其在无线环境下，这些指标是至关重要的，我们需要研究一套完整的测试方法和精确的指标体系来定量测试电力通信多业务接入性能。

技术实现要素：

为解决上述现有技术中的不足，本发明的目的是提供一种综合业务接入网运行质量评价方法及其测试平台，本发明即采用分层次法改进算法和改进的TOPSIS算法相结合的算法对综合通信接入网设备运行质量进行综合评估，保证网络正常的运行。并设计一个综合业务接入网测试平台，对通信接入网电力业务的可靠性和质量提供了一个基本的评估框架，用一整套标准化的体系测试网络和终端的性能，通过评价指标分析及测试凭条建立保证了电力业务的实时性、有效性和安全性。

本发明的目的是采用下述技术方案实现的：

本发明提供一种综合业务接入网运行质量评价方法，其改进之处在于，所述方法包括下述步骤：

(1)确定综合评价指标体系；

(2)构建评价指标体系的判断矩阵；

(3)利用层次分析法的三标度法计算评价指标权重；

(4)获取待评价设备的评价指标值，构成指标矩阵V进行归一化操作，获取指标归一化矩阵V’；

(5)将评价指标权重W与归一化矩阵V’结合，获取指标的加权标准化矩阵X；

(6)利用TOPSIS相对熵算法确定理想对象X⁺和负理想对象X^-；

(7)计算待评价对象相对于正负理想对象的相对熵；

(8)根据正负相对熵计算待评价对象与理想对象间的贴进度；

(9)根据贴近度进行排序，获取最后评价结果。

其中，所述步骤(1)中，综合评价指标体系包括基本特性指标、可靠性指标、网络特性指标和静态特性指标；

所述基本特性指标从CPU利用率、内存利用率和内存大小三个方面进行评价；

所述可靠性指标从设备在线率、输出丢包率、输入包错误率及输出包错误率四个方面进行评价；其中设备在线率＝设备在线时间/统计时间；

所述网络特性指标从平均传输速率及相应时间进行评价；

所述静态特性指标从设备的可使用寿命、MAC地址、扩展支持及端口的数量四个方面进行评价。

其中，所述步骤(2)中，构建评价指标体系是将电力系统分成决策层、准则层和目标层三层；其中决策层为最底层，由设备组成，是措施实时的方案层；准则层是最底层的每个对象进行评估的各个参数；目标层是对准则层确定的信息进行评估后筛选出来的最佳对象。

构造判断矩阵包括：

采用层次分析法中的三标度法构造比较矩阵A，a＝0，1或2，分别表示第i个元素不如第j个元素重要，两个元素同等重要，第i个元素比第j个元素重要，比较矩阵A中的元素a_ij如下：

由比较矩阵A计算各个评价指标因素的重要性比较值v_i，令v_max＝max{v_i}，v_min＝min{v_i}，分别表示v_i的最大值和最小值，令比较系数a表示如下：a＝(v_max/v_min-1)/(v_max-v_min)，表示v_max与v_min按某种标度给出的重要性程度；进而构造出判断矩阵B；判断矩阵B满足以下条件：

式中：b_ij表示判断矩阵B中的元素；v_j表示各个指标因素的重要性比较值。

其中，所述步骤(3)中包括：导出拟优一致矩阵B’；矩阵C为反对称矩阵，假设存在矩阵D，其中D中的各个元素表示如下：

则矩阵D是判断矩阵B的最优传递矩阵；拟优一致矩阵B’是B的一个拟优传递矩阵，并且是一致的，由拟优一致矩阵B’计算出相对于最大特征值的特征向量，并进行归一化操作，即得到向量w；

采用方根法来近似计算权重；对于拟优一致矩阵B’，求每一行元素的乘积然后计算方根令则w＝(w₁,w₂,...w_n)^T即为所求的权重向量；

其中：c_ik和c_jk表示最优传递矩阵的反对称矩阵的任意元素(元素i是一个比元素j重要 的数)；n表示有n个评价指标，w_i表示权重向量；b_ij表示判断矩阵B中的元素。

其中，所述步骤(4)中包括：获取待评价设备的评价指标值，构成指标矩阵V进行归一化操作，获取指标归一化矩阵V’，根据指标矩阵Vm×n以及(i＝1,2,…m；j＝1,2,…n)构造归一化标准矩阵V’；

其中，所述步骤(5)中：指标的加权标准化矩阵X的计算方式如下：

其中，所述步骤(6)中：根据公式和来确定理想对象X⁺和负理想对象X^-；

式中：表示指标的加权标准化矩阵X中各列的最优值组成的一个列对象，表示指标的加权标准化矩阵X中各列的最劣值组成的一个列对象。

其中，所述步骤(7)中：待评价对象相对于理想对象X⁺和负理想对象X^-的相对熵用下述表达式计算：

其中：表示矩阵X中第j列的最优值，x_ij表示加权标准化矩阵X中的某个元素，表示矩阵X中第j列的最劣值。

其中，所述步骤(8)中：待评价对象与理想对象间的贴进度用下式计算：

根据s^-,s⁺引入一种新的与理想对象之间的贴近程度分别计算各个特别评价对象的贴进度并按照降序排列，前面的性能优于后面的，即得到待评价对象综合评估的优劣性。

本发明还提供一种综合业务接入网运行质量评价方法的测试平台，其改进之处在于，所述测试平台用于测试评价指标体系中的各项评价指标；所述测试平台包括设备层、通信协议层和应用层；

所述设备层位于最底层，用于为各业务接入测试平台，通信接入网根据信道的不同，采用的通信方式包括工业以太网、电力线载波、以太网无源光网络EPON、无线公网及无线专网；

所述通信协议测试层包括：远动协议IEC60870-5系列、IEC61870系列和用电信息采集业务协议GDW376.1；

所述应用层用于部署后台数据库和主站服务器；应用层包括数据库服务器、业务测试服务器、工作站和web发布服务器，所述数据库服务器、业务测试服务器、工作站和web发布服务器均通过交换机与隔离网关、防火墙、隔离装置和应用网关连接；

所述业务测试服务器用于发布测试命令和初始化虚拟设备。

本发明提供的技术方案具有的优异效果是：

1、本发明的综合评价指标采用APH层次算法来计算指标的权重，具体采用三标度法进行构造判断矩阵，提高了评估结果的可信度；

2、本发明采用熵权法对TOPSIS算法进行改进，确定了综合通信接入网设备运行质量综合评价算法，解决了基本的TOPSIS方法无法解决的垂线上点的排序问题；

3、本发明分析了综合业务接入网测试平台的功能需求，完成电力系统各种数据的通信过程中，详细分析数据在平台的发送接收过程，设计了测试平台的软件设计流程；

4、本发明设计了总体测试流程，并对典型的业务测试方法进行了说明；

5、本发明设计了新的软件测试架构，各个模块分幵设计，独立运行，提高了测试平台的可靠性与稳定性，对电力通信业务规约的更新来说，规约库可以采用动态的库插件方式进行更新升级。而不需要对整个系统进行全面的更换，节约了成本。

附图说明

图1是本发明提供的分层评价指标体系图；

图2是本发明提供的综合业务接入网运行质量评价方法的流程图；

图3是本发明提供的测试平台软件架构图；

图4是本发明提供的综合业务接入网指标评价测试平台框架图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。

本发明提供一种综合业务接入网运行质量评价方法，其流程图如图2所示，包括下述步骤：

(1)确定综合评价指标体系；

本发明遵循指标体系建立的客观性，可测性及全面性，结合综合业务接入网的系统的特殊性，分析接入设备指标体系的特点，可以从4个方面来分析指标的构成，如图1所示：

1)基本特性：基本特性使指设备正常运行时自身的一些性能参数，主要反映设备承载能力和处理数据的性能，是反映设备运行质量的重要指标。主要从以下三个方面进行评价：CPU利用率、内存利用率、内存大小；

2)可靠性：针对设备进行评价时，可靠性是很重要的一个方面，对设备可靠性可以从以下几个方面进行评价：设备在线率＝设备在线时间/统计时间、输出丢包率、输入包错误率及输出包错误率；

3)网络特性：网络特性主要体现在设备所在网络中的平均传输速率，以及相应的相应时间，主要包括两个方面在平均传输速率及相应时间；

4)静态特性：静态特性使指设备的一些性能参数随设备运行变换不大或者基本不变，但有是评价设备的重要参数，主要包括四个方面，如设备的可使用寿命、MAC地址、扩展支持 及端口的数量。

在确定了评估指标体系后，最关键的是如何确定各个指标所占用的权重比例，综合评估结果的影响程度，权重的合理性都关系到评估结果的可信度。利用层次分析算法如图1所示将系统分成三层，决策层、准则层和目标层。决策层为最底层，主要由设备组成，是措施实时的方案层；准则层是需要底层的每个对象进行评估的各个参数；目标层是对准则层确定的信息进行评估后筛选出来的最佳对象。层次分析法确定权重主要有三个步骤，首先分析评价系统中个基本要素之间的关系，然后对本层的要素与上一层的准则进行比较，构造判断矩阵。最后根据矩阵计算被比较的决策层基本要素相对于该准则层的权重。

(2)构建评价指标体系的判断矩阵；

接下来的问题就是如何构建判断矩阵，本发明采用层次分析法中的三标度法来构造标度矩阵，进而求得各个指标的权重值。构造判断矩阵B，使用三标度法对各个指标进行两两比较，构造比较矩阵A，a＝”0”，”1”或”2”。分别表示第i个元素不如第j个元素重要，两个元素同等重要，第i个元素比第j个元素重要；由比较矩阵A可以计算各个指标因素的重要性比较值v_i，令v_max＝max{v_i}，v_min＝min{v_i}，分别表示v_i的最大值和最小值，令比较系数a表示如下：a＝(v_max/v_min-1)/(v_max-v_min)，表示v_max与v_min按某种标度给出的重要性程度。进一步，可以构造出判断矩阵B。矩阵B满足以下条件：

式中：b_ij表示判断矩阵B中的元素；v_j表示各个指标因素的重要性比较值。

(3)利用层次分析法的三标度法计算评价指标权重；

导出拟优一致矩阵B’。矩阵C为反对称矩阵，假设存在矩阵D，其中D中的各个元素如下表示：

其中：其中：c_ik和c_jk表示最优传递矩阵的反对称矩阵的任意元素(元素i是一个比元素j重要的数)；n表示有n个评价指标，w_i表示权重向量；b_ij表示判断矩阵B中的元素。

则矩阵D是判断矩阵B的最优传递矩阵。矩阵B’是B的一个拟优传递矩阵，并且是一致的，由B’计算出相对于最大特征值的特征向量，并进行归一化操作，即可得到向量w。

确定权重。本发明采用方根法来近似计算权重。对于矩阵B’，求每一行元素的乘积然后计算方根令则w＝(w₁,w₂,...w_n)^T即为所求的权重向量。

(4)获取待评价设备的评价指标值，构成指标矩阵V进行归一化操作，获取指标归一化矩阵V’；

根据指标矩阵Vm×n以及构造归一化标准矩阵v’；

(5)将评价指标权重W与归一化矩阵V’结合，获取指标的加强标准化矩阵X；

根据公式来构造加权标准化矩阵X＝{x_ij}_m×n；

(6)利用TOPSIS相对熵算法确定理想对象X⁺和负理想对象X^-；

根据公式和来确定理想对象X⁺和负理想对象X^-；

(7)计算待评价对象相对于正负理想对象的相对熵；

根据公式来及计算各个待评价的对象相对于理想对象和负理想对象相对熵；

其中：表示矩阵X中第j列的最优值，x_ij表示加权标准化矩阵X中的某个元素，表示矩阵X中第j列的最劣值。

(8)根据正负相对熵计算待评价对象与理想对象间的贴进度；

由公式可以求得各个待评价的对象与理想对象的贴进度；

(9)根据贴近度进行排序，获取最后评价结果；

按照由大到小的顺序将贴近度的值排序，排在前面的对象优于后面对象评价值。

在基于综合设备运行质量评价方法的基础上搭建测试平台，对各项指标进行全方位的测试，保障网络的安全运行。

本发明还提供一种综合业务接入网运行质量评价方法的测试平台，具体如下：

电力行业应用综合业务接入测试平台的核心任务就是对通过电力通信网络传输的电力行业业务数据进行测试分析，对数据的电力通信规约进行测试，判断被测系统能否承载所需电力行业业务的通信要求。根据测试的数据设计测试任务集，制定具体的测试方案。由接入测试平台模拟出主站的标准业务数据流。再根据终端应答业务信息经过无线宽带网络传回测试 平台的数据进行提取、分析和处理，根据相应的性能评价指标，来生成业务接入质量的测试结果。测试需要按照规定的测试任务集来指导平台工作，任务集包括测试内容，业务类型，测试过程，测试方法，评价指标等参数。

在电力系统中各种业务釆取了不同的数据传输协议，同样的电力规约不同的厂家也可能会有不同的理解，因此必需釆用分层的方案来匹配不同的技术协议与业务。平台的最顶层为业务层，用以装载不同的电力管理和生产业务。业务层主要完成业务的匹配，管理业务的流程，对不同业务采用不同的测试方案，完成电力行业综合业务的测试。业务层还能够按照规定的测试任务集来指导平台工作，任务集包括测试内容，业务类型，测试过程，测试方法，评价指标等参数。中间为通信协议层，电力系统中相似的业务可能釆取完全不同的通信技术协议，因此必需将业务的具体实现通过通信协议层，映射至具体实际设备中。以完成具体业务与综合的测试。底层为设备层，电力行业综合业务的完成主体是各电力系统智能化设备，通过对设备或设备群的通信监测，虚拟测试等方法，能够有效测试业务与电力行业通信协议的符合程度。电力行业应用综合业务接入测试平台的方案分为两个网络，三个部分，即测试平台网络与电力通信网络两个网络，测试平台、电网业务系统、业务测试虚拟设备三个部分。测试平台网络用于承载测试平台服务器部分的网络，连接测试平台的工作站，中心服务器，网页发布服务器等，构成一个有机整体，让工作人员能够在任意一台电脑上通过web进行工作；电力通信网络在实际电力系统中，复杂多样，但对于特定的业务，电力通信网络的具体情况往往是确定的，在现有的电力通信网络中存在众多电网的业务系统，通过使用虚拟设备替代业务系统的部分设备，即可测试剩余的系统设备的业务能力，经过测试平台服务器的综合分析、挖掘，对数据的电力通信规约进行测试，判断被测系统能否承载所需电力行业业务的通信要求。业务测试平台与电力通信网络采用应用网关进行数据隔离，确保电力通信中未经过许可的数据流入测试平台，保障电力信息安全。电力行业应用综合业务接入测试平台层平台的主要设计思想是通过替代的方法，混杂标准电力通信协议的虚拟终端设备、虚拟服务器设备，通过监听业务网络数据包，也可以通过主动代替服务器等设备发布特定信息，监听电力业务设备的反馈信息，实现对数据的电力通信规约进行测试。

本发明提供的测试平台运用分层设计的方法提供了良好的可扩展性，根据需求本平台的层次结构系统分为基本功能和协议测试功能。当需要测试不同业务的时候只需要对协议测试功能进行相关的修改。而不用对系统基本功能的架构重新设置。系统功能层，提供平台正常运行所需要的不依赖具体协议测试的功能。比如数据库管理与维护模块，账户管理模块，安全认证模块，这些模块是系统运行的基础，为平台协议测试功能层提供底层支持，跟具体协 议测试功能没有关系。测试功能层，该层实现的是测试平台的协议测试的主要功能和测试相关业务在网络传输性能表现。提供各种电力通信协议的相关测试标准，协议测试用例也在这一层上实现。各个模块分幵设计，独立运行，提高了测试平台的可靠性与稳定性，对电力通信业务规约的更新来说，规约库可以采用动态的库插件方式进行更新升级，而不需要对整个系统进行全面的更换，节约了成本。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。