一种通用的在线服务平台定制化评估方法和系统与流程

本发明涉及在线服务绩效评估领域，尤其涉及一种通用的在线服务平台定制化评估方法和系统。

背景技术：

随着整个社会电子化、网络化、信息化的不断发展，各种信息化支撑服务部门、机构、单位的在线服务平台不断涌现。它们为用户在线处理业务，获取信息和数据提供了极大的便利。

在服务平台的运行和发展过程中，为了客观地评判这些平台的服务运行状况，形成奖优罚劣的激励机制，一系列在线服务平台的考核评估办法、指标、规则被制定下来，同时相关的绩效评估系统也应运而生。

这些评估系统一般都将其固有的考核评估指标、规则固化到系统中以实现评估指标体系的在线计算和统计。就指标体系而言通常包括定性考核指标和定量考核指标两大类。其中定性指标是指无法直接通过数据计算分析评价内容，需对评价对象进行客观描述和分析来反映评价结果的指标(http://baike.baidu.com/item/％e5％ae％9a％e6％80％a7％e6％8c％87％e6％a0％87)。包括考核网站的地址、网站的管理文档资料：如运维管理规范、安全管理规范等、网站的应用服务案例资料等。而定量指标是指可以准确数量定义、精确衡量并能设定绩效目标的考核指标(http://baike.baidu.com/item/％e5％ae％9a％e9％87％8f％e6％8c％87％e6％a0％87)。通常包括：网站的服务正常率、用户访问量、资源的下载量、用户满意度等。就分布式服务平台而言，这些指标的量的获取通常需要第三方工具或系统的支持，如网站服务访问统计工具、网站服务监控统计工具、网站用户满意度统计工具等。

目前在线服务评估系统设计实现中存在的突出问题表现为将特有的评估指标体系与评估管理、展示、计算统计等功能强耦合在一起。造成评估系统基本都根据指标体系专门开发，无法实现评估系统功能代码的复用，无法有效支撑评估指标体系的变化，必须专门定制化新增或修改相关系统代码，降低了系统功能的利用效率，加大了评估系统重复开发的成本。

技术实现要素：

本发明针对上述问题，提供一种通用的在线服务平台评估指标模型及其定制化封装方法，能够提升在线服务评估系统设计开发的效率，增强了系统的高可定制性和高复用性，进而增强系统的灵活性和扩展性。

本发明采用的技术方案如下：

一种通用的在线服务平台评估方法，其步骤包括：

1)建立在线服务平台的通用评估指标模型，其中的评估指标包括定性指标与定量指标；

2)依据通用评估指标模型，对定性指标与定量指标进行定制化创建与设置；

3)构建通用的评估指标服务引擎，通过该评估指标服务引擎读取定性指标与定量指标的设置数据，对定性指标和定量指标分别进行信息的展示和指标量的逻辑计算，并将最终结果反馈给评估用户。

进一步地，步骤2)还包括对定性指标和定量指标的设置参数进行校验与存储的步骤。

进一步地，所述定性指标包括网络链接地址、在线图文说明、在线文档资料三种类型，该三种定性指标支持系统管理员用户的定制化增减创建。

进一步地，所述网络链接地址以网络链接标题和网络链接url两部分成对出现，其中网络链接标题是对网络链接地址内容的概括说明，网络链接url是由受评估用户输入，经系统校验的合法url链接地址信息；所述在线图文说明以图文说明标题和详细图文信息两部分成对出现，其中图文说明标题是对图文内容的概括说明，详细图文信息包括多行文本说明，并可支持富文本形式在线录入、编辑和展示；所述在线文档资料以在线文档说明和在线文档链接两部分成对出现，其中内容标题是对在线文档链接内容的概括说明，在线文档链接可以通过文档上传的方式获取，或者通过服务端共享文档路径选择的形式获取。

进一步地，所述定量指标包括评估指标计算和指标相关原始数据展示，其中定量评估指标计算包括评估计算变量定义、评估计算权重定义、评估统计计算逻辑和评估计算结果变量。

进一步地，所述评估计算变量定义主要包括评估计算变量的名称、含义说明和数据获取接口定义三方面；评估计算变量在实现时支持动态定制化增减创建，即可根据指标计算需要动态增减评估计算变量的定义和数量，但变量的名称不允许重复；所述评估指标对象权重，根据具体评估指标确定的不同受评估对象的权重参数设定，评估指标对象权重变量在实现时应该可以支持动态定制化增减创建，即可根据指标计算需要动态增减评估对象权重变量的定义和数量，但变量的名称不允许重复。

进一步地，所述评估计算规则逻辑根据每个评估指标的含义而各不相同，在实现时采用支持嵌入式编程语言的设计模式，将评估计算变量、评估指标对象权重变量和评估计算结果变量之间的计算逻辑按相关脚本语言的语法，编程写入计算公式文本框中供系统根据该脚本进行调用执行。

进一步地，所述通用的评估指标服务引擎采用mvc的设计模式实现。

一种采用上述方法的通用的在线服务平台评估系统，包括：

模型建立模块，用于建立在线服务平台的通用评估指标模型，其中的评估指标包括定性指标与定量指标；

评估指标创建与设置模块，用于依据通用评估指标模型，对定性指标与定量指标进行定制化创建与设置；

评估指标服务引擎，用于读取定性指标与定量指标的设置数据，对定性指标和定量指标分别进行信息的展示和指标量的逻辑计算，并将最终结果反馈给评估用户。

进一步地，还包括评估指标校验与存储模块，用于对定性指标和定量指标的设置参数进行校验与存储。

本发明的有益效果如下：

本发明提出了一种针对在线服务平台(包括单个服务平台和分布式服务平台体系)的通用评估指标抽象模型及其定制化封装方法，实现了在线服务评估系统中评估指标创建、设置、计算、展示功能的定制化管理，实现了在线评估系统设计中评估指标体系与评估管理服务功能的解耦合，即在评估系统功能代码不变的情况下，通过动态设置指标配置，即可实现评估指标体系的修正和扩展，从而大力提升了在线服务评估系统设计开发的效率，缩短软件的开发周期，增强了系统的高可定制性和高复用性，进而增强了系统的灵活性和扩展性。

附图说明

图1是本发明总体方法的步骤关系及数据流图。

图2是通用评估指标模型示意图。

图3是指标的基本设置信息示意图。

图4是通用网络链接地址设置实例图。

图5是通用在线图文说明指标设置实例图。

图6是通用在线文档资料指标设置实例图。

图7是通用评估计算变量定义设置实例图。

图8是通用评估指标对象权重变量定义设置实例图。

图9是权重模板组成示意图。

图10是评估计算结果变量示意图。

图11是将计算逻辑按相关脚本语言的语法编程写入计算公式文本框中的示意图。

图12是通用评估指标服务引擎mvc框架实现模式示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步说明。

本发明提出了一种针对在线服务平台(包括单个服务平台和分布式服务平台体系)的通用评估指标抽象模型及其定制化封装方法，该方法实现了在线服务评估系统中评估指标创建、设置、计算、展示功能的定制化管理，实现了在线评估系统设计中评估指标体系与评估管理服务功能的解耦合，即在评估系统功能代码不变的情况下，通过动态设置相关指标配置，即可实现评估指标体系的修正和扩展。保证了评估系统的高可复用性和高可配置性，大大提升了系统的灵活性和扩展性。总体方法步骤关系及数据流见图1。

本方法重点分三个大的步骤，其中：

第1步是对整个方法的通用评估指标模型进行抽象设计，它是本方法的核心和基础，对整个方法的其他步骤起到基础支撑作用。

第2步是基于第1步的模型，对通用评估指标体系的定制化创建与设置方式，对具体评估指标数据的校验存储过程进行描述；它构成了本发明的核心内容。

第3步是构建通用的评估指标服务引擎，该引擎读取第2步中评估指标的设置数据，区分定性和定量指标分别进行信息的展示和指标量的逻辑计算，并将最终结果反馈给系统用户(评估用户)。

三个步骤详细设计说明如下：

1.通用评估指标模型设计

与背景知识分析相一致，本发明将在线服务评估指标体系划分为定性考核指标和定量考核指标两大类。

就在线服务平台的评估系统而言，本发明进一步分析定性指标服务可以抽象包括为网络链接地址、在线图文说明、在线文档资料三种类型；其中：网络链接地址指基于互联网协议的网络的url链接地址信息；在线图文说明指通过文字、图像、音频、视频等富文本形式展示的定性指标说明信息。在线文档资料主要包括通过如word,pdf文档附件形式重点描述的定性指标说明文档、资料手册等文件下载地址链接。

定量指标服务包括评估指标计算和原始采集数据两部分，其中评估指标计算依赖于具体计算规则，它可以抽象为评估计算变量定义、评估指标对象权重、评估计算规则逻辑和评估计算结果变量等四个重要组成部分。具体的抽象模型如图2所示。

2.评估指标定制化创建、设置、校验与存储

依据通用评估指标模型设计，区分定性和定量指标，从评估指标定制化创建与设置，评估指标设置参数校验与存储两方面，通过具体实例设计分解细化本发明的设计。

2.1评估指标定制化创建与设置

无论定性指标和定量指标，都包括指标的基本设置信息，见图3。通常包括指标名称、指标描述、指标类别及表示顺序等。

这些信息是评估指标的公共设置内容，下面本发明将结合评估指标模型对特异性指标内容进行细化说明。

2.1.1定性指标设计

依据通用评估指标模型设计，定性指标可抽象划分为网络链接地址、在线图文说明、在线文档资料三种形式。在评估系统实现时，这三种定性指标形式应该支持系统管理员用户定制化增减创建，即可根据定性指标设置需要动态增减设置三种指标形式的任意一种。具体每种指标设计说明如下：

1)网络链接地址：以网络链接标题和网络链接url两部分成对出现，其中网络链接标题是对网络链接地址内容的概括说明，网络链接url是由受评估用户输入，经系统校验的合法url链接地址信息。通用网络链接地址设置实例参见图4。

2)在线图文说明：以图文说明标题和详细图文描述两部分成对出现，其中图文说明标题是对图文内容的概括说明，详细图文描述包括多行文本说明，并可支持图片、音频、视频和动画等富文本形式在线录入、编辑和展示。通用在线图文说明指标设置实例参见图5。

3)在线文档资料：以在线文档说明和在线文档链接两部分成对出现，其中内容标题是对在线文档链接内容的概括说明，在线文档链接可以通过文档上传的方式获取，或者通过服务端共享文档路径选择的形式获取。通用在线文档链接指标设置实例参见图6。

2.1.2定量指标设计

1)评估指标计算

评估指标计算是与特定评估指标的计算逻辑密切相关的，根据一般计算的定义方式，我们将其抽象为：评估计算变量定义、评估指标对象权重、评估计算规则逻辑、评估计算结果变量四个组成部分。

(1)评估计算变量定义：主要包括评估计算变量的名称、含义说明和数据获取接口定义三方面；其中数据获取接口指采用通常的webservice技术封装成接口的url：如http://resstat.csdb.cn/resstat/services/resstatwebservice/gettotalnumberfrom7(注：需要说明的是评估体系一般都需统一设置评估的对象集合，评估的开始和结束时间，这些参数将在webservice接口实际调用时统一包装后传递)。评估计算变量在实现时应该可以支持动态定制化增减创建，即可根据指标计算需要动态增减评估计算变量的定义和数量，但变量的名称不允许重复。通用评估计算变量定义设置实例参见图7。

(2)评估指标对象权重：根据具体评估指标确定的不同受评估对象的权重参数设定。可以通过权重模板文件上传的方式，批量设定每个受评估对象对应当前评估指标的权重值。见图8。评估指标对象权重变量在实现时应该可以支持动态定制化增减创建，即可根据指标计算需要动态增减评估对象权重变量的定义和数量，但变量的名称不允许重复。通用评估指标对象权重变量定义设置实例参见图8。

权重模板组成包括但不限于图9所示的形式，包括受评估对象列和权重值列。

(3)评估计算结果变量：用于指示评估结果变量的名称，如图10所示，其将在下面的评估计算规则逻辑中具体体现。注意评估结果变量只有一个，不能重复定义。

(4)评估计算规则逻辑：评估计算规则逻辑根据每个评估指标的含义而各不相同，在设计时要能非常灵活的支持。本发明采用了支持嵌入式编程语言的设计模式，如本实施例中采用了支持javascript脚本语言，用户可以将上面(1)—(3)中的评估计算变量、评估指标对象权重变量和评估计算结果变量之间的计算逻辑按相关脚本语言的语法，编程写入计算公式文本框中，供系统根据该脚本进行调用执行，如图11所示。为了灵活满足各类公式的计算需求，本发明创新性地采用了支持在线嵌入公式计算逻辑编程的形式并将其实现。

关于脚本语言选型：在线服务平台评估系统多为web系统，因此多采用java开发语言实现，因此可以采用java语言支持调用的任何主流嵌入式脚本语言进行设计。另外，评估计算逻辑编程脚本中一定要体现结果变量的赋值逻辑，该脚本调用执行最后都是通过读取结果变量的值来实现的，同时需注意编程脚本一定要符合脚本语言的语法要求，并应在保存代码中提供编程脚本的校验功能。

需注意，web系统开发语言不受限于java语言，嵌入式脚本语言也不受限于java语言支持调用的脚本语言。

2)原始采集数据显示

原始采集数据显示主要用于显示定期的采集数据值，供评估用户或受评估用户进行定量评估指标计算验证时参考。主要参数设定与(1)评估计算变量定义中的设计相同，可以参见该部分设计，不再重复说明。

2.2评估指标设置参数校验与存储

1)评估指标校验

定性指标校验：重点需要校验的是链接地址要符合标准的url地址写法。具体实现可以通过编程访问url地址，查看访问状态码来进行验证。

定量指标校验：

a)评估计算变量定义：重点校验评估变量的webservice接口地址是否合法有效。具体实现可以通过编程调用webservice接口地址，查看调用状态码来进行验证。

b)评估计算规则逻辑：重点校验评估计算脚本是否合法有效。具体实现可以通过调用脚本，查看调用结果状态码进行确认验证。

2)评估指标存储

评估指标数据库：根据前文的“1.通用评估指标模型设计”可以创建具体的评估指标数据库表，其中定量指标和定性指标可以分开构建。定性指标设置可以集中在一个表存储，根据指标模型不同类型进行数据区分。定量指标设置信息可以根据计算变量，权重变量，计算逻辑与结果变量分表存储。

在系统实现时根据前述指标设置，完成相关设置数据的存储入库。

3.通用评估指标服务引擎设计

3.1引擎控制逻辑

1)定性指标控制：

a)网络链接地址：直接从数据库中读取受评估对象该指标的网络链接标题和网络链接url两部分内容，返回给评估用户。

b)在线图文说明：直接从数据库中读取受评估对象该指标的图文说明标题和详细图文描述两部分内容，返回给评估用户。

c)在线文档资料：直接从数据库中读取受评估对象该指标的在线文档说明和在线文档链接两部分内容，返回给评估用户。

2)定量指标控制：

a)评估计算变量：从数据库中读取计算变量的接口地址信息，结合评估时间等全局参数设置以及受评估对象的参数信息进行接口调用，最后将评估计算变量名称、说明信息及接口调用结果数据，返回给评估用户。

b)评估指标对象权重变量：从数据库中直接读取指标对象权重变量名称，并根据受评估对象参数读取其权重变量参数值，并将权重变量名称及其参数值返回给评估用户。

c)评估计算结果变量：从数据库中直接读取评估指标计算结果变量，并将其返回给评估用户。

d)评估计算规则逻辑：从数据库中直接读取评估指标计算逻辑脚本，并结合a)b)c)中读取的变量数据进行脚本调用，并获取受评估对象的评估结果变量计算结果数据，将其返回给评估用户。

3.2引擎开发实现

在实现方面，目前在线服务平台评估管理系统普遍采用b/s架构，因此通用评估指标服务引擎的实现可以采用现有mvc的设计模式。其中：模型(model)是应用程序中用于处理应用程序数据逻辑的部分，控制器(controller)是应用程序中处理用户交互的部分，视图(view)是应用程序中处理数据显示的部分，如图12所示。其中数据库部分与评估指标数据库相对应。具体实现控制及相关逻辑可以参考上述引擎的处理逻辑说明进行设计实现。

本发明能够应用在中国科学院科学数据服务效果评测系统(http://sees.csdb.cn)设计中。该系统支持了40个分布的在线数据库服务系统的在线服务绩效评估工作。由于系统采用通用的评估模型及方法设计，该系统可以推广到其他在线服务平台的评估管理工作。该系统采用本发明的方案时，采用的定性指标和定量指标如下：

定性指标：

1)网络链接地址

地址标题：中国动物主题数据库

访问地址：http://www.zoology.csdb.cn/

2)在线图文说明

图文说明标题：vdbcloud工具介绍

详细图文描述：

vdbcloud服务访问地址：http://www.vdbspace.cn/

vdbcloud由中科院计算机网络信息中心组织研发。始于中国科学院“十五”信息化重大专项科学数据库项目。它是一款帮助数据管理者管理和发布关系型数据库和文件系统的工具；是一个帮助应用研发人员快速开发面向数据的应用的研发框架；是一套帮助数据应用低成本集成异构数据源的解决方案。

3)在线文档资料

在线文档说明：人地系统主题数据库运行服务暂行管理办法

在线文档链接：

http://sees.csdb.cn/mes/daat0305action.do？inputpath＝1416386546524.doc&filename＝％e4％ba％ba％e5％9c％b0％e7％b3％bb％e7％bb％9f％e4％b8％bb％e9％a2％98％e6％95％b0％e6％8d％ae％e5％ba％93％e8％bf％90％e8％a1％8c％e6％9c％8d％e5％8a％a1+％e6％9a％82％e8％a1％8c％e7％ae％a1％e7％90％86％e5％8a％9e％e6％b3％95

定量指标：参见实施例图7-图11。

需要说明的是，本发明的评估系统指标体系模型中，无论是定性指标还是定量指标各参数的设置，不限于实施例图3-图11在线界面录入入库的模式，也可以采用excle或xml模板的形式录入，然后集中导入到数据库中。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。