一种基于工作流的分布式异构处理系统的测试方法与流程

1.本发明与产品测试方面的技术有关，尤其涉及一种基于工作流的分布式异构处理系统的测试方法。


背景技术：

2.现有技术中，在软件生命周期的管理方面以ibm公司的rational系列产品和惠普公司的quality center为代表，其中rational系列产品包括需求分析产品、设计和构建产品、软件质量保证产品、软件配置管理产品、过程和项目管理产品，ibm公司的产品系列适用于软件开发的团队管理软件从需求分析开始，经过设计构建，白盒测试，软件配置，直到按照项目形成产品的过程；其中惠普公司的quality center产品是一个基于web的测试管理工具，可以组织和管理应用程序测试流程的所有阶段，包括指定测试需求、计划测试、执行测试和跟踪缺陷。
3.随着软件产业逐步成熟化和规模化，软件开发的模式和软件需求模式都发生了重大变化，以单纯的工具形式和工具包的形式能够管理针对某一特定客户特质开发的专用软件，但是针对电信，金融等规模大，软件质量要求高，软件功能升级快速的企业和大型的软件开发企业，以及需要使用第三方软件测试的企业，工具包的形式和国外诸如ibm公司和惠普公司的产品系列都存在无法评价软件测试质量和开发能力的不足，无法达到持续改善软件开发队伍工作和软件测试队伍工作的目的，无法对软件测试项目在评价的基础上达成以天为单位的预算管理。
4.本发明针对依据江西省智慧校园平台项目相关文档制定了“智慧校园平台项目”系统测试方案所提出；为适应第三方软件测试企业能够持续改善软件测试质量水平并根据软件测试数据对软件开发提出建设性建议所提出；为了在软件测试环节能够有效控制预算所提出。充分发挥系统信息化在建设学习型智慧校园平台、学习型社会中的平台作用、在教学科研管理中的支撑作用，全面提升江西省现有信息化建设水平，并充分发挥信息化在推动智慧校园各项工作转型升级、走在全国智慧校园平台系统前列中的积极作用。


技术实现要素：

5.本发明按照专业的软件测试方法，专业的业务角度，对“江西智慧校园平台项目”进行测试。
6.本发明请求保护一种基于工作流的分布式异构处理系统的测试方法，其特征在于，包括：
7.搭建测试环境，选择测试工具；
8.明确对测试组网环境的组网数据的需求和测试内容；
9.选择测试方法，设计测试代码和测试用例；
10.对测试结果进行评价，出具所述基于工作流的分布式异构处理系统系统测试报告；
11.所述测试内容包括系统功能、性能、安全可靠性、易用性、兼容性、可扩充性、资源占用率和用户文档。
12.进一步地，所述基于工作流的分布式异构处理系统，包括：
13.采用soa的体系架构，其特征在于，所述分布式异构处理系统至少包括展现层、支撑平台层、应用层、数据层、框架层、数据接口层、网络层；
14.其中，所述支撑平台层至少包括应用服务层、基础服务层、业务开发层；
15.所述数据接口层实现包括所有平台管理接口、应用接口的完全开放，预留与现有业务系统互联的接口，并能实现业务审批流程和包括对公共开发的新功能模块，至少包括web 站点、应用程序、web脚本；
16.所述分布式异构处理系统采用构件化管理和工作流管理方式，实现图形化定义流程和监控功能和前端的任务管理功能以及工作流执行服务；
17.所述分布式异构处理系统采用工作流引擎，至少支持顺序、并行、选择和重复执行多种工作流工作方式，实现各种流程的灵活配置，可图形化的维护工作流控制数据和工作流相关数据，实现对各种工作流的监控、管理，满足文件特殊处理要求；
18.所述数据接口层基于当前主流服务器搭建，用于主流操作系统、数据库、中间件的安装部署；
19.所述数据层包括数据库，所述数据库采用标准sql数据库设计，使用对高并发、大数据量支持的数据库系统。
20.进一步地，所述搭建测试环境，选择测试工具，具体包括：
21.测试组进行详细的测试需求沟通，确定具体的测试需求，部署测试用机，安装测试工具和软件，项目组进行测试环境配置或确认工作；
22.环境需求：应用服务器：windows server2008 sp1企业版及以上；
23.数据库服务器：oracle 11g；
24.客户端：ie浏览器；
25.用户登录是通过手动修改数据库进行的，需要做好相关测试数据的准备工作；
26.数据导入需要准备数据源，需要做好测试数据的准备工作；
27.非功能测试尤其是性能测试必须在功能测试完成后进行；
28.所述测试工具为loadrunner，执行性能测试：在预定环境和负载下的响应速度，特别是在大负载、大并发量情况下的响应速度；
29.如果还需要其他测试工具，可根据测试情况进行调整和追加。
30.进一步地，所述明确对测试组网环境的组网数据的需求和测试内容，还包括：
31.所述功能测试指根据该系统的需求说明书和用户手册，重点测试基础应用平台功能，并测试基础应用平台与其他业务系统的接口；
32.所述性能测试主要依据该系统的需求说明书和用户手册及相关约定的主要性能指标对系统进行测试，在性能测试的同时，考察系统对资源占用的情况；
33.所述安全可靠性测试主要考察应用系统存取访问的安全性及应用软件本身的安全性，同时，需要对系统在运行过程的持续稳定性，包括系统的容错能力和对数据的保护能力进行测试。
34.进一步地，所述明确对测试组网环境的组网数据的需求和测试内容，还包括：
35.所述易用性测试是从最终使用者的角度，对系统界面风格一致性、友好性和可使用性等方面进行测试；
36.所述兼容性测试是指软件产品对相关测试环境的兼容程度；
37.所述可扩充性测试是指考察系统功能的扩展能力，至少包括对用户需求变更的适应能力；
38.所述用户文档检查重点检查所提交文档的完备性及与实际系统的符合性。
39.进一步地，所述选择测试方法，设计测试代码和测试用例，还包括：
40.所述功能的测试的方法包括等价类划分、边界值分析、错误推测方法；
41.所述性能的测试方法包括单用户性能测试和并发性能测试；
42.所述安全可靠性的测试方法结合功能测试，对于数据备份与恢复手段、留痕功能系统安全性的测试可以结合功能测试完成；
43.所述用户文档检查的测试方法包括规范检查：由测试组根据国家标准、行业惯例以及业主要求对文档的规范性进行检查；
44.专家评审：组织相关专家对文档进行检查，对文档的内容和组织结果进行评价；
45.测试验证：通过测试对文档进行验证，验证文档是否与软件一致。
46.进一步地，所述选择测试方法，设计测试代码和测试用例，还包括：
47.根据测试方法可以分为针对黑盒测试的用例设计和针对白盒测试的用例设计，在测试中采用黑盒测试，在测试用例设计时，应用到的方法包括：等价类划分、有效等价类、无效等价类、因果图、边界值分析、错误推测法。
48.进一步地，所述对测试结果进行评价，出具所述基于工作流的分布式异构处理系统系统测试报告，还包括：
49.测试结果的问题严重等级按三级进行划分，具体分为严重问题、一般问题、建议问题。
50.进一步地，所述对测试结果进行评价，出具所述基于工作流的分布式异构处理系统系统测试报告，还包括：
51.测试报告中显示测试为通过、基本通过或不通过。
52.进一步地，所述工作流管理至少包括：工作流定义服务、工作流系统与应用系统的接口、工作流管理及监控。
53.本发明请求保护的一种基于工作流的分布式异构处理系统的测试方法，通过搭建测试环境，选择测试工具，明确对测试组网环境的组网数据的需求，选择测试方法对系统的系统功能、性能、安全可靠性、易用性、兼容性、可扩充性、资源占用率和用户文档设计测试代码和测试用例，对测试结果进行评价，出具所述基于工作流的分布式异构处理系统系统测试报告。该测试方法可以检测系统当前所处性能水平，验证其性能是否可以满足设计的应用需求，准确检测系统可以承受的最大负载，分析系统瓶颈、提供优化参考并在测试过程中，实时关注系统状态，当系统不能承受相应的压力时，测试立即终止，有效保证测试不会超出系统的最大可承受压力，避免系统崩溃和数据损坏。
附图说明
54.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
55.附图1为本发明涉及的一种基于工作流的分布式异构处理系统的测试方法的工作流程图；
56.附图2为本发明涉及的分布式异构处理系统的结构模块图；
57.附图3a
‑
3f为本发明涉及的一种基于工作流的分布式异构处理系统的测试方法的测试结果图。
具体实施方式
58.本技术的说明性实施例包括但不限于一种基于工作流的分布式异构处理系统的测试方法。
59.可以理解，如本文所使用的，术语“模块”、“单元”可以指代或者包括专用集成电路(asic)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或群组)和 /或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件，或者可以作为这些硬件组件的一部分。
60.可以理解，在本技术各实施例中，处理器可以是微处理器、数字信号处理器、微控制器等，和/或其任何组合。根据另一个方面，所述处理器可以是单核处理器，多核处理器等，和/或其任何组合。
61.可以理解，本技术提供的一种基于工作流的分布式异构处理系统可以在各种电子设备上实施，包括但不限于，服务器、多个服务器组成的分布式服务器集群、手机、平板电脑、膝上型计算机、台式计算机、可穿戴设备、头戴式显示器、移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备、个人数字助理、虚拟现实或者增强现实设备、其中嵌入或耦接有一个或多个处理器的电视机等电子设备等。
62.参照附图1，本发明请求保护一种基于工作流的分布式异构处理系统的测试方法，其特征在于，包括：
63.搭建测试环境，选择测试工具；
64.明确对测试组网环境的组网数据的需求和测试内容；
65.选择测试方法，设计测试代码和测试用例；
66.对测试结果进行评价，出具所述基于工作流的分布式异构处理系统系统测试报告；
67.所述测试内容包括系统功能、性能、安全可靠性、易用性、兼容性、可扩充性、资源占用率和用户文档。
68.进一步地，参照附图2，所述基于工作流的分布式异构处理系统，包括：
69.采用soa的体系架构，其特征在于，所述分布式异构处理系统至少包括展现层、支撑平台层、应用层、数据层、框架层、数据接口层、网络层；
70.其中，所述支撑平台层至少包括应用服务层、基础服务层、业务开发层；
71.所述数据接口层实现包括所有平台管理接口、应用接口的完全开放，预留与现有业务系统互联的接口，并能实现业务审批流程和包括对公共开发的新功能模块，至少包括
web 站点、应用程序、web脚本；
72.所述分布式异构处理系统采用构件化管理和工作流管理方式，实现图形化定义流程和监控功能和前端的任务管理功能以及工作流执行服务；
73.所述分布式异构处理系统采用工作流引擎，至少支持顺序、并行、选择和重复执行多种工作流工作方式，实现各种流程的灵活配置，可图形化的维护工作流控制数据和工作流相关数据，实现对各种工作流的监控、管理，满足文件特殊处理要求；
74.所述数据接口层基于当前主流服务器搭建，用于主流操作系统、数据库、中间件的安装部署；
75.所述数据层包括数据库，所述数据库采用标准sql数据库设计，使用对高并发、大数据量支持的数据库系统。
76.所述支撑平台层将分散、异构的应用和数据层进行聚合，通过统一的访问入口，实现结构化数据资源、非结构化文档和互联网资源、各种应用系统跨数据库、跨系统平台的无缝接入和集成，实现支持信息访问、传递、以及协作的集成化环境，个性化业务应用的高效开发、集成、部署与管理；
77.所述支撑平台层还可以根据每个用户的特点、喜好和角色的不同，为特定用户提供个性化的访问关键业务信息的安全通道和个性化应用界面，使教职员工可以浏览到相互关联的数据，进行相关的事务处理；
78.所述应用服务层包括：单点登录模块、统一代办管理模块、个性化门户模块；
79.所述基础服务层包括：统一用户管理模块、统一认证平台、统一权限管理模块、统一资源访问控制模块、资源访问安全审计模块；
80.所述业务开发层包括统一工作流引擎平台、智能表单平台；
81.所述统一认证平台需与ssl
‑
vpn集成。
82.该分布式异构处理系统可与短信平台系统对接，通过移动mas机接口，智慧校园平台把应用中所生成的短信信息直接写入到mas机的数据库发送表中，通过mas机进行短信发送，并且通过对应每个用户的虚拟网，让收到系统发的短信的用户直接回复平台短信时，能及时的回复到短信平台中。
83.进一步地，所述搭建测试环境，选择测试工具，具体包括：
84.测试组进行详细的测试需求沟通，确定具体的测试需求，部署测试用机，安装测试工具和软件，项目组进行测试环境配置或确认工作；
85.环境需求：应用服务器：windows server2008 sp1企业版及以上；
86.数据库服务器：oracle 11g；
87.客户端：ie浏览器；
88.用户登录是通过手动修改数据库进行的，需要做好相关测试数据的准备工作；
89.数据导入需要准备数据源，需要做好测试数据的准备工作；
90.非功能测试尤其是性能测试必须在功能测试完成后进行；
91.所述测试工具为loadrunner，执行性能测试：在预定环境和负载下的响应速度，特别是在大负载、大并发量情况下的响应速度；
92.如果还需要其他测试工具，可根据测试情况进行调整和追加。
93.进一步地，所述明确对测试组网环境的组网数据的需求和测试内容，还包括：
94.所述功能测试指根据该系统的需求说明书和用户手册，重点测试基础应用平台功能，并测试基础应用平台与其他业务系统的接口；
95.所述性能测试主要依据该系统的需求说明书和用户手册及相关约定的主要性能指标对系统进行测试，在性能测试的同时，考察系统对资源占用的情况；
96.针对本系统的性能测试主要包括执行效率测试、设备效率测试。
97.所述执行效率测试主要测试在特定应用的业务逻辑、用户界面、功能下系统能够承受的用户并发的数量和响应时间。通过选取该系统中的一些典型业务操作，确定性能测试用例，通过一些压力测试工具，模拟多用户同时循环进行这些业务操作，测试服务器事务处理平均响应时间、服务器90％的事务处理平均响应时间、事务处理速率等相关参数，考察系统在各种情况下的性能表现。
98.执行效率测试需要结合功能测试制定相应的测试用例，包括以下内容：
99.测试脚本：选择影响系统执行效率的功能模块，制定典型的业务脚本作为执行效率测试的基础案例；
100.并发用户数量：分为负载测试和压力测试，负载测试是指系统能够承受的正常用户并发数量；压力测试是指系统能够承受的最大用户并发数量；
101.并发方式：主要指用户并发过程中与真实情况相似程度，包括并发用户数量变化的方式、并发过程使用的真实客户端数量、对于并发峰值的模拟等。
102.所述设备效率主要指系统cpu占用率、内存占用率、磁盘占用率、输入输出效率等，包括软件在不工作状态下对于硬件资源的占用情况和进行业务处理过程中对于硬件资源的占用情况。
103.并发压力测试场景要求达到50用户并发，在业务指标和并发用户满足系统要求的情况下，继续寻找系统最大并发用户数，直到出现不满足系统要求为止。
104.表1系统性能测试部分场景示意
[0105][0106]
业务性能指标包括交易结果(load test summary)：交易执行结果报告；响应时间 (response time)：服务器对每个应用请求的处理时间，单位：秒，该项指标反映了系统事务处理的性能，具体包括以下几项参数：minimum：最小的服务器响应时间；average：平均的服务器响应时间；maximum：最大的服务器响应时间；std：事务处理服务器响应的偏差，值越大，偏差越大；90％：90％事务处理的服务器响应时间。虚拟并发用户数(totalvirtual users)：测试工具模拟的用户并发数量；交易频率(transaction rate)：不同负载下每分钟成功完成的事务处理数。
[0107]
资源监控指标包括操作系统、中间件weblogic资源使用指标、中间件iis资源使用指标、数据库。
[0108]
表2操作系统(windows)资源监控指标
[0109]
度量描述average load上一分钟同时处于“就位”状态的平均进程数cpu utilizationcpu的使用时间百分比disk rate磁盘传输速率
interrupt rate每秒内的设备中断数page
‑
in rate每秒钟读入到物理内存中的页数page
‑
out rate每秒钟写入页面文件和从物理内存中删除的页数paging rate每秒钟读入物理内存或写入页面文件中的页数system mode cpu utilization在系统模式下使用cpu的时间百分比user mode cpu utilization在用户模式下使用cpu的时间百分比disk rate磁盘传输速率incoming packets rate每秒钟传入的以太网数据包数outgoing packets rate每秒钟传出的以太网数据包数
[0110]
表3中间件weblogic资源使用指标
[0111][0112]
[0113]
表4中间件iis资源使用指标
[0114]
度量描述#busy servers处于繁忙状态的服务器数#idle servers处于空闲状态的服务器数iis cpu usageiis服务器利用cpu的时间百分比hits/sechttp请求速率kbytes sent/sec从web服务器发送数据字节的速率
[0115]
表5数据库(oracle)性能指标
[0116][0117][0118]
所述安全可靠性测试主要考察应用系统存取访问的安全性及应用软件本身的安全性，同时，需要对系统在运行过程的持续稳定性，包括系统的容错能力和对数据的保护能力进行测试。
[0119]
所述安全可靠性测试测试主要内容包括：
[0120]
用户权限限制：考察对不同的用户权限限制情况。
[0121]
留痕功能：系统是否有操作日志，操作日志记录的操作情况的全面性和准确性，是否包括主要要素如操作员、操作日期、使用模块等。
[0122]
屏蔽用户操作错误：考察对用户常见的误操作的提示和屏蔽情况。
[0123]
输入数据有效性检查：系统对数据录入的有效性检查。
[0124]
错误提示的准确性：对用户的错误提示准确程度。
[0125]
错误是否导致系统异常退出：有无操作错误引起系统异常退出的情况。
[0126]
异常情况的影响：在程序运行过程中进行掉电或断网试验，考察数据和系统的受影响程度，若受损，是否提供补救工具，补救的情况如何。
[0127]
数据库备份及恢复测试：系统是否提供数据备份和恢复手段，能否进行数据库的备份和恢复。
[0128]
数据安全性测试：关键数据存储在数据库中要进行加密；重要数据的传输要进行加密；采取切实可靠的措施防止恶意攻击和数据泄密；文件访问要求进行权限控制，防止恶意下载。
[0129]
进一步地，所述明确对测试组网环境的组网数据的需求和测试内容，还包括：
[0130]
所述易用性测试是从最终使用者的角度，对系统界面风格一致性、友好性和可使用性等方面进行测试；
[0131]
所述易用性测试包括易安装性：安装的难易程度，符合流行安装模式；
[0132]
用户界面的友好性：界面的简捷性如何，与业务流程的相符程度；
[0133]
易学习性：相对一般操作人员来说，学习使用的难度如何，对操作人员有何要求；
[0134]
易操作性：操作的难易程度，对主要或常用功能应该提供快捷方式；
[0135]
各模块界面风格一致性：界面风格和操作是否一致；
[0136]
联机帮助丰富性：考察联机帮助的准确性、全面性，在关健操作时使用联机帮助的方便性。
[0137]
所述兼容性测试是指软件产品对相关测试环境的兼容程度；
[0138]
所述兼容性测试包括：
[0139]
硬件兼容性：系统对测试环境硬件的兼容程度。
[0140]
平台兼容性：系统对操作系统、数据库系统的兼容程度。
[0141]
软件兼容性：考察系统与其他应用软件的兼容性，如杀毒软件等。
[0142]
数据兼容性：符合用户手册的数据标准要求，在保证系统和数据安全的前提下，能够方便地与其他的系统实现数据交换和共享，支持用户手册中规定的数据格式等。
[0143]
所述可扩充性测试是指考察系统功能的扩展能力，至少包括对用户需求变更的适应能力；
[0144]
所述可扩充性测试包括：
[0145]
软件扩充能力：具备支持业务流程的参数化配置和业务功能的重组与更新，在不影响系统原有业务流程的情况下可实现对新业务的灵活增加。
[0146]
业务规模扩充能力：系统是否可以处理更多机构、更多用户的能力。
[0147]
系统升级：系统是否提供升级的手段。
[0148]
系统维护：系统是否提供有效的维护手段。
[0149]
所述用户文档检查重点检查所提交文档的完备性及与实际系统的符合性。
[0150]
文档作为软件项目管理中的重要部分，应该作为项目验收的一项重要内容。系统集成商、软件开发商提供的技术文档应与提供的软、硬件相一致，应该全面、完整、详细的描述系统设计开发、软硬件设备安装、使用、维护等系统建设的全过程。对系统的技术架构、功能结构等的验收，设计文档的检查是一个重点。
[0151]
在系统文档验收中，主要是从文档基本要求、完备性、一致性、易追溯性以及易理
解性等多个方面对文档进行验收测试。
[0152]
进一步地，所述选择测试方法，设计测试代码和测试用例，还包括：
[0153]
所述功能的测试的方法包括等价类划分、边界值分析、错误推测方法；
[0154]
所述等价类划分方法对业务流程进行等价类划分，测试用例应是业务主流程和流程主分支的最小集，所有的判别分支都能被覆盖，在流程覆盖的同时，完成等价功能的测试。
[0155]
等价列划分设计方法是把所有可能的输入数据，即程序的输入域划分成若干部分(子集)，然后从每一个子集中选取少量具有代表性的数据作为测试用例。等价类是指某个输入域的子集合。在该子集合中，各个输入数据对于揭露程序中的错误都是等效的。并合理地假定：测试某等价类的代表值就等于对这一类其他值的测试。
[0156]
等价类划分有两种不同的情况：有效等价类和无效等价类。设计时要同时考虑这两种等价类，因为软件不仅要能接收合理的数据，也要能经受意外的考验。有效等价类：是指对于程序的规格说明来说是合理的、有意义的输入数据构成的集合。利用有效等价类可检验程序是否实现了规格说明中所规定的功能和性能。无效等价类：与有效等价类的定义恰巧相反。
[0157]
所述边界值分析法为在功能测试中，针对功能说明中的输入输出域，进行边界值和极限值的设计和测试。
[0158]
使用边界值分析方法设计测试用例，首先：应确定边界情况。通常输入和输出等价类的边界，就是应着重测试的边界情况。其次，应选取正好等于、刚刚大于或刚刚小于边界的值作为测试数据，而不是选取等价类中的典型值或任意值作为测试数据。
[0159]
基于边界值分析方法选择测试用例的原则：
[0160]
1)如果输入条件规定了值的范围，应取刚达到这个范围的边界值，以及刚刚超过这个范围边界的值作为测试输入的数据。
[0161]
2)如果输入条件规定了值的个数，应用最大个数、最小个数、比最小个数少一、比最大个数多一的数作为测试输入的数据。
[0162]
3)根据规格说明的每个输出条件，使用前面的原则1。
[0163]
4)根据规格说明的每个输出条件，使用前面的原则2。
[0164]
5)如果程序的规格说明给出的输入域或输出域是有序集合，则应选取集合的第一个元素和最后一个元素作为测试用例数据。
[0165]
6)如果程序中使用了一个内部数据结构，应当选择这个内部数据结构边界上的值作为测试用例。
[0166]
7)分析规格说明，找出其他可能的边界条件。
[0167]
所述错误推测方法采用逆向思维方式，结合以往测试经验和直觉设计软件在功能和流程上可能存在的各种错误，从而有针对性地设计测试用例的方法，进行容错性测试。列举出程序中所有可能有的错误和容易发生错误的特殊情况，根据他们选择测试用例。例如：输入数据和输出数据为0的情况。
[0168]
所述性能的测试方法包括单用户性能测试和并发性能测试；
[0169]
单用户性能测试，主要针对单用户常规操作的时，对一些常用操作的执行效率测试，主要考察，这些常用操作的真实响应时间如何。
[0170]
并发性能测试是在真实环境下检测系统性能，其是对被测系统性能的检验，是性能测试中最基础的一个内容，在本项目中，我们性能测试的最主要的目的之一就是检测系统当前所处性能水平，验证其性能是否可以满足设计的应用需求。
[0171]
获取系统可承受的最大压力：系统压力测试是通过逐步增加系统负载，测试系统性能的变化，并最终确定在什么负载条件下系统性能处于失效状态，并记录此时系统所能承受的最大并发用户数。
[0172]
系统压力测试的主要目的是检测系统可以承受的最大负载，在进行系统压力测试的过程中，我们需要首先定义系统的失效状态，比如用户可容忍的最大响应时间是多少，系统资源最高使用限额，如cpu使用限额为多少等，在具体压力测试过程中，我们将采取逐步加压的方式，获取系统在达到失效状态时可承受的最大并发用户数量。
[0173]
故障诊断是针对系统所表现出的整体性能不佳所进行的进一步的检查，当系统响应时间超长时，我们就查看是什么因素导致了问题的产生，是数据库服务器响应慢，还是应用服务器出现了问题，如果是数据库服务器响应慢，是因为sql语句直接引起，还是数据库参数配置不当等原因，这些深层次的东西属于故障诊断所要解决的问题。
[0174]
所述安全可靠性的测试方法结合功能测试，对于数据备份与恢复手段、留痕功能系统安全性的测试可以结合功能测试完成；
[0175]
所述用户文档检查的测试方法包括规范检查：由测试组根据国家标准、行业惯例以及业主要求对文档的规范性进行检查；
[0176]
专家评审：组织相关专家对文档进行检查，对文档的内容和组织结果进行评价；
[0177]
测试验证：通过测试对文档进行验证，验证文档是否与软件一致。
[0178]
进一步地，所述选择测试方法，设计测试代码和测试用例，还包括：
[0179]
根据测试方法可以分为针对黑盒测试的用例设计和针对白盒测试的用例设计，在测试中采用黑盒测试，在测试用例设计时，应用到的方法包括：等价类划分、有效等价类、无效等价类、因果图、边界值分析、错误推测法。
[0180]
等价类划分：所谓等价类，就是指某个输入域的集合，集合中的每个输入对揭露程序错误来说是等效的，把程序的输入域划分成若干部分，然后从每个部分中选取少数代表性数据作为测试用例，这就是等价类划分方法。它是功能测试的基本方法。等价类的划分有两种不同的情况：
[0181]
有效等价类：是指对于程序的规格说明来说，是合理的，有意义的输入数据构成的集合。
[0182]
无效等价类：是指对于程序的规格说明来说，是不合理的，无意义的输入数据构成的集合。
[0183]
在设计测试用例时，要同时考虑有效等价类和无效等价类的设计。
[0184]
因果图：因果图是一种形式语言，由自然语言写成的规范转换而成，这种形式语言实际上是一种使用简化记号表示数字逻辑图。因果图法是帮助人们系统地选择一组高效测试用例的方法，此外，它还能指出程序规范中的不完全性和二义性。因果图方法最终生成的就是判定表。它适合于检查程序输入条件的各种组合情况。
[0185]
边值分析：实践证明，软件在输入、输出域的边界附近容易出现差错，边值分析是考虑边界条件而选取测试用例的一种功能测试方法。所谓边界条件，是相对于输入和输出
等价类直接在其边缘上，稍高于和稍低于其边界的这些状态条件。边值分析是对等价类划分的有效补充。
[0186]
错误推测法：一般可以靠经验和直觉推测程序中可能存在的各种错误，从而有针对性地编写检查这些错误的例子。这就是错误推测法。错误推测法的基本想法是：列举出程序中所有可能有的错误和容易发生错误的特殊情况，根据它们选择测试用例。
[0187]
用例设计过程中，以功能来划分测试项目，必须要覆盖系统的每个功能，注意在用例设计过程中需要确定用例级别。
[0188]
用例级别定义：
[0189]
表明该用例的重要程度。用例的重要性并不对应用例可能造成的后果，而是对应用例的基本程度，一个可能导致死机的用例未必是高级别的，因为其触发条件可能相当生僻。测试用例的级别分5级：
[0190]
级别1：基本。用于做系统基本功能测试，用例数量必须进行控制。要求在系统测试之前做的系统预测试用例即为此级别的用例，必须全部通过后才进行完整的系统测试。1 级用例的数量应受到控制。
[0191]
具体包括：基本功能、主业务流程(主路径主要用例)、不输入任何检索条件的检索结果
……
[0192]
如：基本的添加，删除，修改，打印(所有项都输入、只输入必填项且都是正常值)；用户权限(正确的用户名跟密码登陆，用户权限范围内的操作)
[0193]
级别2：重要。
[0194]
具体包括：涉及业务流程的主要辅助测试用例、分支路径的测试用例、输入每个单独检索条件(正常值)的检索结果(纯检索功能)、用户权限(错误的用户名或密码登陆)
……
[0195]
级别3：详细1
[0196]
具体包括：界面校验(长度、特殊符号、必填项为空或空格等)、用户权限(比较特殊输入的用户名或密码登陆)、容错、输入每个单独检索条件(正常值)的检索结果(非纯检索功能)、每个检索条件(特殊值：如：空格、特殊符号、错误的值)的检索结果、翻页(检索功能)
……
[0197]
级别4：详细2
[0198]
具体包括：性能测试(如：页面响应时间、数据库性能等)、压力测试(如：访问量、多数据传送等)、极限(大容量)、数据库事务、线路中断(如：数据库、webserver、其他系统之间的连接)、并发、长稳运行、容错性、跨平台(如：操作系统、ie版本等)、安全性(如：用户级权限访问控制、页面级安全控制等)、配置与安装、系统数据初始化，
……
[0199]
级别5：生僻。该类用例对应较生僻的预置条件和数据设置(如，某些条件需要通过手动修改数据，正常情况不容易出现此条件......等)。虽然某些测试用例发现过较严重的错误，但是那些用例的触发条件非常特殊，仍然应该被置入5级用例中。有关用户界面的优化等方面的测试可归入5级用例(如：操作性、页面排版、易用性、完善性、文字错误等)。
[0200]
进一步地，所述对测试结果进行评价，出具所述基于工作流的分布式异构处理系统系统测试报告，还包括：测试结果的问题严重等级按三级进行划分，具体分为严重问题、一般问题、建议问题。
[0201]
表6问题严重等级的分类标准
[0202][0203]
进一步地，所述对测试结果进行评价，出具所述基于工作流的分布式异构处理系统系统测试报告，还包括：
[0204]
测试报告中显示测试为通过、基本通过或不通过。
[0205]
进一步地，所述工作流管理至少包括：工作流定义服务、工作流系统与应用系统的接口、工作流管理及监控。
[0206]
表7测试报告评价表
[0207]
[0208][0209]
对于该系统的测试结果至少包括系统首页、协同办公系统、教务管理系统、学员管理系统、科研管理系统、后勤管理系统、后勤管理系统、研究生管理系统、总务基建管理系统、短信平台的测试结果。
[0210]
表8研究生管理系统部分测试结果示意
[0211]
[0212][0213]
针对上述测试的系统，对性能测试进行场景划分，包括场景概述、响应时间、系统资源的测试。
[0214]
表9研究生管理系统测试场景概述
[0215][0216]
表10研究生管理系统测试响应时间
[0217][0218]
参照附图3a
‑
3f为江西省智慧校园平台项目并发用户数时，应用服务器硬件资源使用情况，包括：应用服务器cpu资源消耗、应用服务器物理内存资源消耗、应用服务器网络资源消耗、数据库服务器cpu资源消耗、数据库服务器物理内存资源消耗、数据库服务器网络资源消耗示意图。
[0219]
需要说明的是，本技术各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本技术所提出的技术问题的关键。此外，为了突出本技术的创新部分，本技术上述各设备实施例并没有将与解
决本技术所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
[0220]
需要说明的是，在本技术的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0221]
虽然通过参照本技术的某些优选实施例，已经对本技术进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本技术的精神和范围。