一种机构内部的众测管理方法及系统与流程
本发明涉及一种机构内部的众测管理方法及系统。
背景技术：
测试是软件工程全生命周期中保障软件产品质量的重要一环。做测试主要是为了更好地保证产品和服务质量，提升客户满意度，降低系统运行风险。近几年来，随着我国金融市场改革的不断深入和市场竞争的加剧，各机构信息化建设不断面临新的压力和挑战；测试工作则借势进入了发展的快车道。测试队伍从原先由技术人员组成，到对业务人员的需求逐步增多；测试范围也从检测系统的功能属性到非功能属性，又拓展到用户体验方面。各机构为此投入的人力、时间和环境成本不断增加。众测是通过变更测试主体来提升测试效益的一种尝试。其目的是充分调动每个人的碎片化资源，形成合力办大事，该模式可以快速拓展测试人员，以达到“花小钱，办大事”的目的。
参与众测的成员也是系统的真实用户，测试过程即模拟用户实际使用软件时可能操作的各种功能，提前发现潜在问题，提升项目质量，众测的过程中也能够丰富业务知识，提高测试技能，有利于更好的培养测试人才。但众测参与者往往分散在不同地域，各自独立地完成任务，且“众测者”的业务能力、知识储备、操作水平存在差异，难以统一管理，现有的众测无法实现对大量用户缺陷提交、确认、评价等统一操作与管理，沟通和管理成本较高，效率和质量较低。
现有的公布号为cn108829597a，公开日为2018-11-16的发明专利《软件众测方法及装置、计算机装置及可读存储介质》提出了一种软件众测方法，包括：读取待测软件程序安装包所在网页的链接地址，并根据该链接地址生成二维码；当接收到多个终端通过扫描该二维码发起的网页访问请求时，向该发起请求的多个终端装置返回该网页链接对应的界面；当接收到所述多个终端发送的下载该待测软件安装包的请求时，将该待测试软件安装包发送至发出该下载请求的终端装置；获取所述多个终端装置的用户参数信息，并根据该用户参数信息以及预设规则对该安装至终端中的待测试软件进行设置；及由该多个终端装置中获取对该测试软件的测试结果。该发明还提供了一种软件众测装置、计算机装置及可读存储介质，可以实现大范围且准确高效的软件测试。现有的公布号为cn106294182a，公开日为2017-01-04的发明专利《一种确定众测反馈有效性的方法、测试设备及系统》提出了一种确定众测反馈有效性的方法，其特征在于，所述方法应用于众测系统，所述众测系统包括测试设备和多个用户设备，每个用户设备上安装有众测应用，所述方法包括：所述测试设备通过所述众测应用向所述每个用户设备推送测试任务，所述测试任务包括多个测试用例，所述测试用例在被执行时生成被执行标记，所述多个测试用例中包括基准测试用例，所述基准测试用例为与测试目标对应的测试用例；所述测试设备接收参与测试的用户设备发送的所述测试任务的测试反馈，所述测试反馈包括带有被执行标记的测试用例；所述测试设备从所述带有被执行标记的测试用例中确定基准测试用例被执行的数量，并根据所述数量和预先获知的基准测试用例的总数，确定所述测试反馈所执行的基准测试用例的覆盖率；当所述所执行的基准测试用例的覆盖率大于第一阈值时，所述测试设备确定所述测试反馈为有效的测试反馈。
上述现有技术的主要缺点在于：主要针对的是被测试软件的推送方式、测试任务分配，缺少针对方法和技术的研究，缺乏对众测活动管理的研究分析。对于多个系统同时进行众测，无法对缺陷进行有效确认和评价，缺陷的确认结果也无法反馈给测试人员；参与单项目众测的人员数量较大，难以避免提交重复的缺陷，重复缺陷的确认工作量大，需要依靠人脑记忆，难以保证缺陷确认的有效性、准确性。众测活动中，参与人数较多，所提交缺陷、建议数量也十分庞大，上述发明未能有效的对缺陷进行自动判别，以便管理人员更高效地对重复的缺陷进行确认和反馈。
技术实现要素：
本发明要解决的技术问题之一，在于提供一种机构内部的众测管理方法，自动判别相似缺陷，提高缺陷识别效率，同时采用积分制对测试人员的测试能力实现自动识别。
本发明要解决的技术问题之一是这样实现的：一种机构内部的众测管理方法，包括：
步骤s1、设置众测相关的角色并分配对应的任务，所述角色包括众测管理员、测试人员和项目业务专家；
步骤s2、由所述项目业务专家根据预先拟定的项目众测计划，录入对应的众测项目信息及参与该众测的人员信息，为测试人员批量注册平台账号，并提供缺陷统计；
步骤s3、进行环境准备，包括系统部署、数据脱敏和访问用户控制，对准备的数据和用户按实际参与众测人数进行分割，确保每个测试人员的测试数据相互独立；
步骤s4、启动众测，由测试人员进行探索性测试并登记发现的缺陷，由项目组组织项目业务专家对缺陷进行确认、解决、验证和关闭操作，确认过程中通过智能识别并自动判别相似缺陷供项目业务专家进行确认，并根据确认结果计算测试人员获得的积分，根据积分统计测试人员贡献情况，建立测试人才库和个人积分榜，对测试人员进行相应的奖励。
进一步的，所述步骤s1中，所述众测管理员负责项目众测活动的组织，包括收集众测报名人员信息导入系统后台以及协调准备测试环境和数据，所述测试人员负责通过不同渠道参与报名、执行探索性测试、登记提交缺陷并获取缺陷积分奖励，所述项目业务专家负责对缺陷进行确认、解决、验证和关闭。
进一步的，在所述步骤s3之前，还包括由项目组对被测软件进行回归测试；
在进行所述步骤s3的环境准备时，若被测软件为c端，则先配置好相关参数，并打包、说明安装注意事项；若为web端，则提供访问地址、需安装插件以及访问用户。
进一步的，所述步骤s4中“确认过程中通过智能识别并自动判别相似缺陷供项目业务专家进行确认”具体包括：
预先创建缺陷关键词库，所述关键词库中存储有用于描述bug的第一关键词、用于唯一标识第一关键词的关键词id以及每一关键词id对应的同近义词id，其中表示相同意思的若干个关键词的同近义词id设置成同一个；
获取测试人员登记的缺陷，为每一所述缺陷分配一个用于唯一标识的bug描述id，并提取所述缺陷中的第二关键词，按序对第二关键词进行编号；
从缺陷关键库中查找与所述第二关键词相同的第一关键词，将该第一关键词的id作为第二关键词对应的id，并查找对应的第一关键词的同近义词id作为该第二关键词的同近义词id，当两个第二关键词的同近义词id相同时，则这两个第二关键词为相似关键词；
通过计算两个缺陷之间的相似度y，当y高于一预设值时，则将其归为相似缺陷以达到智能识别并自动判别相似缺陷，具体的，通过公式
进一步的，所述“根据确认结果计算测试人员获得的积分”具体包括：将缺陷的确认结果分为五类：新问题、历史遗留问题、需求不清晰问题、重复提交问题以及非缺陷问题，将每一类的问题分为五个等级：建议、轻微、中等、严重和致命，并为每一类别的每一等级问题预先设置一个积分值，根据确认的实际结果累计测试人员的积分所得，作为后续建立人才库和奖励的依据。
本发明要解决的技术问题之二，在于提供一种机构内部的众测管理系统，自动判别相似缺陷，提高缺陷识别效率，同时采用积分制对测试人员的测试能力实现自动识别。
本发明要解决的技术问题之二是这样实现的：一种机构内部的众测管理系统，包括：
用户管理模块，用于设置众测相关的角色并分配对应的任务，所述角色包括众测管理员、测试人员和项目业务专家；
项目管理模块，用于由所述项目业务专家根据预先拟定的项目众测计划，录入对应的众测项目信息及参与该众测的人员信息，为测试人员批量注册平台账号，并提供缺陷统计；
众测准备模块，用于进行环境准备，包括系统部署、数据脱敏和访问用户控制，对准备的数据和用户按实际参与众测人数进行分割，确保每个测试人员的测试数据相互独立；
众测管理模块，用于启动众测，由测试人员进行探索性测试并登记发现的缺陷，由项目组组织项目业务专家对缺陷进行确认、解决、验证和关闭操作，确认过程中通过智能识别并自动判别相似缺陷供项目业务专家进行确认，并根据确认结果计算测试人员获得的积分，根据积分统计测试人员贡献情况，建立测试人才库和个人积分榜，对测试人员进行相应的奖励。
进一步的，所述用户管理模块中，所述众测管理员负责项目众测活动的组织，包括收集众测报名人员信息导入系统后台以及协调准备测试环境和数据，所述测试人员负责通过不同渠道参与报名、执行探索性测试、登记提交缺陷并获取缺陷积分奖励，所述项目业务专家负责对缺陷进行确认、解决、验证和关闭。
进一步的，在所述众测准备模块执行之前，还包括由项目组对被测软件进行回归测试；
在执行所述众测准备模块时，若被测软件为c端，则先配置好相关参数，并打包、说明安装注意事项；若为web端，则提供访问地址、需安装插件以及访问用户。
进一步的，所述众测管理模块的“确认过程中通过智能识别并自动判别相似缺陷供项目业务专家进行确认”具体包括：
预先创建缺陷关键词库，所述关键词库中存储有用于描述bug的第一关键词、用于唯一标识第一关键词的关键词id以及每一关键词id对应的同近义词id，其中表示相同意思的若干个关键词的同近义词id设置成同一个；
获取测试人员登记的缺陷，为每一所述缺陷分配一个用于唯一标识的bug描述id，并提取所述缺陷中的第二关键词，按序对第二关键词进行编号；
从缺陷关键库中查找与所述第二关键词相同的第一关键词，将该第一关键词的id作为第二关键词对应的id，并查找对应的第一关键词的同近义词id作为该第二关键词的同近义词id，当两个第二关键词的同近义词id相同时，则这两个第二关键词为相似关键词；
通过计算两个缺陷之间的相似度y，当y高于一预设值时，则将其归为相似缺陷以达到智能识别并自动判别相似缺陷，具体的，通过公式
进一步的，所述“根据确认结果计算测试人员获得的积分”具体包括：将缺陷的确认结果分为五类：新问题、历史遗留问题、需求不清晰问题、重复提交问题以及非缺陷问题，将每一类的问题分为五个等级：建议、轻微、中等、严重和致命，并为每一类别的每一等级问题预先设置一个积分值，根据确认的实际结果累计测试人员的积分所得，作为后续建立人才库和奖励的依据。
本发明具有如下优点：
1、通过对参与众测人员及其提交的缺陷进行统一管理，并通过相似语义识别分析，可通过算法快速识别相似缺陷，并将相似缺陷汇总展示给众测的缺陷确认人员，降低管理投入，节约缺陷的甄别时间；
2、通过规范的活动组织流程，对测试人员所提交的有效缺陷被确认后计算积分提供奖励的方式，激发参与者的积极性，同时可根据积分对测人人员进行分类，自动识别和保存测人人才信息，便于后续工作的开展。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明一种机构内部的众测管理方法执行流程图。
图2为本发明一种机构内部的众测管理系统框图。
图3为本发明一种机构内部的众测管理系统结构示意图。
图4为本发明系统角色权限示意图。
图5为本发明关键词相似语义识别分析示意图。
具体实施方式
如图1至图5所示，本发明的一种机构内部的众测管理方法，包括：
步骤s1、设置众测相关的角色并分配对应的任务，所述角色包括众测管理员、测试人员和项目业务专家，所述众测管理员负责项目众测活动的组织，包括收集众测报名人员信息导入系统后台以及协调准备测试环境和数据，所述测试人员负责通过不同渠道参与报名、执行探索性测试、登记提交缺陷并获取缺陷积分奖励，所述项目业务专家由测试项目人员组成，负责对缺陷进行确认、解决、验证和关闭；
步骤s2、由所述项目业务专家根据预先拟定的项目众测计划，录入对应的众测项目信息及参与该众测的人员信息，为测试人员批量注册平台账号，并提供缺陷统计；
步骤s3、进行环境准备，包括系统部署、数据脱敏和访问用户控制，对准备的数据和用户按实际参与众测人数进行分割，确保每个测试人员的测试数据相互独立；在进行所述步骤s3的环境准备时，若被测软件为c端，则先配置好相关参数，并打包、说明安装注意事项；若为web端，则提供访问地址、需安装插件以及访问用户。较佳的，在所述步骤s3之前，还包括由项目组对被测软件进行回归测试。
步骤s4、启动众测，由测试人员进行探索性测试并登记发现的缺陷，由项目组组织项目业务专家对缺陷进行确认、解决、验证和关闭操作，确认过程中通过智能识别并自动判别相似缺陷供项目业务专家进行确认，并根据确认结果计算测试人员获得的积分，根据积分统计测试人员贡献情况，建立测试人才库和个人积分榜，对测试人员进行相应的奖励。
其中，所述步骤s4中“确认过程中通过智能识别并自动判别相似缺陷供项目业务专家进行确认”具体包括：
预先创建缺陷关键词库，所述关键词库中存储有用于描述bug的第一关键词、用于唯一标识第一关键词的关键词id以及每一关键词id对应的同近义词id，其中表示相同意思的若干个关键词的同近义词id设置成同一个；
获取测试人员登记的缺陷，为每一所述缺陷分配一个用于唯一标识的bug描述id，并提取所述缺陷中的第二关键词，按序对第二关键词进行编号；
从缺陷关键库中查找与所述第二关键词相同的第一关键词，将该第一关键词的id作为第二关键词对应的id，并查找对应的第一关键词的同近义词id作为该第二关键词的同近义词id，当两个第二关键词的同近义词id相同时，则这两个第二关键词为相似关键词；
通过计算两个缺陷之间的相似度y，当y高于一预设值时，则将其归为相似缺陷以达到智能识别并自动判别相似缺陷，具体的，通过公式
其中，所述“根据确认结果计算测试人员获得的积分”具体包括：将缺陷的确认结果分为五类：新问题、历史遗留问题、需求不清晰问题、重复提交问题以及非缺陷问题，将每一类的问题分为五个等级：建议、轻微、中等、严重和致命，并为每一类别的每一等级问题预先设置一个积分值，根据确认的实际结果累计测试人员的积分所得，作为后续建立人才库和奖励的依据。
请再参阅图1至图5，本发明的一种机构内部的众测管理系统，包括：
用户管理模块，用于设置众测相关的角色并分配对应的任务，所述角色包括众测管理员、测试人员和项目业务专家，所述众测管理员负责项目众测活动的组织，包括收集众测报名人员信息导入系统后台以及协调准备测试环境和数据，所述测试人员负责通过不同渠道参与报名、执行探索性测试、登记提交缺陷并获取缺陷积分奖励，所述项目业务专家由测试项目人员组成，负责对缺陷进行确认、解决、验证和关闭；
项目管理模块，用于由所述项目业务专家根据预先拟定的项目众测计划，录入对应的众测项目信息及参与该众测的人员信息，为测试人员批量注册平台账号，并提供缺陷统计；
众测准备模块，用于进行环境准备，包括系统部署、数据脱敏和访问用户控制，对准备的数据和用户按实际参与众测人数进行分割，确保每个测试人员的测试数据相互独立；在执行所述众测准备模块时，若被测软件为c端，则先配置好相关参数，并打包、说明安装注意事项；若为web端，则提供访问地址、需安装插件以及访问用户；在所述众测准备模块执行之前，还包括由项目组对被测软件进行回归测试。
众测管理模块，用于启动众测，由测试人员进行探索性测试并登记发现的缺陷，由项目组组织项目业务专家对缺陷进行确认、解决、验证和关闭操作，确认过程中通过智能识别并自动判别相似缺陷供项目业务专家进行确认，并根据确认结果计算测试人员获得的积分，根据积分统计测试人员贡献情况，建立测试人才库和个人积分榜，对测试人员进行相应的奖励。
其中，所述众测管理模块的“确认过程中通过智能识别并自动判别相似缺陷供项目业务专家进行确认”具体包括：
预先创建缺陷关键词库，所述关键词库中存储有用于描述bug的第一关键词、用于唯一标识第一关键词的关键词id以及每一关键词id对应的同近义词id，其中表示相同意思的若干个关键词的同近义词id设置成同一个；
获取测试人员登记的缺陷，为每一所述缺陷分配一个用于唯一标识的bug描述id，并提取所述缺陷中的第二关键词，按序对第二关键词进行编号；
从缺陷关键库中查找与所述第二关键词相同的第一关键词，将该第一关键词的id作为第二关键词对应的id，并查找对应的第一关键词的同近义词id作为该第二关键词的同近义词id，当两个第二关键词的同近义词id相同时，则这两个第二关键词为相似关键词；
通过计算两个缺陷之间的相似度y，当y高于一预设值时，则将其归为相似缺陷以达到智能识别并自动判别相似缺陷，具体的，通过公式
其中，所述“根据确认结果计算测试人员获得的积分”具体包括：将缺陷的确认结果分为五类：新问题、历史遗留问题、需求不清晰问题、重复提交问题以及非缺陷问题，将每一类的问题分为五个等级：建议、轻微、中等、严重和致命，并为每一类别的每一等级问题预先设置一个积分值，根据确认的实际结果累计测试人员的积分所得，作为后续建立人才库和奖励的依据。
下面结合一具体实施例对本发明做进一步说明：
如图3至图5所示，本发明系统主要分为用户的管理模块和测试的管理模块，具体内容如下：
1、用户管理模块：分为众测管理员、测试人员和项目业务专家。
众测管理员：负责项目众测活动的组织，主要执行以下工作：
(1)收集众测报名人员信息：通过多种渠道发出众测通知，收集众测报名人员，导入系统后台。
(2)协调、准备测试环境和数据：含系统部署、测试数据准备、众测用户分配等，前端软件若为c端，须先配置好相关参数，并打包、说明安装注意事项；若为web端，须提供访问地址、需安装插件、访问用户等；重要且复杂的交易，须采用屏幕录制的方式录制操作步骤，方便测试人员学习掌握，在测试环境、数据、说明文档准备完毕并确认达到系统验收标准后通知测试报名人员进行众测。
测试人员：通过多种渠道(如海报、内部通知文件、内部通讯工具消息通知、平台公告等方式)参与报名众测，执行探索性测试、登记提交缺陷，获取缺陷积分奖励。
项目业务专家：由被测试项目主要人员组成，对缺陷进行确认、解决、验证、关闭，缺陷验证、关闭后，系统依据项目业务专家对缺陷的评定以及积分规则计算测试人员贡献情况，统计积分数据作为奖励依据。
2、测试的管理模块：分为项目管理和众测管理。
项目管理：项目业务专家根据拟定的项目众测计划，录入众测项目信息及参与该众测的人员信息，为测试人员批量注册平台账号。
众测管理：对被众测项目缺陷进行确认，并按既定积分规则(见表1)对测试人员的缺陷进行积分计算，产生积分贡献排行。
表1
根据本发明系统展开的具体实施过程包括如下：
项目的众测工作由特定部门或团队统筹实施、全程管理，主要包括以下环节：
1、项目准入
申请众测的项目，应在准生产测试执行的前一定时间(一般为一周)提出申请，确保有足够的准备时间。众测活动在系统准生产测试结束之后进行，周期一般为1周。该阶段软件版本较为稳定，部分时间要求较为紧迫的项目，则与系统测试的最后一轮并行。由于众测周期短、参与人员非专职的特点，项目选择上，应筛选受众广、需学习时间较短、业务逻辑较简单，但系统功能点较多的系统作为众测对象，降低测试人员的参与难度，提高其参与热情。
2、宣传报名
(1)通过多种渠道，如：张贴海报、内网通讯工具宣传、项目管理平台公告等方式发出通知。
(2)有意参与众测人员收到通知后自愿报名，并编制参与测试人员清单。
(3)被测项目组人员不参与众测，只做业务解答工作。
3、组织简单的培训
(1)对预参与测试人员的测试技能、工具使用等进行培训。
(2)分发操作手册、业务需求、提供测试环境供实际操作演练等形式，组织对被测系统进行业务培训，加深测试人员对被测系统的理解；部分业务规则简单、易理解的项目，可不组织培训。
4、环境准备
(1)项目组准备测试环境，含系统部署、测试数据(重要数据需脱敏，确保数据安全)、访问用户等(可用用户数量应大于参与众测人数，可建议以准生产环境作为测试环境)。准备完毕后，项目组应先组织组内人员进行充分的回归测试，确认达到系统验收标准后，组织人员进行众测。
(2)前端软件如为c端，须先配置好相关参数，并打包、说明安装注意事项；如为web端，须提供访问地址、需安装插件、访问用户等；重要且复杂的交易，须采用屏幕录制的方式录制操作步骤，方便测试人员学习掌握。
(3)测试环境、数据、说明文档准备完毕后，进行抽查试用，确保环境、数据、用户可用，说明文档准确无歧义。
(4)对准备的数据、用户按实际参与众测人数进行分割，确保每个测试人员的测试数据相对独立，避免测试执行中出现数据冲突、争抢用户等情况，确保测试执行过程紧张有序。
(5)通过众测管理系统，为测试人员建立账户，方便测试人员记录、反馈缺陷。
5、测试执行
准备工作完成后，发出众测开始通知，并分发相关测试数据、用户等，测试人员开始探索性测试、登记发现的缺陷。
执行测试期间，根据需要配合做好以下工作：
(1)指定专人解答业务问题，协调、指导测试过程。
(2)项目组业务专家、技术人员需定期(如每天)确认缺陷(包括缺陷类型、严重等级等)，定期进行缺陷统计、发布积分排行等，让参与人员保持参与热情，不断地挖掘新缺陷、暴露新问题。
(3)给予测试人员必要的引导，定期公布典型缺陷，启发测试人员的思维，开拓测试视野，让其不仅收获奖励，还能收获测试技能、测试思维，帮助其提升测试能力。
6、缺陷处理
测试结束后，缺陷移交项目组，由项目组组织人员进行确认(引入智能识别，自动判别相似缺陷，提高缺陷的确认效率，实现过程见图5)、解决、验证、关闭。
缺陷验证、关闭后，进行统计分析，计算测试人员贡献情况，统计数据作为奖励依据。
7、奖励
(1)物质奖励
项目测试结束后，对参与人员进行奖励。一是，所有参与测试人员都能领到一份小礼品；二是，发现有效缺陷的人员可获得积分(缺陷的有效性需经项目组人员确认，重复提交、非缺陷均视为无效缺陷)，积分可累计并兑换相应的奖励；三是，每次测试积分前三名人员在测试结束后可立即获得相应奖励。
(2)精神激励
a.建立测试人才库和个人积分榜，通过持续组织众测，筛选积极性高、测试能力强的人员进入人才库，进入人才库且积分达到一定额度的人员颁发相关荣誉证书，也为后续需要测试人才时提供选择依据；
b.每年举行标兵评选活动，评出年度累计积分前3人员，颁发荣誉证书，并作为人员年终考评的重要依据。
本发明主要实现广泛用户参与系统测试的众测管理，提供一套完整的统一的众测管理系统，让更多用户参与进来，提高被测系统的质量。通过相似语义识别分析，算法快速识别相似缺陷，并将相似缺陷汇总展示给众测的缺陷确认人员，降低管理投入，节约缺陷的甄别时间；通过规范的活动组织流程，对测试人员所提交的有效缺陷被确认后计算积分提供奖励的方式，激发参与者的积极性，同时可根据积分对测人人员进行分类，自动识别和保存测人人才信息，便于后续工作的开展。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
- 还没有人留言评论。精彩留言会获得点赞！