通过监测用户使用行为对产品进行测试的方法
【专利摘要】一种通过监测用户使用行为对产品进行测试的方法，包括如下步骤：软件开发完成，可供测试上线;编写独立的功能监测模块，负责捕捉运行时业务及状态参数、并负责记录日志;将功能统计模块集成到所述软件中；测试人员根据需求定义测试列表，进行测试；在软件运行过程中，功能监测模块采集和监测软件各功能使用的细节及状态；服务器对采集到的数据做统计分析，呈现各产品功能的表现。本发明采集业务信息及状态信息，可完整重现软件使用场景，避免了由于客户对于故障表述不准确而造成处理效率的低下，设定容忍阈值，自动发现测试中没有发现的问题，以补充优化测试列表，在服务器端可根据规则配置，进行信息过滤，减少跟进的人员工作量。
【专利说明】通过监测用户使用行为对产品进行测试的方法
【技术领域】
[0001]本发明涉及软件测试领域，具体的，涉及一种通过监测用户使用行为对软件性能的影响从而对产品进行测试的方法。
【背景技术】
[0002]现有技术中，产品的测试过程，都是通过相关人员更具对产品的理解，人工枚举测试用例，作为最终验收根据。而随着产品的越来越复杂化，这种人工枚举方式工作量变得越来越大，而对应的被遗漏的场景越来越多，这其中不乏影响产品工作的严重bug。因此，需要一些方法，已便更早的发现并解决这些问题。
[0003]此外，在用户使用往往是能够最直接的发现软件的故障问题，但由于终端用户对于产品故障的描述不专业，无法较为准确地确定或者再现用户使用中出现的故障，因而无法正确、高效的改善问题。
[0004]因此，如何从用户使用的角度发现、再现故障，并且进一步的，为前期产品上线时的测试提供元素和资料，进而发现新的测试项，成为现有技术亟需解决的技术问题。
【发明内容】
[0005]本发明的目的在于提出一种通过监测用户使用行为对产品进行测试的方法，使得能够完整地重现软件使用中的场景，并发现新的测试项目，完善测试列表。
[0006]为达此目的，本发明采用以下技术方案:
一种通过监测用户使用行为对产品进行测试的方法，包括如下步骤:
步骤S110，软件开发完成，可供测试上线；
步骤S120，编写独立的功能监测模块，负责捕捉运行时业务及状态参数、并负责记录日
■
V ill、,
步骤S130，将所述功能统计模块集成到所述软件中；
步骤S150，在软件运行过程中，所述功能监测模块采集和监测软件各功能使用的细节及状态；
步骤S160，服务器对采集到的数据做统计分析，呈现各产品功能的表现。
[0007]优选地，在所述步骤S130和步骤S150之间，还具有步骤S140，测试人员根据需求进行枚举，定义测试列表，编写测试用例，进行测试，在完成测试后，将软件上线使用；在步骤S160后，还具有步骤S170，测试及产品人员可根据步骤S160的统计分析结果，完善测试列表，供后续的新产品测试使用。
[0008]优选地，在步骤S160中，在服务器对采集到的数据做统计分析时，能够定义各个功能的容忍阈值当超过容忍阈值时，能够自动记录功能问题。
[0009]优选地，在步骤S120中，所述业务及状态参数包括软件运行时间、所消耗的资源和网络参数。
[0010]优选地，所述功能监测模块所监测的所述业务及状态参数，能够按照规则配置，以进行信息过滤，并根据关注问题不同，进行不同策略配置。
[0011]优选地，在步骤S140中，对测试列表进行测试时，依次对单个测试点进行测试，如果没有通过，则修改程序重新进行该测试点的测试，如果通过则判断是否完成所有的测试，如果没有完成所有的测试，则进行未完成的测试点的测试，如果已经完成所有的测试，则将产品发布，供用户使用。
[0012]因此，本发明通过固定模块对功能进行监测，采集业务信息及状态信息，可完整重现软件使用场景，比一般统计更细致，避免了由于客户对于故障表述不准确而造成处理效率的低下。能够设定容忍阈值，自动发现测试中没有发现的问题，以补充优化测试列表，对新产品的测试进行优化。在服务器端可根据规则配置，进行信息过滤，根据关注问题不同，可进行不同策略配置，减少跟进的人员工作量，可以更高效的解决问题。
【专利附图】
【附图说明】
[0013]图1是根据本发明的一个具体的实施例的通过监测用户使用行为对产品进行测试的方法的流程图；
图2是根据本发明的另一个具体的实施例的通过监测用户使用行为对产品进行测试的方法的流程图。
【具体实施方式】
[0014]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0015]参见附图1，示出了根据本发明的一个具体的实施例的通过监测用户使用行为对产品进行测试的方法的流程图，包括如下步骤:
步骤S110，软件开发完成，可供测试上线；
步骤S120，编写独立的功能监测模块，负责捕捉运行时业务及状态参数、并负责记录日
■
V ill、,
步骤S130，将所述功能统计模块集成到所述软件中；
步骤S150，在软件运行过程中，所述功能监测模块采集和监测软件各功能使用的细节及状态；
步骤S160，服务器对采集到的数据做统计分析，呈现各产品功能的表现，例如。如执行时间，资源占用等等。
[0016]因此，通过在软件中置入功能监测模块，并实时地采集业务运行时的业务以及状态参数，使得用户的各种使用过程也成为了一种实际的测试，并且将测试的结果如实地记录，以便发现问题的时候能够很好地通过所记录的数据再现当时的问题，从而为进一步的测试，或者修改提供参数。
[0017]优选地，在所述步骤S130和步骤S150之间，还具有步骤S140，测试人员根据需求进行枚举，定义测试列表，编写测试用例，进行测试，在完成测试后，将软件上线使用；
在步骤S160后，还具有步骤S170，测试及产品人员可根据步骤S160的统计分析结果，完善测试列表，供后续的新产品测试使用。
[0018]因此，上述功能监测模块能够为新的测试用例提供素材，避免了人工选定测试用例的不全面，从而实现一种通过用户使用行为补充发现测试用例的方法。
[0019]进一步的优选地，在步骤S120中，所述业务及状态参数包括软件运行时间、所消耗的资源、网络参数等等。
[0020]进一步优选地，在步骤S160中，在服务器对采集到的数据做统计分析时，能够定义各个功能的容忍阈值，例如，页面展示时间是否超过I秒，当超过容忍阈值时，能够自动记录功能问题。因此，能够对于问题有准确的场景，可供测试人员重现问题，及改进测试工作。
[0021]进一步优选地，所述功能监测模块所监测的所述业务及状态参数，能够按照规则配置，以进行信息过滤，并根据关注问题不同，进行不同策略配置，这样能够减少跟进的人员工作量，可以更高效的解决问题。
[0022]参见图2，示出了另一个具体的实施例的通过监测用户使用行为对产品进行测试的方法的流程图，其进一步细化了产品测试的步骤，
在步骤S140中，对测试列表进行测试时，依次对单个测试点进行测试，如果没有通过，则修改程序重新进行该测试点的测试，如果通过则判断是否完成所有的测试，如果没有完成所有的测试，则进行未完成的测试点的测试，如果已经完成所有的测试，则将产品发布，供用户使用。
[0023]在步骤S170中，所谓完善测试列表，就是说返回到步骤S140中，重新定义测试列表，从而在新的产品的测试步骤中进行测试。
[0024]具体而言:对于诸如视频网站的软件，很多页面都是定制化的(如频道页，播放页，榜单页等等)。这类页面成千上万，做全部测试并不现实。同时，因为页面的定制化，即在功能组合上是不同的(如页面抽屉数，页面布局，加载方式等等)。因此，采样测试覆盖不全，会导致问题漏测。并且这些问题只能在上线后发现，一般通过客户服务人员反馈。
[0025]而本发明，为了解决这个问题，做了两点改进。1、软件层增加专项的功能监测模块，对运行时各功能被调用时的业务信息，及运行状态(时间，资源，网络等)做全面记录。
2.基于以上数据，通过定义各功能的容忍阈值(如页面展示Is以内)，能自动发现功能问题，并有准确的场景，可供测试人员重现问题，及改进测试工作。
[0026]因此，本发明具有如下优点:
1、采集业务信息及状态信息，可完整重现软件使用场景，比一般统计更细致，避免了由于客户对于故障表述不准确而造成处理效率的低下。
[0027]2.能够设定容忍阈值，自动发现测试中没有发现的问题，以补充优化测试列表，对新产品的测试进行优化。
[0028]3.软件层面，通过固定模块实现，更加统一规范，避免采集结果因数据质量问题导致误判
4、在服务器端可根据规则配置，进行信息过滤，根据关注问题不同，可进行不同策略配置，减少跟进的人员工作量，可以更高效的解决问题；
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的【具体实施方式】仅限于此，对于本发明所属【技术领域】的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。
【权利要求】
1.一种通过监测用户使用行为对产品进行测试的方法，包括如下步骤: 步骤S110，软件开发完成，可供测试上线； 步骤S120，编写独立的功能监测模块，负责捕捉运行时业务及状态参数、并负责记录日
■V ill、, 步骤S130，将所述功能统计模块集成到所述软件中； 步骤S150，在软件运行过程中，所述功能监测模块采集和监测软件各功能使用的细节及状态； 步骤S160，服务器对采集到的数据做统计分析，呈现各产品功能的表现。
2.根据权利要求1所述的方法，其特征在于: 在所述步骤S130和步骤S150之间，还具有步骤S140，测试人员根据需求进行枚举，定义测试列表，编写测试用例，进行测试，在完成测试后，将软件上线使用； 在步骤S160后，还具有步骤S170，测试及产品人员可根据步骤S160的统计分析结果，完善测试列表，供后续的新产品测试使用。
3.根据权利要求1或2所述的方法，其特征在于: 在步骤S160中，在服务器对采集到的数据做统计分析时，能够定义各个功能的容忍阈值当超过容忍阈值时，能够自动记录功能问题。
4.根据权利要求3所述的方法，其特征在于: 在步骤S120中，所述业务及状态参数包括软件运行时间、所消耗的资源和网络参数。
5.根据权利要求3所述的方法，其特征在于: 所述功能监测模块所监测的所述业务及状态参数，能够按照规则配置，以进行信息过滤，并根据关注问题不同，进行不同策略配置。
6.根据权利要求3所述，其特征在于: 在步骤S140中，对测试列表进行测试时，依次对单个测试点进行测试，如果没有通过，则修改程序重新进行该测试点的测试，如果通过则判断是否完成所有的测试，如果没有完成所有的测试，则进行未完成的测试点的测试，如果已经完成所有的测试，则将产品发布，供用户使用。
【文档编号】G06F11/36GK104503910SQ201410802578
【公开日】2015年4月8日 申请日期:2014年12月22日 优先权日:2014年12月22日
【发明者】付鹏, 卢学裕, 白雪, 吴凯凯, 吴鑫, 姚键, 潘柏宇, 卢述奇 申请人:合一网络技术(北京)有限公司