一种基于电力大数据平台海量数据并行处理的测试方法
【技术领域】
[0001]本发明涉及数据并行处理的测试方法，具体涉及一种基于电力大数据平台海量数据并行处理的测试方法。
【背景技术】
[0002]电力大数据环境逐步形成，数据体量正在迅速膨胀，数据类型逐渐多样化，数据时效性不断提高。电力大数据平台对整个电力信息技术架构进行了革命性的重构，将信息系统的运行方式转变为以数据为中心，将计算用于数据，形成业务逻辑、计算结构、数据模型间的柔性关联。
[0003]“大数据”正是新形势下技术融合型发展和应用智能化理念的集中体现，具有应对数据体量巨大、数据类型繁多、价值密度低和处理速度快等数据特征的技术架构，及以行业内外高附加值的内容增值服务为目标的应用模式，其核心就是信息资源的开发利用。电力大数据是指通过传感器、智能设备、视频监控设备、音频通信设备、移动终端等各种信息获取渠道收集到的，海量的，结构化、半结构化、非结构化的，且相互间存在关联关系的业务数据集合。随着科技的发展以及大量信息系统的推广和深化应用，用户体验需求正在不断增长，在这过程中所积累的数据和服务也越来越多，趋于海量，传统的数据库已经无法满足如此庞大的数据存储要求。
[0004]随着电力大数据平台的业务范围覆盖各类数据资源挖掘及业务创新，集成数据资源整合、计算中间件服务、智能信息处理服务，提供面向典型业务应用的智能决策分析能力。需要一套对应的方法或系统来测试电力大数据平台的负载量，以便更好的利用电力大数据平台。
【发明内容】
[0005]在现有技术的基础上，本发明使用的并发性测试过程，是一种负载压力测试过程，通过逐步增加系统负载，观察不同负载下系统性能的变化，确定在满足性能指标的情况下，系统所能承受的最大负载量，发现系统可能存在的性能瓶颈和高负载情况下可能出现的问题。负载压力测试可以确定在什么负载条件下系统性能处于失效状态，以此来获得系统能提供的最大服务级别。提出了一种基于电力大数据平台海量数据并行处理的测试方法，基于电力大数据平台，对海量数据的并行处理进行负载压力测试。包括以下步骤:将对单个文件的读取操作方法和写入操作方法分别封装为可运行Java程序；启动多个虚拟用户，并发运行对单个文件进行读取操作的可运行Java程序或对单个文件进行写入操作的可运行Java程序，观察记录平均处理单个用户运行的可运行Java程序的响应时间和电力大数据平台集群的网络吞吐量、磁盘10、CPU、内存等资源的占用情况；逐渐增加运行对单个文件进行读取操作的可运行Java程序或对单个文件进行写入操作的可运行Java程序的虚拟用户的个数，观察记录当前虚拟用户数下平均处理单个用户运行的可运行Java程序的响应时间和电力大数据平台集群的网络吞吐量、磁盘10、CPU、内存等资源的占用情况；当平均处理单个用户运行的可运行Java程序的响应时间增加至初始值的10倍时，结束电力大数据平台并行处理的负载压力测试。
[0006]本发明的目的是采用下述技术方案实现的:
[0007]一种基于电力大数据平台海量数据并行处理的测试方法，其改进之处在于，所述方法包括:
[0008](I)将对单个文件的操作方法封装为可运行Java程序；
[0009](2)启动虚拟用户，并发运行可运行Java程序，观察记录单个用户的响应时间和电力大数据平台集群的网络吞吐量、磁盘10、CPU和内存资源的占用情况；
[0010](3)逐渐增加运行可运行Java程序的虚拟用户个数，观察记录当前平均单个用户的响应时间和电力大数据平台集群的网络吞吐量、磁盘10、CPU和内存资源的占用情况；
[0011](4)当平均单个用户的响应时间增加至初始值的10倍时，停止增加虚拟用户，该负载情况即为电力大数据平台的最大负载量，完成压力测试过程。
[0012]优选的，所述步骤(I)中单个文件的操作可实现对不同大小、不同类型的单个文件进行读取、写入、增加、删除、修改和查找操作。
[0013]进一步地，
[0014]所述读取操作为从电力大数据平台的分布式存储系统中将文件下载至虚拟用户客户端；
[0015]所述写入操作为从虚拟用户客户端将文件上传至电力大数据平台的分布式存储系统中；
[0016]所述增加操作、删除操作和修改操作为对电力大数据平台分布式存储系统中的文件进行相应的处理；和
[0017]所述查找操作为对电力大数据平台分布式存储系统中的文件进行查找并将结果反馈回虚拟用户客户端。
[0018]优选的，所述步骤(2)中虚拟用户启动数量需充分考虑分布式因素，启动电力大数据平台节点数同数量级的客户端，保证每个客户端的负载量都小于其网络吞吐量，并均衡配置各客户端的负载。
[0019]优选的，所述步骤(3)中增加虚拟用户时，当平均处理单个用户运行的可运行Java程序的响应时间小于初始值的3倍时，每1/3响应时间增加上一次虚拟用户增加数的2倍；不小于初始值的3倍时，每1/2响应时间增加上一次的虚拟用户增加数。
[0020]优选的，所述步骤(4)平均单个用户的响应时间未超过初始值的10倍，则返回步骤⑶。
[0021]与现有技术比，本发明的有益效果为:
[0022]1.本发明充分利用并行处理的优势进行负载压力测试，保证电力大数据平台并发执行指定数量的测试负载，测试结果可控、可靠。
[0023]2.本发明在进行极限压力测试的同时，获得不同负载条件下电力大数据平台的运行性能指标，节省资源和时间。
[0024]3.本发明每隔一段时间新增的虚拟用户数灵活可变，每个虚拟用户运行的负载压力也灵活可变，可测试随意负载条件下电力大数据平台的性能指标，在接近系统处理极限时可迅速调整测试负载量，有效防止系统因过载而瘫痪。
[0025]4.本发明启动与电力大数据平台节点数同数量级的客户端，充分扩充可用网络带宽容量，打破分布式环境的网络吞吐量测试瓶颈，利于测出电力大数据平台的负载极限。
[0026]5.本发明可均衡配置各客户端启动的负载，突出了并行环境的优越