电力营销用数据库老化测试方法及系统的制作方法
【专利摘要】本发明涉及数据库老化测评技术领域，具体地说是一种面向海量数据快速增长的电力营销用数据库老化测试方法及系统，其特征在于设有数据库数据集生成模块、数据导入模块、数据库压力测试模块、web网页模块、结果统计分析模块，其中所述数据库数据集生成模块用于生成适用于电力营销系统数据库的模拟数据文件并将其保存成为数据文件；本发明对于保障生产系统的高效运行，保障新发布业务的权威性测试，对不同厂商开发的信息系统进行统一、公平的性能评价，具有重要意义。
【专利说明】
电力营销用数据库老化测试方法及系统
技术领域
[0001]本发明涉及数据库老化测评技术领域，具体地说是一种面向海量数据快速增长的电力营销用数据库老化测试方法及系统。
【背景技术】
[0002]随着信息技术应用的不断发展和深入，数据库系统已经逐渐成为计算机信息系统的基础和核心。但是在一个大型的数据库应用系统开发过程中，如果数据结构的设计不合理，不仅增加数据库应用程序编写和维护的难度，还会影响系统实际运行过程中的性能。所以在数据库应用系统的开发和应用过程中，人们越来越关注数据库系统的性能表现。
[0003]当数据库中数据量较少时，不同数据库设计所反映出来的性能差距并不明显，但是随着系统的运行，当数据库中的数据量大幅度增加时，不同的数据库以及设计架构就会表现出很大的性能差异。实际上，数据库应用系统的性能受到诸多不同因素的影响，随着数据库的老化，数据量激增，不同架构下的数据库应用系统性能差异巨大，对其进行评测至关重要。
[0004]在海量数据快速增长性的背景下，数据库老化测试势在必行。所谓老化测试是指:随着数据库中数据量的增长，对数据库的响应时间进行测试。如果能够在测试系统投入使用之前，利用本方法对不同厂商的数据库服务器、数据库结构，以及应用开发架构进行老化测试，至关重要。
[0005]我国某些省级节点其电力营销系统的用户数量可以达到千万量级，最大访问并发量达到两万，数据库中的表结构和逻辑关系也比较复杂，总体数据以每月600—800 G/月的速度增长。然而，目前对于数据库老化测试的方法和标准的资料匮乏，而且现有的工具、方法和资料无法很好地实现针对电力营销系统数据库的老化测试与评价。
【发明内容】
[0006]本发明针对现有技术中存在的缺点和不足，提出了一种面向海量数据快速增长的电力营销用数据库老化测试方法及系统。
[0007]本发明可以通过以下措施达到:
一种电力营销用数据库老化测试方法，其特征在于包括以下步骤:
步骤1:通过数据库数据集生成模块生成适用于电力营销系统数据库的模拟数据文本文件，针对电力营销信息化系统中代表性的“电费核算发行”业务，建立典型业务的数据模型，例如:电费用户信息、用电情况、设备损耗，以及电费记录数据模型，数据集生成模块针对电力营销信息化系统中代表性业务所抽取的数据模型，生成大量不同类型的测试数据并保存成文本文件；
步骤2:数据导入模块将数据集生成模块产生的数据导入到oracle数据库对应的表中，来模拟数据库的老化过程；
步骤3:数据库压力测试模块对数据库进行多用户的并发查询压力测试，该模块能够通过浏览器模拟多用户的并发操作行为，并在一轮老化测试完成后，计算出数据库对请求的平均响应时间；
步骤4: web网页模块连接数据库并接受来自数据库压力测试模块的操作请求，将压力测试模块的操作请求作用到数据库上，结果统计分析模块对每一轮老化测试的结果进行记录、统计，并在多轮老化测试后，对所有测试结果数据进行分析处理，形成直观的折线图；步骤5:判断是否进行下一轮测试，若进行下一轮，则重复步骤I至步骤4，否则将产生的所有结果进行统计分析后结束。
[0008]本发明步骤3中数据库压力测试模块对数据库进行多用户的并发查询压力测试包括以下内容:
步骤3-1:对每轮老化测试之前对服务器所产生的压力，例如:用户并发数量，以及用户的查询行为进行设置；
步骤3-2:在相应的时间周期中，通过模拟出预先设置的最大虚拟用户的并发数量，以及预先设置的虚拟用户行为，持续对待测目标系统通过web网页模块进行访问；
步骤3-3:通过数据库压力测试模块实现对目标数据库的访问，对待测服务器产生负载；
步骤3-4:在本轮测试结束后，计算出待测目标服务器对请求的平均响应时间。
[0009]本发明步骤I中数据库数据集文件生成模块生成适用于电力营销系统数据库的模拟数据文本文件，包括以下内容:
步骤1-1:数据模型的建立，针对电力营销信息化系统中代表性的“电费核算发行”业务，通过对该业务在数据库中相关表结构的研究，通过数据相关性的研究，建立典型业务的数据模型，例如:电费用户信息、用电情况、设备损耗，以及电费记录等数据模型；
步骤1-2:老化测试数据集规模的配置，根据老化测试目标的不同，可以对本轮老化测试数据集的规模进行配置；
步骤1-3:数据集文件生成，依据对本轮老化测试数据量的配置，针对步骤1-1所建立的典型业务的数据模型，依据数据库表的不同字段类型选择不同的数据生成方式，快速生成电力营销信息化系统代表性“电费核算发行”业务数据模型，进行老化测试所需的适当规模的模拟数据文本文件。
[0010]本发明中步骤2中数据导入模块将数据库数据集生成模块所生成的文本文件，导入到待测目标数据库中的工作流程包括:
步骤2-1:首先对ctl格式的控制文件进行配置；
步骤2-2:通过编写脚本，将数据库数据集生成模块所产生数据的文本文件，按照数据库数据集生成模块所建立的数据模型，将文本文件导入到待测数据库对应表中；导入过程中，如果遇到的错误对后续的操作不产生影响的话，就记录错误并继续导入数据，产生的正确和错误日志分别存储为两个文件以便于查看，上述所有操作由一个脚本自动完成。
[0011]本发明步骤4中web网页模块连接数据库并接受来自数据库压力测试模块的操作请求，将压力测试模块的操作请求作用到待测数据库上，其工作流程为:
步骤4-1:web网页模块接收数据库压力测试模块所产生的设置虚拟用户的并发请求，实现web目标业务的访问；
步骤4-2:在测试时间内web网页模块连接数据库，并将数据库压力测试模块所模拟的大量虚拟用户的并发web操作请求，转化为后台数据库的商业逻辑操作，即“电费核算营销业务”，并将数据库服务器返回的信息返回给数据库压力测试模块。
[0012]本发明步骤4中结果统计分析模块对每一轮老化测试的结果进行记录、统计，并在多轮老化测试后，对所有测试结果数据进行分析处理，形成直观的折线图。该模块包括结果记录子模块和老化曲线绘制与分析子模块两部分，其中结果记录子模块，负责记录每一轮老化测试数据库服务器的性能指数，包括:响应时间，并发用户数等;老化曲线绘制与分析子模块，根据结果统计分析模块所记录的原始测试数据，绘制老化曲线，直观地反映出随数据库的老化请求响应时间的变化，从而找到数据库老化性能快速下降的拐点。
[0013]本发明还提出了一种电力营销用数据库老化测试系统，其特征在于设有数据库数据集生成模块、数据导入模块、数据库压力测试模块、web网页模块、结果统计分析模块，其中所述数据库数据集生成模块用于生成适用于电力营销系统数据库的模拟数据文件并将其保存成为数据文件；
所述数据导入模块，用于将数据库数据集生成模块产生的数据文件导入到数据库中；所述数据库压力测试模块，用于对数据库多用户的并发压力测试，能够模拟大量用户通过浏览器的大量并发业务操作，并在一轮老化测试之后计算出数据库服务器对请求的平均响应时间；
所述web网页模块，用于连接数据库，接受来自压力测试模块的操作请求，并将压力测试模块的操作请求作用到数据库上；
所述结果统计分析模块包括结果记录子模块和老化曲线绘制与分析子模块两部分，所述结果记录子模块负责记录每一轮老化测试中，数据库服务器的性能指数，包括:响应时间，并发用户数等指标，老化曲线绘制与统计分析子模块，负责对记录的所有测试数据，生成形成老化曲线，直观地反映出随着数据库老化数据库请求响应时间的变化，找到数据库性能快速下降的拐点。
[0014]本发明对于保障生产系统的高效运行，保障新发布业务的权威性测试，对不同厂商开发的信息系统进行统一、公平的性能评价，具有重要意义。
[0015]【附图说明】:
附图1是本发明的结构框图。
[0016]附图2是本发明的流程图。
[0017]附图标记:数据库数据集生成模块1、数据导入模块2、数据库压力测试模块3、web网页模块4、结果统计分析模块5。
[0018]【具体实施方式】:
下面结合附图对本发明作进一步的说明。
[0019]如附图所示，本发明提出了一种电力营销用数据库老化测试方法，其特征在于包括以下步骤:
步骤1:通过数据库数据集生成模块生成适用于电力营销系统数据库的模拟数据文本文件，针对电力营销信息化系统中代表性的“电费核算发行”业务，建立典型业务的数据模型，例如:电费用户信息、用电情况、设备损耗，以及电费记录数据模型，数据集生成模块针对电力营销信息化系统中代表性业务所抽取的数据模型，生成大量不同类型的测试数据并保存成文本文件； 步骤2:数据导入模块将数据集生成模块产生的数据导入到oracle数据库对应的表中，来模拟数据库的老化过程；
步骤3:数据库压力测试模块对数据库进行多用户的并发查询压力测试，该模块能够通过浏览器模拟多用户的并发操作行为，并在一轮老化测试完成后，计算出数据库对请求的平均响应时间；
步骤4: web网页模块连接数据库并接受来自数据库压力测试模块的操作请求，将压力测试模块的操作请求作用到数据库上，结果统计分析模块对每一轮老化测试的结果进行记录、统计，并在多轮老化测试后，对所有测试结果数据进行分析处理，形成直观的折线图；步骤5:判断是否进行下一轮测试，若进行下一轮，则重复步骤I至步骤4，否则将产生的所有结果进行统计分析后结束。
[0020]本发明步骤3中数据库压力测试模块对数据库进行多用户的并发查询压力测试包括以下内容:
步骤3-1:对每轮老化测试之前对服务器所产生的压力，例如:用户并发数量，以及用户的查询行为进行设置；
步骤3-2:在相应的时间周期中，通过模拟出预先设置的最大虚拟用户的并发数量，以及预先设置的虚拟用户行为，持续对待测目标系统通过web网页模块进行访问；
步骤3-3:通过数据库压力测试模块实现对目标数据库的访问，对待测服务器产生负载；
步骤3-4:在本轮测试结束后，计算出待测目标服务器对请求的平均响应时间。
[0021]本发明步骤I中数据库数据集文件生成模块生成适用于电力营销系统数据库的模拟数据文本文件，包括以下内容:
步骤1-1:数据模型的建立，针对电力营销信息化系统中代表性的“电费核算发行”业务，通过对该业务在数据库中相关表结构的研究，通过数据相关性的研究，建立典型业务的数据模型，例如:电费用户信息、用电情况、设备损耗，以及电费记录等数据模型；
步骤1-2:老化测试数据集规模的配置，根据老化测试目标的不同，可以对本轮老化测试数据集的规模进行配置；
步骤1-3:数据集文件生成，依据对本轮老化测试数据量的配置，针对步骤1-1所建立的典型业务的数据模型，依据数据库表的不同字段类型选择不同的数据生成方式，快速生成电力营销信息化系统代表性“电费核算发行”业务数据模型，进行老化测试所需的适当规模的模拟数据文本文件。
[0022]本发明中步骤2中数据导入模块将数据库数据集生成模块所生成的文本文件，导入到待测目标数据库中的工作流程包括:
步骤2-1:首先对ctl格式的控制文件进行配置；
步骤2-2:通过编写脚本，将数据库数据集生成模块所产生数据的文本文件，按照数据库数据集生成模块所建立的数据模型，将文本文件导入到待测数据库对应表中；导入过程中，如果遇到的错误对后续的操作不产生影响的话，就记录错误并继续导入数据，产生的正确和错误日志分别存储为两个文件以便于查看，上述所有操作由一个脚本自动完成。
[0023]本发明步骤4中web网页模块连接数据库并接受来自数据库压力测试模块的操作请求，将压力测试模块的操作请求作用到待测数据库上，其工作流程为: 步骤4-1:web网页模块接收数据库压力测试模块所产生的设置虚拟用户的并发请求，实现web目标业务的访问；
步骤4-2:在测试时间内web网页模块连接数据库，并将数据库压力测试模块所模拟的大量虚拟用户的并发web操作请求，转化为后台数据库的商业逻辑操作，即“电费核算营销业务”，并将数据库服务器返回的信息返回给数据库压力测试模块。
[0024]本发明步骤4中结果统计分析模块对每一轮老化测试的结果进行记录、统计，并在多轮老化测试后，对所有测试结果数据进行分析处理，形成直观的折线图。该模块包括结果记录子模块和老化曲线绘制与分析子模块两部分，其中结果记录子模块，负责记录每一轮老化测试数据库服务器的性能指数，包括:响应时间，并发用户数等;老化曲线绘制与分析子模块，根据结果统计分析模块所记录的原始测试数据，绘制老化曲线，直观地反映出随数据库的老化请求响应时间的变化，从而找到数据库老化性能快速下降的拐点。
[0025]本发明还提出了一种电力营销用数据库老化测试系统，其特征在于设有数据库数据集生成模块1、数据导入模块2、数据库压力测试模块3、web网页模块4、结果统计分析模块5，其中所述数据库数据集生成模块I用于生成适用于电力营销系统数据库的模拟数据文件并将其保存成为数据文件；
所述数据导入模块2，用于将数据库数据集生成模块产生的数据文件导入到数据库中；所述数据库压力测试模块3，用于对数据库多用户的并发压力测试，能够模拟大量用户通过浏览器的大量并发业务操作，并在一轮老化测试之后计算出数据库服务器对请求的平均响应时间；
所述web网页模块4，用于连接数据库，接受来自压力测试模块的操作请求，并将压力测试模块的操作请求作用到数据库上；
所述结果统计分析模块5包括结果记录子模块和老化曲线绘制与分析子模块两部分，所述结果记录子模块负责记录每一轮老化测试中，数据库服务器的性能指数，包括:响应时间，并发用户数等指标，老化曲线绘制与统计分析子模块，负责对记录的所有测试数据，生成形成老化曲线，直观地反映出随着数据库老化数据库请求响应时间的变化，找到数据库性能快速下降的拐点。
[0026]本发明对于保障生产系统的高效运行，保障新发布业务的权威性测试，对不同厂商开发的信息系统进行统一、公平的性能评价，具有重要意义。
【主权项】
1.一种电力营销用数据库老化测试方法，其特征在于包括以下步骤: 步骤1:通过数据库数据集生成模块生成适用于电力营销系统数据库的模拟数据文本文件，针对电力营销信息化系统中代表性的“电费核算发行”业务，建立典型业务的数据模型，例如:电费用户信息、用电情况、设备损耗，以及电费记录数据模型，数据集生成模块针对电力营销信息化系统中代表性业务所抽取的数据模型，生成大量不同类型的测试数据并保存成文本文件； 步骤2:数据导入模块将数据集生成模块产生的数据导入到oracle数据库对应的表中，来模拟数据库的老化过程； 步骤3:数据库压力测试模块对数据库进行多用户的并发查询压力测试，该模块能够通过浏览器模拟多用户的并发操作行为，并在一轮老化测试完成后，计算出数据库对请求的平均响应时间； 步骤4:web网页模块连接数据库并接受来自数据库压力测试模块的操作请求，将压力测试模块的操作请求作用到数据库上，结果统计分析模块对每一轮老化测试的结果进行记录、统计，并在多轮老化测试后，对所有测试结果数据进行分析处理，形成直观的折线图； 步骤5:判断是否进行下一轮测试，若进行下一轮，则重复步骤I至步骤4，否则将产生的所有结果进行统计分析后结束。2.根据权利要求1所述的一种电力营销用数据库老化测试方法，其特征在于步骤I中数据库数据集文件生成模块生成适用于电力营销系统数据库的模拟数据文本文件，包括以下内容: 步骤1-1:数据模型的建立，针对电力营销信息化系统中代表性的“电费核算发行”业务，通过对该业务在数据库中相关表结构的研究，通过数据相关性的研究，建立典型业务的数据模型，例如:电费用户信息、用电情况、设备损耗，以及电费记录等数据模型； 步骤1-2:老化测试数据集规模的配置，根据老化测试目标的不同，可以对本轮老化测试数据集的规模进行配置； 步骤1-3:数据集文件生成，依据对本轮老化测试数据量的配置，针对步骤1-1所建立的典型业务的数据模型，依据数据库表的不同字段类型选择不同的数据生成方式，快速生成电力营销信息化系统代表性“电费核算发行”业务数据模型，进行老化测试所需的适当规模的模拟数据文本文件。3.根据权利要求1所述的一种电力营销用数据库老化测试方法，其特征在于步骤2中数据导入模块将数据库数据集生成模块所生成的文本文件，导入到待测目标数据库中的工作流程包括: 步骤2-1:首先对ctl格式的控制文件进行配置； 步骤2-2:通过编写脚本，将数据库数据集生成模块所产生数据的文本文件，按照数据库数据集生成模块所建立的数据模型，将文本文件导入到待测数据库对应表中；导入过程中，如果遇到的错误对后续的操作不产生影响的话，就记录错误并继续导入数据，产生的正确和错误日志分别存储为两个文件以便于查看，上述所有操作由一个脚本自动完成。4.根据权利要求1所述的一种电力营销用数据库老化测试方法，其特征在于步骤3中数据库压力测试模块对数据库进行多用户的并发查询压力测试包括以下内容: 步骤3-1:对每轮老化测试之前对服务器所产生的压力，例如:用户并发数量，以及用户的查询行为进行设置； 步骤3-2:在相应的时间周期中，通过模拟出预先设置的最大虚拟用户的并发数量，以及预先设置的虚拟用户行为，持续对待测目标系统通过web网页模块进行访问； 步骤3-3:通过数据库压力测试模块实现对目标数据库的访问，对待测服务器产生负载； 步骤3-4:在本轮测试结束后，计算出待测目标服务器对请求的平均响应时间。5.根据权利要求1所述的一种电力营销用数据库老化测试方法，其特征在于步骤4中web网页模块连接数据库并接受来自数据库压力测试模块的操作请求，将压力测试模块的操作请求作用到待测数据库上，其工作流程为: 步骤4-1:web网页模块接收数据库压力测试模块所产生的设置虚拟用户的并发请求，实现web目标业务的访问； 步骤4-2:在测试时间内web网页模块连接数据库，并将数据库压力测试模块所模拟的大量虚拟用户的并发web操作请求，转化为后台数据库的商业逻辑操作，即“电费核算营销业务”，并将数据库服务器返回的信息返回给数据库压力测试模块。6.根据权利要求1所述的一种电力营销用数据库老化测试方法，其特征在于步骤4中结果统计分析模块对每一轮老化测试的结果进行记录、统计，并在多轮老化测试后，对所有测试结果数据进行分析处理，形成直观的折线图，该模块包括结果记录子模块和老化曲线绘制与分析子模块两部分，其中结果记录子模块，负责记录每一轮老化测试数据库服务器的性能指数，包括:响应时间，并发用户数等;老化曲线绘制与分析子模块，根据结果统计分析模块所记录的原始测试数据，绘制老化曲线，直观地反映出随数据库的老化请求响应时间的变化，从而找到数据库老化性能快速下降的拐点。7.—种电力营销用数据库老化测试系统，其特征在于设有数据库数据集生成模块、数据导入模块、数据库压力测试模块、web网页模块、结果统计分析模块，其中所述数据库数据集生成模块用于生成适用于电力营销系统数据库的模拟数据文件并将其保存成为数据文件;所述数据导入模块，用于将数据库数据集生成模块产生的数据文件导入到数据库中；所述数据库压力测试模块，用于对数据库多用户的并发压力测试，能够模拟大量用户通过浏览器的大量并发业务操作，并在一轮老化测试之后计算出数据库服务器对请求的平均响应时间； 所述web网页模块，用于连接数据库，接受来自压力测试模块的操作请求，并将压力测试模块的操作请求作用到数据库上;所述结果统计分析模块包括结果记录子模块和老化曲线绘制与分析子模块两部分，所述结果记录子模块负责记录每一轮老化测试中，数据库服务器的性能指数，包括:响应时间，并发用户数等指标，老化曲线绘制与统计分析子模块，负责对记录的所有测试数据，生成形成老化曲线，直观地反映出随着数据库老化数据库请求响应时间的变化，找到数据库性能快速下降的拐点。
【文档编号】G06F17/30GK105912681SQ201610232410
【公开日】2016年8月31日
【申请日】2016年4月14日
【发明人】王贻亮, 荣以平, 王超, 乔学明, 刘乘麟, 王鑫, 朱伟义, 郭聃, 刘畅, 顾天凯
【申请人】国家电网公司, 国网山东省电力公司威海供电公司