一种系统性能检测方法和检测装置与流程

文档序号:15076564发布日期:2018-08-01 01:52阅读:99来源:国知局

本发明涉及计算机技术领域,特别涉及一种系统性能检测方法和检测装置。



背景技术:

营销系统是企业为客户创造价值,实现与客户的交换,并最终获得销售收入和投资回报的主题系统,是达到企业经营目标最主要的保证。因此,营销系统在企业的整个运作中有着举足轻重的地位。

目前,检测营销系统性能的方式大多数是,在营销系统处理完一定数据量数据后再检测系统性能。但是,营销系统所处理的数据量往往较大,从而使得处理数据的时间相对较长,在还未对营销系统的性能进行检测时,营销系统可能已出现故障,从而导致发现营销系统性能异常的速度慢。



技术实现要素:

本发明实施例提供了一种系统性能检测方法和检测装置,能够提高发现营销系统性能异常的速度。

第一方面,本发明实施例提供了一种系统性能检测方法,包括:

预先确定至少一个待检测性能点;

针对每一个所述待检测性能点,从外部的营销系统中采集至少两个与所述待检测性能点相对应的性能数据;

确定采集到的每一个所述性能数据对应的数据类型;

针对每一个所述数据类型,对所述数据类型对应的每一个所述性能数据进行数据加工,并获得至少两个指标值;

根据获取的每一个所述指标值,确定所述营销系统性能。

优选地,在所述从外部的营销系统中采集至少两个与所述待检测性能点相对应的性能数据之后,在所述确定采集到的每一个所述性能数据对应的数据类型之前,进一步包括:

针对每一个所述待检测性能点,确定至少一个性能指标;

初始化采集的每一个所述性能数据;

所述对所述数据类型对应的每一个所述性能数据进行数据加工,并获得至少一个指标值,包括:

过滤采集的每一个所述性能数据中冗余性能数据;

针对每一个所述性能指标,

从过滤冗余性能数据后的每一个所述性能数据中,确定至少两个与所述性能指标相对应的指定性能数据;

确定各个所述性能数据对应的至少一个指标值。

优选地,在所述对所述数据类型对应的每一个所述性能数据进行数据加工,并获得至少两个指标值之后,在所述根据获取的每一个所述指标值,确定所述营销系统性能之前,进一步包括:

确定各个所述指标值对应的至少一个特征;

所述根据获取的每一个所述指标值,确定所述营销系统性能,包括:

结合确定的每一个所述特征和每一个所述指标值,生成性能图表;

根据生成的所述性能图表,确定所述营销系统性能。

优选地,在所述针对每一个所述数据类型,各个所述指标值所对应的至少两个特征之后,进一步包括:

针对确定出的每一个所述特征,将每一个所述指标值和将每一个预先采集的历史数据对应的至少一个预存指标值,按照所述特征进行特征分类形成至少一个特征类;

针对每一个所述特征类,将所述特征类对应的每一个所述指标值和每一个所述预存指标值进行比对,确定所述营销系统性能是否存在异常。

优选地,在所述根据所述待检测性能点,从外部的营销系统中采集至少两个与所述待检测性能点相对应的性能数据之前,进一步包括:

预先设置至少一个服务器;

根据每一个所述服务器分别对应的属性和预设的节点规则,从每一个所述服务器中确定指定服务器作为主节点,其中,所述属性,包括cpu性能和/或ip地址;

通过所述主节点,分别确定剩余的每一个所述服务器对应的检测任务,其中,所述检测任务,包括性能数据采集、性能数据加工和性能数据分析中的任意一个或多个;

所述从外部的营销系统中采集至少两个与所述待检测性能点相对应的性能数据,包括:

针对剩余的每一个所述服务器,根据对应的所述检测任务执行所述从所述营销系统中采集至少两个与所述待检测性能点相对应的性能数据。

第二方面,本发明实施例提供了一种系统性能检测装置,包括:

设置单元,用于预先确定至少一个待检测性能点;确定采集到的每一个所述性能数据对应的数据类型;

采集单元,用于针对所示设置单元确定每一个所述待检测性能点,从外部的营销系统中采集至少两个与所述待检测性能点相对应的性能数据;

处理单元,用于针对所示设置单元确定的每一个所述数据类型,对所述数据类型对应的每一个所述采集单元采集的所述性能数据进行数据加工,并获得至少两个指标值;根据获取的每一个所述指标值,确定所述营销系统性能。

优选地,所述设置单元,用于针对每一个所述待检测性能点,确定至少一个性能指标;

所述处理单元,用于初始化采集的每一个所述性能数据;过滤采集的每一个所述性能数据中冗余性能数据;针对每一个所述性能指标,从过滤冗余性能数据后的每一个所述性能数据中,确定至少两个与所述性能指标相对应的指定性能数据;确定各个所述性能数据对应的至少一个指标值。

优选地,所述处理单元,用于确定各个所述指标值对应的至少一个特征;结合确定的每一个所述特征和每一个所述指标值,生成性能图表;根据生成的所述性能图表,确定所述营销系统性能。

优选地,所述处理单元,进一步用于针对确定出的每一个所述特征,将每一个所述指标值和将每一个预先采集的历史数据对应的至少一个预存指标值,按照所述特征进行特征分类形成至少一个特征类;针对每一个所述特征类,将所述特征类对应的每一个所述指标值和每一个所述预存指标值进行比对,确定所述营销系统性能是否存在异常。

优选地,所述设置单元,进一步用于预先设置至少一个服务器;根据每一个所述服务器分别对应的属性和预设的节点规则,从每一个所述服务器中确定指定服务器作为主节点,其中,所述属性,包括cpu性能和/或ip地址;通过所述主节点,分别确定剩余的每一个所述服务器对应的检测任务,其中,所述检测任务,包括性能数据采集、性能数据加工和性能数据分析中的任意一个或多个;

所述采集单元,进一步用于针对剩余的每一个所述服务器,根据对应的所述检测任务执行所述从所述营销系统中采集至少两个与所述待检测性能点相对应的性能数据。

在本发明实施例中,在从外部的营销系统中采集性能数据(例如,服务器日志、数据库日志)时,需要根据预先确定的待检测性能点(例如,服务器性能、数据库性能)进行采集,再确定性能数据的数据类型,即对性能数据进行分类和数据加工处理,并获得相应的指标值,通过获得的指标值即可确定营销系统的性能,而无需等到营销系统处理完一定量的数据后再确定营销系统的性能,因此可以避免营销系统在处理数据时出现故障而无法及时发现,从而能够提高发现营销系统性能异常的速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种系统性能检测方法的流程图;

图2是本发明一实施例提供的一种系统性能检测装置的结构示意图;

图3是本发明一实施例提供的另一种系统性能检测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。

如图1所示,本发明实施例提供了一种系统性能检测方法和检测装置,包括:

步骤101:预先确定至少一个待检测性能点;

步骤102:针对每一个所述待检测性能点,从外部的营销系统中采集至少两个与所述待检测性能点相对应的性能数据;

步骤103:确定采集到的每一个所述性能数据对应的数据类型;

步骤104:针对每一个所述数据类型,对所述数据类型对应的每一个所述性能数据进行数据加工,并获得至少两个指标值;

步骤105:根据获取的每一个所述指标值,确定所述营销系统性能。

在本发明实施例中,在从外部的营销系统中采集性能数据(例如,服务器日志、数据库日志)时,需要根据预先确定的待检测性能点(例如,服务器性能、数据库性能)进行采集,再确定性能数据的数据类型,即对性能数据进行分类和数据加工处理,并获得相应的指标值,通过获得的指标值即可确定营销系统的性能,而无需等到营销系统处理完一定量的数据后再确定营销系统的性能,因此可以避免营销系统在处理数据时出现故障而无法及时发现,从而能够提高发现营销系统性能异常的速度。

在本发明一实施例中,在所述从外部的营销系统中采集至少两个与所述待检测性能点相对应的性能数据之后,在所述确定采集到的每一个所述性能数据对应的数据类型之前,进一步包括:

针对每一个所述待检测性能点,确定至少一个性能指标;

初始化采集的每一个所述性能数据;

所述对所述数据类型对应的每一个所述性能数据进行数据加工,并获得至少一个指标值,包括:

过滤采集的每一个所述性能数据中冗余性能数据;

针对每一个所述性能指标,

从过滤冗余性能数据后的每一个所述性能数据中,确定至少两个与所述性能指标相对应的指定性能数据;

确定各个所述性能数据对应的至少一个指标值。在所述从外部的营销系统中采集至少两个与所述待检测性能点相对应的性能数据之后,在所述确定采集到的每一个所述性能数据对应的数据类型之前,进一步包括:

针对每一个所述待检测性能点,确定至少一个性能指标;

初始化采集的每一个所述性能数据;

所述对所述数据类型对应的每一个所述性能数据进行数据加工,并获得至少一个指标值,包括:

过滤采集的每一个所述性能数据中冗余性能数据;

针对每一个所述性能指标,

从过滤冗余性能数据后的每一个所述性能数据中,确定至少两个与所述性能指标相对应的指定性能数据;

确定各个所述性能数据对应的至少一个指标值。

在本发明实施例中,在采集到性能数据后,需要对各个性能数据进行初始化处理,以使降低服务器处理性能数据时的难度,并过滤性能数据中冗余、不完整和错误的性能数据,再统一各个性能数据的格式,并根据多维度的性能点,确定性能数据对应的多个指标值,即可确定外部的营销系统性能。

其中,还可将记性数据加工后的性能数据保存到预先设置的mysql数据库内不同的数据表中,以使为后续确定指标值和确定营销系统性能提供数据源,而将性能数据保存到不同的数据表中,即可增加处理性能数据的速度,又能提高处理性能数据的灵活性。

在本发明一实施例中,在所述对所述数据类型对应的每一个所述性能数据进行数据加工,并获得至少两个指标值之后,在所述根据获取的每一个所述指标值,确定所述营销系统性能之前,进一步包括:

确定各个所述指标值对应的至少一个特征;

所述根据获取的每一个所述指标值,确定所述营销系统性能,包括:

结合确定的每一个所述特征和每一个所述指标值,生成性能图表;

根据生成的所述性能图表,确定所述营销系统的性能。

在本发明实施例中,在确定出指标值(例如,指标值为某个时间点cpu的占用率)后,经过机器学习k-means聚类算法匹配其离散度,确定出各个指标值对应的特征,(例如,随时间变化、cpu占用率增加、减少),再对各个特征和各个待监测性能点确定出的指标值进行加工,即可生成多维度的性能图表,再将生成的性能图表展示给用户,用户即可根据性能图表确定营销系统性能,从而实现营销系统性能的实时通知和预警。

在本发明一实施例中,在所述针对每一个所述数据类型,各个所述指标值所对应的至少两个特征之后,进一步包括:

针对确定出的每一个所述特征,将每一个所述指标值和将每一个预先采集的历史数据对应的至少一个预存指标值,按照所述特征进行特征分类形成至少一个特征类;

针对每一个所述特征类,将所述特征类对应的每一个所述指标值和每一个所述预存指标值进行比对,确定所述营销系统性能是否存在异常。

在本发明实施例中,通过机器决策树算法下的基本分类模型,对确定出的各个特征进行分类形成各个特征类,并结合预先采集的历史数据,即可总结营销系统性能特征,并可以深度挖掘影响系统性能的主要因素,从而实现发现营销系统存在的潜在隐患的目的。

在本发明一实施例中,在所述根据所述待检测性能点,从外部的营销系统中采集至少两个与所述待检测性能点相对应的性能数据之前,进一步包括:

预先设置至少一个服务器;

根据每一个所述服务器分别对应的属性和预设的节点规则,从每一个所述服务器中确定指定服务器作为主节点,其中,所述属性,包括cpu性能和/或ip地址;

通过所述主节点,分别确定剩余的每一个所述服务器对应的检测任务,其中,所述检测任务,包括性能数据采集、性能数据加工和性能数据分析中的任意一个或多个;

所述从外部的营销系统中采集至少两个与所述待检测性能点相对应的性能数据,包括:

针对剩余的每一个所述服务器,根据对应的所述检测任务执行所述从所述营销系统中采集至少两个与所述待检测性能点相对应的性能数据。

在本发明实施例中,在采集外部的营销系统性能数据之前,需要先部署基于hadoop环境的多节点服务器,而将hadoop环境部署在低廉的服务器(pc)上,不但可以提供高吞吐量来访问外部营销系统的性能数据,还可以降低处理性能数据的成本。再从多个服务器中确定一台服务器为主节点,而确定主节点时,可以根据各个服务器对应的属性(例如,cpu、ip)确定,而通过主节点对剩余的服务器进行数据流调配、任务调度等,既可以提高确定外部营销系统性能的速度,还能够有效防止单点故障,从而达到提高容灾能力的目的。

其中,检测任务可以是从营销系统中采集性能数据、确定采集到的性能数据的数据类型、获得指标值、确定营销系统性能中的任意一个或多个,以及主节点可以在剩余的服务器中安装部署spark、hdfs、hive等分布式计算,以使为营销系统的性能数据处理提供运行环境。

为了更加清楚的说明本发明的技术方案及优点,下面以待检测性能点为服务器性能为例,对本发明实施例提供的一种系统性能检测方法进行详细描述,该方法可以包括以下步骤:

步骤201:从外部的营销系统中采集至少两个与服务器性能相对应的性能数据。

具体地,在采集外部营销系统的性能数据之前,需要先部署基于hadoop环境的多节点服务器,并从多个服务器中选出主节点,通过主节点为剩余的服务器进行全局调配,并根据用户的实际需求中的业务指标,来确定营销系统对应的待检测性能点,以使根据性能点从外部的营销系统中采集性能数据。

举例来说,预先设置服务器f、服务器w和服务器q;

服务器f对应的属性为ip地址为1、服务器w对应的属性为ip地址为2、服务器q对应的属性为ip地址为3,根据预设的规则为ip地址的先后顺序确定主节点,确定服务器f为主节点;

在服务器f中安装管理节点,并通过服务器f为服务器w和服务器q分别安装spark、hdfs、hive;

服务器w和服务器q根据预先确定的性能点为服务器性能,从外部的营销系统中采集性能数据为:

2017年12月12日14:10:内存占用30%、2017年12月12日14:20:内存占用50%;

2017年12月12日14:10:cpu占用率60%、2017年12月12日14:50:cpu占用率65%、2017年12月12日15:10:cpuzhanyonglv0.8、2017年12月12日15:50:cpu占用率85%。

步骤202:初始化采集的每一个性能数据。

具体地,为了方便后续使用采集的性能数据,需要初始化采集的性能数据。

步骤203:过滤采集的每一个性能数据中冗余性能数据。

具体地,在初始化采集的性能数据后,需要过滤性能数据中冗余、不完整、错误的性能数据,以使经过过滤后的性能数据能够用于后续的处理。

举例来说,过滤冗余性能数据为2017.12.14.14.20cpu占用率65%,将性能数据2017年12月12日15:10:cpuzhanyonglv0.8的格式转换为2017年12月12日15:10:cpu占用率80%。

步骤204:确定服务器性能对应的至少一个性能指标。

具体地,在营销系统运行时,需要对营销系统进行跟踪调查,需要针对营销系统的每一个待监测性能点(例如,服务器性能、数据库性能),拆分成多个性能指标(例如,cpu资源,内存占用、容量预测、吞吐量、响应时间、cpu压力、磁盘占用),以使通过性能指标来确定营销系统的运行情况,才能为后续提供参考,及早的调节以避免故障问题。

举例来说,根据业务指标确定待监测性能点为服务器性能中的cpu占用率。

步骤205:针对每一个性能指标,从过滤冗余性能数据后的每一个性能数据中,确定至少两个与性能指标相对应的指定性能数据。

具体地,每一个性能指标在采集的性能数据中,会对应多个指定性能数据,再根据各个指定性能数据之间的规律,确定营销系统的运行情况。

举例来说,确定与性能指标为cpu占用率相对应的指定性能数据为:

2017年12月12日14:10:cpu占用率60%、2017年12月12日14:50:cpu占用率65%、2017年12月12日15:10:cpu占用率80%、2017年12月12日15:50:cpu占用率85%。

步骤206:确定各个指定性能数据对应的至少一个指标值。

具体地,将各个指定性能数据与预设的规则进行结合,即可确定对应的至少一个指标值。

举例来说,以小时为单位,确定指定性能数据为2017年12月12日14:10:cpu占用率60%和2017年12月12日14:50:cpu占用率65%对应的指标值为cpu占用率63%。

确定指定性能数据为2017年12月12日15:10:cpu占用率80%、2017年12月12日15:50:cpu占用率85%对应的指标值为cpu占用率83%。

步骤207:确定各个指标值对应的至少一个特征。

具体地,经过及其学习k-means聚类算法匹配各个指标值的离散度,即可确定对应的特征。

举例来说,确定指标值为cpu占用率63%对应的特征为小于70%,确定指标值为cpu占用率83%对应的特征为大于80%。

步骤208:结合确定的每一个特征和每一个指标值,生成性能图表。

具体地,将各个指标值进行排序,再结合对应的特征即可生成相应的性能图表。

举例来说,按照时间排序各个指标值,随着时间指标值再增长,可绘制出营销系统cpu的性能图表。

步骤209:根据生成的性能图表,确定营销系统的性能。

具体地,在生成性能图表后,以用户界面交互ui的方式展示给用户,用户即可根据性能图表中的信息确定营销系统的性能,从而实现营销系统性能的实时通知与预警,并且,再通过机器学习基于决策树算法下的基本分类模型,总结系统性能特征,深度挖掘影响系统性能的主要因素。及时发现系统存在的潜在隐患。

如图3所示,本发明实施例提供了一种系统性能检测装置,包括:

设置单元301,用于预先确定至少一个待检测性能点;确定采集单元采集到的每一个所述性能数据对应的数据类型;

采集单元302,用于针对所示设置单元301确定每一个所述待检测性能点,从外部的营销系统中采集至少两个与所述待检测性能点相对应的性能数据;

处理单元303,用于针对所示设置单元301确定的每一个所述数据类型,对所述数据类型对应的每一个所述采集单元302采集的所述性能数据进行数据加工,并获得至少两个指标值;根据获取的每一个所述指标值,确定所述营销系统性能。

在本发明实施例中,采集单元在从外部的营销系统中采集性能数据(例如,服务器日志、数据库日志)时,需要根据设置单元预先确定的待检测性能点(例如,服务器性能、数据库性能)进行采集,处理单元再通过设置单元确定性能数据的数据类型,即对采集单元采集的性能数据进行分类和数据加工处理,并获得相应的指标值,通过获得的指标值即可确定营销系统的性能,而无需等到营销系统处理完一定量的数据后再确定营销系统的性能,因此可以避免营销系统在处理数据时出现故障而无法及时发现,从而能够提高发现营销系统性能异常的速度。

在本发明一实施例中,所述设置单元,用于针对每一个所述待检测性能点,确定至少一个性能指标;

所述处理单元,用于初始化采集的每一个所述性能数据;过滤采集的每一个所述性能数据中冗余性能数据;针对每一个所述性能指标,从过滤冗余性能数据后的每一个所述性能数据中,确定至少两个与所述性能指标相对应的指定性能数据;确定各个所述性能数据对应的至少一个指标值。

在本发明一实施例中,所述处理单元,用于确定各个所述指标值对应的至少一个特征;结合确定的每一个所述特征和每一个所述指标值,生成性能图表;根据生成的所述性能图表,确定所述营销系统性能。

在本发明一实施例中,所述处理单元,进一步用于针对确定出的每一个所述特征,将每一个所述指标值和将每一个预先采集的历史数据对应的至少一个预存指标值,按照所述特征进行特征分类形成至少一个特征类;针对每一个所述特征类,将所述特征类对应的每一个所述指标值和每一个所述预存指标值进行比对,确定所述营销系统性能是否存在异常。

在本发明一实施例中,所述设置单元,进一步用于预先设置至少一个服务器;根据每一个所述服务器分别对应的属性和预设的节点规则,从每一个所述服务器中确定指定服务器作为主节点,其中,所述属性,包括cpu性能和/或ip地址;通过所述主节点,分别确定剩余的每一个所述服务器对应的检测任务,其中,所述检测任务,包括性能数据采集、性能数据加工和性能数据分析中的任意一个或多个;

所述采集单元,进一步用于针对剩余的每一个所述服务器,根据对应的所述检测任务执行所述从所述营销系统中采集至少两个与所述待检测性能点相对应的性能数据。

本发明各个实施例至少具有如下有益效果:

1、在本发明一实施例中,在从外部的营销系统中采集性能数据(例如,服务器日志、数据库日志)时,需要根据预先确定的待检测性能点(例如,服务器性能、数据库性能)进行采集,再确定性能数据的数据类型,即对性能数据进行分类和数据加工处理,并获得相应的指标值,通过获得的指标值即可确定营销系统的性能,而无需等到营销系统处理完一定量的数据后再确定营销系统的性能,因此可以避免营销系统在处理数据时出现故障而无法及时发现,从而能够提高发现营销系统性能异常的速度。

2、在本发明一实施例中,在采集到性能数据后,需要对各个性能数据进行初始化处理,以使降低服务器处理性能数据时的难度,并过滤性能数据中冗余、不完整和错误的性能数据,再统一各个性能数据的格式,并根据多维度的性能点,确定性能数据对应的多个指标值,即可确定外部的营销系统性能。

3、在本发明一实施例中,在确定出指标值(例如,指标值为某个时间点cpu的占用率)后,经过机器学习k-means聚类算法匹配其离散度,确定出各个指标值对应的特征,(例如,随时间变化、cpu占用率增加、减少),再对各个特征和各个待监测性能点确定出的指标值进行加工,即可生成多维度的性能图表,再将生成的性能图表展示给用户,用户即可根据性能图表确定营销系统性能,从而实现营销系统性能的实时通知和预警。

4、在本发明一实施例中,通过机器决策树算法下的基本分类模型,对确定出的各个特征进行分类形成各个特征类,并结合预先采集的历史数据,即可总结营销系统性能特征,并可以深度挖掘影响系统性能的主要因素,从而实现发现营销系统存在的潜在隐患的目的。

5、在本发明一实施例中,在采集外部的营销系统性能数据之前,需要先部署基于hadoop环境的多节点服务器,而将hadoop环境部署在低廉的服务器(pc)上,不但可以提供高吞吐量来访问外部营销系统的性能数据,还可以降低处理性能数据的成本。再从多个服务器中确定一台服务器为主节点,而确定主节点时,可以根据各个服务器对应的属性(例如,cpu、ip)确定,而通过主节点对剩余的服务器进行数据流调配、任务调度等,既可以提高确定外部营销系统性能的速度,还能够有效防止单点故障,从而达到提高容灾能力的目的。

需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个〃····〃”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1