一种基于自动化运维平台的数据分析方法及装置与流程

本发明涉及数据挖掘和运维自动化领域，更具体地说，涉及一种基于自动化运维平台的数据分析方法及装置。

背景技术：

随着信息时代的持续发展，面对越来越复杂的业务，从初期的几台服务器发展到庞大的数据中心，单靠人工已经无法满足业务的要求，因此自动化运维开始作为代替人工操作被广泛研究和应用。同时在自动化运维的平台中保存了大量服务器的实时监控信息，例如：各业务模块的整体运行情况、业务运行的异常等数据，其中含有一些商业价值。

因此，如何从运维数据中获取有价值的数据，实现对运维数据的分析及数据挖掘，是本领域技术人员需要解决的问题。

技术实现要素：

本发明的目的在于提供一种基于自动化运维平台的数据分析方法及装置，以从运维数据中获取有价值的数据，实现对运维数据的分析及数据挖掘。

为实现上述目的，本发明实施例提供了如下技术方案：

一种基于自动化运维平台的数据分析方法，包括：

从自动化运维平台的各个子系统中抽取预定数据维度的运维数据，并存入临时数据仓库；

利用所述临时数据仓库中运维数据的数据类型，确定与所述运维数据对应的关联数据分析算法，并通过所述关联数据分析算法对所述运维数据进行分析。

其中，利用所述临时数据仓库中运维数据的数据类型，确定与所述运维数据对应的关联数据分析算法，包括：

若所述运维数据为运维非结构化数据，则与所述运维数据对应的关联数据分析算法为非结构化关联数据分析算法；

若所述运维数据为运维结构化数据，则与所述运维数据对应的关联数据分析算法为结构化关联数据分析算法；

若所述运维数据为运维半结构化数据，则与所述运维数据对应的关联数据分析算法为半结构化关联数据分析算法。

其中，从自动化运维平台的各个子系统中抽取预定数据维度的运维数据之前，还包括：

根据分析任务的业务类型确定所述预定数据维度。

其中，选择与所述运维数据对应的关联数据分析算法对所述运维数据进行分析之后，还包括：

将所述运维数据的分析结果进行可视化展示。

其中，将所述运维数据的分析结果进行可视化展示包括：

利用3D文字云技术对所述分析结果进行可视化的展示。

一种基于自动化运维平台的数据分析装置，包括：

数据抽取模块，用于从自动化运维平台的各个子系统中抽取预定数据维度的运维数据，并存入临时数据仓库；

数据分析模块，用于利用所述临时数据仓库中运维数据的数据类型，确定与所述运维数据对应的关联数据分析算法，并通过所述关联数据分析算法对所述运维数据进行分析。

其中，所述数据分析模块包括：

第一关联数据分析算法确定单元，用于在所述运维数据为运维非结构化数据，则确定与所述运维数据对应的关联数据分析算法为非结构化关联数据分析算法；

第二关联数据分析算法确定单元，用于在所述运维数据为运维结构化数据，则确定与所述运维数据对应的关联数据分析算法为结构化关联数据分析算法；

第三关联数据分析算法确定单元，用于在所述运维数据为运维半结构化数据，则确定与所述运维数据对应的关联数据分析算法为半结构化关联数据分析算法。

其中，本方案还包括：

预定数据维度确定模块，用于从自动化运维平台的各个子系统中抽取预定数据维度的运维数据之前，根据分析任务的业务类型确定所述预定数据维度。

其中，本方案还包括：

展示模块，用于将所述运维数据的分析结果进行可视化展示。

其中，所述展示模块利用3D文字云技术对所述分析结果进行可视化的展示。

通过以上方案可知，本发明实施例提供的一种基于自动化运维平台的数据分析方法，包括：从自动化运维平台的各个子系统中抽取预定数据维度的运维数据，并存入临时数据仓库；利用所述临时数据仓库中运维数据的数据类型，确定与所述运维数据对应的关联数据分析算法，并通过所述关联数据分析算法对所述运维数据进行分析；可见，在本实施例中，通过关联数据分析方法对自动化运维平台中的运维数据进行分析，能挖掘运维数据中隐含的多维数据关联关系，实现对运维数据的分析和挖掘；本发明还公开了一种基于自动化运维平台的数据分析装置，同样能实现上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种基于自动化运维平台的数据分析方法流程示意图；

图2为本发明实施例公开的数据维度抽取示意图；

图3为本发明实施例公开的运维自动化平台中数据分析方法示意图；

图4为本发明实施例公开的关联数据分析在运维自动化中应用架构示意图；

图5为本发明实施例公开的一种基于自动化运维平台的数据分析装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于自动化运维平台的数据分析方法及装置，以从运维数据中获取有价值的数据，实现对运维数据的分析及数据挖掘。

参见图1，本发明实施例提供的一种基于自动化运维平台的数据分析方法，包括：

S101、从自动化运维平台的各个子系统中抽取预定数据维度的运维数据，并存入临时数据仓库；

具体的，参见图2，自动化运维平台中包含许多子系统，如服务器监控子系统、资产管理模块子系统、自动化部署子系统、业务运行监控子系统等。因此需要不同的数据抽取模块从对应的子系统中抽取运维数据。由于各个子系统的数据存储的位置不同，因此对运维数据进行分析时，不仅需要考虑单个子系统中包含数据的各个维度之间的联系，而且要考虑各子系统之间的关联，因此需要运维自动化平台能够快速的从各个子模块中抽取需要的数据维度，实现自动化运维平台的数据整合。

其中，从自动化运维平台的各个子系统中抽取预定数据维度的运维数据之前，还包括：根据分析任务的业务类型确定所述预定数据维度。

需要说明的是，自动化运维平台的使用人，不一定掌握专业的数据分析能力，因此，本实施例中的自动化运维平台能够提供针对某些分析任务推荐的可以选取的数据维度，也就是说本实施例中的预定数据维度可以根据实际情况进行修改及选取，从而满足不同数据分析系统的需求。

例如，需要想要分析各业务运行的情况与服务器中各硬件资源的使用情况是否具有一定的联系，可以选取，一定时间段内各自业务的运行时间、一定时间段内内存的消耗情况、一定时间段内CUP的消耗情况、一定时间内磁盘的I/O情况等等。

具体的，参考图2，为了对从不同子系统中抽取的运维数据进行整合处理，在本实施例中需要构建临时数据仓库，从每个子系统中抽取的运维数据均需要存放至临时数据仓库，也就是在内存中根据关联数据分析需要的数据维度建立一个临时数据表，从而实现对各个子系统中数据的整合处理。

S102、利用所述临时数据仓库中运维数据的数据类型，确定与所述运维数据对应的关联数据分析算法，并通过所述关联数据分析算法对所述运维数据进行分析。

需要说明的是，参见图3，利用所述临时数据仓库中运维数据的数据类型，确定与所述运维数据对应的关联数据分析算法，包括：

若所述运维数据为运维非结构化数据，则与所述运维数据对应的关联数据分析算法为非结构化关联数据分析算法；若所述运维数据为运维结构化数据，则与所述运维数据对应的关联数据分析算法为结构化关联数据分析算法；若所述运维数据为运维半结构化数据，则与所述运维数据对应的关联数据分析算法为半结构化关联数据分析算法。

具体的，运维自动化平台中包含多种数据类型，需要针对自动化运维数据平台中不同的数据类型提供不同的关联规则分析算法。因此，可针对运维数据的特点使用常用的数据挖掘算法对运维数据进行分析。例如：简单关联分析算法可以处理简单的离散数据，时序关联分析可以处理时间序列数据等等。

基于上述技术方案，在本实施例中，选择与所述运维数据对应的关联数据分析算法对所述运维数据进行分析之后，还包括：

将所述运维数据的分析结果进行可视化展示；其中，将所述运维数据的分析结果进行可视化展示包括：利用3D文字云技术对所述分析结果进行可视化的展示。

具体的，参见图4，根据运维数据的不同数据类型，可以选择多种关联数据分析算法对运维数据进行分析，例如：图4中分为关联数据分析1、关联数据分析2……关联数据分析n；由于关联分析算法的分析结果往往是枯燥无味的，因此在本实施例中，通过关联数据分析算法对运维数据分析后的分析结构，可通过运维自动化平台进行可视化展示，并且针对一些挖掘结果给予一些简单的语义分析。

下面对本发明实施例提供的数据分析装置进行介绍，下文描述的数据分析装置与上文描述的数据分析方法可以相互参照。

参见图5，本发明实施例提供的一种基于自动化运维平台的数据分析装置，包括：

数据抽取模块100，用于从自动化运维平台的各个子系统中抽取预定数据维度的运维数据，并存入临时数据仓库；

数据分析模块200，用于利用所述临时数据仓库中运维数据的数据类型，确定与所述运维数据对应的关联数据分析算法，并通过所述关联数据分析算法对所述运维数据进行分析。

基于上述实施例，所述数据分析模块包括：

第一关联数据分析算法确定单元，用于在所述运维数据为运维非结构化数据，则确定与所述运维数据对应的关联数据分析算法为非结构化关联数据分析算法；

第二关联数据分析算法确定单元，用于在所述运维数据为运维结构化数据，则确定与所述运维数据对应的关联数据分析算法为结构化关联数据分析算法；

第三关联数据分析算法确定单元，用于在所述运维数据为运维半结构化数据，则确定与所述运维数据对应的关联数据分析算法为半结构化关联数据分析算法。

基于上述任意实施例，本实施例还包括：

预定数据维度确定模块，用于从自动化运维平台的各个子系统中抽取预定数据维度的运维数据之前，根据分析任务的业务类型确定所述预定数据维度。

基于上述任意实施例，本实施例还包括：

展示模块，用于将所述运维数据的分析结果进行可视化展示。其中，所述展示模块利用3D文字云技术对所述分析结果进行可视化的展示。

本发明实施例提供的一种基于自动化运维平台的数据分析方法，包括：从自动化运维平台的各个子系统中抽取预定数据维度的运维数据，并存入临时数据仓库；利用所述临时数据仓库中运维数据的数据类型，确定与所述运维数据对应的关联数据分析算法，并通过所述关联数据分析算法对所述运维数据进行分析；可见，在本实施例中，通过关联数据分析方法对自动化运维平台中的运维数据进行分析，能挖掘运维数据中隐含的多维数据关联关系，实现对运维数据的分析和挖掘；本发明还公开了一种基于自动化运维平台的数据分析装置，同样能实现上述技术效果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。