一种智能化数据中心建设的实现装置的制作方法

本发明涉及计算机互联网领域，尤其涉及一种智能化数据中心建设的实现装置。

背景技术：

目前，随着个人信息消费需求、大数据、云计算、物联网的兴起，使得数据中心正在经历着前所未有的改变，数据中心的复杂程度越来越高，任何领域的数据中心总有关键的基本要素是数据中心构建所必需的因素，伴随着大数据行业的发展，数据中心要有足够的扩展性，对数据中心的数据保存制定策略，以及数据存储备份，同时，保证系统稳定运行。

因此，数据中心的建设运营必须实现以高弹性、高效、高可靠及高度智能化自动化为特征的智慧数据中心。本发明提出一种智能化数据中心建设的实现装置，能够建立高效的数据指标体系，对数据交叉分析，从而，全面支撑公司数据分析需求，驱动业务决策。

技术实现要素：

有鉴于此，本发明的主要目的在于提供一种智能化数据中心建设的实现装置，能够实现收集、分析提供公司发展战略可依据或可参考的有价值的数据，为公司决策使用。

为达到上述目的，本发明的技术方案是这样实现的：

一种智能化数据中心建设的实现装置包含以下几个流程：

a、元数据；

b、数据存储；

c、数据采集；

d、数据分析；

e、数据服务；

f、dashboard；

g、数据执行代理。

进一步地，其中所述的元数据模块描述数据中心数据存放位置，定义数据中心存储数据结构，根据业务，定义需要存储业务的数据结构。

进一步地，其中所述的数据存储模块主要功能为数据源维护，数据库分库与分表设计与维护，数据镜像(slave只读)，存储结构化和非结构化两种数据类型。

进一步地，其中所述的数据采集模块主要为各种数据采集工具，以及api的实现。同步数据，基于master=>slave从slave表中抽取有价值的数据。异步数据，基于消息机制，使用kafka，flume，基于aop或者日志log4j从各业务系统收集产品定义的关键业务数据。

进一步地，其中所述的数据分析模块数据分析主要包括离线分析和实时分析。

进一步地，其中所述的数据服务模块主要包括安全认证、服务管理、服务安全，对内与对外服务接口。

进一步地，其中所述的dashboard模块主要负责数据中心的后台管理，其中所述的后台管理包括权限管理，服务管理以及基础配置信息等基础信息功能。

进一步地，其中所述的数据执行代理模块主要是数据分析描述引擎。

本发明所提供的一种智能化数据中心建设的实现装置，具有以下优点：

1）为公司的规划发展提供有价值或可参考的数据信息；

2）公司业务决策使用；

3）分析挖掘数据，满足公司多样化的业务需求。

附图说明

图1为本发明一种智能化数据中心建设的实现装置功能结构示意图；

图2为本发明一种智能化数据中心建设的实现装置流程示意图；

图3为本发明一种智能化数据中心建设的实现装置应用场景示意图；

图4为本发明一种智能化数据中心建设的实现装置数据中心交互示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图及本发明的实施例对本发明的一种智能化数据中心建设的实现装置作进一步详细的说明。

参考图4，该数据中心的数据交互，具体包含以下几个流程：

数据源管理三条线：

（1）【1】只维护业务数据源，不收集数据，在需要分析数据时，根据【数据源维护】直接调用数据（结构化，非结构化数据）。

（2）【1】=>【2】=>【3】=>【4】=>【5】=>（【6】=>【7】=>【8】）同步收集数据至数据中心集中存储，以及分析。

（3）【a】=>【b】=>【c】=>（【6】=>【7】=>【8】）异步收集数据到数据中心。

其中所述的【1】代表维护业务数据源，【2】代表加载数据源，【3】代表读写数据库，【4】代表数据同步，【5】代表对数据进行采集，【6】代表对数据进行分析，【7】代表返回，【8】代表返回结果，【a】代表异步日志，【b】代表收集消息，【c】代表存储消息。

本发明为解决一种智能化数据中心建设的实现装置，主要采用了以下技术，下面对这些技术进行简单介绍。

1）kafka技术。kafka是一种高吞吐量的分布式发布-订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，它最初由linkedin公司开发，之后成为apache项目的一部分。kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。本发明主要用在数据采集模块。

2）storm技术。storm是一个免费开源、分布式、高容错的实时计算系统。storm令持续不断的流计算变得容易，弥补了hadoop批处理所不能满足的实时要求。storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和etl等领域。storm的部署管理非常简单，而且，在同类的流式计算工具，storm的性能也是非常出众的。storm主要分为两种组件nimbus和supervisor。这两种组件都是快速失败的，没有状态。任务状态和心跳信息等都保存在zookeeper上的，提交的代码资源都在本地机器的硬盘上。nimbus负责在集群里面发送代码，分配工作给机器，并且监控状态。全局只有一个，supervisor会监听分配给它那台机器的工作，根据需要启动/关闭工作进程worker。每一个要运行storm的机器上都要部署一个，并且，按照机器的配置设定上面分配的槽位数。本发明主要用在数据分析模块。

3）hive技术。hive是建立在hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（etl），这是一种可以存储、查询和分析存储在hadoop中的大规模数据的机制。hive定义了简单的类sql查询语言，称为hql，它允许熟悉sql的用户查询数据。同时，这个语言也允许熟悉mapreduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。hive没有专门的数据格式。hive可以很好的工作在thrift之上，控制分隔符，也允许用户指定数据格式。本发明中主要用在数据分析模块。

4）oracle和mysql技术。oracle能在所有主流平台上运行（包括windows），采用完全开放策略。可以使客户选择最适合的解决方案。oracle的事务日志归档相当方便，oracle的数据字典丰富，支持mysql支持5000万条记录的数据仓库，适应于所有的平台是开源软件，版本更新较快，本发明中主要用来结构化数据存储。

5）hdfs和nosql技术。hdfs是hadoop分布式文件系统被设计成适合运行在通用硬件上的分布式文件系统，hdfs有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。nosql非关系型数据库，数据结构要求不严格，表结构可变，不需要像关系型数据库一样需要预先定义表结构，本发明中主要用来非结构化数据存储。

下面介绍该装置的几个典型应用场景：

应用场景一：

本发明应用在互联网平台，智能化实现系统维护和管理，能够提供大平台的监测需求，提供数据分析能力，实现多指标，多维度交叉分析，并从多个数据库里，不管是结构化还是非结构化数据，将抓取有用的信息，变成一个有效的报表分析结果，同时还能从报表的历史数据中，预测未来的数据结果。

应用场景二：

参考图3，本发明的数据中心数据交互过程具体如下：

1）只维护数据源，不进行数据采集，在需要分析数据的时候，根据数据源维护直接调用数据；

2）同步采集数据到数据中心，支持多种埋点方式，为公司建立完整的数据仓库，同时进行多维交叉分析，深度挖掘数据价值；

3）根据消息中间件，异步收集数据到数据中心。

其中，参考图3，图中所述的后台管理具体包括以下几个模块：

权限管理模块；

元数据模块；

存储管理模块；

数据服务模块。

其中所述的权限管理模块主要包括用户、角色、资源；

其中所述的元数据模块包括数据源维护、元数据维护、分库分表维护

其中所述的数据服务模块包括接口管理、数据分析、报表。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

所述领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述到的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，可以采用软件功能单元的形式实现。

需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（read-onlymemory，rom）或随机存储记忆体（randomaccessmemory，ram）等。

以上对本发明所提供的一种智能化数据中心建设的实现装置进行了详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。