数据存储方法、装置及管理服务器与流程

本发明涉及数据存储领域，特别涉及一种数据存储方法、装置及管理服务器。

背景技术：

随着国网公司信息化建设的深入，公司在运信息系统设备数量快速增长，当前各单位信息系统数量已增至百套以上、设备数量超过几千台，而目前信息系统的资源占用率、运行环境交付、升级等运维作业仍然依赖传统手工方式，存在需求响应慢、人员依赖性高、有操作失误风险等问题。同时，运维人员长期陷在重复性、低技术含量的工作中，工作压力沉重，运维成效无法测量，创造能力得不到发挥。

在这种情况下，使用情况分析系统应运而生。使用情况分析系统采用分布式系统，包括多个云存储服务器，云存储服务器执行分布式处理任务的体系结构，主要用于存储客户端采集到的使用情况数据，以便于进行后续的分析和计算，最终实现提高系统运维效率的目的。

但是，由于使用情况数据包括诸多类型的数据，因此在对云存储服务器上的数据进行分析计算的时候，需要同时对多种类型的数据进行分析计算，占用较多的内存资源，计算效率较低。

技术实现要素：

本发明的目的是提供一种数据存储方法、装置及管理服务器，用以解决传统使用情况分析系统中的云存储服务器上存储多种类型的数据，导致数据分析计算效率较低的问题。

为解决上述技术问题，本发明提供了一种数据存储方法，应用于使用情况分析系统中的管理服务器，所述使用情况分析系统还包括客户端和云存储服务器，包括：

接收所述客户端发送的待存储的使用情况数据；

按照使用情况类型对所述使用情况数据进行分块，得到多个数据块；

根据各个所述数据块的使用情况类型，从多个所述云存储服务器中确定用于存储所述数据块的云存储服务器；

将所述数据块存储到对应的云存储服务器。

其中，所述根据各个所述数据块的使用情况类型，从多个所述云存储服务器中确定用于存储所述数据块的云存储服务器包括：

根据各个所述数据块的使用情况类型以及所述云存储服务器的闲忙情况，从多个所述云存储服务器中确定用于存储所述数据块的云存储服务器。

其中，在所述根据各个所述数据块的使用情况类型，从多个所述云存储服务器中确定用于存储所述数据块的云存储服务器之后，包括：

将所述数据块与用于存储所述数据块的云存储服务器之间的对应关系发送到所述客户端。

其中，所述对应关系包括所述云存储服务器的ip地址和端口号。

其中，在所述接收所述客户端发送来的待存储的使用情况数据之前，包括：

接收所述客户端发送来的连接建立请求，所述连接建立请求包括所述客户端的地理位置或机器类型；

根据所述连接建立请求，确定用于存储所述客户端上数据的云存储服务器；

所述从多个所述云存储服务器中确定分别用于存储各个所述数据块的云存储服务器包括：

从多个所述用于存储所述客户端上数据的云存储服务器中确定分别用于存储各个所述数据块的云存储服务器。

其中，所述云存储服务器为采用hadoop分布式文件系统的计算机。

其中，所述使用情况类型包括设备使用情况、数据库使用情况以及用户使用情况中至少两项。

此外，本发明还提供了一种数据存储装置，应用于使用情况分析系统中的管理服务器，所述使用情况分析系统还包括客户端和云存储服务器，包括：

待存储数据接收模块：用于接收所述客户端发送来的待存储的使用情况数据；

数据划分模块：用于按照使用情况类型对所述使用情况数据进行分块，得到多个数据块；

云存储服务器确定模块：用于根据各个所述数据块的使用情况类型，从多个所述云存储服务器中确定用于存储所述数据块的云存储服务器；

数据块存储模块：用于将所述数据块存储到对应的云存储服务器。

其中，所述云存储服务器确定模块具体用于：根据各个所述数据块的使用情况类型以及所述云存储服务器的闲忙情况，从多个所述云存储服务器中确定用于存储所述数据块的云存储服务器。

最后，本发明还提供了一种管理服务器，应用于使用情况分析系统，所述使用情况分析系统包括客户端和云存储服务器，所述管理服务器用于接收所述客户端发送来的待存储的使用情况数据，并按照使用情况类型对所述使用情况数据进行分块，得到多个数据块；还用于根据各个所述数据块的使用情况类型，从多个所述云存储服务器中确定用于存储所述数据块的云存储服务器，并将所述数据块存储到对应的云存储服务器。

本发明所提供的一种数据存储方法，应用于使用情况分析系统中的管理服务器，在接收到客户端发送的待存储的使用情况数据之后，会将使用情况数据按照使用情况类型进行分块，并根据使用情况类型将数据块存储到对应的云存储服务器。可见，本发明提供的数据存储方法，能够将使用情况数据按照使用情况类型进行分块并存储到对应的云存储服务器上，因此云存储服务器上存储的数据类型较为单一，在对数据进行分析计算时，只需要对一种类型的数据进行分析计算，占用的内存资源较少，提高了数据分析计算的效率。

此外，本发明还提供了一种数据存储装置及管理服务器，其作用与上述方法的作用相对应，这里不再赘述。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种使用情况分析系统的部分结构框图；

图2为本发明提供的一种数据存储方法实施例的实现流程图；

图3为本发明提供的一种数据存储装置实施例的结构框图。

具体实施方式

本发明的核心是提供一种数据存储方法、装置及管理服务器，减少了在进行数据分析计算时内存资源的占用，提高了数据分析计算的效率。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面对本发明提供的一种数据存储方法实施例进行介绍，该数据存储方法实施例的应用场景参见图1，主要包括使用情况分析系统中的管理服务器100，还包括客户端200和云存储服务器300。参见图2，该实施例包括：

步骤s201：接收所述客户端200发送的待存储的使用情况数据。

在进行数据存储之前，也就是在步骤s101之前，客户端200与管理服务器100之间需要建立连接。建立连接时，可以同时考虑客户端的情形来确定用于存储该客户端200上数据的云存储服务器300，例如，可以在连接形成时或发起连接的时候，就获取客户端200的地址位置，这样就可以根据客户端200的地址位置，为该客户端200分配距离较近的云存储服务器300。此外，还可以基于客户端200的机器类型等因素为其分配云存储服务器300。

具体的建立连接的过程可以如下：客户端200向管理服务器100发送连接建立请求，所述连接建立请求包括所述客户端200的地理位置或机器类型等信息，管理服务器100接收到所述客户端发送来的连接建立请求后，根据所述连接建立请求确定用于存储所述客户端上数据的云存储服务器300。

步骤s202：按照使用情况类型对所述使用情况数据进行分块，得到多个数据块。

本发明所涉及的使用情况类型可以包括设备使用情况、数据库使用情况以及用户使用情况中至少两项。

步骤s203：根据各个所述数据块的使用情况类型，从多个所述云存储服务器300中确定用于存储所述数据块的云存储服务器300。

具体的，在确定用于存储数据块的过程中，还可以综合考虑各个云存储服务器300的闲忙情况，甚至是可利用存储空间等。

在确定用于存储各个数据块的云存储服务器300之后，可以将所述数据块与用于存储所述数据块的云存储服务器300之间的对应关系发送到所述客户端200，例如所述云存储服务器300的ip地址和端口号等。

值得注意的是，为了方便后期查找数据，可以在确定各个数据块存储到哪个云存储服务器300之后，将客户端——>整个数据文件——>各个数据块——>各个数据块的存储位置以目录的形式记录下来。

所述云存储服务器300可以为采用hadoop分布式文件系统的计算机。

步骤s204：将所述数据块存储到对应的云存储服务器300。

综上，本实施例所提供的一种数据存储方法，应用于使用情况分析系统中的管理服务器，在接收到客户端发送的待存储的使用情况数据之后，会将使用情况数据按照使用情况类型进行分块，并根据使用情况类型将数据块存储到对应的云存储服务器。可见，本实施例提供的数据存储方法，能够将使用情况数据按照使用情况类型进行分块并存储到对应的云存储服务器上，因此云存储服务器上存储的数据类型较为单一，在对数据进行分析计算时，只需要对一种类型的数据进行分析计算，占用的内存资源较少，提高了数据分析计算的效率。

下面对本发明实施例提供的一种数据存储装置进行介绍，下文描述的一种数据存储装置与上文描述的一种数据存储方法可相互对应参照。

该装置实施例主要应用于使用情况分析系统的管理服务器100，参见图3，该装置实施例具体包括：

待存储数据接收模块301：用于接收所述客户端发送来的待存储的使用情况数据。

数据划分模块302：用于按照使用情况类型对所述使用情况数据进行分块，得到多个数据块。

云存储服务器确定模块303：用于根据各个所述数据块的使用情况类型，从多个所述云存储服务器中确定用于存储所述数据块的云存储服务器。

数据块存储模块304：用于将所述数据块存储到对应的云存储服务器。

其中，所述云存储服务器确定模块303具体用于：根据各个所述数据块的使用情况类型以及所述云存储服务器的闲忙情况，从多个所述云存储服务器中确定用于存储所述数据块的云存储服务器。

本实施例的一种数据存储装置用于实现前述的一种数据存储方法，因此该装置中的具体实施方式可见前文中的一种数据存储装置的实施例部分，例如，待存储数据接收模块301、数据划分模块302、云存储服务器确定模块303、数据块存储模块404，分别用于实现上述一种数据存储方法中步骤s201，s202，s203，s204。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例提供的一种数据存储装置用于实现前述的一种数据存储方法，因此其作用与上述方法的作用相对应，这里不再赘述。

最后，参见图1，本发明还提供了一种管理服务器100，应用于使用情况分析系统，所述使用情况分析系统包括客户端200和云存储服务器300，所述管理服务器100用于接收所述客户端200发送来的待存储的使用情况数据，并按照使用情况类型对所述使用情况数据进行分块，得到多个数据块；还用于根据各个所述数据块的使用情况类型，从多个所述云存储服务器300中确定用于存储所述数据块的云存储服务器300，并将所述数据块存储到对应的云存储服务器300。

由于本发明提供的一种管理服务器用于实现前述的一种数据存储方法，因此其具体实施方式可以参见上述一种数据存储方法实施例的描述，这里不再展开介绍，另外，显然其作用与上述方法的作用相对应，这里也不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种数据存储方法、装置及管理服务器进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。