多元数据分层存储系统及方法与流程

本发明涉及数据存储，特别涉及一种多元数据分层存储系统及方法。

背景技术：

1、计算机的应用程序会产生大量的数据以及对应的日志表，传统的技术中，一般采集应用程序的数据后，会进行分类存储，分类存储一般都是以数据之间的关系作为主要的分类手段，但是随着大量的数据模型的应用，数据之间需要通过进行类型的转化，比如需要将非结构化数据以及半结构化数据转化成结构化数据，以此便于模型对数据的处理。因此，需要构建通过对数据结构进行识别并存储的系统。

技术实现思路

1、有鉴于此，为了解决现有技术的问题，本发明提供了一种多元数据分层存储系统及方法。

2、其主要的技术方案如下：

3、多元数据分层存储系统，包括：

4、获取模块，用于获取区域网络内所有目标计算机中的数据资源；

5、配置模块，用于将多个不同数据结构识别模块进行组合，获取对多种类数据结构进行识别的识别特征，同时通过配置每一种数据结构识别模块在数据结构识别处理过程中处理量饱和度，并以设定周期作为记录单元形成一个记录周期，以识别特征标记每一单位设定量的数据结构类型；

6、存储部，按照数据结构的不同，将所述存储部划分为三层，其中，第一层设置有多个存储模块，每一存储模块用于对应的接入一数据结构识别模块，通过识别特征获取数据结构类型，同一存储模块用于存储同一数据结构的数据资源，第二层用于获取多个存储模块中数据资源之间的关系特征，并以此构建关系网络存储在第二层内；第三层为索引层，用于连接所述第二层，基于第二层构建的关系网络来对应的查找存储在第一层中多个存储模块的数据资源。

7、进一步地，所述获取模块具有：

8、多个监测单元；

9、任务管理器，用于获取与目标计算机的接入任务，

10、存储器，其包括基于接入任务而设定的执行程序；

11、执行器，连接所述任务管理器以及所述存储器，用于基于接入任务加载并执行所述执行程序；

12、所述执行器构成为通过为目标计算机与存储服务器之间建立传输通道，并通过传输通道同时接入多个传输线程以连接目标计算机的应用程序的数据库以及数据库所对应的日志表；

13、且当所述执行器依接入任务而建立传输通道的同时自动的将监测单元与传输通道实现唯一匹配配置，通过监测单元实时监测传输通道内数据的传输速率；

14、多个寄存单元，每一寄存单元与对应的所述传输通道和监测单元连接，用于寄存由传输通道传递的数据资源，并通过对传输速率的实时监测，以获取在一个记录周期内寄存在寄存单元内数据资源的资源量。

15、进一步地，所述执行器还包括当通过传输通道接入传输线程以连接目标计算机的应用程序的数据库时，用于同时获取数据库的基础参数，并将所述基础参数存储到寄存单元内。

16、进一步地，所述执行器还用于连接设置在获取模块内的时钟单元和标记单元；

17、其中，所述标记单元连接所述时钟单元、所述监测单元和所述寄存单元，用于根据时钟单元提供的基准时钟作为记录基准，当寄存单元内存储的数据资源达到设定的记录周期时，所述记录单元用于以时间作为标记轴来记录存储在寄存单元内的数据资源的资源量，并对应的在寄存单元内进行标记。

18、进一步地，所述配置模块具有：

19、组合部，具有第一组合形式和第二组合形式，所述第一组合形式用于将对于数据库的类型进行识别的多种识别单元进行组合，获取对多种数据库类型进行识别的第一识别特征集合；第二组合形式用于将多个不同数据结构识别模块进行组合，获取对多种类数据结构进行识别的第二识别特征集合；

20、第一配置部，用于根据第一识别特征集合与第二识别特征之间存在的关联关系配置多种识别单元与多种数据结构识别模块之间的链入关系，并将形成链入关系的识别单元和数据结构识别模块匹配形成关联；

21、第二配置部，用于基于以时间作为标记轴来记录的数据资源的资源量作为配置每一种数据结构识别模块在数据结构识别处理过程中处理量饱和度，以使得数据结构识别模块按照设定处理量饱和度来识别数据资源的数据结构类型；

22、第三配置部，用于构建多个并行的导入单元，并使得所述导入单元与设置在获取模块内的寄存单元进行连接，且导入单元被配置成以时间作为标记轴来记录的数据资源的资源量作为一次导入；

23、逻辑控制部，连接至组合部、第一配置部、第二配置部以及第三配置部，所述逻辑控制部用于根据组合部、第一配置部、第二配置部以及第三配置部的配置关系来建立控制逻辑，并根据建立的控制逻辑来控制数据资源导入至识别单元，根据识别单元的识别结果控制数据资源向多个不同数据结构识别模块的输入。

24、进一步地，所述控制逻辑包括：

25、将导入单元与设置在获取模块内的寄存单元形成一一对应连接，在导入单元从对应的寄存单元中导入设定资源量的数据资源时，控制逻辑先控制导入单元获取存储在寄存单元内的数据库的基础参数至多个识别单元中进行轮回识别，直到获得数据库的类型，基于得到的数据库的类型与比对库中的类型进行比较，若与比较库中数据库的类型一致，则根据链入关系将识别单元和数据结构识别模块匹配形成关联，若不一致，则按照设定规则将识别单元输入至具有设定规则轮回识别的至少两个数据结构识别模块中进行数据结构的识别。

26、本发明还提供了一种多元数据分层存储方法，包括如下步骤：

27、1)获取区域网络内所有目标计算机中的数据资源；

28、2)将多个不同数据结构识别模块进行组合，获取对多种类数据结构进行识别的识别特征，同时通过配置每一种数据结构识别模块在数据结构识别处理过程中处理量饱和度，并以设定周期作为记录单元形成一个记录周期，以识别特征标记每一单位设定量的数据结构类型；

29、3)将存储部划分为三层，其中，第一层设置有多个存储模块，每一存储模块用于对应的接入一数据结构识别模块，通过识别特征获取数据结构类型，同一存储模块用于存储同一数据结构的数据资源，第二层用于获取多个存储模块中数据资源之间的关系特征，并以此构建关系网络存储在第二层内；第三层为索引层，用于连接所述第二层，基于第二层构建的关系网络来对应的查找存储在第一层中多个存储模块的数据资源。

30、在步骤1)中，获取区域网络内所有目标计算机中的数据资源的方法包括：

31、获取与目标计算机的接入任务，

32、基于接入任务加载并执行所述执行程序；

33、通过执行所述执行程序为目标计算机与存储服务器之间建立传输通道，并通过传输通道同时接入多个传输线程以连接目标计算机的应用程序的数据库以及数据库所对应的日志表；

34、且当依接入任务而建立传输通道的同时自动的将监测单元与传输通道实现唯一匹配配置，通过监测单元实时监测传输通道内数据的传输速率；

35、将每一寄存单元与对应的所述传输通道和监测单元连接，用于寄存由传输通道传递的数据资源，并通过对传输速率的实时监测，以获取在一个记录周期内寄存在寄存单元内数据资源的资源量；

36、根据时钟单元提供的基准时钟作为记录基准，当寄存单元内存储的数据资源达到设定的记录周期时，所述记录单元用于以时间作为标记轴来记录存储在寄存单元内的数据资源的资源量，并对应的在寄存单元内进行标记。

37、当通过传输通道接入传输线程以连接目标计算机的应用程序的数据库时，用于同时获取数据库的基础参数，并将所述基础参数存储到寄存单元内。

38、本技术具有如下有益效果：

39、通过依据目标计算机与数据服务器之间的接入任务而进行传输通道的建立，并通过分配固定带宽使得传输通道具有稳定的传输效率，同时通过实时监测传输速率并以于以时间作为标记轴来记录存储在寄存单元内的数据资源的资源量，为数据结构识别模块在数据结构识别处理过程中处理量饱和度提供了基础。

40、通过设定数据结构识别处理过程中处理量饱和度来保障数据结构识别模块的处理效率。

41、利用分层存储的方式，其中，第一层设置有多个存储模块，每一存储模块用于对应的接入一数据结构识别模块，通过识别特征获取数据结构类型，同一存储模块用于存储同一数据结构的数据资源，第二层用于获取多个存储模块中数据资源之间的关系特征，并以此构建关系网络存储在第二层内；第三层为索引层，用于连接所述第二层，基于第二层构建的关系网络来对应的查找存储在第一层中多个存储模块的数据资源。通过构建分层存储，有利于基于通过索引层来加载数据，使得数据存储有序。