一种降低存储转存时间的数据存储方法与流程

本发明涉及数据存储，特别涉及一种降低存储转存时间的数据存储方法。

背景技术：

1、目前，随着科技的发展，互联网企业对数据存储的需求越来越高，同时随着互联网金融模式的逐步扩展，现有的用户对数据时效性的要求也越来越高，用户对不同类型的数据要求的存储转存时间会有所不同，如银行卡等信息数据的存储时间会比较短，一些视频文件数据或文本文件数据的存储时间则会较长，但是现有的数据存储方法是按照数据上传时间等数据参数对数据进行分类存储，并不会按照数据的转存目标采取不同的数据存储格式，导致数据转存存储时间过长。

2、因此，本发明提出一种降低存储转存时间的数据存储方法。

技术实现思路

1、本发明提供一种降低存储转存时间的数据存储方法，通过将原始数据中的重复数据和无用数据剔除，获取目标数据，确定转存目标，基于转存目标确定目标数据的最终转存格式，根据目标数据的最终转存格式和当前转存格式确定当前转存方式的转存阶段和阶段参数，基于预设转存逻辑优化转存阶段和阶段参数，获取目标转存方式，并对目标数据进行存储，解决了背景技术中现有的数据存储方法是按照数据上传时间等数据参数对数据进行分类存储，并不会按照数据的转存目标采取不同的数据存储格式，导致数据转存存储时间过长的问题。

2、本发明提出一种降低存储转存时间的数据存储方法，该方法包括：

3、步骤1：获取原始数据，剔除原始数据中的重复数据和无用数据，获取目标数据；

4、步骤2：确定对于目标数据的转存目标，基于转存目标确定目标数据的最终转存格式；

5、步骤3：根据目标数据的最终转存格式和当前转存格式确定当前转存方式的转存阶段和阶段参数；

6、步骤4：基于预设转存逻辑优化转存阶段和阶段参数，获取目标转存方式，利用目标转存方式对目标数据进行存储。

7、优选的，获取原始数据，剔除原始数据中的重复数据和无用数据，获取目标数据，包括：

8、从数据源获取原始数据，并对原始数据进行统计；

9、基于统计结果获取原始数据的多个数据项，将多个数据项中重复出现的第一数据项作为重复数据进行第一剔除；

10、根据各个数据项之间的数据属性判断各个数据项之间的关联度，将关联度小于预设阈值的第二数据项作为无用数据进行第二剔除；

11、获取第一剔除处理和第二剔除处理后的原始数据并将其作为目标数据。

12、优选的，确定对于目标数据的转存目标，基于转存目标确定目标数据的最终转存格式，包括：

13、获取客户端的数据转存请求，根据转存请求确定目标数据在客户端中的转存路径；

14、基于所述转存路径确定对于目标数据的转存目标；

15、基于所述目标数据的转存目标确定对于目标数据的转存需求配置信息；

16、根据对于目标数据的转存需求配置信息确定对于目标数据对应的转存策略；

17、根据所述转存策略确定目标数据的最终转存格式。

18、优选的，在获取客户端的数据转存请求之后，还包括：

19、获取所述数据转存请求的请求发出时间；

20、判断所述数据转存请求的请求发出时间是否处于预设时间段；

21、若是，则获取对于目标数据的第一存储安全策略；

22、若否，则获取对于目标数据的第二存储安全策略。

23、优选的，根据目标数据的最终转存格式和当前转存格式确定当前转存方式的转存阶段和阶段参数，包括：

24、获取目标数据的最终转存格式的第一转存过程和当前转存格式的第二转存过程；

25、根据第一转存过程和第二转存过程确定目标数据由当前转存格式转存为最终转存格式的第三转存过程；

26、获取所述第三转存过程对应的阶段转存特征；

27、根据所述阶段转存特征确定阶段参数。

28、优选的，基于预设转存逻辑优化转存阶段和阶段参数，获取目标转存方式，利用目标转存方式对目标数据进行存储，包括：

29、获取预设转存逻辑的目标逻辑参数信息；

30、基于所述目标逻辑参数信息提取目标转存步骤和目标阶段参数；

31、将所述目标转存步骤和转存阶段进行第一对比，获取过程偏离度；

32、将所述目标阶段参数和阶段参数进行第二对比，获取参数差值；

33、基于所述过程偏离度和参数差值对转存阶段和阶段参数进行优化，获取目标转存方式，利用目标转存方式对目标数据进行存储。

34、优选的，根据各个数据项之间的数据属性判断各个数据项之间的关联度，包括：

35、分析两两数据项之间的关系，建立第一关系网；

36、将每一数据项在所述第一关系网上的位置记作对应的第一网节点；

37、获取第一关系网上包含的若干个第一网节点，分别获取每个目标第一网节点与所述第一关系网中剩余的目标第二网节点之间的节点关系；

38、基于所述节点关系，将具有连接效应的数据项进行组合，构成数据对；

39、将每个数据对中包含的多个数据项进行对齐训练；

40、获取对齐后的各数据项的数据属性并进行信息对比，获取相邻两个数据项之间的属性差异点；

41、确定相邻两个数据项之间的属性差异点对应的差异比重；

42、根据差异比重确定各个数据项之间的关联度。

43、优选的，在对利用目标转存方式对目标数据进行存储的过程中，还包括：

44、获取客户端的相关网络层在接收目标数据时的流量变动情况；

45、根据客户端的相关网络层在接收目标数据时的流量变动情况评估出每个网络层的稳定性系数；

46、根据每个网络层的稳定性系数评估出客户端对于目标数据的传输成功概率：

47、；

48、其中，q表示为客户端对于目标数据的传输成功概率，表示为客户端的性能表现参数，m表示为客户端中相关网络层的数量，j表示为第j个现骨干网络层，表示为稳态因子，表示为第j个相关网络层的稳定性系数，表示为第j个相关网络层的工作强度；

49、确定客户端对于目标数据的传输成功概率是否大于等于预设概率，若是，无需进行后续操作，若否，对客户端的相关网络层进行网络优化以保证目标数据的成功传输。

50、优选的，对客户端的相关网络层进行网络优化以保证目标数据的成功传输，包括：

51、获取客户端的相关网络层中各节点的运行数据和节点属性数据；

52、基于各节点的运行数据，确定各节点中节点计算资源占用量大于第一预设值的第一目标节点集合；

53、基于各节点的节点属性数据确定各节点的节点属性参数；

54、基于各节点的节点属性参数确定各节点中节点属性参数大于第二预设值的第二目标节点集合，并基于所述第二目标节点集合和所述第一目标节点集合确定第三目标节点；

55、基于第三目标节点的运行数据和节点属性数据，确定所述第三目标节点的运行状态，且确定所述运行状态满足预设运行状态时，对第三目标节点进行优化处理以保证目标数据的成功传输。

56、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

57、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。