一种基于Redis数据库的多维数据处理方法与流程

本发明涉及多维数据处理领域，具体涉及一种基于redis数据库的多维数据处理方法。

背景技术：

1、redis作为nosql家族中非常热门的一员，在开发、测试或运维等多个领域均有很好的应用，同时在商业分析或大数据处理中，随着分析的不断深入，个体数据的维度也在逐渐增加，过多的数据分割合并也会在个体上存在误差，因此在个体多维数据的处理上与redis数据库的结合能在处理速度有所改进，对于后续数据分析或是进一步处理也可以保证高度的一致性。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于redis数据库的多维数据处理方法，通过将多维数据进行分割，再基于redis数据的各项数据建立动态规则得到多维数据处理结果，提升了处理效率和多维数据的分割合并准确性。

2、为实现上述目的，本发明提供了一种基于redis数据库的多维数据处理方法，包括：

3、s1、获取待处理多维数据基于redis数据库的对应属性作为基础处理属性；

4、s2、利用所述基础处理属性建立多维数据动态处理规则；

5、s3、利用待处理多维数据根据所述多维数据动态处理规则得到多维数据处理结果。

6、优选的，所述获取待处理多维数据基于redis数据库的对应属性作为基础处理属性包括：

7、获取待处理多维数据在redis数据库的对应属性作为初始属性；

8、判断所述待处理多维数据对应的初始属性的数量是否为1，若是，则利用所述初始属性作为基础处理属性，否则，根据所述初始属性建立初始属性序列；

9、利用所述初始属性序列作为基础处理属性；

10、其中，redis数据库的对应属性包括字符串、列表、集合与哈希。

11、优选的，利用所述基础处理属性建立多维数据动态处理规则包括：

12、s2-1、当所述基础处理属性为序列形式时，根据所述基础处理属性对应序列建立多维数据分布式处理规则；

13、s2-2、当所述基础处理属性为非序列形式时，根据所述基础处理属性建立多维数据单映射处理规则；

14、s2-3、利用所述多维数据分布式处理规则与多维数据单映射处理规则作为多维数据动态处理规则。

15、进一步的，根据所述基础处理属性对应序列建立多维数据分布式处理规则包括：

16、s2-1-1、获取所述基础处理属性对应序列的基础处理属性索引；

17、s2-1-2、根据所述基础处理属性索引对待处理多维数据进行分割处理得到待处理多维分割数据；

18、s2-1-3、判断所述基础处理属性索引对应的待处理多维分割数据的字节数量是否超过1024，若是，则获取字节数量超过1024对应的待处理多维分割数据内容作为超量待处理多维分割数据，否则，根据所述基础处理属性索引对待处理多维分割数据进行缓存分配处理得到标准缓存分配结果；

19、s2-1-4、根据所述超量待处理多维分割数据建立超量虚拟缓存获取非标准缓存分配结果；

20、s2-1-5、利用所述标准缓存分配结果或非标准缓存分配结果进行虚拟运行处理得到虚拟运行结果；

21、s2-1-6、判断所述虚拟运行结果是否存在超量虚拟缓存，若是，则删除超量虚拟缓存后执行s2-1-7，否则，直接执行s2-1-7；

22、s2-1-7、判断所述虚拟运行结果是否存在异常状况，若是，则返回s2-1-2，否则，利用所述虚拟运行结果作为多维数据分布式处理规则；

23、其中，异常状况包括虚拟运行结果与待处理多维数据不对应、虚拟运行结果输出乱码与虚拟运行结果无法获取多维数据分布式处理规则。

24、进一步的，根据所述超量待处理多维分割数据建立超量虚拟缓存获取非标准缓存分配结果包括：

25、根据所述超量待处理多维分割数据获取对应超量虚拟缓存；

26、根据所述超量待处理多维分割数据得到对应字节数量为1024的待处理多维分割数据作为基础待处理多维分割数据；

27、根据所述基础待处理多维分割数据获取对应基础进程缓存；

28、利用所述基础进程缓存与超量虚拟缓存进行进程锁定处理得到基础进程时间戳与超量虚拟时间戳；

29、利用所述基础进程时间戳与基础进程缓存作为基础进程缓存分配结果；

30、利用所述超量虚拟时间戳与超量虚拟缓存作为超量虚拟缓存分配结果；

31、利用所述基础进程缓存分配结果与超量虚拟缓存分配结果作为非标准缓存分配结果。

32、进一步的，根据所述基础处理属性建立多维数据单映射处理规则包括：

33、s2-2-1、当所述基础处理属性为字符串时，判断所述字符串对应待处理多维数据的字节数量是否超过1024，若是，则对所述待处理多维数据进行二进制压缩得到压缩待处理多维数据，否则，根据所述待处理多维数据进行缓存分配建立第一单映射规则；

34、s2-2-2、判断所述压缩待处理多维数据的字节数量是否超过1024，若是，则返回s2-2-1，否则，利用所述压缩待处理多维数据进行缓存分配建立第二单映射规则；

35、s2-2-3、当所述基础处理属性为列表时，获取所述列表的对应目录；

36、s2-2-4、根据所述列表的对应目录的数量进行缓存分配建立第三单映射规则；

37、s2-2-5、当所述基础处理属性为集合时，判断所述集合是否为有序集合，若是，则按照有序集合内的子集顺序依次进行缓存分配建立第四单映射规则，否则，直接根据所述集合的子集数量进行缓存分配建立第五单映射规则；

38、s2-2-7、当所述基础处理属性为哈希时，判断所述哈希是否收敛，若是，则执行s2-2-3，否则，根据所述哈希对应数组的数量进行缓存分配建立第六单映射规则；

39、s2-2-8、利用所述第一单映射规则、第二单映射规则、第三单映射规则、第四单映射规则、第五单映射规则与第六单映射规则作为单映射处理规则。

40、优选的，所述利用待处理多维数据根据所述多维数据动态处理规则得到多维数据处理结果包括：

41、s3-1、当所述多维数据动态处理规则为多维数据单映射处理规则时，利用所述多维数据单映射处理规则对所述待处理多维数据进行处理得到多维数据第一处理结果；

42、s3-2、当所述多维数据动态处理规则为多维数据分布式处理规则时，利用所述多维数据分布式处理规则对所述待处理多维数据进行处理得到多维数据初始处理结果；

43、s3-3、利用所述多维数据初始处理结果进行验证处理得到多维数据第二处理结果；

44、s3-4、利用所述多维数据第一处理结果或多维数据第二处理结果作为多维数据处理结果。

45、进一步的，利用所述多维数据初始处理结果进行验证处理得到多维数据第二处理结果包括：

46、s3-3-1、利用所述多维数据初始处理结果进行合并处理得到多维数据合并处理结果；

47、s3-3-2、判断所述多维数据合并处理结果的对应属性与待处理多维数据的对应属性是否相同，若是，则执行s3-3-3，否则，返回s2-1-1；

48、s3-3-3、根据所述多维数据初始处理结果进行同步校验得到多维数据同步校验结果；

49、s3-3-4、根据所述多维数据初始处理结果进行异步校验得到多维数据异步校验结果；

50、s3-3-5、当所述多维数据同步校验结果为通过时，判断所述多维数据异步校验结果是否通过，若是，则利用所述多维数据初始处理结果作为多维数据第二处理结果，否则，返回s2-1-3；

51、s3-3-6、当所述多维数据同步校验结果为不通过时，放弃处理。

52、进一步的，根据所述多维数据初始处理结果进行同步校验得到多维数据同步校验结果包括：

53、获取多维数据初始处理结果对应的处理步骤时刻；

54、判断所述处理步骤时刻是否相同，若是，则获取所述多维数据初始处理结果对应索引，否则，放弃处理；

55、判断所述多维数据初始处理结果对应索引与待处理多维数据对应基础处理属性是否相同，若是，则多维数据同步校验结果为通过，否则，多维数据同步校验结果为不通过。

56、进一步的，根据所述多维数据初始处理结果进行异步校验得到多维数据异步校验结果包括：

57、获取多维数据初始处理结果对应待处理多维数据对应时刻的多维数据分布式处理规则作为模板；

58、获取多维数据初始处理结果对应时刻的多维数据分布式处理规则作为比对数据；

59、判断所述模板与比对数据是否相同，若是，则所述多维数据异步校验结果为通过，否则，所述多维数据异步校验结果为不通过。

60、与最接近的现有技术相比，本发明具有的有益效果：

61、根据不同多维数据进行动态规则建立，对不同数据根据动态规则获取初步的处理结果，并对初步处理结果进行再次验证，既保留了个体数据处理的实用性又提供了处理结果准确性的保证，同时将多维数据的各步骤处理与redis数据库结合，通过redis在处理速度上的优势又将多维数据的处理环境调整为redis数据库中，对于多维数据的处理结果的一致性和效率上均有保证。