一种基于大数据的数据辅助分析管理系统及方法与流程

本发明涉及数据库管理，具体为一种基于大数据的数据辅助分析管理系统及方法。

背景技术：

1、数据库是“按照数据结构来组织、存储和管理数据的仓库”，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合；数据库的数据源层是指数据的最初来源，可以是各种业务系统、传感器、社交媒体等，在数据库的数据集成层中，会将来自不同数据源的数据进行集成和整合，形成一个统一的数据集。

2、数据库内的数据更新是以新数据项或记录、替换数据文件或数据库中与之相对应的旧数据项或记录的过程，通过删除、修改、再插入的操作来实现；对数据库内的数据更新实现有序性管理，在一定程度上能提高数据库的数据存储效率和准确率。

技术实现思路

1、本发明的目的在于提供一种基于大数据的数据辅助分析管理系统及方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的数据辅助分析管理方法，方法包括：

3、步骤s100：从目标数据库的历史运行日志中捕捉构成目标数据库数据源层的各数据来源终端；数据来源终端包括业务系统、传感器；从历史运行日志中调取目标数据库的所有历史数据存储记录，分别对在各历史数据存储记录中涉及对目标数据库内数据更新的所有信息进行梳理并提取；

4、步骤s200：基于在各历史数据存储记录中提取得到的涉及对目标数据库内数据更新的所有信息，对在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；

5、步骤s300：获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，分别将对应的数据来源终端dte相同的历史数据存储路径进行汇集，分别得到各数据来源终端所对应的历史数据存储路径集合；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端dte的特征历史数据存储路径集合；

6、步骤s400：基于在所有数据来源终端之间呈现的特征历史数据存储路径集合的分布情况，对满足数据更新逻辑关联的历史数据存储路径进行判断识别；

7、步骤s500：当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估，将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对目标数据库内数据的有序性存储管理。

8、进一步的，步骤s100包括：

9、步骤s101：捕捉在任意历史数据存储记录中相应目标存储数据于目标数据库内完成数据存储之前，位于构成目标数据库数据集成层的各数据存储区域内的数据集a，以及在相应目标存储数据于目标数据库内完成数据存储之后，位于构成目标数据库数据集成层的各数据存储区域内的数据集b；当某数据存储区域满足，判断某数据存储区域属于在任意历史数据存储记录中，由相应目标存储数据在目标数据库中引起的更新范围；分别对各更新范围所对应的数据集a与数据集b进行偏差比对；

10、步骤s102：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在某历史数据存储记录中，于对应某数据存储区域u的数据集b与数据集a之间满足：，其中，表示数据集a与数据集c组成数据集b；判定在某历史数据存储记录中，相应目标存储数据在某数据存储区域u内发生的数据更新形式为第一类数据更新形式；即在某数据存储区域u中发生的数据更新形式为简单新增数据，对数据集a只做数据量的增加变动，不发生数据替换；

11、步骤s103：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在某历史数据存储记录中，于对应某数据存储区域u的数据集b与数据集a之间满足：，且，其中，card(b)表示数据集b包含的数据总数，card(a)表示数据集a包含的数据总数；判定在某历史数据存储记录中，相应目标存储数据在某数据存储区域u内发生的数据更新形式为第二类数据更新形式；即在某数据存储区域u中发生的数据更新形式为对数据集a不做数据量的变动，将数据集a内的部分数据进行数据替换；

12、步骤s104：当某数据存储区域u为某历史数据存储记录中的一个更新范围，且在某历史数据存储记录中，于对应某数据存储区域u的数据集b与数据集a之间满足：，且，其中，card(b)表示数据集b包含的数据总数，card(a)表示数据集a包含的数据总数；判定在某历史数据存储记录中，相应目标存储数据在某数据存储区域u内发生的数据更新形式为第三类数据更新形式；即在某数据存储区域u中发生的数据更新形式为对数据集a不做数据量的变动，将数据集a内的全部数据进行数据替换。

13、进一步的，步骤s200包括：

14、步骤s201：识别在各历史数据存储记录中，对应输送目标存储数据的数据来源终端dte；分别获取在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围；

15、步骤s202：设在某条历史数据存储记录h中，相应目标存储数据的第j个更新范围rj为数据存储区域w，设在某数据存储区域w内发生的数据更新形式为第k类；构建得到基于某历史数据存储记录的第j条历史数据存储路径；其中，表示在某条历史数据存储记录h中对应输送目标存储数据的数据来源终端；其中，；分别构建每一条历史数据存储记录在目标数据库中引起的每一个更新范围所对应的历史数据存储路径。

16、进一步的，步骤s400包括：

17、步骤s401：获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，将数据来源终端dte相同的历史数据存储路径进行分别汇集，得到对应各数据来源终端dte的历史数据存储路径集合；将数据来源终端dte、更新范围所对应的数据存储区域以及在更新范围所对应的数据存储区域内发生的数据更新形式完成相同的历史数据存储路径视为同一种历史数据存储路径；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端dte的特征历史数据存储路径集合；

18、步骤s402：设在某数据来源终端dte1的特征历史数据存储路径集合中存在某历史数据存储路径，在某数据来源终端dte2的特征历史数据存储路径集合中存在某历史数据存储路径；当，且，或者当，且时，判断某历史数据存储路径l1与某历史数据存储路径l2之间存在数据更新逻辑关联。

19、进一步的，步骤s500包括：

20、步骤s501：将当前同时向目标数据库输送数据的数据来源终端设为目标终端；分别对每两个目标数据终端p1、p2的特征历史数据存储路径集合q(p1)、q(p2)进行提取；分别对每两个目标数据终端计算逻辑风险值；其中，n表示在q(p1)中，与q(p2)内的历史数据存储路径之间存在数据更新逻辑关联的历史数据存储路径总数；n表示q(p1)包含历史数据存储路径的总数；m表示在q(p2)中，与q(p1)内的历史数据存储路径之间存在数据更新逻辑关联的历史数据存储路径总数；m表示q(p2)包含历史数据存储路径的总数；

21、步骤s502：当某两个目标数据终端之间的逻辑风险值α大于风险阈值，反馈管理人员端口，辅助管理人员介入对来自某两个目标数据终端向目标数据库所输送数据的存储次序处理。

22、为更好的实现上述方法，还提出了一种数据辅助分析管理系统，系统包括数据库信息管理模块、数据存储路径提取管理模块、数据存储路径梳理模块、数据更新逻辑关联判断模块、数据库存储管理模块；

23、数据库信息管理模块，用于从目标数据库的历史运行日志中捕捉构成目标数据库数据源层的各数据来源终端；从历史运行日志中调取目标数据库的所有历史数据存储记录，分别对在各历史数据存储记录中涉及对目标数据库内数据更新的所有信息进行梳理并提取；

24、数据存储路径提取管理模块，用于接收数据库信息管理模块中的数据，对在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围构建相应的历史数据存储路径；

25、数据存储路径梳理模块，用于获取根据所有历史数据存储记录构建得到的所有历史数据存储路径，分别将对应的数据来源终端dte相同的历史数据存储路径进行汇集，分别得到各数据来源终端所对应的历史数据存储路径集合；分别在各个历史数据存储路径集合中，对不同种类的历史数据存储路径进行提取，得到对应各数据来源终端dte的特征历史数据存储路径集合；

26、数据更新逻辑关联判断模块，用于根据在所有数据来源终端之间呈现的特征历史数据存储路径集合的分布情况，对满足数据更新逻辑关联的历史数据存储路径进行判断识别；

27、数据库存储管理模块，用于当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估，将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对目标数据库内数据的有序性存储管理。

28、进一步的，数据存储路径提取管理模块包括信息处理单元、路径构建管理单元；

29、信息处理单元，用于接收数据库信息管理模块中的数据；

30、路径构建管理单元，用于对在每一条历史数据存储记录中，由相应目标存储数据在目标数据库中引起的每一个更新范围构建相应的历史数据存储路径。

31、进一步的，数据库存储管理模块包括逻辑风险性评估单元、存储管理单元；

32、逻辑风险性评估单元，用于当监测到同时有2个以上的数据来源终端向目标数据库输送数据，对当前的数据输送进行数据更新的逻辑风险性评估；

33、存储管理单元，用于将逻辑风险性评估结果向管理人员反馈，辅助管理人员介入对来自逻辑风险值大于风险阈值的任意两个目标数据终端向目标数据库所输送数据的存储次序处理。

34、与现有技术相比，本发明所达到的有益效果是：本发明通过对目标数据库内的所有历史数据存储记录进行数据存储路径的梳理，分别对构成目标数据库数据源层的各数据来源终端，因向目标数据库传输数据而对目标数据库引起的所有数据更新现象的数据规律进行捕捉，通过在所有数据来源终端的历史数据存储路径中进行数据更新逻辑关联，实现对目标数据库的实时数据输送进行数据更新的逻辑风险性评估，通过辅助管理人员介入对向目标数据库输送数据的存储次序处理，实现对数据库内数据更新的有序性管理，在一定程度上提高数据库的数据存储效率和存储数据的准确率。