基于数据沙箱的数据BI分析方法、系统、介质及设备与流程

基于数据沙箱的数据bi分析方法、系统、介质及设备
技术领域
1.本发明涉及一种bi数据分析技术领域，特别是关于一种基于数据沙箱的数据bi分析方法、系统、介质及设备。


背景技术：

2.随着企业中的各部门大数据的需求越来越多，跨部门数据库之间的访问涉及到很多的权限和安全问题，如何在一个安全的沙箱环境中进行数据处理和查询分析变得越来越重要。


技术实现要素：

3.针对上述问题，本发明的目的是提供一种基于数据沙箱的数据bi分析方法、系统、介质及设备，其能实现在一个安全的沙箱环境中进行数据处理和查询，兼容异构数据源。
4.为实现上述目的，本发明采取以下技术方案：一种基于数据沙箱的数据bi分析方法，其包括：构建数据沙箱，并将所述数据沙箱进行初始化处理；将数据资源中心的表资源、库资源及机构资源同步至所述数据沙箱；所述数据沙箱向数据推送中心发送数据同步请求，所述数据推送中心通过请求参数中源端库表信息，进行数据获取，将所获取的数据推送到所述数据沙箱中；由所述数据沙箱将数据进行安全处理后输出，进行数据bi分析处理。
5.进一步，所述构建数据沙箱，包括：
6.根据用户需求创建项目，在所述项目中创建沙箱空间；
7.在所述沙箱空间确定表资源，根据使用需求选定目标表，并进行脱敏处理；
8.在所述沙箱空间内建立异构的数据库表，将异构的数据库中的不同数据库中的不同的表数据全量同步到所述沙箱空间。
9.进一步，所述根据使用需求选定目标表，并进行脱敏处理，包括：在所述目标表中配置需要脱敏的表的字段，然后选择脱敏的类型，完成脱敏处理。
10.进一步，所述沙箱空间内设置有空间大小和空间到期时间；对所述空间到期时间设置有时间提醒，根据所述时间提醒对所述数据沙箱中的数据进行清空、删除或创建。
11.进一步，所述将异构的数据库中的不同数据库中的不同的表数据全量同步到所述沙箱空间，包括：在所述沙箱空间内设定数据增量的同步频率。
12.进一步，所述将异构的数据库中的不同数据库中的不同的表数据全量同步到所述沙箱空间，包括：
13.根据数据申请所述沙箱空间，若申请空间额度小于预先设定的限定空间额度，则进行普通申请；反之，则进行特殊申请；
14.判断所述普通申请和所述特殊申请是否满足审核要求，若满足则将数据同步到所述沙箱空间，进行数据同步、数据上传、数据下载及bi分析。
15.进一步，所述特殊申请包括：申请所述沙箱空间扩容，或根据所述沙箱空间的空间到期时间进行申请；
16.所述审核包括对所述沙箱空间申请、所述扩容和空间到期时间的延期进行审核。
17.一种基于数据沙箱的数据bi分析系统，其包括：数据沙箱构建模块、数据同步模块、数据推送模块和bi分析模块；所述数据沙箱构建模块，构建数据沙箱，并将所述数据沙箱进行初始化处理；所述数据同步模块，将数据资源中心的表资源、库资源及机构资源同步至所述数据沙箱；所述数据推送模块，所述数据沙箱向数据推送中心发送数据同步请求，所述数据推送中心通过请求参数中源端库表信息，进行数据获取，将所获取的数据推送到所述数据沙箱中；所述bi分析模块，由所述数据沙箱将数据进行安全处理后输出，进行数据bi分析处理。
18.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
19.一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
20.本发明由于采取以上技术方案，其具有以下优点：
21.本发明能兼容异构数据源、空间灵活分配和清理、轻量级、安全可控，并能实现数据增量同步。
附图说明
22.图1是本发明一实施例中的分析方法整体流程示意图；
23.图2是本发明一实施例中的数据沙箱架构示意图；
24.图3是本发明一实施例中的计算设备结构示意图。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
26.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
27.本发明提供一种基于数据沙箱的数据bi分析方法、系统、介质及设备，本发明将异构数据整合同步到海盒分布式数据库中进行bi分析，即本发明通过汇总各个部门的业务数据到数据沙箱，实现数据的综合bi分析和管控。
28.在本发明的一个实施例中，如图1所示，提供一种基于数据沙箱的数据bi分析方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
29.1)构建数据沙箱，并将数据沙箱进行初始化处理；
30.2)将数据资源中心的表资源、库资源及机构资源同步至数据沙箱；
31.3)数据沙箱向数据推送中心发送数据同步请求，数据推送中心通过请求参数中源端库表信息，进行数据获取，将所获取的数据推送到数据沙箱中；
32.4)由数据沙箱将数据进行安全处理后输出，进行数据bi分析处理。
33.使用时，当数据沙箱完成初始化时，会自动从数据资源中心将机构信息、库资源信息、和表资源信息同步到数据沙箱。
34.上述步骤1)中，构建数据沙箱，如图2所示，包括以下步骤：
35.1.1)根据用户需求创建项目，在项目中创建沙箱空间；
36.1.2)在沙箱空间确定表资源，根据使用需求选定目标表，并进行脱敏处理；
37.1.3)在沙箱空间内建立异构的数据库表，将异构的数据库中的不同数据库中的不同的表数据全量同步到沙箱空间。
38.其中，在步骤1.2)中，根据使用需求选定目标表，并进行脱敏处理，包括：在目标表中配置需要脱敏的表的字段，然后选择脱敏的类型，完成脱敏处理。
39.在本实施例中，由于表资源信息属于多选，用户根据实际的业务需求选定目标表，在所选中的目标表中，再配置需要脱敏的表的字段、然后选择脱敏的类型，比如身份脱敏、银行卡号脱敏等。
40.上述实施例中，沙箱空间内设置有空间大小和空间到期时间；对空间到期时间设置有时间提醒，根据时间提醒对数据沙箱中的数据进行清空、删除或创建；不会对源端数据造成任何影响，这样即保证了数据安全，又保护了数据使用权限，从而实现跨库表的灵活bi分析。
41.在步骤1.3)中，在沙箱空间内设定数据增量的同步频率，将异构的数据库中的不同数据库中的不同的表数据全量同步到沙箱空间。
42.在步骤1.3)中，将异构的数据库中的不同数据库中的不同的表数据全量同步到沙箱空间，包括以下步骤：
43.1.3.1)根据数据申请沙箱空间，若申请空间额度小于预先设定的限定空间额度，则进行普通申请；反之，则进行特殊申请；
44.1.3.2)判断普通申请和特殊申请是否满足审核要求，若满足则将数据同步到沙箱空间，进行数据同步、数据上传、数据下载及bi分析。
45.其中，特殊申请包括：申请沙箱空间扩容，或根据沙箱空间的空间到期时间进行申请。
46.步骤1.3.2)中，审核包括对沙箱空间申请、扩容和空间到期时间的延期进行审核。
47.在本发明的一个实施例中，提供一种基于数据沙箱的数据bi分析系统，其包括：数据沙箱构建模块、数据同步模块、数据推送模块和bi分析模块；
48.数据沙箱构建模块，构建数据沙箱，并将数据沙箱进行初始化处理；
49.数据同步模块，将数据资源中心的表资源、库资源及机构资源同步至数据沙箱；
50.数据推送模块，数据沙箱向数据推送中心发送数据同步请求，数据推送中心通过请求参数中源端库表信息，进行数据获取，将所获取的数据推送到数据沙箱中；
51.bi分析模块，由数据沙箱将数据进行安全处理后输出，进行数据bi分析处理。
52.本实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参
照上述实施例，此处不再赘述。
53.如图3所示，为本发明一实施例中提供的计算设备结构示意图，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(communications interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理器执行时以实现一种分析方法；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、管理商网络、nfc(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令，以执行如下方法：
54.构建数据沙箱，并将数据沙箱进行初始化处理；将数据资源中心的表资源、库资源及机构资源同步至数据沙箱；数据沙箱向数据推送中心发送数据同步请求，数据推送中心通过请求参数中源端库表信息，进行数据获取，将所获取的数据推送到数据沙箱中；由数据沙箱将数据进行安全处理后输出，进行数据bi分析处理。
55.此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
56.本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
57.在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：构建数据沙箱，并将数据沙箱进行初始化处理；将数据资源中心的表资源、库资源及机构资源同步至数据沙箱；数据沙箱向数据推送中心发送数据同步请求，数据推送中心通过请求参数中源端库表信息，进行数据获取，将所获取的数据推送到数据沙箱中；由数据沙箱将数据进行安全处理后输出，进行数据bi分析处理。
58.在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：构建数据沙箱，并将数据沙箱进行初始化处理；将数据资源中心的表资源、库资源及机构资源同步至数据沙箱；数据沙箱向数据推送中心发送数据同步请求，数据推送中心通过请求参数中源端库表信息，进行数据获取，将所获取的数据推送到数据沙箱中；由数
据沙箱将数据进行安全处理后输出，进行数据bi分析处理。
59.上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
60.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
61.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
62.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
63.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。