一种数据处理方法、装置、存储介质及电子设备与流程

本发明涉及数据处理，特别涉及一种数据处理方法、装置、存储介质及电子设备。

背景技术：

1、目前，在用户分析处理大数据过程中，通常需要将数据湖中的海量数据迁移到沙箱环境中进行处理，然而，随着业务的快速发展，需要分析的项目的数据的也越来越多，往沙箱环境中迁移数据的方式导致沙箱环境占用的存储空间过大，使得存储资源浪费。

技术实现思路

1、本发明所要解决的技术问题是提供一种数据处理方法、装置、存储介质及电子设备，能够节约存储空间。具体方案如下：

2、一种数据处理方法，应用于数据处理系统，所述方法包括：

3、在接收到用户提交的数据请求的情况下，对所述数据请求中的请求信息进行核验；

4、在对所述数据请求中的请求信息核验通过后，根据所述请求信息在预设的第一集群的数据湖中进行查询，得到所述请求信息对应的目标数据；

5、根据所述目标数据在第二集群中生成数据视图表，所述第二集群为运行所述数据处理系统的集群；

6、为所述用户配置操作所述数据视图表的权限，以使得所述用户操作所述数据视图表。

7、上述的方法，可选的，所述对所述数据请求中的请求信息进行核验，包括：

8、将所述数据请求中的请求信息发往预设的审核终端；

9、在接收到所述审核终端对所述请求信息的确认指令时，确定对所述请求信息核验通过；

10、在接收到所述审核终端对所述请求信息的拒绝指令时，确定对所述请求信息核验不通过。

11、上述的方法，可选的，所述根据所述请求信息在预设的第一集群的数据湖中进行查询，得到所述请求信息对应的目标数据，包括：

12、在所述第一集群的数据湖中确定与所述请求信息中的数据标识对应的数据；

13、检测与所述请求信息中的数据标识对应的数据中是否包含敏感信息；

14、在所述数据中包含敏感信息的情况下，利用预设的脱敏算法对所述数据中的敏感信息进行脱敏处理；

15、在对所述数据中的敏感信息进行脱敏处理后，将所述数据确定为所述请求信息对应的目标数据。

16、上述的方法，可选的，所述为所述用户配置操作所述数据视图表的权限，包括：

17、获取所述请求信息中所述用户的身份标识；

18、利用所述身份标识查询预设的配置文件，获得所述用户的权限信息；

19、根据所述权限信息为所述用户配置操作所述数据视图表的权限。

20、上述的方法，可选的，所述根据所述目标数据在第二集群中生成数据视图表之后，还包括：

21、在所述数据视图表在第二集群中的存储时长到达预设时长阈值后，在第二集群中删除所述数据视图表。

22、上述的方法，可选的，还包括：

23、显示第一集群的数据分布，使得所述用户根据所述数据分布提交所述数据请求。

24、上述的方法，可选的，还包括：

25、在对所述请求信息核验不通过的情况下，输出提示信息，所述提示信息用于提示用户修改请求信息。

26、一种数据处理装置，应用于数据处理系统，所述装置包括：

27、接收单元，用于在接收到用户提交的数据请求的情况下，对所述数据请求中的请求信息进行核验；

28、查询单元，用于在对所述数据请求中的请求信息核验通过后，根据所述请求信息在预设的第一集群的数据湖中进行查询，得到所述请求信息对应的目标数据；

29、生成单元，用于根据所述目标数据在第二集群中生成数据视图表，所述第二集群为运行所述数据处理系统的集群；

30、配置单元，用于为所述用户配置操作所述数据视图表的权限，以使得所述用户操作所述数据视图表。

31、一种存储介质，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述的数据处理方法。

32、一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述的数据处理方法。

33、与现有技术相比，本发明包括以下优点：

34、本发明提供了一种数据处理方法、装置、存储介质及电子设备，其中，可以在接收到用户提交的数据请求的情况下，对所述数据请求中的请求信息进行核验；在对所述数据请求中的请求信息核验通过后，根据所述请求信息在预设的第一集群的数据湖中进行查询，得到所述请求信息对应的目标数据；根据所述目标数据在第二集群中生成数据视图表，所述第二集群为运行所述数据处理系统的集群；为所述用户配置操作所述数据视图表的权限，以使得所述用户操作所述数据视图表。应用本发明实施例提供的方法，通过查询用户所需的目标数据，然后根据目标数据建立跨集群的数据视图表，以由用户对数据视图表进行操作，使得用户无需将第一集群中的数据湖的数据全部迁移到第二集群即可完成对数据的分析处理，节约第二集群的数据存储空间。

技术特征：

1.一种数据处理方法，其特征在于，应用于数据处理系统，所述方法包括：

2.根据权利1要求所述的方法，其特征在于，所述对所述数据请求中的请求信息进行核验，包括：

3.根据权利1要求所述的方法，其特征在于，所述根据所述请求信息在预设的第一集群的数据湖中进行查询，得到所述请求信息对应的目标数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述为所述用户配置操作所述数据视图表的权限，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据在第二集群中生成数据视图表之后，还包括：

6.根据权利要求1所述的方法，其特征在于，还包括：

7.根据权利要求1所述的方法，其特征在于，还包括：

8.一种数据处理装置，其特征在于，应用于数据处理系统，所述装置包括：

9.一种存储介质，其特征在于，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1～7任意一项所述的数据处理方法。

10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1～7任意一项所述的数据处理方法。

技术总结
本发明提供了一种数据处理方法、装置、存储介质及电子设备，可应用于大数据领域或金融领域，该方法包括：在接收到用户提交的数据请求的情况下，对所述数据请求中的请求信息进行核验；在对所述数据请求中的请求信息核验通过后，根据所述请求信息在预设的第一集群的数据湖中进行查询，得到所述请求信息对应的目标数据；根据所述目标数据在第二集群中生成数据视图表，所述第二集群为运行所述数据处理系统的集群；为所述用户配置操作所述数据视图表的权限，以使得所述用户操作所述数据视图表。应用本发明实施例提供的方法，无需对数据湖中的所有数据进行迁移，能够有效地节约存储空间。

技术研发人员：丁锐
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/15