一种数据表管理方法、装置、存储介质及设备与流程

本申请涉及数据处理，具体而言，涉及一种数据表管理方法、装置、存储介质及设备。

背景技术：

1、在金融行业中，机构的所有业务系统往往都对接大数据平台，各个业务系统的关键数据表一般会数据同步给大数据平台进行备份或者数据清洗等。当客户端和业务系统增多时，大数据平台需要管理的表也会几何式增多。当相关人员需要基于业务系统的场景来访问大数据平台进行针对目标表的相关处理时，若该目标表的数据来源与该相关人员无关系，该相关人员需要咨询对应的业务相关人员，由业务相关人员解答并提供对应的元数据表和字段等各种关系。这一方式占用了业务相关人员的大量时间，工作效率低。

技术实现思路

1、本申请的目的在于提供一种数据表管理方法、装置、存储介质及设备，旨在解决相关技术中存在的操作人员访问大数据平台进行表处理时，容易占用业务相关人员的大量时间，工作效率低的问题。

2、第一方面，本申请提供的一种数据表管理方法，应用于大数据平台，包括：

3、获取业务系统同步的目标表，确定所述目标表对应的映射表；

4、采集所述目标表的信息，基于采集结果对所述映射表的表名进行标记，并通过关键字段，统计所述目标表和各关联表之间的关联关系；其中，标记后的表名用于表征所述映射表与所述目标表之间的对应关系；所述关联表是与所述目标表存在关联的其他数据表；

5、将所述采集结果和统计结果缓存至云平台。

6、在上述实现过程中，大数据平台获取业务系统同步的目标表，确定其对应的映射表，采集该目标表的信息，基于采集结果对该映射表的表名进行标记，以实现两表的关联，并且，大数据平台通过关键字段，分析出各个业务系统的数据表之间的关联关系，再将采集结果和分析结果缓存至云平台，使得操作人员可以从云平台获悉相关信息。如此，操作人员可以快速获悉所需数据，无需业务相关人员介入，有效节省了业务相关人员的时间，同时也提升了操作人员的工作效率。

7、进一步地，在一些实施例中，所述采集结果包括以下至少一种：

8、所述目标表的系统id、表结构的注释、文件名。

9、在上述实现过程中，对目标表进行信息采集，采集系统id、表结构的注释、文件名这些能标记系统属主和业务场景的信息，便于后续的打标分析。

10、进一步地，在一些实施例中，所述关键字段包括主键和外键；所述通过关键字段，统计所述目标表和各关联表之间的关联关系，包括：

11、若所述目标表的主键id是关联表的外键，确定所述目标表和所述关联表之间存在主从关系，并将所述主从关系作为统计结果。

12、在上述实现过程中，提供一种通过主键和外键分析出各表之间的关联关系的具体方式。

13、进一步地，在一些实施例中，所述通过关键字段，统计所述目标表和各关联表之间的关联关系，还包括：

14、根据所述目标表对应的业务场景，对所述目标表和所述关联表进行打标，并将打标结果作为统计结果；所述打标结果用于标注针对所述目标表和所述关联表的行为操作。

15、在上述实现过程中，结合场景，能够进行标注针对目标表和关联表的行为操作，使得打标结果可以直观地展示相应的场景信息。

16、进一步地，在一些实施例中，所述方法还包括：

17、按照预设属性，对所述目标表进行数据归类。

18、在上述实现过程中，大数据平台在管理各个业务系统的数据表时，可以按照预设属性划分多个表场景，这样，在接收到新的数据表时，按照该表所对应的预设属性，将该表归类到对应的表场景下，从而提升其他人员分析数据的便捷性和效率。

19、进一步地，在一些实施例中，所述预设属性包括以下任意一种：

20、归档时间、同步时间、查询语句。

21、在上述实现过程中，按照时间范围将目标表归类到对应的表场景下，便于其他人员按需分析数据，或者按照场景下常见的查询语句将目标表归类到对应的表场景下，便于为相关人员提供参考依据或者复用。

22、进一步地，在一些实施例中，所述方法还包括：

23、对所述采集结果和统计结果进行界面展示，并提供搜索词；所述搜索词是基于所述采集结果和统计结果提取得到的。

24、在上述实现过程中，大数据平台提供对缓存在云平台的结果数据进行界面展示的功能，并且提供搜索词，操作人员只需要根据各自所需的场景来进行搜索即可获取所需数据，如此，提高了操作人员的工作效率。

25、第二方面，本申请提供的一种数据表管理装置，应用于大数据平台，包括：

26、确定模块，用于获取业务系统同步的目标表，确定所述目标表对应的映射表；

27、统计模块，用于采集所述目标表的信息，基于采集结果对所述映射表的表名进行标记，并通过关键字段，统计所述目标表和各关联表之间的关联关系；其中，标记后的表名用于表征所述映射表与所述目标表之间的对应关系；所述关联表是与所述目标表存在关联的其他数据表；

28、缓存模块，用于将所述采集结果和统计结果缓存至云平台。

29、第三方面，本申请提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。

30、第四方面，本申请提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。

31、第五方面，本申请提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。

32、本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。

33、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种数据表管理方法，其特征在于，应用于大数据平台，包括：

2.根据权利要求1所述的方法，其特征在于，所述采集结果包括以下至少一种：

3.根据权利要求1所述的方法，其特征在于，所述关键字段包括主键和外键；

4.根据权利要求3所述的方法，其特征在于，所述通过关键字段，统计所述目标表和各关联表之间的关联关系，还包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述预设属性包括以下任意一种：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种数据表管理装置，其特征在于，应用于大数据平台，包括：

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

10.一种电子设备，其特征在于，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

技术总结
本申请实施例提供一种数据表管理方法、装置、存储介质及设备，该方法中，大数据平台获取业务系统同步的目标表，确定其对应的映射表，采集该目标表的信息，基于采集结果对该映射表的表名进行标记，以实现两表的关联，并且，大数据平台通过关键字段，分析出各个业务系统的数据表之间的关联关系，再将采集结果和分析结果缓存至云平台，使得操作人员可以从云平台获悉相关信息。如此，操作人员可以快速获悉所需数据，无需业务相关人员介入，有效节省了业务相关人员的时间，同时也提升了操作人员的工作效率。

技术研发人员：易旺
受保护的技术使用者：平安银行股份有限公司
技术研发日：
技术公布日：2024/1/15