一种业务数据的管理方法、系统及电子设备与流程

本申请涉及大数据领域或金融领域，尤其涉及一种业务数据的管理方法、系统及电子设备。

背景技术：

1、在大数据领域中，分布式文件系统hdfs通常用于文件的存储和管理。

2、在分布式文件系统hdfs对文件进行存储的过程中会产生一些小文件，当小文件数量较多时，对数量较多的小文件进行存储后，若要进行小文件的查询，则会消耗较多的访问时间，使得文件查找效率降低。

技术实现思路

1、有鉴于此，本申请提供一种业务数据的管理方法、系统及电子设备，其具体方案如下：

2、一种业务数据的管理方法，包括：

3、获得文件查询指令；基于所述文件查询指令确定待访问文件；

4、基于所述待访问文件的第一标识信息确定用于存储具有所述第一标识信息的合并文件的第一存储空间，所述合并文件为将具有所述第一标识信息的多个文件合并获得的文件；

5、从所述第一存储空间读取所述待访问文件。

6、进一步的，所述从所述第一存储空间读取所述待访问文件，包括：

7、确定所述待访问文件在所述合并文件中的第一哈希索引信息；

8、基于所述哈希索引信息从所述第一存储空间中存储的合并文件中读取所述待访问文件。

9、进一步的，还包括：

10、读取文件大小小于预设值的多个分布存储文件，确定每个分布存储文件的标识信息及文件内容；

11、基于所述每个分布存储文件的标识信息将所述多个分布存储文件分别存储至不同的存储空间，每个存储空间中用于存储标识信息相同的分布存储文件；

12、将存储于同一个存储空间的分布存储文件合并，获得合并文件，获得每个分布存储文件在所述合并文件中的哈希索引信息。

13、进一步的，所述将存储于同一个存储空间的分布存储文件合并，包括：

14、按照同一个存储空间中的每个分布存储文件的标识信息对所述同一个存储空间中的多个分布存储文件进行排序，获得第一排序结果；

15、基于所述第一排序结果将同一个存储空间中的多个分布存储文件合并；

16、其中，所述分布存储文件的标识信息为所述分布存储文件的文件名的哈希值。

17、进一步的，还包括：

18、基于所述待访问文件的第一标识信息确定缓存区是否存储有所述待访问文件；

19、若确定所述缓存区存储有所述待访问文件，从所述缓存区读取所述待访问文件；

20、若确定所述缓存区未存储有所述待访问文件，基于所述第一标识信息确定用于存储具有第一标识信息的合并文件的第一存储空间。

21、进一步的，还包括：

22、将从所述第一存储空间读取的所述待访问文件存储至所述缓存区。

23、进一步的，所述将从所述第一存储空间读取的所述待访问文件存储至所述缓存区，包括：

24、确定所述缓存区是否存在空闲缓存位置；

25、若确定所述缓存区存在空闲缓存位置，将从所述第一存储空间读取的所述待访问文件作为缓存文件存储至所述空闲缓存位置；

26、若确定所述缓存区不存在空闲缓存位置，基于所述缓存区中存储的多个缓存文件中每个缓存文件的访问频数清除缓存文件，以获得清除缓存文件后得到的空闲缓存位置，将从所述第一存储空间读取的所述待访问文件作为缓存文件存储至所述空闲缓存位置。

27、进一步的，所述基于所述缓存区中存储的多个缓存文件中每个缓存文件的访问频数清除缓存文件，包括：

28、确定所述缓存区中存储的多个缓存文件中每个缓存文件的访问频数；

29、基于所述每个缓存文件的访问频数对所述多个缓存文件进行排序，获得第二排序结果；

30、基于所述第二排序结果确定待清除缓存文件，清除所述缓存区中的所述待清除缓存文件，获得所述空闲缓存位置。

31、一种业务数据的管理系统，包括：

32、获得单元，用于获得文件查询指令；基于所述文件查询指令确定待访问文件；

33、第一确定单元，用于基于所述待访问文件的第一标识信息确定用于存储具有所述第一标识信息的合并文件的第一存储空间，所述合并文件为将具有所述第一标识信息的多个文件合并获得的文件；

34、第一读取单元，用于从所述第一存储空间读取所述待访问文件。

35、一种电子设备，包括：

36、处理器，用于获得文件查询指令；基于所述文件查询指令确定待访问文件；基于所述待访问文件的第一标识信息确定用于存储具有所述第一标识信息的合并文件的第一存储空间，所述合并文件为将具有所述第一标识信息的多个文件合并获得的文件；从所述第一存储空间读取所述待访问文件；

37、存储器，用于存储所述处理器执行上述处理过程的程序。

38、从上述技术方案可以看出，本申请公开的业务数据的管理方法、系统及电子设备，获得文件查询指令；基于文件查询指令确定待访问文件；基于待访问文件的第一标识信息确定用于存储具有第一标识信息的合并文件的第一存储空间，合并文件为将具有第一标识信息的多个文件合并获得的文件；从第一存储空间读取待访问文件。本方案由于将多个文件合并得到合并文件，并将具有第一标识信息的合并文件存储在第一存储空间，实现了在进行文件访问时，能够直接基于待访问文件的第一标识信息去查找存储有该标识信息的合并文件的存储空间，再从存储空间读取该待访问文件，提高了访问效率，避免了当文件较多时，要进行文件访问所消耗的查询时间较长的问题。

技术特征：

1.一种业务数据的管理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述从所述第一存储空间读取所述待访问文件，包括：

3.根据权利要求1所述的方法，其特征在于，还包括：

4.根据权利要求3所述的方法，其特征在于，所述将存储于同一个存储空间的分布存储文件合并，包括：

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，还包括：

7.根据权利要求6所述的方法，其特征在于，所述将从所述第一存储空间读取的所述待访问文件存储至所述缓存区，包括：

8.根据权利要求7所述的方法，其特征在于，所述基于所述缓存区中存储的多个缓存文件中每个缓存文件的访问频数清除缓存文件，包括：

9.一种业务数据的管理系统，其特征在于，包括：

10.一种电子设备，其特征在于，包括：

技术总结
本申请公开了一种业务数据的管理方法、系统及电子设备，可应用于大数据领域或金融领域，获得文件查询指令；基于文件查询指令确定待访问文件；基于待访问文件的第一标识信息确定用于存储具有第一标识信息的合并文件的第一存储空间，合并文件为将具有第一标识信息的多个文件合并获得的文件；从第一存储空间读取待访问文件。本方案由于将多个文件合并得到合并文件，并将具有第一标识信息的合并文件存储在第一存储空间，实现了在进行文件访问时，能够直接基于待访问文件的第一标识信息去查找存储有该标识信息的合并文件的存储空间，再从存储空间读取该待访问文件，提高了访问效率，避免了当文件较多时，要进行文件访问所消耗的查询时间较长的问题。

技术研发人员：夏鼎玺,汪翊琪,张海洋,张文韬,余静莹,牛鑫鑫,武馨屿,范佳佳,任帅,张旭
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/16