一种数据集管理方法和管理系统、计算机设备和存储介质与流程

本发明涉及计算机，特别是涉及一种数据集管理方法和管理系统、计算机设备和存储介质。

背景技术：

1、随着容器技术的发展，容器编排引擎(kubernetes)的应用也越来越普及，容器编排引擎是一个开源系统，可以用于自动化容器化应用软件的部署、扩展和管理。

2、然而，使用容器编排引擎对存储服务器进行数据存储分配和权限管理时，在数据上传、数据下载、数据隔离、以及数据共享等方面存在安全性问题。

技术实现思路

1、为了解决上述问题至少之一，本发明第一方面提供一种数据集管理方法，包括：

2、容器编排引擎中运行的第一应用软件从挂载到所属容器组上的分组目录中读取第一数据集，所述分组目录为云存储应用对存储服务器中存储的数据集进行权限分组形成的；

3、所述容器编排引擎中运行的第二应用软件将生成的第二数据集写入所属容器组对应的数据输出目录中，所述数据输出目录为所述容器编排引擎通过存储类基于所述存储服务器中的可用空间生成的；

4、通过所述云存储应用对所述第二数据集进行权限分组并挂载到所述容器编排引擎中。

5、例如，在本申请一些实施例提供的数据集管理方法中，包括：所述通过所述云存储应用对所述第二数据集进行权限分组并挂载到所述容器编排引擎中进一步包括：

6、所述云存储应用响应于第一管理员的操作对所述第二数据集进行权限设置并分配到至少一个分组中，所述第一管理员为所述云存储应用启动时对应设置的；

7、所述云存储应用响应于各分组对应的第二管理员的操作对所述分组中的第二数据集进行配置以形成至少一个所述分组目录、并挂载到所述容器编排引擎中对应的容器组中，所述第二管理员为所述分组形成时对应设置的，所述分组目录包括对所述第二数据集的操作权限。

8、例如，在本申请一些实施例提供的数据集管理方法中，所述操作权限为对所述第二数据集的只读权限、增加权限、删除权限和修改权限中的至少一个。

9、例如，在本申请一些实施例提供的数据集管理方法中，在所述容器编排引擎中运行的第一应用软件从挂载到所属容器组上的分组目录中读取第一数据集之前，所述数据集管理方法还包括：

10、基于所述存储服务器的已用空间，通过云存储应用对所述已用空间存储的数据集分别进行权限分组，并根据各容器组的应用需求形成不同的分组目录，并将各分组目录挂载到对应的容器组中。

11、例如，在本申请一些实施例提供的数据集管理方法中，在所述容器编排引擎中运行的第二应用软件将生成的第二数据集写入所属容器组对应的数据输出目录中之前，所述数据集管理方法还包括：

12、基于所述存储服务器的可用空间，容器编排引擎通过存储类动态生成多个数据输出目录，所述数据输出目录与所述容器编排引擎中的每个容器组对应。

13、例如，在本申请一些实施例提供的数据集管理方法中，所述数据集管理方法还包括：

14、基于所述容器编排引擎建立新的容器组时，所述容器编排引擎通过存储类生成与所述新的容器组对应的数据输出目录。

15、例如，在本申请一些实施例提供的数据集管理方法中，所述容器编排引擎与所述存储服务器通过第一通信接口通信，所述云存储应用与所述存储服务器通过第二通信接口通信；

16、所述第一通信接口不同于所述第二通信接口。

17、本发明第二方面提供一种数据集管理系统，包括存储服务器、分别与所述存储服务器连接的容器管理平台和存储应用单元，其中，

18、所述存储服务器，用于存储数据集；

19、所述存储应用单元，用于对所述存储服务器中存储的数据集进行权限分组以形成分组目录，并将所述分组目录挂载到所述容器管理平台；

20、所述容器管理平台，用于管理运行的各应用软件，根据所述分组目录从所述存储服务器读取对应的数据集，并将各应用软件生成的数据集通过存储类写入所述存储服务器对应的数据输出目录中。

21、本发明第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的数据集管理方法。

22、本发明第四方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的数据集管理方法。

23、本发明的有益效果如下：

24、本发明针对目前现有的问题，制定一种数据集管理方法和管理系统，通过容器编排引擎对存储服务器进行空间管理、同时通过云存储应用对存储服务器的数据集进行权限管理，具体的，容器编排引擎通过存储类将存储服务器中可用空间形成与容器组对应的数据输出目录，并根据数据输出目录将应用软件生成的数据集写入存储服务器，从而通过存储类形成写入存储服务器的写通道；同时利用云存储应用对写入存储服务器的数据集进行权限分组和存储管理，通过配置对数据集的操作权限确保数据集的安全存储，并在此基础上通过将数据集以分组目录的形式挂载到容器编排引擎中实现数据共享，从而通过云存储应用形成存储服务器的读取通道，能够避免不同应用软件在使用数据集时对数据集的误操作，从而弥补了现有技术中存在的问题，有效提高对存储服务器的管理效率，具有广泛的应用前景。

技术特征：

1.一种数据集管理方法，其特征在于，包括：

2.根据权利要求1所述的数据集管理方法，其特征在于，包括：所述通过所述云存储应用对所述第二数据集进行权限分组并挂载到所述容器编排引擎中进一步包括：

3.根据权利要求2所述的数据集管理方法，其特征在于，所述操作权限为对所述第二数据集的只读权限、增加权限、删除权限和修改权限中的至少一个。

4.根据权利要求1所述的数据集管理方法，其特征在于，在所述容器编排引擎中运行的第一应用软件从挂载到所属容器组上的分组目录中读取第一数据集之前，所述数据集管理方法还包括：

5.根据权利要求1所述的数据集管理方法，其特征在于，在所述容器编排引擎中运行的第二应用软件将生成的第二数据集写入所属容器组对应的数据输出目录中之前，所述数据集管理方法还包括：

6.根据权利要求5所述的数据集管理方法，其特征在于，所述数据集管理方法还包括：

7.根据权利要求1所述的数据集管理方法，其特征在于，所述容器编排引擎与所述存储服务器通过第一通信接口通信，所述云存储应用与所述存储服务器通过第二通信接口通信；

8.一种数据集管理系统，其特征在于，包括存储服务器、分别与所述存储服务器连接的容器管理平台和存储应用单元，其中，

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的方法。

技术总结
本发明公开了一种数据集管理方法和管理系统、计算机设备和存储介质，其中一实施例的数据集管理方法包括：容器编排引擎中运行的第一应用软件从挂载到所属容器组上的分组目录中读取第一数据集，分组目录为云存储应用对存储服务器中存储的数据集进行权限分组形成的；容器编排引擎中运行的第二应用软件将生成的第二数据集写入所属容器组对应的数据输出目录中，数据输出目录为容器编排引擎通过存储类基于存储服务器中的可用空间生成的；通过云存储应用对第二数据集进行权限分组并挂载到容器编排引擎中。本发明提供的实施例通过容器编排引擎对存储服务器进行空间管理、同时通过云存储应用对存储服务器的数据集进行权限管理，从而实现高效的存储管理。

技术研发人员：苗圣钦
受保护的技术使用者：京东方科技集团股份有限公司
技术研发日：
技术公布日：2024/3/4