数据调度方法、设备与流程

本发明涉及数据调度，尤其涉及一种数据调度方法、设备。

背景技术：

1、在当今的云原生时代，机器学习在各个领域得到广泛应用。机器学习模型的训练通常需要依赖大量的数据集文件，这些数据集文件可能存储在远程存储系统中，如分布式文件系统、对象存储等。

2、然而，相关技术中，上述数据集文件存储方法会由于需要频繁从远程存储系统中读取大量数据集文件，且数据集存储在远程位置，会导致存在访问效率低下、训练速度受限的问题，而且，由于调度器的不可知性，训练作业有时会被调度到不具备所需数据集缓存的节点上，导致资源利用不均衡。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种数据调度方法，以提高访问效率和资源利用率。

2、本发明的第二个目的在于提出一种数据调度设备。

3、为达到上述目的，本发明第一方面实施例提出了一种数据调度方法，包括：在容器平台k8s创建crd（custom resource definition，自定义资源定义）资源，记为cache资源，并配置所述cache资源的自定义字段；监听所述cache资源及集群中节点缓存状态，当待缓存数据存在于至少一个节点上时，生成node（节点） cache资源；当存在需要加载缓存的node cache资源对应的节点时，根据相应自定义字段中的访问信息创建本地主机路径，并将远端数据集缓存到本地相应节点；响应于数据调度请求，根据所述数据调度请求中的缓存名称确定目标节点，并为在所述容器平台k8s创建的所述数据调度请求对应的pod（kubernetes中的基本单位）绑定所述目标节点；基于绑定所述目标节点的pod，为容器挂载相应的本地主机路径，以实现数据调用。

4、为达到上述目的，本发明第二方面实施例提出了一种数据调度设备，包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现上述的数据调度方法。

5、本发明实施例的数据调度方法、设备，首先在容器平台k8s创建得到cache资源，并配置cache资源的自定义字段，进而监听cache资源对应的集群中节点状态，并根据目标缓存需求和集群中节点状态生成node cache资源，当存在需要加载缓存的node cache资源对应的节点时，根据相应自定义字段中的访问信息创建本地主机路径，并将远端数据集缓存到本地相应节点，响应于数据调度请求，根据数据调度请求中的缓存名称确定目标节点，并为在容器平台k8s创建的数据调度请求对应的pod绑定目标节点，基于绑定目标节点的pod，为容器挂载相应的本地主机路径，以实现数据调用。通过该方法，可以实现将远端数据集缓存到本地节点，无需频繁从远程存储系统中读取文件，也无需通过网络传输来访问数据，而且，由于基于绑定目标节点的pod，为容器挂载相应的本地主机路径，可以实现可知调度，从而保障资源的利用。

6、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种数据调度方法，其特征在于，包括：

2.根据权利要求1所述的数据调度方法，其特征在于，所述在容器平台k8s创建crd资源，包括：

3.根据权利要求2所述的数据调度方法，其特征在于，基于所述容器平台k8s的watch机制，通过所述controller对所述cache资源对应的集群中节点状态进行监听。

4.根据权利要求3所述的数据调度方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的数据调度方法，其特征在于，所述访问信息包括远端数据集地址，所述自定义字段还包括远端数据集大小、缓存副本数、节点亲和性配置信息，其中，所述缓存副本数表示需要缓存的数据集在节点间的副本数量，所述节点亲和性配置信息表示允许将缓存的数据集调度到具有相应标签或属性的节点上。

6.根据权利要求2所述的数据调度方法，其特征在于，所述根据所述数据调度请求中的缓存名称确定目标节点，包括：

7.根据权利要求6所述的数据调度方法，其特征在于，所述方法还包括：

8.根据权利要求7所述的数据调度方法，其特征在于，所述根据所述数据调度请求中的缓存名称和所述缓存情况确定所述目标节点，包括：

9.根据权利要求2所述的数据调度方法，其特征在于，当存在需要加载缓存的nodecache资源对应的节点时，根据相应自定义字段中的访问信息创建本地主机路径，并将远端数据集缓存到本地相应节点，包括：

10.一种数据调度设备，包括存储器、处理器和存储在所述存储器上的计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现根据权利要求1-9中任一项所述的数据调度方法。

技术总结
本发明公开了一种数据调度方法、设备。方法包括：在容器平台k8s创建CRD资源，记为Cache资源，并配置Cache资源的自定义字段；监听Cache资源及集群中节点缓存状态，当待缓存数据存在于至少一个节点上时，生成Node Cache资源；当存在需要加载缓存的Node Cache资源对应的节点时，根据相应自定义字段中的访问信息创建本地主机路径，并将远端数据集缓存到本地相应节点；响应于数据调度请求，根据数据调度请求中的缓存名称确定目标节点，并为在容器平台k8s创建的数据调度请求对应的Pod绑定目标节点；基于绑定目标节点的Pod，为容器挂载相应的本地主机路径，以实现数据调用。

技术研发人员：王石,朱建,常峰,胡安,王兴瑞,刘海峰
受保护的技术使用者：合肥中科类脑智能技术有限公司
技术研发日：
技术公布日：2024/1/16