文件传输方法、装置、电子设备以及存储介质与流程

本公开涉及计算机，尤其涉及云计算、大数据、信息流等领域，具体地，涉及一种文件传输方法、装置、电子设备以及存储介质。

背景技术：

1、在云环境下，很多业务会运维管理一些超大规模的集群，比如常见的上千个节点的hadoop(一种分布式系统基础架构)大数据集群。在该种环境下，经常会有需求将一个文件(部署包、配置文件或者是数据)从一台机器或者是外部环境下载到集群内的多台机器上。

技术实现思路

1、本公开提供了一种文件传输方法、装置、电子设备以及存储介质。

2、根据本公开的一方面，提供了一种文件传输方法，包括：响应于确定集群的目标节点已获得待传输文件，获取针对目标节点配置的目标文件分发任务的信息，集群还包括目标节点的下游节点，目标文件分发任务的信息包括下游节点的下游节点标识；以及响应于接收到用于执行目标文件分发任务的第一执行指令，根据下游节点标识，将待传输文件发送至下游节点。

3、根据本公开的另一方面，提供了一种文件传输装置，包括：任务信息获取模块，用于响应于确定集群的目标节点已获得待传输文件，获取针对目标节点配置的目标文件分发任务的信息，集群还包括目标节点的下游节点，目标文件分发任务的信息包括下游节点的下游节点标识；以及文件发送模块，用于响应于接收到用于执行目标文件分发任务的第一执行指令，根据下游节点标识，将待传输文件发送至下游节点。

4、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的文件传输方法。

5、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开的文件传输方法。

6、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现本公开的文件传输方法。

7、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种文件传输方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中，所述目标文件分发任务包括在多个时刻生成的多个文件分发任务；所述确定所述目标文件分发任务的目标任务执行状态信息包括：

4.根据权利要求3所述的方法，其中，所述预设规则包括：所述同一个文件分发任务组中最多一个文件分发任务的任务执行状态信息指示了正在执行。

5.根据权利要求3或4所述的方法，其中，所述同一个文件分发任务组包括在第一时刻生成的第一文件分发任务以及在第二时刻生成的第二文件分发任务；所述根据针对所述同一个文件分发任务组定义的预设规则，确定所述同一个文件分发任务组中文件分发任务的任务执行状态包括：

6.根据权利要求5所述的方法，其中，所述根据针对所述同一个文件分发任务组定义的预设规则，确定所述同一个文件分发任务组中文件分发任务的任务执行状态还包括：

7.根据权利要求2所述的方法，其中，所述集群还包括所述目标节点的上游节点；所述确定所述目标文件分发任务的目标任务执行状态信息包括：

8.根据权利要求7所述的方法，其中，所述确定所述目标文件分发任务的目标任务执行状态信息还包括：

9.根据权利要求2或7或8所述的方法，其中，所述确定所述目标文件分发任务的目标任务执行状态信息包括：

10.根据权利要求9所述的方法，还包括：在所述响应于确定所述目标文件分发任务的重试次数等于预设次数，将所述目标任务执行状态信息更新为执行失败之前，

11.根据权利要求9或10所述的方法，还包括：在所述响应于确定所述目标文件分发任务的重试次数等于预设次数，将所述目标任务执行状态信息更新为执行失败之前，

12.根据权利要求1-11中任一项所述的方法，还包括：在所述响应于确定集群的目标节点已获得待传输文件，获取针对所述目标节点配置的目标文件分发任务的信息之前，

13.根据权利要求11所述的方法，其中，所述集群包括第一节点和第二节点，所述文件传输信息包括所述第一节点的第一节点标识和所述第二节点的第二节点标识；所述根据所述文件传输指令所表征的文件传输信息，生成所述目标文件分发任务包括：

14.根据权利要求13所述的方法，其中，所述文件传输信息还包括所述待传输文件的目标存储地址；所述根据所述文件传输指令所表征的文件传输信息，生成所述目标文件分发任务还包括：

15.根据权利要求13或14所述的方法，其中，所述将所述目标文件分发任务的信息发送至所述集群的节点包括：

16.一种文件传输装置，包括：

17.根据权利要求16所述的装置，还包括：

18.根据权利要求17所述的装置，其中，所述目标文件分发任务包括在多个时刻生成的多个文件分发任务；所述状态确定模块包括：

19.根据权利要求18所述的装置，其中，所述预设规则包括：所述同一个文件分发任务组中最多一个文件分发任务的任务执行状态信息指示了正在执行。

20.根据权利要求18或19所述的装置，其中，所述同一个文件分发任务组包括在第一时刻生成的第一文件分发任务以及在第二时刻生成的第二文件分发任务；所述状态确定子模块包括：

21.根据权利要求20所述的装置，其中，所述状态确定子模块还包括：

22.根据权利要求17所述的装置，其中，所述集群还包括所述目标节点的上游节点；所述状态确定模块包括：

23.根据权利要求22所述的装置，其中，所述状态确定模块还包括：

24.根据权利要求17或22或23所述的装置，其中，所述状态确定模块包括：

25.根据权利要求24所述的装置，还包括：

26.根据权利要求24或25所述的装置，还包括：

27.根据权利要求16-26中任一项所述的装置，还包括：在所述响应于确定集群的目标节点已获得待传输文件，获取针对所述目标节点配置的目标文件分发任务的信息之前，

28.根据权利要求26所述的装置，其中，所述集群包括第一节点和第二节点，所述文件传输信息包括所述第一节点的第一节点标识和所述第二节点的第二节点标识；所述任务生成模块包括：

29.根据权利要求28所述的装置，其中，所述文件传输信息还包括所述待传输文件的目标存储地址；所述任务生成模块还包括：

30.根据权利要求28或29所述的装置，其中，所述任务信息发送模块包括：

31.一种电子设备，包括：

32.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-15中任一项所述的方法。

33.一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据权利要求1-15中任一项所述的方法。

技术总结
本公开提供了文件传输方法、装置、电子设备以及存储介质，涉及计算机技术领域，尤其涉及云计算、大数据、信息流等领域。具体实现方案为：响应于确定集群的目标节点已获得待传输文件，获取针对目标节点配置的目标文件分发任务的信息，集群还包括目标节点的下游节点，目标文件分发任务的信息包括下游节点的下游节点标识；以及响应于接收到用于执行目标文件分发任务的第一执行指令，根据下游节点标识，将待传输文件发送至下游节点。

技术研发人员：何雪源,陈锐
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/15