一种边缘计算场景下的分布式计算方法及系统与流程

1.本发明涉及边缘计算领域，具体提供一种边缘计算场景下的分布式计算方法及系统。


背景技术：

2.边缘计算，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。而云端计算，仍然可以访问边缘计算的历史数据。
3.随着数字经济的发展，一方面各行各业对计算资源需求很大，一方面企业的私有数据中心、科研机构的超算中心闲置率很高，各类计算终端的利用率甚至低于15％。这样就导致设备存在很多闲散资源没有被使用，造成闲散资源的浪费。


技术实现要素：

4.本发明是针对上述现有技术的不足，提供一种实用性强的边缘计算场景下的分布式计算方法。
5.本发明进一步的技术任务是提供一种设计合理，安全适用的边缘计算场景下的分布式计算系统。
6.本发明解决其技术问题所采用的技术方案是：
7.一种边缘计算场景下的分布式计算方法，具有如下步骤：
8.s1、启动中心调度系统；
9.s2、启动边缘适配系统；
10.s3、算力监控模块开始监控算力节点资源；
11.s4、算力注册模块注册算力节点信息；
12.s5、任务编排模块接收算力任务并编排业务；
13.s6、算力调度模块主动获取工作任务；
14.s7、算力纳管模块发送算力节点可执行的工作任务；
15.s8、算力调度模块接收任务，并启动算力执行程序；
16.s9、算力执行模块执行工作实例，并生成输出文件；
17.s10、算力调度模块将输出文件返回至中心调度系统。
18.进一步的，在步骤s3中，边缘适配算力监控模块监控当前算力节点的计算资源信息和边缘算力节点的操作系统信息。
19.进一步的，在步骤s4中，算力监控模块将算力节点信息发送给算力注册模块，算力注册模块将所述节点信息上报至中心调度系统算力纳管模块；
20.中心调度系统算力纳管模块收集边缘算力节点上报的资源信息，并将算力节点信
息保存至存储模块。
21.进一步的，在步骤s5中，中心调度系统任务编排模块接收用户上传的算力任务，所述算力任务包括算力程序，算力输入模板，算力输出模板；
22.任务编排模块对算力任务进行编排，将算力任务分为一个或多个工作实例，并将对应信息保存至存储模块。
23.进一步的，在步骤s6中，边缘适配系统算力调度模块向中心调度系统发送调度请求，主动获取当前算力节点可执行的工作实例；
24.在步骤s7中，中心调度系统算力纳管模块扫描数据库并查找可由边缘算力节点处理的工作，并返回一个或多个工作实例；
25.在步骤s8中，边缘适配系统算力调度模块接收中心返回的工作实例，并将工作实例转发至算力执行模块。
26.进一步的，在步骤s9中，算力执行模块根据工作实例中的相关信息，获取和工作相关的算力程序并执行程序；所述工作实例执行完成后，算力执行模块生成工作实例对应的输出文件并转发至算力调度模块。
27.进一步的，在步骤s10中，算力调度模块将算力执行模块生成的输出文件发送至中心调度系统任务编排模块；
28.当某一任务模块所有工作实例执行完成后，任务编排模块生成统一的任务输出文件，并根据算力输出模板上传生成的输出文件。
29.一种边缘计算场景下的分布式计算系统，所述分布式计算系统包括中心调度和边缘适配；
30.所述中心调度包括算力纳管模块、任务编排模块和存储模块，所述算力纳管模块收集各边缘算力节点的资源使用信息，统一协调各算力节点的工作分配，所述任务编排模块负责完成算力任务编排、任务结果回收，所述存储模块负责存储系统运行过程中产生算力节点和算力任务信息；
31.所述边缘适配包括算力监控模块、算力注册模块、算力调度模块和算力执行模块，所述算力监控模块负责统一监管算力节点的计算、存储、网络资源，并将资源信息发送给算力注册模块；
32.所述算力注册模块负责向中心调度系统注册算力，并将算力监控模块获取的资源信息上报至中心系统；
33.所述算力调度模块负责向中心调度系统发送调度请求，主动获取当前算力节点可执行的任务；
34.所述算力执行模块负责执行算力调度模块所获取的任务，同时生成对应的输出文件。
35.进一步的，所述算力任务包括算力程序、算力输入模板和算力输出模板；
36.所述算力程序为用户提供的算法；
37.所述算力输入模板描述了算力任务的数据输入方式、资源需求和调度参数；
38.所述算力输出模板描述了算力任务的数据输出方式。
39.进一步的，在所述算力程序中，当用户需要使用分布式计算服务时，用户将算力程序打包成docker镜像；
40.在算力输入模块中数据输入方式为本地或远程url链接；在算力输出模板中数据输出的方式为上报至中心调度系统或用户指定的其他输出方式。
41.本发明的一种边缘计算场景下的分布式计算方法及系统和现有技术相比，具有以下突出的有益效果：
42.本发明提供一种边缘计算场景下的分布式计算方法及系统，其目的在于提供一种在不影响私有数据中心、超算中心等业务的情况下，有效利用环境中的闲散算力资源的系统，该方法能有效聚合多方算力，满足算力多样化业务需求，提供算力资源利用率。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.附图1是一种边缘计算场景下的分布式计算方法的流程示意图；
45.附图2是一种边缘计算场景下的分布式计算系统中中心调度的框图；
46.附图3是一种边缘计算场景下的分布式计算系统中边缘适配的框图。
具体实施方式
47.为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
48.下面给出一个最佳实施例：
49.如图1所示，本实施例中的一种边缘计算场景下的分布式计算方法，具有如下步骤：
50.s001:启动中心调度系统；
51.s002:启动边缘适配系统；
52.s003:边缘适配系统算力监控模块监控当前算力节点的cpu、内存、磁盘、gpu等计算资源信息和边缘算力节点的操作系统信息；
53.s004:算力监控模块将算力节点信息发送给算力注册模块，算力注册模块将该信息上报至中心调度系统算力纳管模块；
54.s005:中心调度系统算力纳管模块收集边缘算力节点上报的资源信息，并将算力节点信息保存至存储模块；
55.s006:中心调度系统任务编排模块接收用户上传的算力任务，所述算力任务包括算力程序，算力输入模板，算力输出模板；
56.s007:任务编排模块对算力任务进行编排，将算力任务分为一个或多个工作实例，并将对应信息保存至存储模块；
57.s008:边缘适配系统算力调度模块向中心调度系统发送调度请求，主动获取当前算力节点可执行的工作实例；
58.s009:中心调度系统算力纳管模块扫描数据库并查找可由边缘算力节点处理的工作，并返回一个或多个工作实例；
59.s010:边缘适配系统算力调度模块接收中心返回的工作实例，并将工作实例转发至算力执行模块；
60.s011:算力执行模块根据工作实例中的相关信息，获取和工作相关的算力程序并执行程序；
61.s012:所述工作实例执行完成后，算力执行模块生成工作实例对应的输出文件并转发至算力调度模块；
62.s013:算力调度模块将算力执行模块生成的输出文件发送至中心调度系统任务编排模块；
63.s014:当某一任务模块所有工作实例执行完成后，任务编排模块生成统一的任务输出文件，并根据算力输出模板上传生成的输出文件；
64.s015:以上s008-s014步无限循环重复执行。
65.基于上述方法，本实施例中的一种边缘计算场景下的分布式计算系统，中心调度系统包括算力纳管模块、任务编排模块、存储模块，所述算力纳管收集各边缘算力节点的资源使用信息，统一协调各算力节点的工作分配，所述任务编排模块负责完成算力任务编排、任务结果回收功能，所述存储模块负责存储系统运行过程中产生的各种信息，包括算力节点、算力任务等的信息。
66.所述边缘适配系统包括算力监控模块、算力注册模块、算力调度模块、算力执行模块，所述算力监控模块负责统一监管算力节点的计算、存储、网络等资源，并将资源信息发送给算力注册模块；所述算力注册模块负责向中心调度系统注册算力，并将算力监控模块获取的资源信息上报至中心系统；所述算力调度模块负责向中心调度系统发送调度请求，主动获取当前算力节点可执行的任务；所述算力执行模块负责执行算力调度模块所获取的任务，同时生成对应的输出文件。
67.算力任务包括算力程序，算力输入模板、算力输出模板，所述算力程序为用户提供的算法，当用户需要使用分布式计算服务时，用户需要将自己的算力程序打包成docker镜像，所述算力输入模板描述了算力任务的数据输入方式、资源需求和调度参数，所述数据输入方式可以是本地文件，也可以是远程url链接，所述算力输出模板描述了算力任务的数据输出方式，所述输出方式可以是上报至中心调度系统，也可以是用户指定的其他输出方式，例如url链接。
68.上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种边缘计算场景下的分布式计算方法及系统权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
69.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。