一种面向服务的轻量级异构计算集群系统的制作方法

本发明涉及分布式计算领域，特别涉及一种面向服务的轻量级异构计算集群系统。

背景技术：

1、随着计算机科学和技术的不断发展，异构计算集群系统已经成为了高性能计算领域的重要研究方向。然而，传统的异构计算集群系统存在着诸多问题，如复杂的配置和管理，包括一些嵌入式的集成管理模块，使得整个集群系统管理起来操作十分的繁琐，因为具有复杂的管理系统，就使得系统的计算量增加，进而使得系统的计算处理效率降低。

技术实现思路

1、本发明的目的在于提供一种面向服务的轻量级异构计算集群系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种面向服务的轻量级异构计算集群系统，所述集群系统包括前端服务、任务管理服务、计算节点、数据存储服务和网络通信服务；

3、所述前端服务用于接收用户请求，进行请求分类和分发，同时提供用户界面和数据展示功能；

4、所述任务管理服务用于任务的调度和管理，根据任务的类型和优先级，将任务分配给不同的计算节点进行处理；

5、所述计算节点由多个异构计算节点组成，且每个计算节点都包含了不同的处理器和加速器，用于执行不同类型的计算任务；

6、所述数据存储服务用于数据的存储和管理，包括数据的备份、恢复和安全保护功能；

7、所述网络通信服务用于计算节点之间和计算节点与存储节点之间的数据传输和通信，所述网络通信服务的传输方式包括dma传输、axi总线协议和片上网络。

8、优选的，所述面向服务的轻量级异构计算集群系统的前端服务体现形式可以采用web应用程序的形式，通过web服务，用户可以通过浏览器或其他客户端应用程序来访问系统的前端服务，实现对异构计算集群的管理和控制。

9、优选的，所述web服务提供的功能包括用户身份认证和授权、任务提交和管理、资源管理和监控、数据管理和存储以及安全管理和审计。

10、优选的，所述web服务还可以提供可扩展的接口和协议，以便与其他系统进行集成和交互。

11、优选的，所述任务管理服务通过一个中心化的任务调度器来实现任务的调度和管理，所述调度器可以根据任务的类型、优先级和可用资源因素，将任务分配给不同的计算节点进行处理。

12、优选的，所述调度器的调度过程依次包括任务分类、任务优先级判定、选取计算节点、任务分配以及监控和调整，所述监控和调整是对节点处理任务的进度进行监控和调整。

13、优选的，所述异构计算节点的处理器由cpu、gpu和fpga中的一种或多种进行分类组合构成。

14、优选的，多个所述异构计算节点的连接方式包括直接连接、以太网连接和infiniband连接中的一种或多种组合。

15、优选的，所述数据存储服务的存储形式包括分布式文件存储、对象存储、关系型数据库和nosql数据库。

16、优选的，所述网络通信服务的表现形式包括基于tcp/ip协议栈的socket通信、基于rpc的远程调用、基于消息队列的异步通信和基于http协议的restful接口。

17、本发明的技术效果和优点：

18、本发明采用了服务化架构，将计算集群系统中的各种资源抽象成服务，并通过服务间的协作来完成各种计算任务，这种架构可以使系统更加灵活、可扩展、易管理，且该系统采用了任务管理服务，具有自适应性和动态性，该管理方式可以根据不同的计算任务需求，动态地分配和调度计算资源，使得计算资源利用率更高。

技术特征：

1.一种面向服务的轻量级异构计算集群系统，其特征在于，所述集群系统包括前端服务、任务管理服务、计算节点、数据存储服务和网络通信服务；

2.根据权利要求1所述的一种面向服务的轻量级异构计算集群系统，其特征在于，所述前端服务体现形式可以采用web应用程序的形式，通过web服务，用户可以通过浏览器或其他客户端应用程序来访问系统的前端服务，实现对异构计算集群的管理和控制。

3.根据权利要求2所述的一种面向服务的轻量级异构计算集群系统，其特征在于，所述web服务提供的功能包括用户身份认证和授权、任务提交和管理、资源管理和监控、数据管理和存储以及安全管理和审计。

4.根据权利要求3所述的一种面向服务的轻量级异构计算集群系统，其特征在于，所述web服务还可以提供可扩展的接口和协议，以便与其他系统进行集成和交互。

5.根据权利要求1所述的一种面向服务的轻量级异构计算集群系统，其特征在于，所述任务管理服务通过一个中心化的任务调度器来实现任务的调度和管理，所述调度器可以根据任务的类型、优先级和可用资源因素，将任务分配给不同的计算节点进行处理。

6.根据权利要求5所述的一种面向服务的轻量级异构计算集群系统，其特征在于，所述调度器的调度过程依次包括任务分类、任务优先级判定、选取计算节点、任务分配以及监控和调整，所述监控和调整是对节点处理任务的进度进行监控和调整。

7.根据权利要求1所述的一种面向服务的轻量级异构计算集群系统，其特征在于，所述异构计算节点的处理器由cpu、gpu和fpga中的一种或多种进行分类组合构成。

8.根据权利要求7所述的一种面向服务的轻量级异构计算集群系统，其特征在于，多个所述异构计算节点的连接方式包括直接连接、以太网连接和infiniband连接中的一种或多种组合。

9.根据权利要求1所述的一种面向服务的轻量级异构计算集群系统，其特征在于，所述数据存储服务的存储形式包括分布式文件存储、对象存储、关系型数据库和nosql数据库。

10.根据权利要求1所述的一种面向服务的轻量级异构计算集群系统，其特征在于，所述网络通信服务的表现形式包括基于tcp/ip协议栈的socket通信、基于rpc的远程调用、基于消息队列的异步通信和基于http协议的restful接口。

技术总结
本发明公开了一种面向服务的轻量级异构计算集群系统，包括前端服务、任务管理服务、计算节点、数据存储服务和网络通信服务；前端服务用于接收用户请求，进行请求分类和分发；任务管理服务用于任务的调度和管理；计算节点由多个异构计算节点组成；数据存储服务用于数据的存储和管理；网络通信服务用于计算节点之间和计算节点与存储节点之间的数据传输和通信。本发明采用了服务化架构，将计算集群系统中的各种资源抽象成服务，并通过服务间的协作来完成各种计算任务，且该系统采用了任务管理服务，具有自适应性和动态性，该管理方式可以根据不同的计算任务需求，动态地分配和调度计算资源，使得计算资源利用率更高。

技术研发人员：董贇,艾徐华,蒙琦,银源,刘凯杰,符嘉成,杨崇富
受保护的技术使用者：广西电网有限责任公司
技术研发日：
技术公布日：2024/1/15