一种计算资源的提供方法、系统、电子设备及存储介质与流程

本说明书中实施方式关于计算机应用，具体地说，涉及计算机应用下的算力池化技术，更具体地说，涉及一种计算资源的提供方法、系统、电子设备及存储介质。

背景技术：

1、随着人工智能不断发展，从人脸识别、智能语音，到自动驾驶、工业智能，越来越多的场景通过深度结合人工智能技术，提升了产品的竞争力，形成了智能应用产品。目前，智能应用产品大多需要依靠云平台提供的计算资源进行计算任务的运算，满足各类应用需求。

2、随着云平台用户的增多，降低云平台在提供计算资源时的性能损耗具有重要意义。

技术实现思路

1、本说明书中多个实施方式提供一种计算资源的提供方法、系统、电子设备及存储介质，以实现降低提供计算资源时的性能损耗的目的。

2、本说明书的一个实施方式提供一种计算资源的提供方法，包括：

3、响应于计算请求，将所述计算请求发送给虚拟算力设备，所述虚拟算力设备包括用户模块，所述用户模块包括均运行于用户态的虚拟前端单元和虚拟后端单元；所述虚拟前端单元用于接收所述计算请求，并基于半虚拟化协议将所述计算请求保存至共享内存中；所述虚拟后端单元，用于挂载虚拟计算资源，基于所述半虚拟化协议从所述共享内存中接收所述计算请求，并将所述计算请求发送给所述虚拟计算资源；所述计算请求，用于请求所述虚拟计算资源执行计算任务；所述虚拟计算资源包括算力和显存中的至少一项；

4、接收所述虚拟算力设备返回的计算结果。

5、本说明书的一个实施方式提供一种计算资源的提供系统，包括：管控模块和数据模块；其中，

6、所述管控模块，用于响应于计算请求，将所述计算请求发送给虚拟算力设备，接收所述虚拟算力设备返回的计算结果；

7、所述数据模块，用于建立所述虚拟算力设备；所述虚拟算力设备包括用户模块，所述用户模块包括均运行于用户态的虚拟前端单元和虚拟后端单元；所述虚拟前端单元用于接收所述计算请求，并基于半虚拟化协议将所述计算请求保存至共享内存中；所述虚拟后端单元，用于挂载虚拟计算资源，基于所述半虚拟化协议从所述共享内存中接收所述计算请求，并将所述计算请求发送给所述虚拟计算资源；所述计算请求，用于请求所述虚拟计算资源执行计算任务；所述虚拟计算资源包括算力和显存中的至少一项。

8、第三方面，本说明书实施例提供了一种电子设备，包括：处理器和存储器；

9、其中，所述存储器与所述处理器连接，所述存储器用于存储计算机程序；

10、所述处理器，用于通过运行所述存储器中存储的计算机程序，实现如上述计算资源的提供方法。

11、第四方面，本说明书实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述的计算资源的提供方法。

12、第五方面，本说明书实施例提供了一种计算机程序产品或计算机程序，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；所述计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序，所述处理器执行所述计算机程序时实现上述的计算资源的提供方法的步骤。

13、本说明书提供的多个实施方式，通过半虚拟化技术实现计算请求在虚拟算力设备中的接收与传输，使得计算请求可以通过运行于用户态的虚拟前端单元基于共享内存传输给挂载虚拟计算资源的虚拟后端单元，从而使计算请求无需在用户态和内核态之间进行数据拷贝。如此，可以大大减少数据拷贝的次数，提高数据传输的效率，减少在提供计算资源时的性能损耗。

技术特征：

1.一种计算资源的提供方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述计算请求包括回调函数；所述回调函数用于在所述计算任务完毕后，将所述计算结果返回给所述计算请求的请求方；

3.根据权利要求1所述的方法，其特征在于，所述虚拟后端单元，还用于接收所述目标计算资源执行所述计算任务返回的计算结果，并将所述计算结果保存至所述共享内存；所述虚拟前端单元，还用于从所述共享内存中读取所述计算结果；

4.根据权利要求1所述的方法，其特征在于，还包括：

5.根据权利要求4所述的方法，其特征在于，所述运行模式包括本地模式或拉远模式；在所述运行模式包括所述拉远模式时，所述虚拟算力设备还包括网络接收单元；

6.根据权利要求4所述的方法，其特征在于，若所述运行模式包括固定算力模式，所述配置信息还包括需求信息，所述需求信息包括需求算力值和需求显存值中的至少一项，所述根据所述配置信息，在所述目标节点创建所述虚拟算力设备包括：

7.一种计算资源的提供系统，其特征在于，包括：管控模块和数据模块；其中，

8.根据权利要求7所述的系统，其特征在于，所述虚拟后端单元，还用于接收所述目标计算资源执行所述计算任务返回的计算结果，并将所述计算结果保存至所述共享内存；所述虚拟前端单元，还用于从所述共享内存中读取所述计算结果。

9.根据权利要求7所述的系统，其特征在于，所述虚拟前端单元包括第一均衡模块、多个用户线程和多个第一共享内存线程；

10.根据权利要求7所述的系统，其特征在于，所述计算请求包括回调函数；所述回调函数用于在所述计算任务完毕后，将所述计算结果返回给所述计算请求的请求方；

11.根据权利要求7～10任一项所述的系统，其特征在于，所述数据模块包括多个节点；

12.根据权利要求11所述的系统，其特征在于，所述运行模式包括本地模式或拉远模式；在所述运行模式包括所述拉远模式时，所述虚拟算力设备还包括网络接收单元；

13.一种电子设备，其特征在于，包括：处理器和存储器；

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时，实现如权利要求1-6任一项所述的计算资源的提供方法。

技术总结
本说明书实施方式提供了一种计算资源的提供方法、系统、电子设备及存储介质，计算资源的提供系统通过半虚拟化技术实现计算请求在虚拟算力设备中的接收与传输，使得计算请求可以通过运行于用户态的虚拟前端单元基于共享内存传输给挂载虚拟计算资源的虚拟后端单元，从而使计算请求无需在用户态和内核态之间进行数据拷贝。如此，可以大大减少数据拷贝的次数，提高数据传输的效率，减少在提供计算资源时的性能损耗。此外，计算资源的提供系统将虚拟后端单元与虚拟前端单元分离，可以将数据接收、转发、网络通信等功能集成于虚拟后端单元，通过向用户提供SDK的方式，将数据接收、转发、网络通信隐藏起来，尽量减少对用户容器的侵入。

技术研发人员：方康华,李继平
受保护的技术使用者：杭州阿里巴巴飞天信息技术有限公司
技术研发日：
技术公布日：2024/1/15