异构硬件抽象统一封装和异构调度系统的制作方法

本发明涉及嵌入式智能计算的，尤其涉及一种异构硬件抽象统一封装和异构调度系统。

背景技术：

1、嵌入式深度学习推理计算过程运行在嵌入式设备端，为嵌入式设备做智能应用计算提供基础方法，而机载中的智能推理系统主要面临三个挑战，包括：

2、1、一个整体的任务需要拆分成多个适配于硬件的任务或计算图，保证异构计算的有效性，具体地，需要考虑不同类型的处理器适配于什么拓扑结构类型；

3、2、要做到真正的异构资源的调度和管理，需要软硬件协同，如，需要硬件侧在驱动之上建立硬件协同接口，同时需要软件侧在应用之下建立统一的软件协同接口，硬件协同接口与软件协同接口进行软硬协同配合，才能将异构算力有效地管理起来，然而，硬件封装技术目前尚未有统一且有效的标准，且尚未有面向异构高性能计算的硬件封装技术；

4、3、如何将异构算力资源和拆分后的待计算的拓扑结构，进行整合，达到高性能异构调度的目的，提升推理阶段的性能。

5、整体而言，现有中智能推理系统功能性较低，不能适应当前机载的系统。

技术实现思路

1、有鉴于此，本发明提供的异构硬件抽象统一封装和异构调度系统，以解决现有技术中异构硬件抽象统一封装系统不能适应当前机载系统的技术问题。

2、一种异构硬件抽象统一封装和异构调度系统，一种异构硬件抽象统一封装和异构调度系统，适用于机载系统的软、硬协同智能推理，智能推理以计算图为输入，包括：

3、形式化定义所述计算图的描述格式，通过所述计算图进行智能异构计算；

4、所述计算图进行切分以形成多个子图，多个所述子图进行异构硬件选择及进行异构计算，其中，所述异构计算，包括，

5、使用不同硬件分别计算所述异构硬件选择后的所述子图，每个类型的所述硬件封装有抽象接口，所述抽象接口用于调用各处理器的计算单元；智能推理系统调用所述抽象接口进行接口实例化并进行异构计算；

6、封装所述抽象接口并根据硬件型号实例化所述抽象接口，实例化后匹配异构硬件并对所述子图的异构计算。

7、有益效果

8、形式化定义计算图的描述格式，所述计算图用于进行智能异构计算；计算图拆分后子图的异构硬件选择流程，所述流程用于高性能自动进行异构计算；在硬件侧形式化定义不同类型处理器的抽象接口，所述接口用于调用各处理器；在软件侧基于不同类型的硬件特性设计异构硬件抽象统一封装接口，用于屏蔽底层硬件细节，做到底层更换硬件之后，上层的应用代码保持基本不变；软硬协同的异构计算工作机制，支持硬件侧与软件侧根据此机制进行迭代升级；基于封装的接口设计高性能异构调度系统，通过对计算图的切分，选择硬件等过程，利用异构计算资源，起到提升推理阶段模型的性能。

技术特征：

1.一种异构硬件抽象统一封装和异构调度系统，适用于机载系统的软、硬协同智能推理，智能推理以计算图为输入，其特征在于，包括：

2.根据权利要求1所述的异构硬件抽象统一封装和异构调度系统，其特征在于，计算图切分后，进行所述子图的异构硬件选择流程。

3.根据权利要求1所述的异构硬件抽象统一封装和异构调度系统，其特征在于，不同处理器的抽象接口用于调用异构处理器。

4.根据权利要求1所述的异构硬件抽象统一封装和异构调度系统，其特征在于，智能推理系统调用所述抽象接口进行接口实例化并进行异构计算包括，以智能系统中异构计算作为软件侧，以不同处理器作为硬件侧，软、硬协同智能推理的异构计算工作机制，其中，

5.根据权利要求1所述的异构硬件抽象统一封装和异构调度系统，其特征在于，在硬件构型种进行子图计算的选择，包括，

技术总结
本发明的异构硬件抽象统一封装和异构调度系统，包括，形式化定义计算图的描述格式，所述计算图用于进行智能异构计算；计算图拆分后子图的异构硬件选择流程，所述流程用于高性能自动进行异构计算；在硬件侧形式化定义不同类型处理器的抽象接口，所述接口用于调用各处理器；在软件侧基于不同类型的硬件特性设计异构硬件抽象统一封装接口，用于屏蔽底层硬件细节，做到底层更换硬件之后，上层的应用代码保持基本不变；软硬协同的异构计算工作机制，支持硬件侧与软件侧根据此机制进行迭代升级；基于封装的接口设计高性能异构调度系统，通过对计算图的切分，选择硬件等过程，利用异构计算资源，起到提升推理阶段模型的性能。

技术研发人员：王琳博,王海翔,程陶然,车凯,白林亭,文鹏程
受保护的技术使用者：中国航空工业集团公司西安航空计算技术研究所
技术研发日：
技术公布日：2024/4/29