一种可配置多形态神经网络加速器应用方法与流程

本发明属于计算机应用领域，尤其涉及一种可配置多形态神经网络加速器应用方法。

背景技术：

1、神经网络加速器可以对神经网络算法实现加速处理，目前国内常用的神经网络加速器有华为昇腾310、瑞芯微rk3399等，但其对神经网络加速的方法较为单一，无法根据应用场景的不同任务处理要求，提供可配置的应用服务方式，资源利用率较低。

技术实现思路

1、为了解决现有神经网络加速器的不足，本发明提供了一种可配置多形态神经网络加速器应用方法，可以根据不同应用场景的多种任务处理需求，提供多种可配置的应用服务方式，从而加快神经网络推理速度，提高资源利用率。

2、本发明的技术解决方案是：本发明为一种可配置多形态神经网络加速器应用方法，其特殊之处在于：该方法包括以下步骤：

3、1)应用程序分析：分析应用程序特点，从而选择合适的神经网络加速器配置方式；

4、2)应用程序配置：结合应用程序分析信息，选择合适的应用程序配置方法；

5、3)神经网络加速器资源配置：根据选择的应用程序配置方式，对神经网络加速器进行资源配置。

6、进一步的，步骤1)中应用程序分析包括：数据分析、模型分析、场景分析以及处理流程分析。

7、进一步的，步骤1)的具体步骤如下：

8、1.1)数据分析是对应用程序的数据种类、数据类型、数据规模进行分析，如当应用程序数据是图片类型并且分辨率为4k或更高分辨率时，需要将图片进行拆分，应使用大数据多尺度分区神经网络加速的配置方式对应用程序进行加速；

9、1.2)模型分析是对应用程序使用的模型个数、模型参数量、模型计算量进行分析，如当模型个数只有一个，并且其参数量、计算量均较大时，应使用单网络多核加速的配置方式对应用程序进行加速；

10、1.3)场景分析是对应用程序的场景种类、场景要求、场景特点进行分析，如应用程序场景为复杂场景，需要多任务并发，应使用多源数据多神经网络并行加速的配置方式对应用程序进行加速；

11、1.4)处理流程分析是对应用程序的算法执行顺序、算法切换条件进行分析，如应用程序需要识别、跟踪连续处理，应使用双算法一键配置连续处理的配置方式对应用程序进行加速。

12、进一步的，步骤2)中，神经网络加速器配置方式包括：多源数据多神经网络并行加速、单网络多核加速、大数据多尺度神经网络加速、零开销运行时神经网络切换、双算法一键配置连续处理。

13、进一步的，步骤2)的具体步骤如下：

14、2.1)多源数据多神经网络并行加速是面向复杂场景多任务并发处理要求，使用神经网络加速器的核计算资源为不同的神经网络进行加速；

15、2.2)单网络多核加速是面向强实时高性能任务需求，使用神经网络加速器的核计算资源对一个网络进行加速；

16、2.3)大数据多尺度神经网络加速是面向超大数据链处理需求，相同或者不同的神经网络处理拆分后的数据，使用神经网络加速器的核计算资源为神经网络进行加速；

17、2.4)零开销运行时神经网络切换是面向高动态大形变场景的不同阶段不同算法需求，神经网络加速器支持运行过程中零开销切换神经网络；

18、2.5)双算法一键配置连续处理是面向感知、决策、识别、检测综合一体化处理需求，神经网络加速器支持双算法一键配置连续处理。

19、进一步的，步骤3)中，神经网络加速器资源配置包括核个数配置、核序号配置、神经网络绑定配置以及读写地址配置。

20、进一步的，步骤3)的具体步骤如下：

21、3.1)核个数配置即当前应用程序使用神经网络加速器的核数量；

22、3.2)核序号配置即当前应用程序使用神经网络加速器的核编号；

23、3.3)神经网络绑定配置即将当前应用程序使用的神经网络与神经网络加速器核编号进行绑定；

24、3.4)读写地址配置是对神经网络的输入数据和输出数据进行读地址写地址配置。

25、本发明的优点是：本发明提供的一种可配置多形态神经网络加速器应用方法，神经网络加速器可根据不同应用场景的多种任务处理需求，提供多种可配置的应用服务方式，从而加快神经网络推理速度，提高资源利用率。

技术特征：

1.一种可配置多形态神经网络加速器应用方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的可配置多形态神经网络加速器应用方法，其特征在于：所述步骤1)中应用程序分析包括：数据分析、模型分析、场景分析以及处理流程分析。

3.根据权利要求2所述的可配置多形态神经网络加速器应用方法，其特征在于：所述步骤1)的具体步骤如下：

4.根据权利要求3所述的可配置多形态神经网络加速器应用方法，其特征在于：所述步骤2)中，神经网络加速器配置方式包括：多源数据多神经网络并行加速、单网络多核加速、大数据多尺度神经网络加速、零开销运行时神经网络切换、双算法一键配置连续处理。

5.根据权利要求4所述的可配置多形态神经网络加速器应用方法，其特征在于：所述步骤2)的具体步骤如下：

6.根据权利要求5所述的可配置多形态神经网络加速器应用方法，其特征在于：所述步骤3)中，神经网络加速器资源配置包括核个数配置、核序号配置、神经网络绑定配置以及读写地址配置。

7.根据权利要求6所述的可配置多形态神经网络加速器应用方法，其特征在于：所述步骤3)的具体步骤如下：

技术总结
本发明涉及一种可配置多形态神经网络加速器应用方法，本发明包括以下步骤：1)应用程序分析：分析应用程序特点，从而选择合适的神经网络加速器配置方式；2)应用程序配置：结合应用程序分析信息，选择合适的应用程序配置方法；3)神经网络加速器资源配置：根据选择的应用程序配置方式，对神经网络加速器进行资源配置。本发明可以根据不同应用场景的多种任务处理需求，提供多种可配置的应用服务方式，从而加快神经网络推理速度，提高资源利用率。

技术研发人员：田泽,马城城,郭亮,孙成璐,秦翔,贾云飞
受保护的技术使用者：西安翔腾微电子科技有限公司
技术研发日：
技术公布日：2024/4/17