神经网络模型资源处理方法、装置和设备与流程

本申请涉及页神经网络模型，具体而言，涉及一种经网络模型资源处理方法、装置和设备。

背景技术：

1、神经网络处理器可以对神经网络中的算子进行加速，主要用于边缘端神经网络应用软件，但由于神经网络处理器的算力有限，因此需要合理设计网络模型以保证在规划时间内跑完所有的神经网络模型。

2、实际的神经网络应用软件开发中，一个功能模块往往由多个神经网络模型组成，不同的神经网络具有不同的功能，每个模型的运行时间也不尽相同，不同模型以及软件程序代码之间也有一定的依赖关系，因此一个良好的模型调度顺序以及模型结构对于提高软件整体的性能有较大帮助。为了获得良好的模型调度顺序和模型结构，需要提供一种资源处理工具，用以获取软件运行过程中各个神经网络模型中每个算子的运行起止时间以及神经网络处理器运行的起止时间，通过合理优化模型调度顺序和模型结构以降低模型运行时间，提高神经网络处理器的利用率。

3、目前神经网络模型的资源处理工具主要针对单个模型，不同线程或进程中运行的模型之间没有数据交互，每个模型的运行时间数据会分别被保存到不同文件中，不能同时将不同进程或线程中所有神经网络模型的运行时间数据整合保存到一份文件中。

技术实现思路

1、有鉴于此，本公开实施例提供一种预神经网络模型资源处理、装置和设备，至少部分解决现有技术中存在的问题，可以将不同线程或进程中运行的模型进行数据交互，优化神经网络模型的结构和调度顺序，并提高神经网络处理器的利用率。

2、在一方面，本实施例中提供的神经网络模型资源处理方法，包括：建立资源处理服务器端，所述资源处理服务器端用于与各客户端进行通信；

3、在每个神经网络模型所在线程建立线程客户端，并向每个所述神经网络模型发送神经网络模型信息交互指令；

4、建立处理器客户端，并向所述神经网络模型发送处理器信息交互指令；

5、向所述资源处理服务器端发送信息处理指令，处理所述资源处理服务器端接收到的信息。

6、具体的，所述资源处理服务器用于与各客户端进行通信包括：

7、持续获取所述线程客户端和所述处理器客户端发送的数据。

8、具体的，神经网络模型信息交互指令包括：

9、获取每个神经网络模型的算子运行信息；

10、在每个所述神经网络模型的每个算子运行结束后，将所述每个算子的运行信息发送给所述资源处理服务器端。

11、具体的，每个算子的运行信息至少包括：

12、所述每个算子的运行起止时间，所述每个算子所在线程的线程id、所述每个算子所在进程的进程id。

13、具体的，处理器信息交互指令包括：

14、在所述处理器运行结束后，获取所述处理器的运行起止时间，并将所述处理器的运行起止时间发送给所述资源处理服务器端。

15、具体的，信息处理指令包括：

16、将所述每个算子的运行起止时间汇总到一份文件中，并基于所述线程id和所述进程id进行区分；

17、将所处理器的运行起止时间汇另总到一份文件中。

18、具体的，向所述资源处理服务器端发送信息处理指令之后，还包括：

19、基于所述资源处理服务器端对接收到的信息的处理结果，对所述神经网络模型的结构和模型调度顺序进行优化。

20、另一方面，本公开实施例提供了一种神经网络模型资源处理装置该装置可以实现上述神经网络模型资源处理方法，该装置包括：资源处理服务器端建立模块，用于建立资源处理服务器端，所述资源处理服务器端用于与各客户端进行通信；

21、神经网络模型信息交互模块，用于在每个神经网络模型所在线程建立线程客户端，并向每个所述神经网络模型发送神经网络模型信息交互指令；

22、处理器信息交互模块，用于建立处理器客户端，并向所述神经网络模型发送处理器信息交互指令；

23、信息处理模块，用于向所述资源处理服务器端发送信息处理指令，处理所述资源处理服务器端接收到的信息。

24、本申请实施例的另一方面，提供一种计算机设备，包括：存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时，实现神经网络模型资源处理方法的步骤。

25、本申请实施例的另一方面，提供一种计算机可读存储介质，存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现神经网络模型资源处理方法的步骤。

技术特征：

1.一种神经网络模型资源处理方法，其特征在于，包括：

2.如权利要求1所述的神经网络模型资源处理方法，所述资源处理服务器用于与各客户端进行通信包括：

3.如权利要求1所述的神经网络模型资源处理方法，所述神经网络模型信息交互指令包括：

4.如权利要求3所述的神经网络模型资源处理方法，所述每个算子的运行信息至少包括：

5.如权利要求1所述的神经网络模型资源处理方法，所述处理器信息交互指令包括：

6.如权利要求4所述的神经网络模型资源处理方法，所述信息处理指令包括：

7.如权利要求6所述的神经网络模型资源处理方法，所述向所述资源处理服务器端发送信息处理指令之后，还包括：

8.一种神经网络模型资源处理装置，其特征在于，所述装置应用于如权利要求1-7任一项所述的神经网络模型资源处理方法，所述装置包括：

9.一种计算机设备，其特征在于，包括：存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至7任一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现权利要求1至7中任一项所述方法的步骤。

技术总结
本申请提供一种神经网络模型资源处理方法、装置和设备。包括：建立资源处理服务器端，所述资源处理服务器端用于与各客户端进行通信；在每个神经网络模型所在线程建立线程客户端，并向每个所述神经网络模型发送神经网络模型信息交互指令；建立处理器客户端，并向所述神经网络模型发送处理器信息交互指令；向所述资源处理服务器端发送信息处理指令，处理所述资源处理服务器端接收到的信息。可以将不同线程或进程中运行的模型进行数据交互，优化神经网络模型的结构和调度顺序，并提高神经网络处理器的利用率。

技术研发人员：郑成林,王雨顺,梁爽
受保护的技术使用者：北京超星未来科技有限公司
技术研发日：
技术公布日：2024/1/15