模型推理服务方法、装置及存储介质与流程

本公开涉及通信，尤其涉及一种模型推理服务方法、装置及存储介质。

背景技术：

1、目前，在人工智能(artificial intelligence，ai)模型服务化应用的场景中，常见的ai模型服务化方法是将ai模型推理服务程序放置于web服务器后台，当web服务器接收到来自客户端的推理服务请求后，通过web服务器的应用程序界面(application programinterface，api)调用模型推理程序加载模型参数，根据目标模型推理对象的推理方法进行推理计算，从而实现本次模型推理服务。

2、但是，由于该方法在每次接收到客户端的模型推理请求后，都需要重复加载相同的模型参数，而模型参数文件往往很大，从模型文件加载至内存空间需要花费较长时间，从而导致客户端等待结果的时间较长。

技术实现思路

1、本公开提供一种模型推理服务方法、装置及存储介质。解决了相关技术中ai模型服务化应用过程中需要重复加载相同的模型参数，从模型文件加载至内存空间需要花费大量时间，客户端等待结果的时间较长的技术问题。

2、为达到上述目的，本公开采用如下技术方案：

3、第一方面，提供一种模型推理服务方法，包括：解析模型参数，确定模型参数中的多个模型推理服务标识和多个模型推理方法，模型推理服务标识与模型推理方法一一对应；根据多个模型推理服务标识和多个模型推理方法，构造模型推理服务类；模型推理服务类包括第一函数，以及多个模型推理方法，第一函数的多个变量分别为多个模型推理服务标识；获取来自客户端的模型推理服务请求；模型推理服务请求中包括目标模型推理服务标识；调用模型推理服务类中的第一函数，根据第一函数查找目标模型推理服务标识；调用模型推理服务类中与目标模型推理服务标识对应的模型推理方法，处理模型推理服务请求。

4、结合上述第一方面，在一种可能实现的方式中，该方法还包括：构造第二函数，第二函数包括多个变量；将多个模型推理服务标识赋值给第二函数的多个变量，确定第一函数；第一函数的一个变量指向：赋值给一个变量的模型推理服务标识所对应的模型推理方法；根据第一函数，和多个模型推理方法，构造模型推理服务类。

5、结合上述第一方面，在一种可能实现的方式中，该方法还包括：第二函数为根据web服务器的系统语言编写的函数；web服务器用于处理模型推理服务请求；模型推理服务类为根据web服务器的系统语言编写的服务类。

6、结合上述第一方面，在一种可能实现的方式中，该方法还包括：调用http服务监听程序，周期性监控客户端的服务请求；在监听到客户端的模型推理服务请求之后，从模型推理服务请求中解析出目标模型推理服务标识。

7、结合上述第一方面，在一种可能实现的方式中，该方法还包括：采用面向对象的反射机制，从第一函数中查找目标模型推理服务标识；确定第一函数中赋值为目标模型推理服务标识的变量，指向的目标模型推理方法；调用目标模型推理方法，处理模型推理服务请求。

8、结合上述第一方面，在一种可能实现的方式中，该方法还包括：确定web服务器的系统语言；根据系统语言，编写多个模型推理方法并存储于系统文件。

9、第二方面，提供一种模型推理服务装置，该模型推理服务装置，包括：通信单元和处理单元；处理单元，用于解析模型参数，确定模型参数中的多个模型推理服务标识和多个模型推理方法，模型推理服务标识与模型推理方法一一对应；处理单元，用于根据多个模型推理服务标识和多个模型推理方法，构造模型推理服务类；模型推理服务类包括第一函数，以及多个模型推理方法，第一函数的多个变量分别为多个模型推理服务标识；通信单元，用于获取来自客户端的模型推理服务请求；模型推理服务请求中包括目标模型推理服务标识；处理单元，用于调用模型推理服务类中的第一函数，根据第一函数查找目标模型推理服务标识；处理单元，用于调用模型推理服务类中与目标模型推理服务标识对应的模型推理方法，处理模型推理服务请求。

10、结合上述第二方面，在一种可能实现的方式中，处理单元，具体用于：构造第二函数，第二函数包括多个变量；将多个模型推理服务标识赋值给第二函数的多个变量，确定第一函数；第一函数的一个变量指向：赋值给一个变量的模型推理服务标识所对应的模型推理方法；根据第一函数，和多个模型推理方法，构造模型推理服务类。

11、结合上述第二方面，在一种可能实现的方式中，第二函数为根据web服务器的系统语言编写的函数；web服务器用于处理模型推理服务请求；模型推理服务类为根据web服务器的系统语言编写的服务类。

12、结合上述第二方面，在一种可能实现的方式中，通信单元，具体用于调用http服务监听程序，周期性监控客户端的服务请求；处理单元，具体用于在监听到客户端的模型推理服务请求之后，从模型推理服务请求中解析出目标模型推理服务标识。

13、结合上述第二方面，在一种可能实现的方式中，处理单元，具体用于：采用面向对象反射机制，从第一函数中查找目标模型推理服务标识；确定第一函数中赋值为目标模型推理服务标识的变量，指向的目标模型推理方法；调用目标模型推理方法，处理模型推理服务请求。

14、结合上述第二方面，在一种可能实现的方式中，在解析模型参数，确定模型参数中的多个模型推理服务标识和多个模型推理方法之后，处理单元，还用于：确定web服务器的系统语言；根据系统语言，编写多个模型推理方法并存储于系统文件。

15、第三方面，提供一种模型推理服务装置，包括：处理器以及存储器；其中，存储器用于存储计算机执行指令，当模型推理服务装置运行时，处理器执行存储器存储的计算机执行指令，以使模型推理服务装置执行上述第一方面及其任一种可能的实现方式中所记载的模型推理服务方法。

16、第四方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当计算机可读存储介质中的指令由模型推理服务装置的处理器执行时，使得模型推理服务装置执行上述第一方面及其任一种可能的实现方式中所记载的模型推理服务方法。

17、在本公开中，上述模型推理服务装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本公开类似，属于本公开及其等同技术的范围之内。

18、本公开的这些方面或其他方面在以下的描述中会更加简明易懂。

19、本公开提供的技术方案至少带来以下有益效果：模型推理服务装置加载模型参数，确定了模型参数中的多个模型推理服务标识和多个模型推理方法，根据多个模型推理服务标识和多个模型推理方法，在模型推理服务装置的存储系统中构造模型推理服务类。当模型推理服务装置接收到来自客户端的模型推理服务请求时，仅需根据对象反射机制确定的存储系统的构造模型推理服务类中与客户端的模型推理服务请求同名的模型推理服务对象，并调用相应的模型推理方法，即可进行模型推理运算，避免了每当接收到来自客户端的模型推理服务请求都需要重复加载模型参数这一步骤，从而达到缩短客户端等待模型推理服务结果时间的目的。