支持多模型多芯片的推理服务器的部署方法、系统及电子设备与流程

1.本发明属于计算机技术领域，尤其涉及一种支持多模型多芯片的推理服务器的部署方法、系统、存储介质及电子设备。


背景技术：

2.随着人工智能技术的兴起，各种模型达到实用化的要求，如何进行生产环境的部署就成为困扰技术人员的问题。为方便部署模型，市面上出现了诸如tensorflow serving，triton等推理服务器。这些推理服务器的出现，方便了在生产环境进行模型的部署，但是这些推理服务器存在两个很大的缺陷：1.只能支持十分有限的模型类型；2.只能支持有限加速处理器，通常是cpu和gpu，而针对其它加速处理器的部署则不那么容易，比如tensorflow serving推理服务器只支持cpu、gpu、tpu，triton推理服务器只能支持cpu，gpu。
3.如何在一套推理服务器中，实现支持不同类型的模型在不同加速器芯片进行推理的快速部署，是目前需要解决的技术问题。


技术实现要素：

4.本发明的目的是，提供一种推理服务器的部署方法及系统，以实现在同一套推理框架中基于不同类型模型对不同加速器芯片的快速部署。
5.本发明的第一方面，提供了一种推理服务器的部署方法，该方法包括：
6.自定义tvm编译器的后端服务插件，其中，所述后端服务插件的文件格式需满足推理服务器后端接入所规定的文件格式；
7.将所述后端服务插件接入推理服务器；
8.所述推理服务器接收客户端的推理请求，并通过所述后端服务插件调用所述tvm编译器在指定的加速器芯片进行推理运算。
9.进一步地，调用所述tvm编译器在指定的加速器芯片进行推理运算包括：
10.所述tvm编译器读取需要部署的模型，并对所述模型进行编译优化，生成对应加速器芯片的可执行文件；
11.已接入所述推理服务器的所述后端服务插件在推理服务器启动时，加载所述tvm编译器运行，并读取所述可执行文件；
12.推理服务器将接收的客户端的推理请求调度给所述后端服务插件；
13.所述后端服务插件调用所述tvm编译器运行时执行推理；
14.所述tvm编译器在指定的加速器芯片完成推理运算；
15.返回运算结果给所述客户端。
16.进一步地，将所述后端服务插件接入所述推理服务器包括：
17.按照推理服务器后端扩展所需的格式，定义接入推理服务器的不同接口函数，生成对应名称的库文件；
18.将生成的库文件放入到推理服务器中相应的目录中保存，等待调用。
19.进一步地，推理服务器启动时，通过目录查询找到对应的库文件，依次调用所述库文件中保存的初始化tvm编译器的运行时库的接口函数，以及加载tvm编译器的可执行模型的接口函数，所述推理服务器在接收到来自客户端的所述推理请求后，根据配置文件的后端名称查找到所述后端服务插件，然后调用实现tvm编译器运行时使用加载的模型在指定加速器芯片进行推理的接口函数完成推理运算，并把结果封装后返回。
20.进一步地，所述客户端通过http/rest协议、grpc协议，或者共享内存的ipc通信协议发起所述推理请求；所述的加速器芯片包括：cpu，gpu，tpu、dsp、cpld或fpga；所述的推理服务器应用于triton推理框架、tensorflow serving推理框架或torchserve推理框架。
21.本发明的第二方面，还提供了一种推理服务器的部署系统，该部署系统包括：
22.后端服务插件生成单元，根据推理服务器后端接入的规定格式，生成符合所述规定格式的tvm编译器的后端服务插件；
23.插件接入单元，用于将所述后端服务插件接入推理服务器；
24.执行单元，用于根据客户端的推理请求，并通过所述后端服务插件调用所述tvm编译器在指定的加速器芯片进行推理运算。
25.本发明的第三方面，提供了一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，所述计算机可读程序指令用于使所述计算机执行本发明第一方面所述的推理服务器的部署方法。
26.本发明的第四方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的推理服务器的部署方法。
27.与现有技术相比，本发明所提供的一种支持多模型多芯片的推理服务器的部署方法、系统、存储介质及电子设备，使用一套推理服务器在生产环境中快速部署使用不同类的加速器芯片进行推理，比如现有的推理框架中不常用到的dsp、fpga等，同时利用tvm编译器能够对多种类型的模型进行编译的特性实现多种类型模型的部署，还能够利用tvm编译器提升模型在对应加速器芯片上的运行性能，进而实现多(不同类型模型)对多(不同加速器芯片)的部署，很方便的把市面上主流模型类型部署到多种芯片上进行推理，并具有很好的扩展性，方便支持更多的模型类型和加速器。
附图说明
28.图1是本发明实施例一中的支持多模型多芯片的推理服务器的部署方法的流程示意图。
29.图2是本发明实施例二中的支持多模型多芯片的推理服务器的部署系统的结构图。
30.图3是本发明实施例三中的电子设备的结构图。
具体实施方式
31.以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明
的保护范围。如在说明书及权利要求当中使用了某些词汇来指称特定部件。本领域技术人员应可理解，硬件或软件制造商可能会用不同名词来称呼同一个部件。本说明书及权利要求并不以名称的差异来作为区分部件的方式，而是以部件在功能上的差异来作为区分的准则。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本发明的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
32.下面结合附图和具体实施例对本发明做进一步详细说明。
33.实施例一
34.图1是本发明实施例一中的支持多模型多芯片的推理服务器的部署方法的流程图。本实施例可适用于对推理服务框架进行统一部署的情况，该方法可以由支持多模型多芯片的推理服务器的部署系统来执行，该系统可以由软件，和/或硬件的方式来实现，并集成在服务器中，其中，服务器中可以配置该推理服务器。
35.为了方便说明和理解，后续说明书中以triton推理服务器为例来对本发明的部署过程进行详细说明。但该方法不限于应用triton推理服务器，还可以是tensorflow serving或torchserve等推理服务器。
36.triton推理服务器(triton inference server)，是英伟达公司推出的开源推理框架，为用户提供在云和边缘推理上部署的解决方案。triton推理服务器能够帮助开发人员和it/devops轻松地在云端、本地数据中心或边缘部署高性能推理服务器。该服务器通过http/rest或grpc端点提供推理服务，允许客户端请求对服务器管理的任何模型进行推理。开发人员和ai公司可以使用triton推理服务器部署不同框架后端(如tensorflow、tensorrt、pytorch和onnx runtime)的模型，同时也支持用户提供自定义的后端服务(backend)。
37.如图1所示，该部署方法包括如下：
38.步骤s11、自定义tvm编译器的后端服务插件。
39.tvm编译器是一个端到端的指令生成器。它从深度学习框架中接收模型输入，然后进行图的转化和基本的优化，最后生成指令完成到硬件的部署。具体来说，tvm编译器通过对应模型的前端转换函数将不同格式模型网络统一转换成内部中间格式，然后对中间格式通过图优化，常量折叠等优化方式对模型网络进行优化，将优化后的中间格式转换成对应芯片编写的代码或调用对应芯片的库函数的代码，并且用对应芯片的编译器生成可在该芯片上执行的可执行文件。利用tvm能够对模型运行性能的优化，大大提升可模型运行性能。
40.tvm编译器最大的特点是基于图和算符结构来优化指令生成，最大化硬件执行效率。其中使用了很多方法来改善硬件执行速度，包括算符融合、数据规划、基于机器学习的优化器等。tvm的整个架构是基于图描述结构，不论是对指令的优化还是指令生成，一个图结构清晰的描述了数据流方向，操作之间的依赖关系等。它的主要特点如下：
41.1)基于gpu、tpu等硬件结构，将张量运算作为一个基本的算符，通过把一个深度学习网络描述成图结构来抽象出数据计算流程。在这样的图结构基础上，更方便记性优化。同时能够有更好的向上向下兼容性，同时支持多种深度学习框架和硬件架构。它向上对接tensorflow、pytorch等深度学习框架，向下兼容gpu、cpu、arm、tpu等硬件设备。
42.2)巨大的优化搜索空间。在优化图结构方面，其不再局限于通过某一种方式，而是
通过机器学习方法来搜索可能的空间来最大化部署效率。这种方式虽然会导致编译器较大的计算量，但是更加通用。
43.triton允许使用者按照规定的格式添加自己的后端，然后通过配置文件的配置来使用这个后端来运行模型推理任务。为了将tvm编译器接入triton推理服务器的后端，需要定义接入triton推理服务器的后端服务插件，该后端服务插件的文件格式需符合triton推理服务器的后端接入所需的文件格式。
44.tvm编译器能够读取需要部署的几乎大部分的模型，任何tvm支持的模型格式，包括但不限于onnx，pb(tensorflow模型)，pth(pytorch模型)等格式类型，支持目前大部分流行的ai模型，比如：resnet50，mobilenet，yolo等模型。由于tvm支持多种模型格式的模型读取及优化，目前也已经支持在多种芯片上执行，并且可以根据需要在tvm上很方便地添加对新的芯片的支持。这样triton服务器可以利用tvm来实现对不同前端(不同格式的模型)和不同后端的支持(多种芯片)。
45.步骤s12、将所述后端服务插件接入推理服务器。
46.具体来说，将后端服务插件接入所述推理服务器包括：
47.步骤s121、按照推理服务器后端接入所需的格式，定义接入推理服务器的不同接口函数，生成对应名称的库文件。
48.实现接入triton推理服务器后端的主要接口函数及功能定义如下：
49.tritonbackend_initialize：实现加载tvm的对应芯片运行时库
50.tritonbackend_finalize：实现对tvm的对应芯片运行时库卸载
51.tritonbackend_modelinitialize：实现加载tvm编译好的可执行模型
52.tritonbackend_modelfinalize：实现释放可执行模型
53.tritonbackend_modelinstanceexecute：实现调用tvm运行时使用指定加速器进行推理，
54.并把结果封装成tritonrequest格式后返回
55.上述每一个接口函数实现的功能不同，在需要使用对应的功能时，从函数库中查找调用即可。可以理解的是，上述仅仅的接口函数及其对应功能仅仅是举例，根据需要实现的功能，可以自定义不同的接口函数，并生成不同的格式。
56.步骤s122、将生成的所述库文件放入到推理服务器中相应的目录中保存，等待调用。
57.下面结合步骤s121中定义的接口函数，来对自定义的接口函数调用过程进行说明。
58.首先，将实现这些功能的接口函数封装，生成名称为libtriton_name.so格式的库文件，比如命名为libtriton_tvm.so；
59.然后，把生成的库文件放到triton推理服务器的目录中，比如设置的如下格式的目录为：/opt/tritonserver/backends/mybackend/；此时，可以命mybackend为tvm，那么路径调整为：/opt/tritonserver/backends/tvm/。根据目录可以快速的找到所需功能所调用的接口函数。
60.步骤s13、所述推理服务器接收客户端的推理请求，并通过所述后端服务插件调用所述tvm编译器在指定的加速器芯片进行推理运算。
61.在triton推理服务器启动时，通过目录查询找到对应的库文件，并按照如下过程进行处理：
62.1、从库文件中调用接口函数tritonbackend_initialize，初始化tvm编译器的运行时库；
63.2、调用接口函数tritonbackend_modelinitialize，加载tvm编译器的可执行模型；
64.3、在接收到来自客户端发送的推理请求后，triton推理服务器根据配置文件的后端名称查找到后端服务插件；示例性的，适配该推理服务器的客户端推理请求可以是超文本传输协议(hypertext transfer protocol，http)的rest服务协议或者grpc协议的标准推理请求。其中，grpc协议是谷歌开发的远程过程调用(remote procedure calls，rpc)协议，或者，采用共享内存的ipc通信协议。
65.4、调用接口函数tritonbackend_modelinstanceexecute，实现tvm编译器运行时使用加载的模型在指定加速器芯片进行推理；
66.5、把推理的结果封装后原路返回给客户端。
67.下面为triton加入tvm后端服务插件后的一个完整的部署及推理流程：
68.1、tvm编译器读取需要部署的模型；
69.2、tvm对模型进行编译优化，生成对应加速芯片的可执行文件；
70.3、已接入triton的后端服务插件在triton服务启动时加载tvm运行，并且读取前述生成的可执行文件
71.4、客户通过grpc或rest发起推理请求；
72.5、triton服务器收到请求后通过调度系统调度给tvm的后端服务插件；
73.6、tvm后端调用tvm运行时执行推理；
74.7、tvm运行时在指定的加速器芯片上运算；
75.8、最后将运行结果按原路返回后，最终返回给客户端。
76.其中，加载tvm的dsp运行时，使用dsp芯片进行推理，加载tvm的fpga运行时，使用fpga芯片进行推理，而所有目前tvm支持的加速器芯片均可支持，以后新添的加速器芯片也可以很容易支持。
77.本发明能够使用一套推理服务器在生产环境中快速部署使用dsp、fpga等加速器芯片进行推理，同时tvm编译器支持已有的或将要支持的其它ai芯片也可应用进行快速部署，并且能够利用tvm编译器能够对多种类型的模型进行编译的特性实现多种类型模型的部署，还能够利用tvm编译器提升模型在对应加速器芯片上的运行性能。其中，支持的模型包括onnx模型，tensorflow模型，pytorch模型等等市面上主流ai模型类型，进而实现多(不同类型模型)对多(不同加速器芯片)的部署全流程方案，很方便的把市面上主流模型类型部署到多种芯片上进行推理，并有很好的扩展性，方便支持更多的模型类型和加速器芯片。
78.实施例二
79.图2是本技术的实施例二中的支持多模型多芯片的推理服务器的部署系统的结构示意图。如图2所示，该部署系统包括：后端服务插件生成单元、插件接入单元、执行单元。
80.其中，后端服务插件生成单元，用于根据推理服务器后端接入的规定格式，生成符合所述规定格式的tvm编译器的后端服务插件；
81.插件接入单元，用于将所述后端服务插件接入推理服务器；
82.执行单元，用于根据客户端的推理请求，并通过后端服务插件调用tvm编译器在指定的加速器芯片进行推理运算。其中，当加载tvm的dsp运行时，使用dsp芯片进行推理，当加载tvm的fpga运行时，使用fpga芯片进行推理。
83.本发明实施例二所提供的支持多模型多芯片的推理服务器的部署系统可执行本发明实施例一提供的支持多模型多芯片的推理服务器的部署方法，具备执行方法相应的功能模块的有益效果。
84.实施例三
85.根据本技术公开的实施例，本技术公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
86.图3示出了可以用来实施本技术公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本技术公开的实现。
87.如图3所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、rom702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
88.电子设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
89.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如图1所述的推理服务器的部署方法。例如，在一些实施例中，推理服务器的部署方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的推理服务器的部署方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行推理服务器的部署方法。
90.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实
现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
91.用于实施本技术公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
92.在本技术公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
93.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
94.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
95.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
96.根据本技术公开的实施例，本公开还提供了一种计算机程序产品，包括计算机程
序，其中，所述计算机程序被处理器执行时实现本公开上述实施例所述的推理服务器的部署方法。
97.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
98.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。