基于预训练范式模型的预测部署系统、方法、装置及介质与流程

本公开涉及人工智能技术领域，特别涉及深度学习、自然语言处理及计算机视觉等领域的基于预训练范式模型的预测部署系统、方法、装置及介质。

背景技术：

随着预训练语言模型在自然语言处理(nlp，naturallanguageprocessing)领域的逐步推广，基于预训练范式模型的预测部署(即预测和部署)的重要性也日益增加。预训练范式即指自然语言处理中预训练语言模型+微调模型的训练方法。

目前，通常采用以下实现方式：在用户的项目中直接调用深度学习框架的相关预测接口，由用户完成数据预处理及各种相关适配等。这种方式需要用户熟悉预训练模型的预处理和预测逻辑的内部细节等，对于用户的水平要求较高，且容易出错，需要较高的学习和开发成本等。

技术实现要素：

本公开提供了基于预训练范式模型的预测部署系统、方法、装置及介质。

一种基于预训练范式模型的预测部署系统，包括：部署模块、数据预处理模块以及预测模块；

所述部署模块，用于将用户的任务请求对应的原始文本数据发送给所述数据预处理模块，获取所述数据预处理模块返回的预处理结果，将所述预处理结果发送给所述预测模块，并获取所述预测模块返回的预测结果，提供给所述用户；

所述数据预处理模块，用于对所述原始文本数据进行预处理，得到符合预测要求的预处理结果，发送给所述部署模块；

所述预测模块，用于调用深度学习框架的预测引擎，并获取所述预测引擎根据所述预处理结果进行预测后返回的预测结果，发送给所述部署模块。

一种基于预训练范式模型的预测部署方法，包括：

预测部署系统对用户的任务请求对应的原始文本数据进行预处理，得到符合预测要求的预处理结果；

所述预测部署系统调用深度学习框架的预测引擎，并获取所述预测引擎根据所述预处理结果进行预测后返回的预测结果，提供给所述用户。

一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。

一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如以上所述的方法。

上述公开中的一个实施例具有如下优点或有益效果：可针对用户的任务请求，由基于预训练范式模型的预测部署系统自动地完成预测和部署等，从而降低了用户的学习和开发成本，并提升了处理效率等。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开所述基于预训练范式模型的预测部署系统第一实施例10的组成结构示意图；

图2为本公开所述基于预训练范式模型的预测部署系统第二实施例20的组成结构示意图；

图3为本公开所述部署模块101与鉴权统计模块104之间的交互方式示意图；

图4为本公开所述切字操作类继承关系示意图；

图5为本公开所述预测模块103类继承关系示意图；

图6为本公开所述预测部署系统的框架示意图；

图7为本公开所述基于预训练范式模型的预测部署方法实施例的流程图；

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1为本公开所述基于预训练范式模型的预测部署系统第一实施例10的组成结构示意图。如图1所示，包括：部署模块101、数据预处理模块102以及预测模块103。

部署模块101，用于将用户的任务请求对应的原始文本数据发送给数据预处理模块102，获取数据预处理模块102返回的预处理结果，将预处理结果发送给预测模块103，并获取预测模块103返回的预测结果，提供给用户。

数据预处理模块102，用于对原始文本数据进行预处理，得到符合预测要求的预处理结果，发送给部署模块101。

预测模块103，用于调用深度学习框架的预测引擎，并获取预测引擎根据预处理结果进行预测后返回的预测结果，发送给部署模块101。

可以看出，上述系统实施例所述方案中，可针对用户的任务请求，由基于预训练范式模型的预测部署系统自动地完成预测和部署等，从而降低了用户的学习和开发成本，并提升了处理效率等。

除上述部署模块101、数据预处理模块102及预测模块103之外，本公开所述预测部署系统中还可进一步包括鉴权统计模块104。

图2为本公开所述基于预训练范式模型的预测部署系统第二实施例20的组成结构示意图。如图2所示，包括：部署模块101、数据预处理模块102、预测模块103以及鉴权统计模块104。

部署模块101可将获取到的用户的鉴权信息发送给鉴权统计模块104，并获取鉴权统计模块104返回的鉴权结果，若鉴权结果为鉴权成功，则可继续之后的处理，即将原始文本数据发送给数据预处理模块102等。

相应地，鉴权统计模块104可根据用户的鉴权信息对用户进行鉴权，并将鉴权结果发送给部署模块101。

以下分别对上述各模块的具体工作方式进行说明。

1)鉴权统计模块104

图3为本公开所述部署模块101与鉴权统计模块104之间的交互方式示意图。如图3所示，鉴权统计模块104可由管理平台1041、鉴权服务器(server)1042以及数据库1043等组成。其中，鉴权server1042可为基于百度开源远程过程调用协议(brpc，baiduremoteprocedurecallprotocol)框架搭建的鉴权server，可将其部署在局域网内，数据库1043可为mysql数据库，sql即指结构化查询语言(structuredquerylanguage)。

用户可预先登录管理平台1041进行申请，相应地，可为用户分配访问密钥(ak，accesskeyid)/秘密访问密钥(sk，secretaccesskey)，并可将为用户分配的ak/sk写入到数据库1043中。

鉴权server1042可周期性的读取数据库1043，获取其中的所有ak/sk。部署模块101可将获取到的用户的鉴权信息即用户的ak/sk发送给鉴权server1042，鉴权server1042可验证用户的ak/sk是否合法，如确定用户的ak/sk是否位于从数据库1043中获取到的ak/sk中，若是，则可认为用户合法，否则，可认为用户不合法，并可将是否合法的验证结果作为鉴权结果发送给部署模块101。

若鉴权结果为鉴权成功，即确定用户为合法用户，那么部署模块101可继续之后的处理，即将原始文本数据发送给数据预处理模块102等，否则，可提示失败信息退出。

通过上述处理，确保了只有合法用户才能使用本公开所述预测部署系统的服务，从而提升了预测部署系统的安全性等。

另外，鉴权统计模块104还可将本次任务请求对应的预定信息写入数据库1043，即保存到数据库1043中。比如，可由鉴权server1042将本次任务请求对应的预定信息写入数据库1043。所述预定信息具体包括哪些信息可根据实际需要而定，比如，可包括任务类型等信息，以方便后续统计，如统计用户对于不同类型任务的使用情况等。如何获取所述预定信息不作限制。

2)数据预处理模块102

数据预处理模块102可对获取自部署模块101的原始文本数据进行预处理，从而得到符合预测要求的预处理结果，并返回给部署模块101。

具体地，数据预处理模块102可对原始文本数据进行切字操作，从而将原始文本数据切分为词元(token)序列，之后可根据token序列获取原始文本数据对应的标识(id)序列，进而可根据id序列生成张量(tensor)结构数据，将tensor结构数据作为预处理结果。

数据预处理模块102的切字操作可采用工厂模式的设计方式，并可利用原始文本数据对应的切字方式对应的分词器(tokenizer)类，将原始文本数据切分为token序列。其中，可从用户提供的配置文件中获取切字类字符串，根据获取到的切字类字符串确定出原始文本数据对应的切字方式，并可调用创建_分词器(create_tokenizer)方法创建对应的切字对象。

图4为本公开所述切字操作类继承关系示意图。如图4所示，basetokenizer为基类，定义了切字操作的接口及公共的函数实现等。

完整分词器(fulltokenizer)类用于切单字，对原始文本数据进行统一码(unicode)转换、标点符号分割、小写转换、中文字符分割、去除重音符号等操作。对于中文，fulltokenizer类可根据中文的unicode编码范围将其切分为一个个汉字，对于英文，fulltokenizer类可使用最长字符串匹配的算法，将英文单词切成子词(subword)的形式。fulltokenizer类主要适用于转换器双向编码表示(bert，bidirectionalencoderrepresentationsfromtransformers)/信息化实体增强语言表示(ernie，enhancedlanguagerepresentationwithinformativeentities)模型的基础(base)、大(large)模型。

词分词器(wordtokenizer)类用于将原始文本数据切分成词序列，主要适用于不使用预训练模型bert/ernie的场景。

片段分词器(wssptokenizer)类可调用谷歌句子块(googlesentencepiece)模块进行切词，对于中文，可将经常在一起出现的字组合成一个词语，对于英文，可将英文单词切分为更小的语义单元，减少词表的数量，主要适用于bert/ernie的微小(tiny)模型。

通过上述处理，可准确高效地完成对于原始文本数据的切字操作，即将原始文本数据切分为token序列，并可满足不同业务场景的切字需求等。

之后，可根据token序列获取原始文本数据对应的id序列。比如，可分别获取原始文本数据对应的以下各种id序列：token的id序列(src_ids)、句子相关的id序列(sent_ids)、位置相关的id序列(position_ids)以及掩码相关的id序列(mask_ids)等，这些id序列代表输入的特征(feature)表示。具体获取哪些id序列可根据实际需要而定，另外，如何获取上述各id序列均为现有技术。

在实际应用中，可采用批量(batch)处理方式，即同时处理多个原始文本数据，batch大小由批量大小(batch_size)超参决定，针对同一batch内的不同原始文本数据，对应的id序列的长度可能不同，这种情况下，可选出最大长度的id序列，并将其它id序列填充(padding)至该最大长度。通常来说，同一原始文本数据对应的不同id序列的长度相同。

进一步地，可根据进行padding处理后的id序列生成tensor结构数据，如可创建飞桨(paddlepaddle)的tensor结构数据，将进行padding处理后的id序列拷贝到tensor的数据(data)中，并设置id序列的维数(shape)等。可将得到的tensor结构数据作为原始文本数据的预处理结果，发送给部署模块101。

3)预测模块103

预测模块103可获取来自部署模块101的原始文本数据的预处理结果，调用深度学习框架的预测引擎，并获取预测引擎根据所述预处理结果进行预测后返回的预测结果，发送给部署模块101。

所述深度学习框架可为paddlepaddle深度学习框架，所述预测引擎可为分析预测器(analysispredictor)预测引擎。

paddlepaddle为百度研发并开源的深度学习框架，提供了完善的c++应用程序接口(api，applicationprogramminginterface)。analysispredictor是一个高性能的预测引擎，该引擎通过一系列优化处理，能够大大提升预测性能。

预测模块103可调用paddlepaddle深度学习框架的analysispredictor预测引擎，初始化阶段可负责加载bert/ernie模型，并创建analysispredictor对象，调用analysispredictor的克隆(clone)接口为每个线程创建一个analysispredictor副本等，预测阶段可调用analysispredictor的运行(run)接口执行前向计算，并获取输出tensor，即预测结果。

另外，预测模块103可采用工厂模式的设计方式，并可利用原始文本数据对应的任务类型对应的预测(infer)类，得到预测结果。其中，可从配置文件中获取要预测的任务类型字符串，根据获取到的任务类型字符串确定出原始文本数据对应的任务类型，并可调用创建_预测(create_infer)方法创建对应的预测对象。

图5为本公开所述预测模块103类继承关系示意图。如图5所示，baseinfer为基类，分类预测(classifyinfer)类负责文本分类任务的预测，匹配预测(matchinginfer)类负责文本匹配任务的预测，序列预测(sequenceinfer)类负责序列标注任务的预测，生成预测(generateinfer)类负责文本生成任务的预测。另外，不同的infer类还可分别对输出tensor执行对应的后处理逻辑，具体包括哪些处理可根据实际需要而定。

文本分类、文本匹配、序列标注和文本生成等均为常见的自然语言处理任务。不同类型的任务对应的数据预处理和后处理逻辑等也可能不同。

通过上述处理，可准确高效地完成预测处理，并可满足不同类型任务的的预测需求等。

4)部署模块101

部署模块101可将用户的任务请求对应的原始文本数据发送给数据预处理模块102，获取数据预处理模块102返回的预处理结果，并将预处理结果发送给预测模块103，获取预测模块103返回的预测结果，提供给用户等。

本公开所述预测部署系统可支持以下部署模式：c++api模式、brpcserver模式以及离线工具模式。

1)c++api模式

可将预测部署系统框架核心代码逻辑编译生成动态链接库(.so)文件，并和接口的头文件一起打包。其它项目使用时，编译阶段引入(include)所述头文件，链接阶段联编所述.so文件，并生成可执行程序，运行阶段将所述.so文件放到可执行程序同一路径下。

2)brpcserver模式

为满足在线预测场景的业务需求，实现用户项目代码与预测部署模块代码的解耦，可基于百度开源的brpc框架，搭建超文本传输协议(http，hypertexttransferprotocol)server。brpc是高性能、功能完善的优秀rpc框架，能充分利用机器资源，确保服务高效、稳定运行等。brpcserver负责解析用户的任务请求，调用相关预测接口进行预测，并将预测结果返回给用户。用户作为客户端(client)，以http的方式请求brpcserver。

3)离线工具模式

为满足离线批量预测场景的业务需求，提供了离线预测工具。当用户有大量离线数据需要预测时，可以调用离线预测工具进行离线预测。离线预测工具可读取用户输入数据(如原始文本数据)到内存中，开启多个工作线程，每个工作线程调用相关预测接口进行预测，并将预测结果写入到结果文件中。离线工具模式尤其适用于分布式系统(hadoop)的映射化简(mapreduce)任务中。

可以看出，本公开所述预测部署系统可适用于c++联编、在线服务以及离线批量预测等不同的业务场景，具有广泛适用性。

另外，本公开所述预测部署系统可支持以下硬件类型：中央处理器(cpu，centralprocessingunit)、图形处理器(gpu，graphicsprocessingunit)以及昆仑芯片等。即本公开所述预测部署系统可运行在cpu、gpu以及昆仑芯片上，从而满足了多种不同硬件场景下的部署需求。

综合上述介绍，图6为本公开所述预测部署系统的框架示意图，具体实现请参照前述相关说明，不再赘述。

以上是关于系统实施例的介绍，以下通过方法实施例，对本公开所述方案进行进一步说明。

图7为本公开所述基于预训练范式模型的预测部署方法实施例的流程图。如图7所示，包括以下具体实现方式。

在步骤701中，预测部署系统对用户的任务请求对应的原始文本数据进行预处理，得到符合预测要求的预处理结果。

在步骤702中，预测部署系统调用深度学习框架的预测引擎，并获取预测引擎根据预处理结果进行预测后返回的预测结果，提供给用户。

另外，预测部署系统还可根据用户的鉴权信息对用户进行鉴权，若鉴权结果为鉴权成功，则可继续之后的处理，如对原始文本数据进行预处理等。

预测部署系统还可将本次任务请求对应的预定信息保存到数据库中。所述预定信息具体包括哪些信息可根据实际需要而定，比如，可包括任务类型等信息，以方便后续统计，如统计用户对于不同类型任务的使用情况等。

对原始文本数据进行预处理的具体方式可包括：对原始文本数据进行切字操作，将原始文本数据切分为token序列，根据token序列获取原始文本数据对应的id序列，根据id序列生成tensor结构数据，将tensor结构数据作为预处理结果等。

针对获取到的预处理结果，预测部署系统可调用深度学习框架的预测引擎，并获取预测引擎根据预处理结果进行预测后返回的预测结果。所述深度学习框架可为paddlepaddle深度学习框架，所述预测引擎可为analysispredictor预测引擎。

另外，预测部署系统可支持以下硬件类型：cpu、gpu以及昆仑芯片等。

预测部署系统还可支持以下部署模式：c++api模式、brpcserver模式以及离线工具模式等。

需要说明的是，对于前述的方法实施例，为了简单描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。

图7所示方法实施例的具体工作流程请参照前述系统实施例中的相关说明，不再赘述。

总之，采用本公开方法实施例所述方案，可针对用户的任务请求，由基于预训练范式模型的预测部署系统自动地完成预测和部署等，从而降低了用户的学习和开发成本，并提升了处理效率等。

本公开所述方案可应用于人工智能领域，特别涉及深度学习、自然语言处理及计算机视觉等领域。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术，人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术，人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。

设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如本公开所述的方法。例如，在一些实施例中，本公开所述的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram803并由计算单元801执行时，可以执行本公开所述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开所述的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。