1.一种基于预训练范式模型的预测部署系统,包括:部署模块、数据预处理模块以及预测模块;
所述部署模块,用于将用户的任务请求对应的原始文本数据发送给所述数据预处理模块,获取所述数据预处理模块返回的预处理结果,将所述预处理结果发送给所述预测模块,并获取所述预测模块返回的预测结果,提供给所述用户;
所述数据预处理模块,用于对所述原始文本数据进行预处理,得到符合预测要求的预处理结果,发送给所述部署模块;
所述预测模块,用于调用深度学习框架的预测引擎,并获取所述预测引擎根据所述预处理结果进行预测后返回的预测结果,发送给所述部署模块。
2.根据权利要求1所述的系统,还包括:鉴权统计模块;
所述部署模块进一步用于,将获取到的所述用户的鉴权信息发送给所述鉴权统计模块,并获取所述鉴权统计模块返回的鉴权结果,若鉴权结果为鉴权成功,则将所述原始文本数据发送给所述数据预处理模块;
所述鉴权统计模块,用于根据所述用户的鉴权信息对所述用户进行鉴权,并将鉴权结果发送给所述部署模块。
3.根据权利要求2所述的系统,其中,
所述鉴权统计模块进一步用于,将本次任务请求对应的预定信息保存到数据库中。
4.根据权利要求1所述的系统,其中,
所述数据预处理模块对所述原始文本数据进行切字操作,将所述原始文本数据切分为词元token序列,根据所述token序列获取所述原始文本数据对应的标识id序列,根据所述id序列生成张量tensor结构数据,将所述tensor结构数据作为所述预处理结果。
5.根据权利要求4所述的系统,其中,
所述数据预处理模块的切字操作采用工厂模式的设计方式,并利用所述原始文本数据对应的切字方式对应的分词器tokenizer类,将所述原始文本数据切分为所述token序列。
6.根据权利要求1所述的系统,其中,
所述深度学习框架包括:飞桨paddlepaddle深度学习框架;
所述预测引擎包括:分析预测器analysispredictor预测引擎。
7.根据权利要求1所述的系统,其中,
所述预测模块采用工厂模式的设计方式,并利用所述原始文本数据对应的任务类型对应的预测infer类,得到所述预测结果。
8.根据权利要求1所述的系统,其中,
所述系统支持以下硬件类型:中央处理器cpu、图形处理器gpu以及昆仑芯片。
9.根据权利要求1所述的系统,其中,
所述系统支持以下部署模式:c++应用程序接口api模式、百度开源远程过程调用协议服务器brpcserver模式以及离线工具模式。
10.一种基于预训练范式模型的预测部署方法,包括:
预测部署系统对用户的任务请求对应的原始文本数据进行预处理,得到符合预测要求的预处理结果;
所述预测部署系统调用深度学习框架的预测引擎,并获取所述预测引擎根据所述预处理结果进行预测后返回的预测结果,提供给所述用户。
11.根据权利要求10所述的方法,还包括:
所述预测部署系统根据所述用户的鉴权信息对所述用户进行鉴权,若鉴权结果为鉴权成功,则对所述原始文本数据进行预处理。
12.根据权利要求11所述的方法,还包括:
所述预测部署系统将本次任务请求对应的预定信息保存到数据库中。
13.根据权利要求10所述的方法,其中,对所述原始文本数据进行预处理包括:
对所述原始文本数据进行切字操作,将所述原始文本数据切分为词元token序列,根据所述token序列获取所述原始文本数据对应的标识id序列,根据所述id序列生成张量tensor结构数据,将所述tensor结构数据作为所述预处理结果。
14.根据权利要求10所述的方法,其中,
所述深度学习框架包括:飞桨paddlepaddle深度学习框架;
所述预测引擎包括:分析预测器analysispredictor预测引擎。
15.根据权利要求10所述的方法,其中,
所述预测部署系统支持以下硬件类型:中央处理器cpu、图形处理器gpu以及昆仑芯片。
16.根据权利要求10所述的方法,其中,
所述预测部署系统支持以下部署模式:c++应用程序接口api模式、百度开源远程过程调用协议服务器brpcserver模式以及离线工具模式。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求10-16中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行权利要求10-16中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求10-16中任一项所述的方法。