基于预训练范式模型的预测部署系统、方法、装置及介质与流程

文档序号:24306856发布日期:2021-03-17 00:59阅读:来源:国知局

技术特征:

1.一种基于预训练范式模型的预测部署系统,包括:部署模块、数据预处理模块以及预测模块;

所述部署模块,用于将用户的任务请求对应的原始文本数据发送给所述数据预处理模块,获取所述数据预处理模块返回的预处理结果,将所述预处理结果发送给所述预测模块,并获取所述预测模块返回的预测结果,提供给所述用户;

所述数据预处理模块,用于对所述原始文本数据进行预处理,得到符合预测要求的预处理结果,发送给所述部署模块;

所述预测模块,用于调用深度学习框架的预测引擎,并获取所述预测引擎根据所述预处理结果进行预测后返回的预测结果,发送给所述部署模块。

2.根据权利要求1所述的系统,还包括:鉴权统计模块;

所述部署模块进一步用于,将获取到的所述用户的鉴权信息发送给所述鉴权统计模块,并获取所述鉴权统计模块返回的鉴权结果,若鉴权结果为鉴权成功,则将所述原始文本数据发送给所述数据预处理模块;

所述鉴权统计模块,用于根据所述用户的鉴权信息对所述用户进行鉴权,并将鉴权结果发送给所述部署模块。

3.根据权利要求2所述的系统,其中,

所述鉴权统计模块进一步用于,将本次任务请求对应的预定信息保存到数据库中。

4.根据权利要求1所述的系统,其中,

所述数据预处理模块对所述原始文本数据进行切字操作,将所述原始文本数据切分为词元token序列,根据所述token序列获取所述原始文本数据对应的标识id序列,根据所述id序列生成张量tensor结构数据,将所述tensor结构数据作为所述预处理结果。

5.根据权利要求4所述的系统,其中,

所述数据预处理模块的切字操作采用工厂模式的设计方式,并利用所述原始文本数据对应的切字方式对应的分词器tokenizer类,将所述原始文本数据切分为所述token序列。

6.根据权利要求1所述的系统,其中,

所述深度学习框架包括:飞桨paddlepaddle深度学习框架;

所述预测引擎包括:分析预测器analysispredictor预测引擎。

7.根据权利要求1所述的系统,其中,

所述预测模块采用工厂模式的设计方式,并利用所述原始文本数据对应的任务类型对应的预测infer类,得到所述预测结果。

8.根据权利要求1所述的系统,其中,

所述系统支持以下硬件类型:中央处理器cpu、图形处理器gpu以及昆仑芯片。

9.根据权利要求1所述的系统,其中,

所述系统支持以下部署模式:c++应用程序接口api模式、百度开源远程过程调用协议服务器brpcserver模式以及离线工具模式。

10.一种基于预训练范式模型的预测部署方法,包括:

预测部署系统对用户的任务请求对应的原始文本数据进行预处理,得到符合预测要求的预处理结果;

所述预测部署系统调用深度学习框架的预测引擎,并获取所述预测引擎根据所述预处理结果进行预测后返回的预测结果,提供给所述用户。

11.根据权利要求10所述的方法,还包括:

所述预测部署系统根据所述用户的鉴权信息对所述用户进行鉴权,若鉴权结果为鉴权成功,则对所述原始文本数据进行预处理。

12.根据权利要求11所述的方法,还包括:

所述预测部署系统将本次任务请求对应的预定信息保存到数据库中。

13.根据权利要求10所述的方法,其中,对所述原始文本数据进行预处理包括:

对所述原始文本数据进行切字操作,将所述原始文本数据切分为词元token序列,根据所述token序列获取所述原始文本数据对应的标识id序列,根据所述id序列生成张量tensor结构数据,将所述tensor结构数据作为所述预处理结果。

14.根据权利要求10所述的方法,其中,

所述深度学习框架包括:飞桨paddlepaddle深度学习框架;

所述预测引擎包括:分析预测器analysispredictor预测引擎。

15.根据权利要求10所述的方法,其中,

所述预测部署系统支持以下硬件类型:中央处理器cpu、图形处理器gpu以及昆仑芯片。

16.根据权利要求10所述的方法,其中,

所述预测部署系统支持以下部署模式:c++应用程序接口api模式、百度开源远程过程调用协议服务器brpcserver模式以及离线工具模式。

17.一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求10-16中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行权利要求10-16中任一项所述的方法。

19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求10-16中任一项所述的方法。


技术总结
本公开公开了基于预训练范式模型的预测部署系统、方法、装置及介质,涉及深度学习、自然语言处理及计算机视觉等人工智能领域,所述系统中可包括:部署模块,用于将用户的任务请求对应的原始文本数据发送给数据预处理模块,获取数据预处理模块返回的预处理结果,将预处理结果发送给预测模块,并获取预测模块返回的预测结果,提供给用户;数据预处理模块,用于对原始文本数据进行预处理,得到符合预测要求的预处理结果,发送给部署模块;预测模块,用于调用深度学习框架的预测引擎,并获取预测引擎根据预处理结果进行预测后返回的预测结果,发送给部署模块。应用本公开所述方案,可降低用户的学习和开发成本,并提升处理效率等。

技术研发人员:王晨秋
受保护的技术使用者:北京百度网讯科技有限公司
技术研发日:2020.12.18
技术公布日:2021.03.16
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1