数据处理方法以及装置与流程

文档序号:35135865发布日期:2023-08-16 18:56阅读:23来源:国知局
数据处理方法以及装置与流程

本说明书实施例涉及机器学习,特别涉及数据处理方法。


背景技术:

1、随着互联网的发展,神经网络模型的应用越来越广泛。通常神经网络模型被部署在服务端。然而随着用户的增多,服务端在进行数据传输、数据存储、预处理、模型计算等方面都需要耗费大量的计算和网络资源。为了减轻服务端的处理压力,将神经网络模型部署在客户端的需求越来越强烈,然而客户端的内存资源通常有限,通常难以支撑模型运行过程中内存需求,因此,亟需提供一种解决上述问题的技术方案。


技术实现思路

1、有鉴于此,本说明书实施例提供了两种数据处理方法。本说明书一个或者多个实施例同时涉及两种数据处理装置,两种语音识别方法,两种语音识别装置,一种风险识别方法,一种风险识别装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面,提供了第一种数据处理方法,应用于客户端,包括:

3、根据目标模型的单元运行顺序,确定目标数据处理单元,以及所述目标数据处理单元对应的待处理数据;

4、针对所述目标数据处理单元创建单元会话任务;

5、执行所述单元会话任务获得所述目标数据处理单元对应的单元运行内存,并利用所述目标数据处理单元在所述单元运行内存中处理所述待处理数据;

6、在获得待处理数据对应的中间处理数据情况下,删除所述单元会话任务,释放所述单元运行内存。

7、根据本说明书实施例的第二方面,提供了第二种数据处理方法,应用于服务端,包括:

8、确定目标模型以及所述目标模型对应的预设内存使用阈值;

9、根据所述目标模型对应的模型属性信息以及所述预设内存使用阈值,将所述目标模型划分为至少两个数据处理单元;

10、针对所述至少两个数据处理单元分别创建单元内存管理策略;

11、根据所述至少两个数据处理单元分别对应的单元内存管理策略,生成所述目标模型对应的内存管理策略,并发送至客户端;

12、其中,所述内存管理策略用于将所述客户端部署的目标模型划分为至少两个数据处理单元,且针对至少两个数据处理单元分别进行内存管理。

13、根据本说明书实施例的第三方面,提供了第一种语音识别方法,应用于客户端,包括:

14、根据语音识别模型的单元运行顺序,确定目标语音识别单元,以及所述目标语音识别单元对应的待处理数据;

15、针对所述目标数据处理单元创建单元会话任务;

16、执行所述单元会话任务获得所述目标语音识别单元对应的单元运行内存,并利用所述目标语音识别单元在所述单元运行内存中处理所述待处理数据;

17、在获得待处理数据对应的中间处理数据情况下,删除所述单元会话任务,释放所述单元运行内存。

18、根据本说明书实施例的第四方面,提供了第二种语音识别方法,应用于服务端,包括:

19、确定语音识别模型以及所述语音识别模型对应的预设内存使用阈值;

20、根据所述语音识别模型对应的模型属性信息以及所述预设内存使用阈值,将所述语音识别模型划分为至少两个语音识别单元;

21、针对所述至少两个语音识别单元分别创建单元内存管理策略;

22、根据所述至少两个语音识别单元分别对应的单元内存管理策略,生成所述语音识别模型对应的内存管理策略,并发送至客户端;

23、其中,所述内存管理策略用于将所述客户端部署的语音识别模型划分为所述至少两个语音识别单元,且针对所述至少两个语音识别单元分别进行内存管理。

24、根据本说明书实施例的第五方面,提供了第二种语音识别方法,应用于服务端,包括:在接收到网约车订单的乘车指令的情况下,采集待识别语音数据;

25、通过语音识别模型对所述待识别语音数据进行语音识别,获得所述待识别语音数据对应的文本数据,其中,所述语音识别模型包括至少两个语音识别单元,所述语音识别模型在语音识别过程中根据所述至少两个语音识别单元的单元运行顺序,对所述至少两个语音识别单元中确定的目标语音识别单元进行内存管理,并且所述目标语音识别单元为所述至少两个语音识别单元中的任意一个;

26、对所述文本数据进行风险识别,获得所述网约车订单对应的风险识别结果。

27、根据本说明书实施例的第六方面,提供了第一种数据处理装置,应用于客户端,包括:

28、第一确定模块,被配置为根据目标模型的单元运行顺序,确定目标数据处理单元,以及所述目标数据处理单元对应的待处理数据;

29、第一创建模块,被配置为针对所述目标数据处理单元创建单元会话任务;

30、第一执行模块,被配置为执行所述单元会话任务获得所述目标数据处理单元对应的单元运行内存,并利用所述目标数据处理单元在所述单元运行内存中处理所述待处理数据;

31、第一删除模块,被配置为在获得待处理数据对应的中间处理数据情况下,删除所述单元会话任务,释放所述单元运行内存。

32、根据本说明书实施例的第七方面,提供了第二种数据处理装置,应用于服务端,包括:

33、第一确定阈值模块,被配置为确定目标模型以及所述目标模型对应的预设内存使用阈值;

34、第一划分模块,被配置为根据所述目标模型对应的模型属性信息以及所述预设内存使用阈值,将所述目标模型划分为至少两个数据处理单元;

35、第一创建策略模块,被配置为针对所述至少两个数据处理单元分别创建单元内存管理策略;

36、第一生成策略模块,被配置为根据所述至少两个数据处理单元分别对应的单元内存管理策略,生成所述目标模型对应的内存管理策略,并发送至客户端;其中,所述内存管理策略用于将所述客户端部署的目标模型划分为至少两个数据处理单元,且针对至少两个数据处理单元分别进行内存管理。

37、根据本说明书实施例的第八方面,提供了第一种语音识别装置,应用于客户端,包括:

38、第二确定模块,被配置为根据语音识别模型的单元运行顺序,确定目标语音识别单元,以及所述目标语音识别单元对应的待处理数据;

39、第二创建模块,被配置为针对所述目标数据处理单元创建单元会话任务;

40、第二执行模块,被配置为执行所述单元会话任务获得所述目标语音识别单元对应的单元运行内存,并利用所述目标语音识别单元在所述单元运行内存中处理所述待处理数据;

41、第二删除模块,被配置为在获得待处理数据对应的中间处理数据情况下,删除所述单元会话任务,释放所述单元运行内存。

42、根据本说明书实施例的第九方面,提供了第二种语音识别装置,应用于服务端,包括:

43、第二确定阈值模块,被配置为确定语音识别模型以及所述语音识别模型对应的预设内存使用阈值;

44、第二划分模块,被配置为根据所述语音识别模型对应的模型属性信息以及所述预设内存使用阈值,将所述语音识别模型划分为至少两个语音识别单元;

45、第二创建策略模块,被配置为针对所述至少两个语音识别单元分别创建单元内存管理策略;

46、第二生成策略模块,被配置为二根据所述至少两个语音识别单元分别对应的单元内存管理策略,生成所述语音识别模型对应的内存管理策略,并发送至客户端;其中,所述内存管理策略用于将所述客户端部署的语音识别模型划分为所述至少两个语音识别单元,且针对所述至少两个语音识别单元分别进行内存管理。

47、根据本说明书实施例的第十方面,提供了第二种语音识别装置,应用于服务端,包括:

48、采集模块,被配置为在接收到网约车订单的乘车指令的情况下,采集待识别语音数据;

49、语音识别模块,被配置为通过语音识别模型对所述待识别语音数据进行语音识别,获得所述待识别语音数据对应的文本数据,其中,所述语音识别模型包括至少两个语音识别单元,所述语音识别模型在语音识别过程中根据所述至少两个语音识别单元的单元运行顺序,对所述至少两个语音识别单元中确定的目标语音识别单元进行内存管理,并且所述目标语音识别单元为所述至少两个语音识别单元中的任意一个;

50、风险识别模块,被配置为对所述文本数据进行风险识别,获得所述网约车订单对应的风险识别结果。

51、根据本说明书实施例的第十一方面,提供了一种计算设备,包括:

52、存储器和处理器;

53、所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据处理方法或语音识别方法的步骤。

54、根据本说明书实施例的第十二方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述数据处理方法或语音识别方法或风险识别方法的步骤。

55、根据本说明书实施例的第十三方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述数据处理方法或语音识别方法或风险识别方法的步骤。

56、本说明书一个实施例提供的数据处理方法,应用于客户端,为了减少目标模型在运行过程中的内存消耗,根据目标模型的单元运行顺序,确定目标数据处理单元,并确定目标数据处理单元对应的待处理数据;针对目标数据处理单元创建单元会话任务;执行单元会话任务获得目标数据处理单元对应的单元运行内存,并利用目标数据处理单元在单元运行内存中处理待处理数据,实现了针对目标模型中的目标数据处理单元进行运行内存的申请。在获得待处理数据对应的中间处理数据情况下,删除单元会话任务,释放单元运行内存,实现了在目标数据处理单元完成数据处理后,直接释放所申请的运行内存,避免了在目标模型运行过程中运行内存的积累,提升了目标模型在客户端运行的稳定性。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1