一种任务处理方法、装置、设备及存储介质与流程

文档序号:37110695发布日期:2024-02-22 21:09阅读:25来源:国知局
一种任务处理方法、装置、设备及存储介质与流程

本发明涉及数据处理,特别是涉及一种任务处理方法、装置、设备及存储介质。


背景技术:

1、随着数据化时代的到来,人们的工作生活中充斥着各种各样的数据,为了满足不同场景的业务需求,需要基于各种各样的数据完成各种各样的任务。例如,需要基于图像完成图像分类任务,基于音频完成语音识别任务等等。其中,上述各种任务的类型与任务的内容以及任务要处理的数据相关,另外,不同类型的任务在进行处理时具有不同的特点。

2、鉴于上述情况,需要提供一种任务处理方案,以准确的完成各种任务。


技术实现思路

1、本发明实施例的目的在于提供一种任务处理方法、装置、设备及存储介质,以准确的完成各种任务。具体技术方案如下:

2、根据本发明实施例的一方面,提供了一种任务处理方法,上述方法包括:

3、获得用于完成任务的非结构化数据;

4、提取所述非结构化数据的第一特征;

5、对所述第一特征进行特征解耦处理,得到所述第一特征对应的单元特征;

6、基于因果发现算法,发现所述非结构化数据与所得单元特征间的因果关系;

7、基于所述因果关系,从单元特征中选择用于进行任务处理的第二特征;

8、根据所述第一特征和第二特征,对所述任务进行处理。

9、本发明的一个实施例中,所述基于所述因果关系,从单元特征中选择用于进行任务处理的第二特征,包括:

10、基于所述因果关系,获得表征各单元特征与所述非结构化数据间因果关系强烈程度的因果效应值、以及表征各单元特征间因果关系强烈程度的因果效应值;

11、选择所获得因果效应值高于预设因果效应值的单元特征,作为所述第二特征。

12、本发明的一个实施例中,所述基于因果发现算法,发现所述非结构化数据与所得单元特征间的因果关系,包括:

13、对所述非结构化数据和各所得单元特征分别进行向量化表示,得到所述非结构化数据对应的第一表示向量和各所得单元特征分别对应的第二表示向量;

14、基于因果发现算法,对所述第一表示向量和各第二表示向量进行处理,发现所述非结构化数据与所得单元特征间的因果关系。

15、本发明的一个实施例中,所述对所述第一特征进行特征解耦处理,得到所述第一特征对应的单元特征,包括:

16、将所述第一特征与预设的单元特征库中的各个特征进行匹配,得到与所述第一特征相匹配的单元特征;

17、根据所得的单元特征,获得所述第一特征对应的单元特征。

18、本发明的一个实施例中,所述根据所述第一特征和第二特征,对所述任务进行处理,包括:

19、将第一特征和第二特征进行拼接,得到拼接特征;

20、使用所述拼接特征对所述任务进行处理。

21、本发明的一个实施例中,所述提取所述非结构化数据的第一特征,包括:

22、提取所述非结构化数据的离散化特征,作为第一特征,其中,所述离散化特征包含实体特征、实体的属性特征、实体间的关系特征和实体发生的事件特征中的至少一种。

23、本发明的一个实施例中,在所述提取所述非结构化数据的离散化特征,作为第一特征之前,还包括:

24、根据所述非结构化数据的格式类型,确定待提取离散化特征的特征类型;

25、所述提取所述非结构化数据的离散化特征,作为第一特征,包括:

26、按照所确定的特征类型,提取所述非结构化数据的离散化特征,作为第一特征。

27、根据本发明实施例的另一方面,提供了一种任务处理装置,所述装置包括:

28、数据获得模块,用于获得用于完成任务的非结构化数据;

29、特征提取模块,用于提取所述非结构化数据的第一特征;

30、特征解耦模块,用于对所述第一特征进行特征解耦处理,得到所述第一特征对应的单元特征;

31、关系发现模块,用于基于因果发现算法,发现所述非结构化数据与所得单元特征间的因果关系;

32、特征选择模块,用于基于所述因果关系,从单元特征中选择用于进行任务处理的第二特征;

33、任务处理模块,用于根据所述第一特征和第二特征,对所述任务进行处理。

34、本发明的一个实施例中,所述特征选择模块,具体用于:

35、基于所述因果关系,获得表征各单元特征与所述非结构化数据间因果关系强烈程度的因果效应值、以及表征各单元特征间因果关系强烈程度的因果效应值;选择所获得因果效应值高于预设因果效应值的单元特征,作为所述第二特征。

36、本发明的一个实施例中,所述关系发现模块,具体用于:

37、对所述非结构化数据和各所得单元特征分别进行向量化表示,得到所述非结构化数据对应的第一表示向量和各所得单元特征分别对应的第二表示向量;基于因果发现算法,对所述第一表示向量和各第二表示向量进行处理,发现所述非结构化数据与所得单元特征间的因果关系。

38、本发明的一个实施例中,所述特征解耦模块,具体用于:

39、将所述第一特征与预设的单元特征库中的各个特征进行匹配,得到与所述第一特征相匹配的单元特征;根据所得的单元特征,获得所述第一特征对应的单元特征。

40、本发明的一个实施例中,所述任务处理模块,具体用于:

41、将第一特征和第二特征进行拼接,得到拼接特征;使用所述拼接特征对所述任务进行处理。

42、本发明的一个实施例中,所述特征提取模块,包括:

43、离散特征提取单元,用于提取所述非结构化数据的离散化特征,作为第一特征,其中,所述离散化特征包含实体特征、实体的属性特征、实体间的关系特征和实体发生的事件特征中的至少一种。

44、本发明的一个实施例中,所述特征提取模块,还包括:

45、特征类型确定单元,用于根据所述非结构化数据的格式类型,确定待提取离散化特征的特征类型;

46、所述离散特征提取单元,具体用于:

47、按照所确定的特征类型,提取所述非结构化数据的离散化特征,作为第一特征。

48、根据本发明实施例的另一方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

49、存储器,用于存放计算机程序;

50、处理器,用于执行存储器上所存放的程序时,实现上述实施例中任一任务处理方法步骤。

51、根据本发明实施例的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中任一任务处理方法步骤。

52、由以上可见,应用本发明实施例提供的方案进行任务处理时,所使用的特征包括第一特征和第二特征,其中,第一特征是对非结构化数据进行特征提取得到的,这样在任务处理过程中可以参考非结构化数据的原始数据特点;第二特征是基于单元特征与非结构化数据间的选择因果关系选择出的单元特征,这样第二特征与非结构化数据具有较强的因果性,对非结构化数据的表征性较强。这样使用第一特征和第二特征对任务进行处理,可以在保留非结构化数据特点的基础上结合非结构化数据中的突出特点,所以能够准确的完成各种任务。

53、当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1