基于意图识别模型的意图识别方法、训练方法和设备与流程

文档序号:33639782发布日期:2023-03-29 01:44阅读:76来源:国知局
基于意图识别模型的意图识别方法、训练方法和设备与流程

1.本技术涉及大数据技术和电子商务技术,尤其涉及一种基于意图识别模型的意图识别方法、训练方法和设备。


背景技术:

2.随着互联网技术的发展,用户可以基于互联网完成物品的购买。进而可以基于互联网向用户推荐物品。为了便于向用户推荐物品,需要确定出用户的意图信息。意图信息表征用户购买物品之后的用途和原因;例如,用户购买物品之后,将该物品应用于家庭聚会,则此时的意图信息为“家庭聚会”。
3.现有技术中,在识别意图信息的时候,可以基于聚类的方式对用户的语料信息进行识别,进而得到意图信息。
4.但是上述方式中,在电商场景下会提供大量物品,依据现有的聚类算法对语料信息所得到的意图信息,是无法适应于该场景的,所得到的意图信息是不准确的。


技术实现要素:

5.本技术提供一种基于意图识别模型的意图识别方法、训练方法和设备,用以解决没有适应于电商场景的意图识别方法、且意图识别不准确的问题。
6.第一方面,本技术提供一种基于意图识别模型的意图识别方法,所述方法包括:
7.获取待识别集合;其中,所述待识别集合中包括多个待识别的消费行为数据,所述待识别的消费行为数据包括用户和多个特征信息,所述用户与每一所述特征信息之间具有二元关系;
8.根据所述待识别集合,生成多个对偶超图信息;其中,所述对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,所述第一超图表征用户在特征信息上的关联关系,所述第二超图表征特征信息在用户上的关联关系;
9.将所述多个对偶超图信息输入到意图识别模型的编码器中,生成所述待识别的消费行为数据的意图特征;其中,所述意图特征表征待识别的消费行为数据在每一特征信息上的子特征;
10.将所述意图特征输入到所述意图识别模型的解码器中,得到所述待识别的消费行为数据的意图信息。
11.在可行的一种实施方式中,将所述多个对偶超图信息输入到意图识别模型的编码器中,生成所述待识别的消费行为数据的意图特征,包括:
12.将所述多个对偶超图信息,输入到所述编码器中,生成与所述编码器中的每一超图卷积层对应的卷积特征;
13.对各所述卷积特征进行聚合,得到聚合特征;并根据聚合特征,确定所述待识别的消费行为数据的意图特征。
14.在可行的一种实施方式中,所述第一超图具有第一关联矩阵特征、第一节点度矩
阵特征、第一超边度矩阵特征、以及第一节点特征;
15.其中,所述第一关联矩阵特征表征第一超图所归属的对偶超图信息的特征表达;所述第一节点度矩阵特征表征第一超图中的用户节点的连接关系;所述第一超边度矩阵特征表征第一超图中的边的节点对应关系;所述第一节点特征表征第一超图中的用户节点的节点信息;
16.所述第二超图具有第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征;其中,所述第二关联矩阵特征表征第二超图所归属的对偶超图信息的特征表达;所述第二节点度矩阵特征表征第二超图中的特征信息节点的连接关系;所述第二超边度矩阵特征表征第二超图中的边的节点对应关系;所述第二节点特征表征第二超图中的特征信息节点的节点信息。
17.在可行的一种实施方式中,将所述多个对偶超图信息,输入到所述编码器中,生成与所述编码器中的每一超图卷积层对应的卷积特征,包括:
18.将所述多个对偶超图信息,输入到所述编码器中,根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征;
19.根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征;
20.根据与特征信息对应的第一初始嵌入特征和第二初始嵌入特征,基于每一超图卷积层进行处理,得到与每一超图卷积层对应的卷积特征。
21.在可行的一种实施方式中,根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征,包括:
22.根据与特征信息对应的第一超图的第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第一图内传播特征;其中,所述第一图内传播特征表征用户在特征信息上的特征表达;
23.根据与特征信息对应的第二超图的第二关联矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第一图间传播特征;其中,所述第一图间传播特征表征用户与特征信息之间的特征表达;
24.根据与特征信息对应的第一图内传播特征、以及与特征信息对应的第一图间传播特征,确定与特征信息对应的第一初始嵌入特征。
25.在可行的一种实施方式中,根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征,包括:
26.根据与特征信息对应的第二超图的第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第二图内传播特征;其中,所述第二图内传播特征表征特征信息在用户上的特征表达;
27.根据与特征信息对应的第一超图的第一关联矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第二图间传播特征;其中,所述第二图间传播特征表征用户与特征信息之间的特征表达;
28.根据与特征信息对应的第二图内传播特征、以及与特征信息对应的第二图间传播特征,确定与特征信息对应的第二初始嵌入特征。
29.在可行的一种实施方式中,根据聚合特征,确定所述待识别的消费行为数据的意
图特征,包括:
30.基于多层感知方式对所述聚合特征进行处理,生成所述待识别的消费行为数据的意图特征。
31.在可行的一种实施方式中,所述待识别集合包括第一集合和第二集合;所述第一集合中待识别的消费行为数据具有实际的意图信息,所述第二集合中待识别的消费行为数据不具有实际的意图信息。
32.在可行的一种实施方式中,所述待识别集合包括第一集合和第二集合;所述第一集合中待识别的消费行为数据具有实际的意图信息,所述第二集合中待识别的消费行为数据不具有实际的意图信息;将所述意图特征输入到所述意图识别模型的解码器中,得到所述待识别的消费行为数据的意图信息,包括:
33.对各所述待识别的消费行为数据的意图特征进行聚类处理,得到多个意图信息;
34.根据所述意图识别模型的解码器,对所述待识别的消费行为数据对应的意图特征进行解码处理,以将所述待识别的消费行为数据分类到所得到的所述多个意图信息中,得到所述待识别的消费行为数据的意图信息。
35.在可行的一种实施方式中,根据所述意图识别模型的解码器,对所述待识别的消费行为数据对应的意图特征进行解码处理,以将所述待识别的消费行为数据分类到所得到的所述多个意图信息中,得到所述待识别的消费行为数据的意图信息,包括:
36.根据所述意图识别模型的解码器,对所述待识别的消费行为数据对应的意图特征进行解码处理,以将所述待识别的消费行为数据分类到所得到的所述多个意图信息中,得到所述待识别的消费行为数据在每一特征信息上的概率分布信息;其中,所述概率分布信息表征待识别的消费行为数据归属于所述多个意图信息中的意图信息的概率分布情况;
37.根据所述待识别的消费行为数据在每一特征信息上的子特征,确定所述待识别的消费行为数据在每一特征信息上的权重信息;
38.根据所述待识别的消费行为数据在每一特征信息上的概率分布信息和权重信息,确定所述待识别的消费行为数据在每一特征信息上的初始意图;
39.根据所述待识别的消费行为数据对应的各所述初始意图,确定所述待识别的消费行为数据的意图信息。
40.在可行的一种实施方式中,所述方法,还包括:
41.根据所述待识别的消费行为数据的意图信息,向用户推荐物品。
42.第二方面,本技术提供一种应用于意图识别的模型训练方法,所述方法包括:
43.获取待训练集合;其中,所述待训练集合中包括多个待训练的消费行为数据,所述待训练的消费行为数据包括用户和多个特征信息,所述用户与每一所述特征信息之间具有二元关系;
44.根据所述待训练集合,生成多个对偶超图信息;其中,所述对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,所述第一超图表征用户在特征信息上的关联关系,所述第二超图表征特征信息在用户上的关联关系;
45.将所述多个对偶超图信息输入到初始模型的编码器中进行训练,生成所述待训练的消费行为数据的意图特征;其中,所述意图特征表征待训练的消费行为数据在每一特征信息上的子特征;并根据所述意图特征对所述编码器进行更新;
46.将所述意图特征输入到所述初始模型的解码器中进行训练,以更新所述解码器,得到意图识别模型;其中,所述意图识别模型用于对待识别的消费行为数据进行识别得到意图信息。将所述多个对偶超图信息输入到初始模型的编码器中进行训练,生成所述待训练的消费行为数据的意图特征,包括:
47.将所述多个对偶超图信息,输入到所述编码器中,生成与所述编码器中的每一超图卷积层对应的卷积特征;
48.对各所述卷积特征进行聚合,得到聚合特征;并根据聚合特征,确定所述待训练的消费行为数据的意图特征。
49.在可行的一种实施方式中,所述第一超图具有第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征;
50.其中,所述第一关联矩阵特征表征第一超图所归属的对偶超图信息的特征表达;所述第一节点度矩阵特征表征第一超图中的用户节点的连接关系;所述第一超边度矩阵特征表征第一超图中的边的节点对应关系;所述第一节点特征表征第一超图中的用户节点的节点信息;
51.所述第二超图具有第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征;其中,所述第二关联矩阵特征表征第二超图所归属的对偶超图信息的特征表达;所述第二节点度矩阵特征表征第二超图中的特征信息节点的连接关系;所述第二超边度矩阵特征表征第二超图中的边的节点对应关系;所述第二节点特征表征第二超图中的特征信息节点的节点信息。
52.在可行的一种实施方式中,将所述多个对偶超图信息,输入到所述编码器中,生成与所述编码器中的每一超图卷积层对应的卷积特征,包括:
53.将所述多个对偶超图信息,输入到所述编码器中,根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征;
54.根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征;
55.根据与特征信息对应的第一初始嵌入特征和第二初始嵌入特征,基于每一超图卷积层进行处理,得到与每一超图卷积层对应的卷积特征。
56.在可行的一种实施方式中,根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征,包括:
57.根据与特征信息对应的第一超图的第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第一图内传播特征;其中,所述第一图内传播特征表征用户在特征信息上的特征表达;
58.根据与特征信息对应的第二超图的第二关联矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第一图间传播特征;其中,所述第一图间传播特征表征用户与特征信息之间的特征表达;
59.根据与特征信息对应的第一图内传播特征、以及与特征信息对应的第一图间传播特征,确定与特征信息对应的第一初始嵌入特征。
60.在可行的一种实施方式中,根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征,包括:
61.根据与特征信息对应的第二超图的第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第二图内传播特征;其中,所述第二图内传播特征表征特征信息在用户上的特征表达;
62.根据与特征信息对应的第一超图的第一关联矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第二图间传播特征;其中,所述第二图间传播特征表征用户与特征信息之间的特征表达;
63.根据与特征信息对应的第二图内传播特征、以及与特征信息对应的第二图间传播特征,确定与特征信息对应的第二初始嵌入特征。
64.在可行的一种实施方式中,根据聚合特征,确定所述待训练的消费行为数据的意图特征,包括:
65.基于多层感知方式对所述聚合特征进行处理,生成所述待训练的消费行为数据的意图特征。
66.在可行的一种实施方式中,所述待训练的消费行为数据具有实际的行为信息,所述实际的行为信息表征用户是否购买消费行为数据中的物品;根据所述意图特征对所述编码器进行更新,包括:
67.根据所述待训练的消费行为数据对应的每一对子特征、以及所述待训练集合的待训练的消费行为数据的总个数,确定独立损失函数;
68.根据所述待训练的消费行为数据对应的各子特征,确定所述待训练的消费行为数据的预测的行为信息,并根据所述待训练的消费行为数据的预测的行为信息和实际的行为信息,确定bpr损失函数;
69.根据所述bpr损失函数、所述独立损失函数以及预设的超参数,确定总体损失函数,并根据所述总体损失函数更新所述解码器。
70.在可行的一种实施方式中,所述待训练集合包括第一集合和第二集合;所述第一集合中待训练的消费行为数据具有实际的意图信息,所述第二集合中待训练的消费行为数据不具有实际的意图信息。
71.在可行的一种实施方式中,所述待训练集合包括第一集合和第二集合;所述第一集合中待训练的消费行为数据具有实际的意图信息,所述第二集合中待训练的消费行为数据不具有实际的意图信息;将所述意图特征输入到所述初始模型的解码器中进行训练,以更新所述解码器,得到意图识别模型,包括:
72.对各所述待训练的消费行为数据的意图特征进行聚类处理,得到多个意图信息;
73.根据所述初始模型的解码器,对所述第一集合中待训练的消费行为数据对应的意图特征进行解码处理,得到交叉熵损失函数;
74.根据所述初始模型的解码器,对与所述第二集合中待训练的消费行为数据对应的意图特征进行解码处理,以将所述第二集合中待训练的消费行为数据分类到所得到的所述多个意图信息中,得到二分类交叉熵优化损失函数;
75.根据所述交叉熵损失函数和所述二分类交叉熵优化损失函数,更新所述解码器,得到所述意图识别模型。
76.在可行的一种实施方式中,根据所述初始模型的解码器,对与所述第二集合中待训练的消费行为数据对应的意图特征进行解码处理,以将所述第二集合中待训练的消费行
为数据分类到所得到的所述多个意图信息中,得到二分类交叉熵优化损失函数,包括:
77.根据所述初始模型的解码器,对与所述第二集合中待训练的消费行为数据对应的意图特征进行解码处理,以将所述第二集合中待训练的消费行为数据分类到所得到的所述多个意图信息中;并且针对每一种子特征,针对所述第二集合中每一对待训练的消费行为数据的子特征进行相似度计算,得到所述第二集合中的每一对待训练的消费行为数据在每一子特征上的相似度信息;
78.针对每一种子特征,确定所述第二集合中的每一对待训练的消费行为数据在每一子特征上的分数信息,所述分数信息表征一对待训练的消费行为数据在子特征维度上属于同一意图信息的分数;
79.根据所述第二集合中的每一对待训练的消费行为数据在每一子特征上的相似度信息、所述第二集合中的每一对待训练的消费行为数据在每一子特征上的分数信息,确定所述二分类交叉熵优化损失函数。
80.第三方面,本技术提供一种意图识别的识别装置,所述装置包括:
81.获取单元,用于获取待识别集合;其中,所述待识别集合中包括多个待识别的消费行为数据,所述待识别的消费行为数据包括用户和多个特征信息,所述用户与每一所述特征信息之间具有二元关系;
82.处理单元,用于根据所述待识别集合,生成多个对偶超图信息;其中,所述对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,所述第一超图表征用户在特征信息上的关联关系,所述第二超图表征特征信息在用户上的关联关系;
83.第一确定单元,用于将所述多个对偶超图信息输入到意图识别模型的编码器中,生成所述待识别的消费行为数据的意图特征;其中,所述意图特征表征待识别的消费行为数据在每一特征信息上的子特征;
84.第二确定单元,用于将所述意图特征输入到所述意图识别模型的解码器中,得到所述待识别的消费行为数据的意图信息。
85.在可行的一种实施方式中,所述第一确定单元,具体用于:
86.将所述多个对偶超图信息,输入到所述编码器中,生成与所述编码器中的每一超图卷积层对应的卷积特征;
87.对各所述卷积特征进行聚合,得到聚合特征;并根据聚合特征,确定所述待识别的消费行为数据的意图特征。
88.在可行的一种实施方式中,所述第一超图具有第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征;
89.其中,所述第一关联矩阵特征表征第一超图所归属的对偶超图信息的特征表达;所述第一节点度矩阵特征表征第一超图中的用户节点的连接关系;所述第一超边度矩阵特征表征第一超图中的边的节点对应关系;所述第一节点特征表征第一超图中的用户节点的节点信息;
90.所述第二超图具有第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征;其中,所述第二关联矩阵特征表征第二超图所归属的对偶超图信息的特征表达;所述第二节点度矩阵特征表征第二超图中的特征信息节点的连接关系;所述
第二超边度矩阵特征表征第二超图中的边的节点对应关系;所述第二节点特征表征第二超图中的特征信息节点的节点信息。
91.在可行的一种实施方式中,所述第一确定单元在将所述多个对偶超图信息,输入到所述编码器中,生成与所述编码器中的每一超图卷积层对应的卷积特征时,具体用于:
92.将所述多个对偶超图信息,输入到所述编码器中,根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征;
93.根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征;
94.根据与特征信息对应的第一初始嵌入特征和第二初始嵌入特征,基于每一超图卷积层进行处理,得到与每一超图卷积层对应的卷积特征。
95.在可行的一种实施方式中,所述第一确定单元在根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征时,具体用于:
96.根据与特征信息对应的第一超图的第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第一图内传播特征;其中,所述第一图内传播特征表征用户在特征信息上的特征表达;
97.根据与特征信息对应的第二超图的第二关联矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第一图间传播特征;其中,所述第一图间传播特征表征用户与特征信息之间的特征表达;
98.根据与特征信息对应的第一图内传播特征、以及与特征信息对应的第一图间传播特征,确定与特征信息对应的第一初始嵌入特征。
99.在可行的一种实施方式中,所述第一确定单元在根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征时,具体用于:
100.根据与特征信息对应的第二超图的第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第二图内传播特征;其中,所述第二图内传播特征表征特征信息在用户上的特征表达;
101.根据与特征信息对应的第一超图的第一关联矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第二图间传播特征;其中,所述第二图间传播特征表征用户与特征信息之间的特征表达;
102.根据与特征信息对应的第二图内传播特征、以及与特征信息对应的第二图间传播特征,确定与特征信息对应的第二初始嵌入特征。
103.在可行的一种实施方式中,所述第一确定单元在根据聚合特征,确定所述待识别的消费行为数据的意图特征时,具体用于:
104.基于多层感知方式对所述聚合特征进行处理,生成所述待识别的消费行为数据的意图特征。
105.在可行的一种实施方式中,所述获取单元所获取的待识别集合包括第一集合和第二集合;所述第一集合中待识别的消费行为数据具有实际的意图信息,所述第二集合中待识别的消费行为数据不具有实际的意图信息。
106.在可行的一种实施方式中,所述获取单元所获取的待识别集合包括第一集合和第二集合;所述第一集合中待识别的消费行为数据具有实际的意图信息,所述第二集合中待识别的消费行为数据不具有实际的意图信息;所述第二确定单元在将所述意图特征输入到所述意图识别模型的解码器中,得到所述待识别的消费行为数据的意图信息时,具体用于:
107.对各所述待识别的消费行为数据的意图特征进行聚类处理,得到多个意图信息;
108.根据所述意图识别模型的解码器,对所述待识别的消费行为数据对应的意图特征进行解码处理,以将所述待识别的消费行为数据分类到所得到的所述多个意图信息中,得到所述待识别的消费行为数据的意图信息。
109.在可行的一种实施方式中,所述第二确定单元在根据所述意图识别模型的解码器,对所述待识别的消费行为数据对应的意图特征进行解码处理,以将所述待识别的消费行为数据分类到所得到的所述多个意图信息中,得到所述待识别的消费行为数据的意图信息时,具体用于:
110.根据所述意图识别模型的解码器,对所述待识别的消费行为数据对应的意图特征进行解码处理,以将所述待识别的消费行为数据分类到所得到的所述多个意图信息中,得到所述待识别的消费行为数据在每一特征信息上的概率分布信息;其中,所述概率分布信息表征待识别的消费行为数据归属于所述多个意图信息中的意图信息的概率分布情况;
111.根据所述待识别的消费行为数据在每一特征信息上的子特征,确定所述待识别的消费行为数据在每一特征信息上的权重信息;
112.根据所述待识别的消费行为数据在每一特征信息上的概率分布信息和权重信息,确定所述待识别的消费行为数据在每一特征信息上的初始意图;
113.根据所述待识别的消费行为数据对应的各所述初始意图,确定所述待识别的消费行为数据的意图信息。
114.在可行的一种实施方式中,所述装置,还包括:
115.应用单元,用于根据所述待识别的消费行为数据的意图信息,向用户推荐物品。
116.第四方面,本技术提供一种应用于意图识别的模型训练装置,所述装置包括:
117.获取单元,用于获取待训练集合;其中,所述待训练集合中包括多个待训练的消费行为数据,所述待训练的消费行为数据包括用户和多个特征信息,所述用户与每一所述特征信息之间具有二元关系;
118.处理单元,用于根据所述待训练集合,生成多个对偶超图信息;其中,所述对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,所述第一超图表征用户在特征信息上的关联关系,所述第二超图表征特征信息在用户上的关联关系;
119.第一更新单元,用于将所述多个对偶超图信息输入到初始模型的编码器中进行训练,生成所述待训练的消费行为数据的意图特征;其中,所述意图特征表征待训练的消费行为数据在每一特征信息上的子特征;并根据所述意图特征对所述编码器进行更新;
120.第二更新单元,用于将所述意图特征输入到所述初始模型的解码器中进行训练,以更新所述解码器,得到意图识别模型;其中,所述意图识别模型用于对待识别的消费行为数据进行识别得到意图信息。
121.在可行的一种实施方式中,所述第一更新单元,具体用于:
122.将所述多个对偶超图信息,输入到所述编码器中,生成与所述编码器中的每一超图卷积层对应的卷积特征;
123.对各所述卷积特征进行聚合,得到聚合特征;并根据聚合特征,确定所述待训练的消费行为数据的意图特征。
124.在可行的一种实施方式中,所述第一超图具有第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征;
125.其中,所述第一关联矩阵特征表征第一超图所归属的对偶超图信息的特征表达;所述第一节点度矩阵特征表征第一超图中的用户节点的连接关系;所述第一超边度矩阵特征表征第一超图中的边的节点对应关系;所述第一节点特征表征第一超图中的用户节点的节点信息;
126.所述第二超图具有第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征;其中,所述第二关联矩阵特征表征第二超图所归属的对偶超图信息的特征表达;所述第二节点度矩阵特征表征第二超图中的特征信息节点的连接关系;所述第二超边度矩阵特征表征第二超图中的边的节点对应关系;所述第二节点特征表征第二超图中的特征信息节点的节点信息。
127.在可行的一种实施方式中,所述第一更新单元在将所述多个对偶超图信息,输入到所述编码器中,生成与所述编码器中的每一超图卷积层对应的卷积特征时,具体用于:
128.将所述多个对偶超图信息,输入到所述编码器中,根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征;
129.根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征;
130.根据与特征信息对应的第一初始嵌入特征和第二初始嵌入特征,基于每一超图卷积层进行处理,得到与每一超图卷积层对应的卷积特征。
131.在可行的一种实施方式中,所述第一更新单元在根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征时,具体用于:
132.根据与特征信息对应的第一超图的第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第一图内传播特征;其中,所述第一图内传播特征表征用户在特征信息上的特征表达;
133.根据与特征信息对应的第二超图的第二关联矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第一图间传播特征;其中,所述第一图间传播特征表征用户与特征信息之间的特征表达;
134.根据与特征信息对应的第一图内传播特征、以及与特征信息对应的第一图间传播特征,确定与特征信息对应的第一初始嵌入特征。
135.在可行的一种实施方式中,所述第一更新单元在根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征时,具体用于:
136.根据与特征信息对应的第二超图的第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第二图内传播特征;其中,
所述第二图内传播特征表征特征信息在用户上的特征表达;
137.根据与特征信息对应的第一超图的第一关联矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第二图间传播特征;其中,所述第二图间传播特征表征用户与特征信息之间的特征表达;
138.根据与特征信息对应的第二图内传播特征、以及与特征信息对应的第二图间传播特征,确定与特征信息对应的第二初始嵌入特征。
139.在可行的一种实施方式中,所述第一更新单元在根据聚合特征,确定所述待训练的消费行为数据的意图特征时,具体用于:
140.基于多层感知方式对所述聚合特征进行处理,生成所述待训练的消费行为数据的意图特征。
141.在可行的一种实施方式中,所述获取单元所获取的待训练的消费行为数据具有实际的行为信息,所述实际的行为信息表征用户是否购买消费行为数据中的物品;所述第一更新单元在根据所述意图特征对所述编码器进行更新时,具体用于:
142.根据所述待训练的消费行为数据对应的每一对子特征、以及所述待训练集合的待训练的消费行为数据的总个数,确定独立损失函数;
143.根据所述待训练的消费行为数据对应的各子特征,确定所述待训练的消费行为数据的预测的行为信息,并根据所述待训练的消费行为数据的预测的行为信息和实际的行为信息,确定bpr损失函数;
144.根据所述bpr损失函数、所述独立损失函数以及预设的超参数,确定总体损失函数,并根据所述总体损失函数更新所述解码器。
145.在可行的一种实施方式中,所述获取单元所获取的待训练集合包括第一集合和第二集合;所述第一集合中待训练的消费行为数据具有实际的意图信息,所述第二集合中待训练的消费行为数据不具有实际的意图信息。
146.在可行的一种实施方式中,所述获取单元所获取的待训练集合包括第一集合和第二集合;所述第一集合中待训练的消费行为数据具有实际的意图信息,所述第二集合中待训练的消费行为数据不具有实际的意图信息;所述第二更新单元在将所述意图特征输入到所述初始模型的解码器中进行训练,以更新所述解码器,得到意图识别模型时,具体用于:
147.对各所述待训练的消费行为数据的意图特征进行聚类处理,得到多个意图信息;
148.根据所述初始模型的解码器,对所述第一集合中待训练的消费行为数据对应的意图特征进行解码处理,得到交叉熵损失函数;
149.根据所述初始模型的解码器,对与所述第二集合中待训练的消费行为数据对应的意图特征进行解码处理,以将所述第二集合中待训练的消费行为数据分类到所得到的所述多个意图信息中,得到二分类交叉熵优化损失函数;
150.根据所述交叉熵损失函数和所述二分类交叉熵优化损失函数,更新所述解码器,得到所述意图识别模型。
151.在可行的一种实施方式中,所述第二更新单元在根据所述初始模型的解码器,对与所述第二集合中待训练的消费行为数据对应的意图特征进行解码处理,以将所述第二集合中待训练的消费行为数据分类到所得到的所述多个意图信息中,得到二分类交叉熵优化损失函数时,具体用于:
152.根据所述初始模型的解码器,对与所述第二集合中待训练的消费行为数据对应的意图特征进行解码处理,以将所述第二集合中待训练的消费行为数据分类到所得到的所述多个意图信息中;并且针对每一种子特征,针对所述第二集合中每一对待训练的消费行为数据的子特征进行相似度计算,得到所述第二集合中的每一对待训练的消费行为数据在每一子特征上的相似度信息;
153.针对每一种子特征,确定所述第二集合中的每一对待训练的消费行为数据在每一子特征上的分数信息,所述分数信息表征一对待训练的消费行为数据在子特征维度上属于同一意图信息的分数;
154.根据所述第二集合中的每一对待训练的消费行为数据在每一子特征上的相似度信息、所述第二集合中的每一对待训练的消费行为数据在每一子特征上的分数信息,确定所述二分类交叉熵优化损失函数。
155.第五方面,本技术实施例提供一种电子设备,包括:存储器,处理器;
156.存储器;用于存储所述处理器可执行指令的存储器;
157.其中,所述处理器被配置为执行第一方面或第二方面所述的方法。
158.第六方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面或第二方面所述的方法。
159.第七方面,本技术实施例提供一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。
160.本技术提供的基于意图识别模型的意图识别方法、训练方法和设备,通过获取待识别集合;其中,待识别集合中包括多个待识别的消费行为数据,待识别的消费行为数据包括用户和多个特征信息,用户与每一特征信息之间具有二元关系;根据待识别集合,生成多个对偶超图信息;其中,对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,第一超图表征用户在特征信息上的关联关系,第二超图表征特征信息在用户上的关联关系;将多个对偶超图信息输入到意图识别模型的编码器中,生成待识别的消费行为数据的意图特征;其中,意图特征表征待识别的消费行为数据在每一特征信息上的子特征;将意图特征输入到意图识别模型的解码器中,得到待识别的消费行为数据的意图信息。基于本实施例提供的基于意图识别模型的意图识别方法可以对消费行为数据进行充分建模,基于少量有标注的意图信息发现消费行为数据中的未知意图,从而提升电商推荐的精度和可解释性,进一步提升用户体验。并且,通过构建对偶超图,利用超图卷积模块处理对偶超图获得相应意图特征,充分考虑了地点信息、时间信息、物品信息对于用户意图的影响。并且,对各待识别的消费行为数据的意图特征进行聚类处理,得到多个意图信息,利用意图识别模型的解码器,对待识别的消费行为数据分类到多个意图信息中,可以提高意图发现的精准度和可信度。并且,基于模型训练的方式,得到用于识别消费行为数据的意图识别模型;可以基于模型准确、快速的识别消费行为数据的意图信息。并且,基于对未标注意图的样本对的意图特征,通过构建伪标签的方式训练意图解码器,可以提升意图识别模型的分类效果,进一步提升模型的准确性和精度。
附图说明
161.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。
162.图1为本技术实施例提供的一种基于意图识别模型的意图识别方法的流程示意图;
163.图2为本技术实施例提供的对偶超图信息生成示意图;
164.图3为本技术实施例提供的另一种基于意图识别模型的意图识别方法的流程示意图;
165.图4为本技术实施例提供的一种应用于意图识别的模型训练方法的流程示意图;
166.图5为本技术实施例提供的另一种应用于意图识别的模型训练方法的流程示意图;
167.图6为本技术实施例提供的意图识别模型示意图;
168.图7为本技术实施例提供的一种基于意图识别的识别装置的结构示意图;
169.图8为本技术实施例提供的一种应用于意图识别的模型训练装置的结构示意图;
170.图9为本技术实施例提供的一种电子设备的结构示意图;
171.图10为本技术实施例提供的一种电子设备的框图。
172.通过上述附图,已示出本技术明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围,而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
173.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
174.随着互联网技术的发展,用户可以基于互联网完成物品的购买。进而可以基于互联网向用户推荐物品。为了便于向用户推荐物品,需要确定出用户的意图信息。意图信息表征用户购买物品之后的用途和原因;例如,用户购买物品之后,将该物品应用于家庭聚会,则此时的意图信息为“家庭聚会”。但是,目前工业推荐引擎中的大多数现有模型都是基于黑盒原理,无法明确建模用户消费行为发生的具体原因和意图,用户消费行为意图发现精度难以达到业务要求,并且,难以处理电商业务中的消费行为。
175.一个示例中,通过自适应聚类和聚类细化来发现对话语句中隐藏的新意图。或者,使用对齐策略增强深度聚类,以解决标签不一致的问题。或者,通过引入意图特征的前后一致性约束来提升基于深度嵌入表征学习的聚类效果。或者,基于特征向量的秩统计生成成对伪标签,从而将聚类任务转换为二分类任务。
176.但是上述方式中,关于意图表征的学习主要是基于自然语言处理和图像特征抽取,难以处理电商业务中的消费行为;也没有针对电商业务下的用户行为特点进行相关优化,无法直接进行有效的业务迁移,消费意图信息发现精度难以达到业务要求。
177.一个示例中,根据业务需求收集相应用户语料并进行预处理;根据用户语料定义
相应意图;根据意图构建和训练意图识别模型,并进行优化;通过意图识别模型识别用户语料的意图;根据当前意图判别意图类型,若判别的意图类型与当前业务类型相同,则对当前意图不进行更新;若判别的意图类型与当前业务类型不符,则通过意图发现模型进行更新,得到新的意图;意图发现模型根据用户语料进行构建和训练而得,用于对用户语料进行聚类,然后根据类别中的用户语料和业务需求重新定义意图。或者,从保存的对话日志中获取多个待处理文本,对多个待处理文本进行处理得到对应的多个句向量;基于多个句向量,对多个待处理文本进行聚类,得到a类待处理文本;a为大于等于1的整数;针对a类待处理文本中每一类待处理文本进行关键词提取,得到至少一个关键词;基于至少一个关键词,确定新增的至少一个意图。或者,基于业务上的数据对基于transformer的双向编码器(bidirectionalencoder representations from transformer,bert)模型进行进一步预训练;收集项目上用户产生的对话记录;将用户的对话文本使用已进一步预训练的bert模型得到embedding向量;对embedding向量使用机器学习算法降维到低维向量,使其为具有代表性特征信息的向量;对降维后embedding向量使用机器学习算法,调整算法相关超参数,得到聚类后的文本信息;将聚类后的语料给到意图库维护人员,为其增加新意图提供参考。
178.但是上述方式中,对于用户消费行为的建模不够;实现从已知意图到未知意图的知识迁移的方法不适用于电商场景。
179.本技术提供一种基于意图识别模型的意图识别方法、训练方法和设备,旨在解决现有技术的如上技术问题。
180.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本技术的实施例进行描述。
181.图1为本技术实施例提供的一种基于意图识别模型的意图识别方法的流程示意图,如图1所示,该方法包括:
182.s101、获取待识别集合;其中,待识别集合中包括多个待识别的消费行为数据,待识别的消费行为数据包括用户和多个特征信息,用户与每一特征信息之间具有二元关系。
183.示例性地,本实施例的执行主体可以是电子设备、或者终端设备、或者服务器、或者控制器、或者其他可以执行本实施例的装置或设备,对此不做限制。
184.在需要对待识别集合下的多个消费行为数据识别之前,首先需要得到一个意图识别模型,该意图识别模型用于对待识别集合中的多个消费行为数据进行识别。
185.本实施例介绍该意图识别模型对待识别集合中的多个消费行为数据进行识别的方式。首先,需要获取用于意图识别模型的待识别集合。待识别集合中包含多个待识别的消费行为数据,待识别集合中的消费行为数据来自于电子商务平台。
186.每一待识别的消费行为数据中包括用户信息u和多个特征信息。其中,特征信息包括地点信息、时间信息、物品信息等,分别记为地点信息l、时间信息t、物品信息c。
187.其中,地点信息l,指的是,用户产生消费行为的地点,例如,办公地点,或者,家中;时间信息t,指的是,用户产生消费行为的时间段,例如,把每日的24小时按半小时进行划分,则9:30至10:00为一个时间信息;物品信息c,指的是,用户购买的物品,例如,电影票,或者,衣服。
188.用户产生消费行为的意图信息与地点信息、时间信息、物品信息等三个特征信息高度相关。其中,地点信息,用户的消费行为与地点信息相关,例如,当用户在办公楼附近,可能有消费快餐等与地点信息相关的消费行为;时间信息,用户的消费行为与时间信息相关,例如,用户在晚上,可能有消费酒水等与时间信息相关的消费行为;物品信息,用户的消费行为与物品信息相关,即用户内在偏好相关,例如,用户喜欢看电影,可能有购买电影票的消费行为。因此,用户信息与每一特征信息之间具有二元关系,将每一个消费行为数据中的用户信息u、地点信息l、时间信息t、物品信息c分解为三种类型的二元关系,分别为,用户信息-地点信息(u-l)、用户信息-时间信息(u-t)、用户信息-物品信息(u-c)。
189.s102、根据待识别集合,生成多个对偶超图信息;其中,对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,第一超图表征用户在特征信息上的关联关系,第二超图表征特征信息在用户上的关联关系。
190.示例性地,待识别集合中包含多个消费行为数据,其中,每一消费行为数据具有三种类型的二元关系,分别针对每一种二元关系中的用户信息和特征信息,生成三组对偶超图信息,其中,每一组对偶超图信息中包括两个超图,第一超图为用户信息在特征信息上的关联关系,第二超图为特征信息在用户信息上的关联关系。
191.因此,本技术共生成三组对偶超图信息,分别为用户信息-地点信息(u-l)下的对偶超图信息、用户信息-时间信息(u-t)下的对偶超图信息、用户信息-物品信息(u-c)下的对偶超图信息。其中,用户信息-地点信息(u-l)下的对偶超图信息中,第一超图为用户信息在地点信息上的关联关系,第二超图为地点信息在用户信息上的关联关系;用户信息-时间信息(u-t)下的对偶超图信息中,第一超图为用户信息在时间信息上的关联关系,第二超图为时间信息在用户信息上的关联关系;用户信息-物品信息(u-c)下的对偶超图信息中,第一超图为用户信息在物品信息上的关联关系,第二超图为物品信息在用户信息上的关联关系。
192.对于n个消费行为数据,可以构成一个待识别集合i={x1,x2,x3,x4,...,xk,...,xn},n为大于等于2的正整数,k为大于等于1、小于等于n的正整数。第k个消费行为数据xk包含用户信息、地点信息、时间信息、物品信息:xk=(uk,lk,tk,ck),表示用户k在地点k、时间k购买了物品k;其中,uk为第k个消费行为数据的用户信息,lk为第k个消费行为数据的地点信息,tk为第k个消费行为数据的时间信息,ck为第k个消费行为数据的物品信息。
193.举例来说,图2为本技术实施例提供的对偶超图信息生成示意图。如图2所示,待识别集合l1中包括5个消费行为数据i1={x1,x2,x3,x4,x5}。在生成待识别集合i1的用户信息-地点信息(u-l)下的对偶超图信息时,对于用户信息在地点信息上的关联关系,与地点信息对应的第一超图用户1、用户2、用户5在地点1产生了消费行为,则用户信息u1、用户信息u2、用户信息u5使用一条超边连接,用户1、用户4均在地点3产生了消费行为,则用户信息u1、用户信息u4使用一条超边连接;对于地点信息在用户信息上的关联关系,即与地点信息对应的第二超图g
l
,用户1在地点1、地点2、地点3产生了消费行为,则地点信息l1、地点信息l2、地点信息l3使用一条超边连接,用户5在地点1、地点4产生了消费行为,则地点信息l1、地点信息l4使用一条超边连接。
194.在生成待识别集合i1的用户信息-时间信息(u-t)下的对偶超图信息时,对于用户信息在时间信息上的关联关系,即与时间信息对应的第一超图用户1、用户2、用户4在时
间1产生了消费行为,则用户信息u1、用户信息u2、用户信息u4使用一条超边连接,用户1、用户5在时间2产生了消费行为,则用户信息u1、用户信息u5使用一条超边连接;对于时间信息在用户信息上的关联关系,即与时间信息对应的第二超图g
t
,用户1在时间1、时间2产生了消费行为,则时间信息t1、时间信息t2使用一条超边连接,用户5在时间2、时间3、时间4产生了消费行为,则时间信息t2、时间信息t3、时间信息t4使用一条超边连接。
195.在生成用户信息-物品信息(u-c)下的对偶超图信息时,对于用户信息在物品信息上的关联关系,即与物品信息对应的第一超图用户2、用户3、用户4购买了物品2,则用户信息u2、用户信息u3、用户信息u4使用一条超边连接,用户1、用户5购买了物品4,则用户信息u1、用户信息u5使用一条超边连接;对于物品信息在用户信息上的关联关系,即与物品信息对应的第二超图gc,用户1购买了物品1、物品3、物品4,则物品信息c1、物品信息c3、物品信息c4使用一条超边连接,用户3购买了物品2、物品5,则物品信息c2、物品信息c5使用一条超边连接。
196.s103、将多个对偶超图信息输入到意图识别模型的编码器中,生成待识别的消费行为数据的意图特征;其中,意图特征表征待识别的消费行为数据在每一特征信息上的子特征。
197.示例性地,将用户信息-地点信息(u-l)下的对偶超图信息、用户信息-时间信息(u-t)下的对偶超图信息、用户信息-物品信息(u-c)下的对偶超图信息分别输入到意图识别模型的编码器中,生成待识别集合中的每一消费行为数据的三组对偶超图信息对应的三个意图特征,即地点子空间的意图子特征、时间子空间的意图子特征、物品子空间的意图子特征。
198.s104、将意图特征输入到意图识别模型的解码器中,得到待识别的消费行为数据的意图信息。
199.示例性地,将意图识别模型的编码器输出的三个意图特征,即地点子空间的意图子特征、时间子空间的意图子特征、物品子空间的意图子特征,分别输入到意图识别模型的解码器中,得到待识别集合中的每一消费行为数据的意图信息。
200.本实施例中,通过获取待识别集合;其中,待识别集合中包括多个待识别的消费行为数据,待识别的消费行为数据包括用户和多个特征信息,用户与每一特征信息之间具有二元关系;根据待识别集合,生成多个对偶超图信息;其中,对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,第一超图表征用户在特征信息上的关联关系,第二超图表征特征信息在用户上的关联关系;将多个对偶超图信息输入到意图识别模型的编码器中,生成待识别的消费行为数据的意图特征;其中,意图特征表征待识别的消费行为数据在每一特征信息上的子特征;将意图特征输入到意图识别模型的解码器中,得到待识别的消费行为数据的意图信息。基于本实施例提供的基于意图识别模型的意图识别方法可以对消费行为数据进行充分建模,基于少量有标注的意图信息发现消费行为数据中的未知意图信息,从而提升电商推荐的精度和可解释性,进一步提升用户体验。
201.图3为本技术实施例提供的另一种基于意图识别模型的意图识别方法的流程示意图,如图3所示,该方法包括:
202.s301、获取待识别集合;其中,待识别集合中包括多个待识别的消费行为数据,待识别的消费行为数据包括用户和多个特征信息,用户与每一特征信息之间具有二元关系。
203.示例性地,本实施例的执行主体可以是电子设备、或者终端设备、或者服务器、或者控制器、或者其他可以执行本实施例的装置或设备,对此不做限制。
204.本步骤可以参见上述步骤s101的介绍,不再赘述。
205.s302、根据待识别集合,生成多个对偶超图信息;其中,对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,第一超图表征用户在特征信息上的关联关系,第二超图表征特征信息在用户上的关联关系。
206.一个示例中,第一超图具有第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征。
207.其中,第一关联矩阵特征表征第一超图所归属的对偶超图信息的特征表达;第一节点度矩阵特征表征第一超图中的用户节点的连接关系;第一超边度矩阵特征表征第一超图中的边的节点对应关系;第一节点特征表征第一超图中的用户节点的节点信息。第二超图具有第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征;其中,第二关联矩阵特征表征第二超图所归属的对偶超图信息的特征表达;第二节点度矩阵特征表征第二超图中的特征信息节点的连接关系;第二超边度矩阵特征表征第二超图中的边的节点对应关系;第二节点特征表征第二超图中的特征信息节点的节点信息。
208.示例性地,基于待识别集合中的多个消费行为数据,生成多组对偶超图信息,其中,每一组对偶超图信息中包含用户信息在特征信息上的关联关系的第一超图,以及,特征信息在用户信息上的关联关系的第二超图。其中,生成对偶超图信息时,对偶超图信息中的每一超图具有关联矩阵特征h、节点度矩阵特征d、超边度矩阵b、以及节点特征x;第一超图具有第一关联矩阵特征h1、第一节点度矩阵特征d1、第一超边度矩阵特征b1、以及第一节点特征x1;第二超图具有第二关联矩阵特征h2、第二节点度矩阵特征d2、第二超边度矩阵特征b2、以及第二节点特征x2。
209.其中,第一关联矩阵特征表征第一超图所归属的对偶超图信息的特征表达;第一节点度矩阵特征表征第一超图中的用户节点的连接关系;第一超边度矩阵特征表征第一超图中的边的节点对应关系;第一节点特征表征第一超图中的用户节点的节点信息。第二关联矩阵特征表征第二超图所归属的对偶超图信息的特征表达;第二节点度矩阵特征表征第二超图中的特征信息节点的连接关系;第二超边度矩阵特征表征第二超图中的边的节点对应关系;第二节点特征表征第二超图中的特征信息节点的节点信息;其中,特征信息为地点信息,或者,时间信息,或者,物品信息。
210.对偶超图信息生成的具体过程,可以参见s102的介绍,不再赘述。
211.s303、将多个对偶超图信息,输入到编码器中,生成与编码器中的每一超图卷积层对应的卷积特征。
212.一个示例中,步骤s303包括以下过程:
213.步骤s303的第一步骤:将多个对偶超图信息,输入到编码器中,根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征。
214.步骤s303的第二步骤:根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征。
215.步骤s303的第二步骤:根据与特征信息对应的第一初始嵌入特征和第二初始嵌入
特征,基于每一超图卷积层进行处理,得到与每一超图卷积层对应的卷积特征。
216.一个示例中,步骤s303的第一步骤,包括以下过程:根据与特征信息对应的第一超图的第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第一图内传播特征;其中,第一图内传播特征表征用户在特征信息上的特征表达;根据与特征信息对应的第二超图的第二关联矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第一图间传播特征;其中,第一图间传播特征表征用户与特征信息之间的特征表达;根据与特征信息对应的第一图内传播特征、以及与特征信息对应的第一图间传播特征,确定与特征信息对应的第一初始嵌入特征。
217.一个示例中,步骤s303的第二步骤,包括以下过程:根据与特征信息对应的第二超图的第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第二图内传播特征;其中,第二图内传播特征表征特征信息在用户上的特征表达;根据与特征信息对应的第一超图的第一关联矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第二图间传播特征;其中,第二图间传播特征表征用户与特征信息之间的特征表达;根据与特征信息对应的第二图内传播特征、以及与特征信息对应的第二图间传播特征,确定与特征信息对应的第二初始嵌入特征。
218.示例性地,将生成的三组对偶超图信息,输入到意图识别模型的编码器中,编码器中的超图卷积层(joint hypergraph convolution,joint-hgc)对每一组对偶超图信息分别进行处理,生成每一组对偶超图信息对应的卷积特征。每一层超图卷积层对每一组对偶超图信息进行处理的过程,包括图内传播过程和图间传播过程,生成图内传播特征和图间传播特征。其中,第一超图的图内传播过程,利用其关联矩阵特征、节点度矩阵特征、超边度矩阵特征、以及节点特征,生成第一图内传播特征;第一超图的图间传播过程,利用第二超图的关联矩阵特征、超边度矩阵特征、以及节点特征,生成第一图间传播特征;根据生成的第一图内传播特征、以及第一图间传播特征,生成第一初始嵌入特征。第二超图的图内传播过程,利用其关联矩阵特征、节点度矩阵特征、超边度矩阵特征、以及节点特征,生成第二图内传播特征;图间传播过程,利用第一超图的关联矩阵特征、超边度矩阵特征、以及节点特征,生成第二图间传播特征,根据生成的第二图内传播特征、以及第二图间传播特征,生成第二初始嵌入特征。
219.在编码器的超图卷积层对每一组对偶超图信息进行处理之前,需要将每一组对偶超图信息进行嵌入处理,生成对偶超图信息内第一超图的初始节点特征和第二超图的初始节点特征。其中,用户信息-地点信息(u-l)下的对偶超图信息中与地点信息对应的第一超图的初始节点特征与地点信息对应的第二超图g
l
的初始节点特征用户信息-时间信息(u-t)下的对偶超图信息中与时间信息对应的第一超图的初始节点特征与时间信息对应的第二超图g
t
的初始节点特征用户信息-物品信息(u-c)下的对偶超图信息中与物品信息对应的第一超图的初始节点特征与物品信息对应的第二超图gc的初始节点特征
220.编码器的超图卷积层共有w层,超图卷积层的第一层,对嵌入的初始节点特征x
(0)
进行更新,生成第一层对应的卷积特征x
(1)
;超图卷积层的q层,对第q-1层的卷积特征x
(q-1)
进行更新,生成第q层对应的卷积特征x
(q)
,其中,q为大于等于1、小于等于w的正整数;超图卷积层的第w层,对第w-1层的卷积特征x
(w-1)
进行更新,生成第w层对应的卷积特征x
(w)

221.举例来说,超图卷积层对用户信息-地点信息(u-l)下的对偶超图信息进行处理,第q层超图卷积层处理的具体过程为:对于与地点信息对应的第一超图来说,利用的第q-1层生成的卷积特征生成第一图内传播特征,以及利用与地点信息对应的第二超图g
l
的h
l
、b
l
、第q-1层生成的卷积特征生成第一图间传播特征,第q层超图卷积层输出的与地点信息对应的第一超图的卷积特征为第一图内传播特征和第一图间传播特征的加和;对于与地点信息对应的第二超图g
l
来说,利用g
l
的h
l
、d
l
、b
l
、第q-1层生成的卷积特征生成第二图内传播特征,以及利用与地点信息对应的第一超图的第q-1层生成的卷积特征生成第二图间传播特征,第q层超图卷积层输出的与地点信息对应的第二超图的卷积特征为第二图内传播特征和第二图间传播特征的加和。
222.超图卷积层对用户信息-时间信息(u-t)下的对偶超图信息进行处理,第q层超图卷积层处理的具体过程为:对于与时间信息对应的第一超图来说,利用的第q-1层生成的卷积特征生成第一图内传播特征,以及利用与时间信息对应的第二超图g
t
的h
t
、b
t
、第q-1层生成的卷积特征生成第一图间传播特征,第q层超图卷积层输出的与时间信息对应的第一超图的卷积特征为第一图内传播特征和第一图间传播特征的加和;对于与时间信息对应的第二超图g
t
来说,利用g
t
的h
t
、d
t
、b
t
、第q-1层生成的卷积特征生成第二图内传播特征,以及利用与时间信息对应的第一超图的第q-1层生成的卷积特征生成第二图间传播特征,第q层超图卷积层输出的与时间信息对应的第二超图的卷积特征为第二图内传播特征和第二图间传播特征的加和。
223.超图卷积层对用户信息-物品信息(u-c)下的对偶超图信息进行处理,第q层超图卷积层处理的具体过程为:对于与物品信息对应的第一超图来说,利用的的第q-1层生成的卷积特征生成第一图内传播特征,以及利用与物品信息对应的第二超图gc的hc、bc、第q-1层生成的卷积特征生成第一图间传播特征,第q层超图卷积层输出的与物品信息对应的第一超图的卷积特征为第一图内传播特征和第一图间传播特征的加和;对于与物品信息对应的第二超图gc来说,利用gc的hc、dc、bc、第q-1层生成的卷积特征生成第二图内传播特征,以及利用与物品信息对应的第一超图的第q-1层生成的卷积特征生成第二图间传播特征,第q层超图卷积层输出的与物品信息对应的第二超图的卷积特征为第二图内传播特征和第二图间传播特征的加和。
224.第q层超图卷积层分别对三组对偶超图信息第q-1层输出的卷积特征处理,生成图
内传播特征的计算公式如下:
[0225][0226][0227][0228][0229][0230][0231]
其中,表示矩阵的计算过程,对矩阵中每一个元素进行开平方根计算后,在取倒数;-1表示矩阵的逆;t表示矩阵的转置;公式1表示第q层超图卷积层对用户信息-地点信息下的对偶超图信息进行处理,生成与地点信息对应的第一超图的第一图内传播特征公式2表示第q层超图卷积层对用户信息-地点信息下的对偶超图信息进行处理,生成与地点信息对应的第二超图的第二图内传播特征公式3表示第q层超图卷积层对用户信息-时间信息下的对偶超图信息进行处理,生成与时间信息对应的第一超图的第一图内传播特征;公式4表示第q层超图卷积层对用户信息-时间信息下的对偶超图信息进行处理,生成与时间信息对应的第二超图的第二图内传播特征;公式5表示第q层超图卷积层对用户信息-物品信息下的对偶超图信息进行处理,生成与物品信息对应的第一超图的第一图内传播特征;公式6表示第q层超图卷积层对用户信息-物品信息下的对偶超图信息进行处理,生成与物品信息对应的第二超图的第二图内传播特征。
[0232]
第q层超图卷积层分别对三组对偶超图信息上一层输出的卷积特征处理生成图间传播特征的计算公式如下:
[0233][0234][0235][0236][0237][0238][0239]
其中,公式7表示第q层超图卷积层对用户信息-地点信息下的对偶超图信息进行
处理,生成与地点信息对应的第一超图的第一图间传播特征;公式8表示第q层超图卷积层对用户信息-地点信息下的对偶超图信息进行处理,生成与地点信息对应的第二超图的第二图间传播特征;公式9表示第q层超图卷积层对用户信息-时间信息下的对偶超图信息进行处理,生成与时间信息对应的第一超图的第一图间传播特征;公式10表示第q层超图卷积层对用户信息-时间信息下的对偶超图信息进行处理,生成与时间信息对应的第二超图的第二图间传播特征;公式11表示第q层超图卷积层对用户信息-物品信息下的对偶超图信息进行处理,生成与物品信息对应的第一超图的第一图间传播特征;公式12表示第q层超图卷积层对用户信息-物品信息下的对偶超图信息进行处理,生成与物品信息对应的第二超图的第二图间传播特征。
[0240]
第q层超图卷积层分别对三组对偶超图信息上一层输出的卷积特征处理生成卷积特征x
(q)
的计算公式如下:
[0241][0242][0243][0244][0245][0246][0247]
其中,公式13表示第q层超图卷积层对用户信息-地点信息下的对偶超图信息进行处理,生成与地点信息对应的第一超图的第q个卷积特征;公式14表示第q层超图卷积层对用户信息-地点信息下的对偶超图信息进行处理,生成与地点信息对应的第二超图的第q个卷积特征;公式15表示第q层超图卷积层对用户信息-时间信息下的对偶超图信息进行处理,生成与时间信息对应的第一超图的第q个卷积特征;公式16表示第q层超图卷积层对用户信息-时间信息下的对偶超图信息进行处理,生成与时间信息对应的第二超图的第q个卷积特征;公式17表示第q层超图卷积层对用户信息-物品信息下的对偶超图信息进行处理,生成与物品信息对应的第一超图的第q个卷积特征;公式18表示第q层超图卷积层对用户信息-物品信息下的对偶超图信息进行处理,生成与物品信息对应的第二超图的第q个卷积特征。
[0248]
由于d,b可以用h计算,因此将超图卷积层的计算过程简化为一个函数表述,具体表示如下:
[0249][0250][0251]
[0252]
其中,joint-hgc()表示超图卷积层处理数据生成卷积特征的过程。
[0253]
s304、对各卷积特征进行聚合,得到聚合特征。
[0254]
示例性地,针对w层超图卷积层的每一层生成的卷积特征进行聚合,得到三组对偶超图信息对应的聚合特征。
[0255]
具体来说,在w层超图卷积层分别对三组对偶超图信息进行卷积处理后,每一组对偶超图信息的每一超图会生成w个卷积特征。因此,需要在w层超图卷积层后连接一层池化层,对每一超图生成的w个卷积特征进行池化聚合处理,生成每一超图对应的聚合特征。经池化聚合处理后,三组对偶超图信息中的每一组对偶超图信息生成对应的两个聚合特征。用户信息-地点信息(u-l)下的对偶超图生成的卷积特征x
u,l
、x
l
对应的聚合特征表示为用户信息-时间信息(u-t)下的对偶超图生成的卷积特征x
u,t
、x
t
对应的聚合特征表示为用户信息-时间信息(u-c)下的对偶超图生成的卷积特征x
u,c
、xc对应的聚合特征表示为
[0256]
s305、根据聚合特征,确定待识别的消费行为数据的意图特征。
[0257]
一个示例中,步骤s305包括以下过程:
[0258]
基于多层感知方式对聚合特征进行处理,生成待识别的消费行为数据的意图特征。
[0259]
示例性地,将三组对偶超图信息进行聚合后生成的聚合特征,输入多层感知机算法模型中进行处理,生成意图特征。
[0260]
具体来说,每一对偶超图信息生成的两个聚合特征,经多层感知机进行拼接处理后,生成一个意图特征。每一待识别的消费行为数据对应的三组对偶超图信息生成三个解纠缠的意图子特征,即地点子空间中的意图子特征、时间子空间中的意图子特征、物品子空间中的意图子特征。则i个消费行为数据xi,其中i为大于等于1的正整数,对应的意图特征可表示如下:
[0261][0262][0263][0264]
其中,mlp表示多层感知机的算法模型。
[0265]
其中,解纠缠,指的是,对地点信息的对偶超图信息、时间信息的对偶超图信息、物品信息的对偶超图信息分别进行处理。
[0266]
s306、待识别集合包括第一集合和第二集合;第一集合中待识别的消费行为数据具有实际的意图信息,第二集合中待识别的消费行为数据不具有实际的意图信息。对各待识别的消费行为数据的意图特征进行聚类处理,得到多个意图信息。
[0267]
示例性地,待识别集合中的待识别的消费行为数据分为两个集合,一个是标注了意图信息的m个消费行为数据组成的第一集合,另一个是未标注意图信息的n个消费行为数据组成的第二集合,其中,m、n均为大于等于1的正整数。其中,标注了意图信息的消费行为数据是基于相关领域专家的建议,将标注的意图信息类别记为k

类,其中k

为大于等于1的正整数。利用k-means聚类对待识别集合中m+n个待识别的消费行为数据的意图特征进行处
理,预估得到所有消费行为数据对应的所有意图信息类别。
[0268]
其中,意图信息,指的是,用户做出消费行为的原因,即购买后物品的用途。例如,用户产生购买电影票的消费行为,其消费意图可能为“家庭聚会”。
[0269]
意图识别模型的编码器对待识别集合中的m+n个待识别的消费行为数据进行处理,分别生成m+n个地点子空间中的意图子特征、m+n个时间子空间中的意图子特征、m+n个物品子空间中的意图子特征。利用k-means聚类分别对3(m+n)个意图特征进行处理,将已知意图k

的f倍作为所有意图信息的种类数,其中f为大于等于1的正整数,将3(m+n)个意图特征聚类到f
×k′
个簇中去。聚类后,舍弃意图特征数量少于个的簇,保留意图特征数量多于个的簇,得到的意图信息种类数记为k。
[0270]
s307、根据意图识别模型的解码器,对待识别的消费行为数据对应的意图特征进行解码处理,以将待识别的消费行为数据分类到所得到的多个意图信息中,得到待识别的消费行为数据的意图信息。
[0271]
一个示例中,步骤s307包括以下过程:
[0272]
步骤s307的第一步骤:根据意图识别模型的解码器,对待识别的消费行为数据对应的意图特征进行解码处理,以将待识别的消费行为数据分类到所得到的多个意图信息中,得到待识别的消费行为数据在每一特征信息上的概率分布信息;其中,概率分布信息表征待识别的消费行为数据归属于多个意图信息中的意图信息的概率分布情况。
[0273]
步骤s307的第二步骤:根据待识别的消费行为数据在每一特征信息上的子特征,确定待识别的消费行为数据在每一特征信息上的权重信息。
[0274]
步骤s307的第三步骤:根据待识别的消费行为数据在每一特征信息上的概率分布信息和权重信息,确定待识别的消费行为数据在每一特征信息上的初始意图。
[0275]
步骤s307的第四步骤:根据待识别的消费行为数据对应的各初始意图,确定待识别的消费行为数据的意图信息。
[0276]
示例性地,将待识别的消费行为数据对应的地点子空间中的意图子特征、时间子空间中的意图子特征、物品子空间中的意图子特征分别输入意图识别模型的解码器中,进行解码处理,得到地点信息在k个意图信息种类下的概率分布信息、时间信息在k个意图信息种类下的概率分布信息、物品信息在k个意图信息种类下的概率分布信息;利用归一化指数函数计算出待识别的消费行为数据在地点信息上的权重信息、时间信息上的权重信息、物品信息上的权重信息;利用地点信息上的权重信息、时间信息上的权重信息、物品信息上的权重信息,以及解码器输出的地点信息上的概率分布信息、时间信息上的概率分布信息、物品信息上的概率分布信息,分别选取在地点信息上概率最大的意图信息、时间信息上概率最大的意图信息、物品信息上概率最大的意图信息作为待识别的消费行为数据的初始意图信息,然后选取三个初始意图信息中概率最大的作为待识别的消费行为数据对应的意图信息。
[0277]
意图识别模型的解码器分别对待识别的消费行为数据在地点子空间中的意图子特征、时间子空间中的意图子特征、物品子空间中的意图子特征进行解码处理,输出三个k维的概率分布信息,其中,每一维表示意图特征归属于该意图信息的概率。
[0278]
根据地点子空间中的意图子特征、时间子空间中的意图子特征、物品子空间中的
意图子特征,利用归一化指数函数计算出地点信息上的权重信息、时间信息上的权重信息、物品信息上的权重信息,具体过程如下:
[0279]
α
l
=softmax(q
t
φ
l
(xi))
[0280]
α
t
=softmax(q
t
φ
t
(xi))
[0281]
αc=softmax(q
t
φc(xi))
[0282]
其中,α
l
表示地点信息上的权重信息,α
t
表示时间信息上的权重信息,αc表示物品信息上的权重信息,三个权重信息的加和等于1;softmax表示归一化指数函数;q表示可学习的注意力向量,t表示转置计算;φ表示意图识别模型的编码器,xi表示第i个待识别的消费行为数据,i为大于等于1、小于等于m+n的正整数,φ
l
(xi)表示第i个待识别的消费行为数据在地点子空间中的意图特征;φ
t
(xi)表示第i个待识别的消费行为数据在时间子空间中的意图子特征;φ
t
(xi)表示第i个待识别的消费行为数据在物品子空间中的意图子特征。
[0283]
基于k维的概率分布信息,以及其归一化权重进行乘法计算,选取k个概率信息中最大的概率对应的意图信息为初始意图信息。基于此过程,分别得到地点信息上的初始意图信息、时间信息上的初始意图信息、物品信息上的初始意图信息,具体过程如下:
[0284][0285][0286][0287]
其中,表示第i个待识别的消费行为数据在地点信息上初始意图信息;表示第i个待识别的消费行为数据在时间信息上初始意图信息;表示第i个待识别的消费行为数据在物品信息上初始意图信息;argmax表示取最大值函数;表示第i个待识别的消费行为数据在地点信息上的概率分布信息;表示第i个待识别的消费行为数据在时间信息上的概率分布信息;表示第i个待识别的消费行为数据在物品信息上的概率分布信息;i为大于等于1、小于等于m+n的正整数。
[0288]
选取第i个待识别的消费行为数据在地点信息上初始意图信息、第i个待识别的消费行为数据在时间信息上初始意图信息、第i个待识别的消费行为数据在物品信息上初始意图信息中概率最大的初始意图信息,其中,i为大于等于1、小于等于m+n的正整数,作为待识别的消费行为数据对应的意图信息,具体过程如下:
[0289][0290]
其中,表示第i个待识别的消费行为数据对应的意图信息,其中,i为大于等于1、小于等于m+n的正整数。
[0291]
s308、根据待识别的消费行为数据的意图信息,向用户推荐物品。
[0292]
示例性地,根据意图识别模型输出的待识别的消费行为数据对应的意图信息,向用户推荐物品。
[0293]
本技术提出意图识别模型,可以应用于一切与用户行为理解相关的业务场景,包
括但不仅限于推荐物品、用户理解和用户画像构建、目标化的市场投放。
[0294]
电商平台通过网页或者应用程序收集用户的消费行为数据和获取部分消费行为数据的意图信息。本技术提出的意图识别模型可以对上述数据进行处理,发现未知意图信息。在意图识别过程中,可以统计每种意图信息下出现频率最高的物品信息,生成意图信息-物品信息的映射关系。基于意图信息-物品信息可以扩展推荐中的召回策略。此外,意图识别模型的编码器生成的意图特征可以作为输入加到推荐模型中,提升推荐效率;将发现的意图信息加入到推给用户的物品信息列表中,作为物品的推荐理由。
[0295]
电商平台通过网页或者应用程序收集用户的消费行为数据和获取到的部分意图信息,本技术提出的意图识别模型可以对上述数据进行处理,发现未知意图信息。进一步地,可以在实际业务中为每个用户添加意图信息的属性,丰富用户画像信息,促进对用户消费行为的理解。
[0296]
电商平台通过网页或者应用程序收集用户的消费行为数据和获取到的部分意图信息,本技术提出的意图识别模型可以对上述数据进行处理,发现未知意图信息。由于每次用户消费行为包含有用户信息和物品信息,因此得到意图信息后,可以建立“意图信息-用户信息”和“意图信息-物品信息”的关系索引,然后根据“意图信息-物品信息”索引进行物品的匹配,实现针对特定用户的目标化市场投放。
[0297]
本实施例中,通过获取待识别集合;其中,待识别集合中包括多个待识别的消费行为数据,待识别的消费行为数据包括用户和多个特征信息,用户与每一特征信息之间具有二元关系;根据待识别集合,生成多个对偶超图信息;其中,对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,第一超图表征用户在特征信息上的关联关系,第二超图表征特征信息在用户上的关联关系;将多个对偶超图信息输入到意图识别模型的编码器中,生成待识别的消费行为数据的意图特征;其中,意图特征表征待识别的消费行为数据在每一特征信息上的子特征;将意图特征输入到意图识别模型的解码器中,得到待识别的消费行为数据的意图信息。基于本实施例提供的基于意图识别模型的意图识别方法可以对消费行为数据进行充分建模,基于少量标注的意图信息发现消费行为数据中的未知意图信息,从而提升电商推荐的精度和可解释性,进一步提升用户体验。并且,通过构建对偶超图,利用超图卷积模块处理对偶超图获得相应意图特征,充分考虑了地点信息、时间信息、物品信息对于意图信息的影响。并且,对各待识别的消费行为数据的意图特征进行聚类处理,得到多个意图信息,利用意图识别模型的解码器,对待识别的消费行为数据分类到多个意图信息中,可以提高意图发现的精准度和可信度。
[0298]
图4为本技术实施例提供的一种应用于意图识别的模型训练方法的流程示意图,如图4所示,该方法包括:
[0299]
s401、获取待训练集合;其中,待训练集合中包括多个待训练的消费行为数据,待训练的消费行为数据包括用户和多个特征信息,用户与每一特征信息之间具有二元关系。
[0300]
示例性地,本实施例的执行主体可以是电子设备、或者终端设备、或者服务器、或者控制器、或者其他可以执行本实施例的装置或设备,对此不做限制。
[0301]
首先需要得到一个意图识别初始模型,利用待训练集合对意图识别初始模型进行训练,进而得到意图识别模型。在初始模型训练过程中还需要设置初始模型超参数,包括负采样数、批次大小、嵌入大小、学习率、正则项等。在对网络进行训练的过程中,网络各层的
权重及偏置值都可以在反向传播的过程中通过随机梯度下降的方法进行更新。
[0302]
本实施例介绍如何训练意图识别初始模型得到意图识别模型的方式。首先,需要获取到进行初始模型训练的待训练集合。其中,待训练集合中包含多个待训练消费行为数据,待训练集合中的消费行为数据来自于电子商务平台。
[0303]“消费行为数据包括用户和多个特征信息,用户与每一特征信息之间具有二元关系”可以参见s101的介绍,此处不再赘述。
[0304]
s402、根据待训练集合,生成多个对偶超图信息;其中,对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,第一超图表征用户在特征信息上的关联关系,第二超图表征特征信息在用户上的关联关系。
[0305]
示例性地,待训练集合中包含多个待训练的消费行为数据,其中,每一消费行为数据具有三种类型的二元关系,分别针对每一种二元关系中的用户信息和特征信息,生成三组对偶超图信息,其中,每一组对偶超图信息中包括两个超图,第一超图为用户信息在特征信息上的关联关系,第二超图为特征信息在用户信息上的关联关系。
[0306]“生成多个对偶超图信息”的过程可以参见s102的介绍,此处不再赘述。
[0307]
s403、将多个对偶超图信息输入到初始模型的编码器中进行训练,生成待训练的消费行为数据的意图特征;其中,意图特征表征待训练的消费行为数据在每一特征信息上的子特征;并根据意图特征对编码器进行更新。
[0308]
示例性地,将用户信息-地点信息(u-l)下的对偶超图信息、用户信息-时间信息(u-t)下的对偶超图信息、用户信息-物品信息(u-c)下的对偶超图信息分别输入到意图识别初始模型的编码器中,生成待训练的每一消费行为数据的三组对偶超图对应的三个意图子特征,即地点子空间的意图子特征、时间子空间的意图子特征、物品子空间的意图子特征,基于意图特征对意图识别初始模型的编码器进行更新。
[0309]
s404、将意图特征输入到初始模型的解码器中进行训练,以更新解码器,得到意图识别模型;其中,意图识别模型用于对待识别的消费行为数据进行识别得到意图信息。
[0310]
示例性地,将意图识别初始模型的编码器输出的三组意图特征,即地点子空间的意图子特征、时间子空间的意图子特征、物品子空间的意图子特征输入到意图识别初始模型的解码器中,对解码器进行更新,得到训练好的意图识别模型。训练好的意图识别模型可以对待识别的消费行为数据进行识别,得到消费行为数据对应的意图信息。
[0311]
可以重复执行步骤s401-s404,直至达到预设停止条件。其中,预设停止条件,为将获取到的待训练集合内的消费行为数据处理完毕。
[0312]
本实施例中,通过获取待训练集合;其中,待训练集合中包括多个待训练的消费行为数据,待训练的消费行为数据包括用户和多个特征信息,用户与每一特征信息之间具有二元关系;根据待训练集合,生成多个对偶超图信息;其中,对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,第一超图表征用户在特征信息上的关联关系,第二超图表征特征信息在用户上的关联关系;将多个对偶超图信息输入到初始模型的编码器中进行训练,生成待训练的消费行为数据的意图特征;其中,意图特征表征待训练的消费行为数据在每一特征信息上的子特征;并根据意图特征对编码器进行更新;将意图特征输入到初始模型的解码器中进行训练,以更新解码器,得到意图识别模型;其中,意图识别模型用于对待识别的消费行为数据进行识别得到意图信息。基于模型训练的
方式,得到用于识别消费行为数据的意图识别模型;可以基于模型准确、快速的识别消费行为数据的意图信息。
[0313]
图5为本技术实施例提供的另一种应用于意图识别的模型训练方法的流程示意图,如图5所示,该方法包括:
[0314]
s501、获取待训练集合;其中,待训练集合中包括多个待训练的消费行为数据,待训练的消费行为数据包括用户和多个特征信息,用户与每一特征信息之间具有二元关系。
[0315]
示例性地,本实施例的执行主体可以是电子设备、或者终端设备、或者服务器、或者控制器、或者其他可以执行本实施例的装置或设备,对此不做限制。
[0316]
本步骤可以参见上述步骤s401的介绍,不再赘述。
[0317]
s502、根据待训练集合,生成多个对偶超图信息;其中,对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,第一超图表征用户在特征信息上的关联关系,第二超图表征特征信息在用户上的关联关系。
[0318]
一个示例中,第一超图具有第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征。
[0319]
其中,第一关联矩阵特征表征第一超图所归属的对偶超图信息的特征表达;第一节点度矩阵特征表征第一超图中的用户节点的连接关系;第一超边度矩阵特征表征第一超图中的边的节点对应关系;第一节点特征表征第一超图中的用户节点的节点信息;第二超图具有第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征;其中,第二关联矩阵特征表征第二超图所归属的对偶超图信息的特征表达;第二节点度矩阵特征表征第二超图中的特征信息节点的连接关系;第二超边度矩阵特征表征第二超图中的边的节点对应关系;第二节点特征表征第二超图中的特征信息节点的节点信息。
[0320]
示例性地,基于待训练集合中的多个消费行为数据,生成多个对偶超图信息,其中,每一对偶超图信息均包含用户信息在特征信息上的关联关系的第一超图,以及,特征信息在用户信息上的关联关系的第二超图。其中,生成对偶超图信息时,对偶超图信息中的每一超图均具有关联矩阵特征h、节点度矩阵特征d、超边度矩阵b,以及节点特征x;第一超图具有第一关联矩阵特征h1、第一节点度矩阵特征d1、第一超边度矩阵特征b1、以及第一节点特征x1;第二超图具有第二关联矩阵特征h2、第二节点度矩阵特征d2、第二超边度矩阵特征b2、以及第二节点特征x2。
[0321]
其中,第一关联矩阵特征表征第一超图所归属的对偶超图信息的特征表达;第一节点度矩阵特征表征第一超图中的用户节点的连接关系;第一超边度矩阵特征表征第一超图中的边的节点对应关系;第一节点特征表征第一超图中的用户节点的节点信息。第二关联矩阵特征表征第二超图所归属的对偶超图信息的特征表达;第二节点度矩阵特征表征第二超图中的特征信息节点的连接关系;第二超边度矩阵特征表征第二超图中的边的节点对应关系;第二节点特征表征第二超图中的特征信息节点的节点信息;其中,特征信息为地点信息,或者,时间信息,或者,物品信息。
[0322]
对偶超图信息生成的具体过程,可以参见s102的介绍,不再赘述。
[0323]
s503、将多个对偶超图信息,输入到编码器中,生成与编码器中的每一超图卷积层对应的卷积特征。
[0324]
一个示例中,步骤s503包括以下过程:
[0325]
步骤s503的第一步骤:将多个对偶超图信息,输入到编码器中,根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征。
[0326]
步骤s503的第二步骤:根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征。
[0327]
步骤s503的第三步骤:根据与特征信息对应的第一初始嵌入特征和第二初始嵌入特征,基于每一超图卷积层进行处理,得到与每一超图卷积层对应的卷积特征。
[0328]
一个示例中,步骤s503的第一步骤,包括以下过程:根据与特征信息对应的第一超图的第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第一图内传播特征;其中,第一图内传播特征表征用户在特征信息上的特征表达;根据与特征信息对应的第二超图的第二关联矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第一图间传播特征;其中,第一图间传播特征表征用户与特征信息之间的特征表达;根据与特征信息对应的第一图内传播特征、以及与特征信息对应的第一图间传播特征,确定与特征信息对应的第一初始嵌入特征。
[0329]
一个示例中,步骤s503的第二步骤,包括以下过程:根据与特征信息对应的第二超图的第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第二图内传播特征;其中,第二图内传播特征表征特征信息在用户上的特征表达;根据与特征信息对应的第一超图的第一关联矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第二图间传播特征;其中,第二图间传播特征表征用户与特征信息之间的特征表达;根据与特征信息对应的第二图内传播特征、以及与特征信息对应的第二图间传播特征,确定与特征信息对应的第二初始嵌入特征。
[0330]
示例性地,将生成的三组对偶超图信息,输入到意图识别模型的编码器中,编码器中的超图卷积层对每一组对偶超图信息分别进行处理,生成每一组对偶超图信息对应的卷积特征。每一层超图卷积层对每一组对偶超图信息进行处理的过程,包括图内传播过程和图间传播过程,生成图内传播特征和图间传播特征。其中,第一超图的图内传播过程,利用其关联矩阵特征、节点度矩阵特征、超边度矩阵特征、以及节点特征,生成第一图内传播特征,第一超图的图间传播过程,利用第二超图的关联矩阵特征、超边度矩阵特征、以及节点特征,生成第一图间传播特征,根据生成的第一图内传播特征、以及第一图间传播特征,生成第一初始嵌入特征;第二超图的图内传播过程,利用其关联矩阵特征、节点度矩阵特征、超边度矩阵特征、以及节点特征,生成第二图内传播特征,图间传播过程,利用第一超图的关联矩阵特征、超边度矩阵特征、以及节点特征,生成第二图间传播特征,根据生成的第二图内传播特征、以及第二图间传播特征,生成第二初始嵌入特征。
[0331]“将多个对偶超图信息,输入到编码器中,生成与编码器中的每一超图卷积层对应的卷积特征”具体过程,可以参见s303的介绍,不再赘述。
[0332]
s504、对各卷积特征进行聚合,得到聚合特征。
[0333]
示例性地,针对w层超图卷积层的每一层生成的卷积特征进行聚合,得到三组对偶超图信息对应的聚合特征。
[0334]“对各卷积特征进行聚合,得到聚合特征”的具体过程,可以参见s304的介绍,不再赘述。
[0335]
s505、根据聚合特征,确定待训练的消费行为数据的意图特征。
[0336]
一个示例中,步骤s505包括以下过程:基于多层感知方式对聚合特征进行处理,生成待训练的消费行为数据的意图特征。
[0337]
示例性地,对三组对偶超图信息进行聚合后生成的聚合特征,输入多层感知机进行处理,生成意图特征。
[0338]“根据聚合特征,确定待训练的消费行为数据的意图特征”的具体过程,可以参见s305的介绍,不再赘述。
[0339]
s506、根据意图特征对编码器进行更新。
[0340]
一个示例中,待训练的消费行为数据具有实际的行为信息,实际的行为信息表征用户是否购买消费行为数据中的物品。步骤s506包括以下过程:
[0341]
步骤s506的第一步骤:根据待训练的消费行为数据对应的每一对子特征、以及待训练集合的待训练的消费行为数据的总个数,确定独立损失函数。
[0342]
步骤s506的第二步骤:根据待训练的消费行为数据对应的各子特征,确定待训练的消费行为数据的预测的行为信息,并根据待训练的消费行为数据的预测的行为信息和实际的行为信息,确定bpr损失函数。
[0343]
步骤s506的第三步骤:根据bpr损失函数、独立损失函数以及预设的超参数,确定总体损失函数,并根据总体损失函数更新解码器。
[0344]
一个示例中,待训练集合包括第一集合和第二集合;第一集合中待训练的消费行为数据具有实际的意图信息,第二集合中待训练的消费行为数据不具有实际的意图信息。
[0345]
示例性地,基于待训练的消费行为数据的个数以及每一对意图子特征,确定独立损失函数;基于实际的行为信息和预测的行为信息,确定bpr损失函数;根据bpr损失函数、独立损失函数以及预设的超参数,确定总体损失函数,并根据总体损失函数更新解码器。
[0346]
待训练集合中中的待识别的消费行为数据分为两个集合,一个是标注了意图信息的m个消费行为数据组成的第一集合,另一个是未标注意图信息的n

个消费行为数据组成的第二集合,其中,m

、n

均为大于等于1的正整数。意图识别初始模型的编码器对m

+n

个待训练的消费行为数据进行处理,分别生成m

+n

个地点信息的意图特征、m

+n

个时间信息的意图特征、m

+n

个物品信息的意图特征。基于待训练的消费行为数据的个数,以及其对应的意图特征,确定独立损失函数,具体过程如下:
[0347][0348]
其中,为确保任意两个意图子特征独立性的独立损失;m

表示标注了意图信息的消费行为数据的数量;n

表示未标注意图信息的消费行为数据的数量;m

+n

表示待训练集合中的待训练的消费行为数据总个数;s={l,t,c},表示地点子空间的意图子特征、时间子空间的意图子特征、物品子空间的意图子特征的集合;s表示s中的意图子特征,s

表示s中另一个意图子特征,例如,若s为地点子空间的意图子特征,则s

为时间子空间的意图子特征,或者,物品子空间的意图子特征;dcov(
·
)表示距离协方差;dvar(
·
)表示距离方差;表示第b个待训练的消费行为数据对应的一个意图子特征,其中,b为大于等于1、小于等
于m

+n

的正整数,表示第b个待训练的消费行为数据对应的另一个意图子特征,例如,若为地点子空间的意图子特征,则为时间子空间的意图子特征,或者,物品子空间的意图子特征。
[0349]
对于待训练集合中的每一个消费行为数据对应的三个意图子特征,分别进行用户行为预测,具体过程如下:
[0350][0351]
其中,表示用户消费行为发生的概率分数;xb表示第b个待训练的消费行为数据,其中,b为大于等于1、小于等于m

+n

的正整数;s={l,t,c},表示地点子空间的意图子特征、时间子空间的意图子特征、物品子空间的意图子特征的集合;s表示s中的一个意图子特征,为地点子空间的意图子特征,或者,时间子空间的意图子特征,或者,物品子空间的意图子特征;ρ表示预测器;表示意图特征。
[0352]
用户消费行为发生的概率分数为地点信息的概率分数、以及时间信息的概率分数、以及物品信息的概率分数的加和。
[0353]
待训练集合中的消费行为数据均为从平台上获得的实际行为信息,确定bpr损失函数时会用到预测的行为信息,预测的行为信息是通过采样获取的,固定实际行为信息中的三个维度,改变一个维度获得的样本,为预测的行为信息。例如,对于x1=(u1,l1,t1,c1),表示用户u1在地点l1、时间t1下购买了物品c1,为实际行为信息;则此时采样生成的用户u1在地点l1、时间t1下购买了物品c2未发生,即为预测的行为信息。bpr损失函数具体计算过程如下:
[0354][0355]
其中:损失为实际用户消费行为可以比用户未消费的行为获得更高的预测分数;xb表示从平台获取的实际行为信息;表示预测的行为信息;表示实际行为信息和预测行为信息的集合。
[0356]
基于bpr损失函数、独立损失函数以及预设的超参数,确定总体的pre损失函数,具体过程如下:
[0357][0358]
其中,λ为预设的超参数。
[0359]
利用pre损失函数对意图识别初始模型的编码器进行更新,得到训练后的编码器。
[0360]
s507、对各待训练的消费行为数据的意图特征进行聚类处理,得到多个意图信息。
[0361]
示例性地,利用k-means聚类对待训练集合中的待训练的消费行为数据的意图特征进行处理,预估得到所有消费行为数据对应的所有意图信息类别。
[0362]
意图识别初始模型的编码器对待训练集合中的m

+n

个待训练的消费行为数据进行处理,分别生成m

+n

个地点子空间的意图子特征、m

+n

个时间子空间中的意图子特征、m′
+n

个物品子空间中的意图子特征。利用k-means聚类分别对3(m

+n

)个意图特征进行处理,将已知意图k

的f倍作为所有意图信息的种类数,其中f为大于等于1的正整数,将3(m

+n

)个意图特征聚类到f
×k′
个簇中去。聚类后,舍弃意图特征数量少于个的簇,保留意图特征数量多于个的簇,得到的意图信息种类数记为k。
[0363]
s508、根据初始模型的解码器,对第一集合中待训练的消费行为数据对应的意图特征进行解码处理,得到交叉熵损失函数。
[0364]
示例性地,意图识别初始模型的解码器,对待训练集合中标注了意图信息的待训练的消费行为数据对应的意图特征进行处理,以将其分类到预估得到的k个意图信息中去,并且,得到交叉熵损失函数。
[0365]
s509、根据初始模型的解码器,对与第二集合中待训练的消费行为数据对应的意图特征进行解码处理,以将第二集合中待训练的消费行为数据分类到所得到的多个意图信息中,得到二分类交叉熵优化损失函数。
[0366]
一个示例中,步骤s509包括以下过程:
[0367]
步骤s509的第一步骤:根据初始模型的解码器,对与第二集合中待训练的消费行为数据对应的意图特征进行解码处理,以将第二集合中待训练的消费行为数据分类到所得到的多个意图信息中;并且针对每一种子特征,针对第二集合中每一对待训练的消费行为数据的子特征进行相似度计算,得到第二集合中的每一对待训练的消费行为数据在每一子特征上的相似度信息。
[0368]
步骤s509的第二步骤:针对每一种子特征,确定第二集合中的每一对待训练的消费行为数据在每一子特征上的分数信息,分数信息表征一对待训练的消费行为数据在子特征维度上属于同一意图信息的分数。
[0369]
步骤s509的第三步骤:根据第二集合中的每一对待训练的消费行为数据在每一子特征上的相似度信息、第二集合中的每一对待训练的消费行为数据在每一子特征上的分数信息,确定二分类交叉熵优化损失函数。
[0370]
示例性地,意图识别初始模型的解码器,对待训练集合中未标注意图信息的待训练的消费行为数据对应的意图特征进行处理,以将其分类到预估得到的k个意图信息中去。需要对未标注意图信息的待训练的消费行为数据构建样本对,计算样本对对应的意图特征的相似度,并且,计算样本对对应的意图特征是否属于同一类的分数。根据样本对对应的意图特征的相似度,以及是否属于同一类的分数,确定二分类交叉熵优化损失函数。
[0371]
对于待训练集合中未标注意图信息的待训练的消费行为数据构建样本对(xa,xv),其中,xa表示第a个未标注意图信息的待训练的消费行为数据,xv表示第v个未标注意图信息的待训练的消费行为数据,a、v均为大于等于1的正整数、小于等于n

的正整数。基于训练好的编码器对得到样本对进行处理,得到第a个未标注意图信息的待训练的消费行为数据对应的意图特征以及第v个未标注意图信息的待训练的消费行为数据对应的意图特征利用基于低通快速傅里叶变换更稳健的方法,计算样本对对应的意图特征的相似度,即,伪标签,具体过程如下:
[0372]
[0373]
其中,表示任意两个标签属于同一类别的概率;cosine表示余弦相似度函数;lpfft表示傅里叶变换。
[0374]
其中,伪标签,指的是,样本对中两个待训练的消费行为数据对应的意图特征的相似度,是一个[0,1]的置信区间。
[0375]
并且,计算待训练的消费行为数据样本对对应的意图特征是否属于同一类的分数,具体过程如下:
[0376][0377]
其中,表示样本对中的意图特征是否属于同一类的分数;η表示对待训练的消费行为数据进行分类的分类器。
[0378]
根据样本对对应的意图特征的相似度,以及是否属于同一类的分数,确定二分类交叉熵优化损失函数,具体过程如下:
[0379][0380]
其中,n

表示待训练集合中未标注意图信息的消费行为数据数量。
[0381]
s510、根据交叉熵损失函数和二分类交叉熵优化损失函数,更新解码器,得到意图识别模型。
[0382]
示例性地,根据标注意图信息得到的交叉熵损失函数和未标注意图信息得到的二分类交叉熵优化损失函数,对意图识别初始模型的解码器进行更新,得到训练好的解码器,从而得到训练好的意图识别模型。
[0383]
可以重复执行步骤s501-s510,直至达到预设停止条件。其中,预设停止条件,为将获取到的待训练集合内的消费行为数据处理完毕。
[0384]
举例来说,图6为本技术实施例提供的意图识别模型示意图,如图6所示,意图识别模型由编码器和解码器两部分组成。将获取的消费行为数据集合输入至编码器中,生成用户信息-地点信息下的对偶超图信息、用户信息-时间信息下的对偶超图信息、用户信息-物品信息下的对偶超图信息,其中,消费行为数据集合中第m个消费行为数据为xm包含用户信息、地点信息、时间信息、物品信息:xm=(um,lm,tm,cm),um为第m个消费行为数据的用户信息,lm为第m个消费行为数据的地点信息,tm为第m个消费行为数据的时间信息,cm为第m个消费行为数据的物品信息,m为大于等于1的正整数。用户信息-地点信息下的对偶超图信息包括与地点信息对应的第一超图和与地点信息对应的第二超图g
l
,用户信息-时间信息下的对偶超图信息包括与时间信息对应的第一超图和与时间信息对应的第二超图g
t
,用户信息-物品信息下的对偶超图信息包括与物品信息对应的第一超图和与物品信息对应的第二超图gc。三组对偶超图信息分别经超图卷积层(joint-hgc)处理,用户信息-地点信息下的对偶超图信息生成地点子空间中的意图子特征用户信息-时间信息下的对偶超图信息生成时间子空间中的意图子特征用户信息-物品信息下的对偶超图信息生成物品子空间中的意图子特征基于生成的意图子特征,确定独立损失以及bpr损失
基于独立损失以及bpr损失对模型的编码器进行训练。并且,利用k-means聚类预估所有消费行为数据的意图信息种类;并且,将编码器生成的地点子空间中的意图子特征时间子空间中的意图子特征物品子空间中的意图子特征输入至解码器中,解码器分别进行处理,生成在地点信息上的多个意图信息中意图信息的概率分布情况在时间信息上的多个意图信息中意图信息的概率分布情况以及在物品信息上的多个意图信息中意图信息的概率分布情况基于在地点信息上的多个意图信息中意图信息的概率分布情况在时间信息上的多个意图信息中意图信息的概率分布情况以及在物品信息上的多个意图信息中意图信息的概率分布情况确定多个意图信息中最大概率pm对应的意图信息,进而,确定第m个消费行为数据的意图信息。
[0385]
本实施例中,通过获取待训练集合;其中,待训练集合中包括多个待训练的消费行为数据,待训练的消费行为数据包括用户和多个特征信息,用户与每一特征信息之间具有二元关系;根据待训练集合,生成多个对偶超图信息;其中,对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,第一超图表征用户在特征信息上的关联关系,第二超图表征特征信息在用户上的关联关系;将多个对偶超图信息输入到初始模型的编码器中进行训练,生成待训练的消费行为数据的意图特征;其中,意图特征表征待训练的消费行为数据在每一特征信息上的子特征;并根据意图特征对编码器进行更新;将意图特征输入到初始模型的解码器中进行训练,以更新解码器,得到意图识别模型;其中,意图识别模型用于对待识别的消费行为数据进行识别得到意图信息。基于模型训练的方式,得到用于识别消费行为数据的意图识别模型;可以基于模型准确、快速的识别消费行为数据的意图信息。并且,对未标注意图的样本对的意图特征,通过构建伪标签的方式训练意图解码器,可以提升意图识别模型的分类效果,进一步提升模型的准确性和精度。
[0386]
图7为本技术实施例提供的一种基于意图识别的识别装置的结构示意图,如图7所示,该装置包括:
[0387]
获取单元71,用于获取待识别集合;其中,待识别集合中包括多个待识别的消费行为数据,待识别的消费行为数据包括用户和多个特征信息,用户与每一特征信息之间具有二元关系。
[0388]
处理单元72,用于根据待识别集合,生成多个对偶超图信息;其中,对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,第一超图表征用户在特征信息上的关联关系,第二超图表征特征信息在用户上的关联关系。
[0389]
第一确定单元73,用于将多个对偶超图信息输入到意图识别模型的编码器中,生成待识别的消费行为数据的意图特征;其中,意图特征表征待识别的消费行为数据在每一特征信息上的子特征。
[0390]
第二确定单元74,用于将意图特征输入到意图识别模型的解码器中,得到待识别的消费行为数据的意图信息。
[0391]
一个示例中,第一确定单元73,具体用于:将多个对偶超图信息,输入到编码器中,生成与编码器中的每一超图卷积层对应的卷积特征;对各卷积特征进行聚合,得到聚合特征;并根据聚合特征,确定待识别的消费行为数据的意图特征。
[0392]
一个示例中,第一超图具有第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征;其中,第一关联矩阵特征表征第一超图所归属的对偶超图信息的特征表达;第一节点度矩阵特征表征第一超图中的用户节点的连接关系;第一超边度矩阵特征表征第一超图中的边的节点对应关系;第一节点特征表征第一超图中的用户节点的节点信息;第二超图具有第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征;其中,第二关联矩阵特征表征第二超图所归属的对偶超图信息的特征表达;第二节点度矩阵特征表征第二超图中的特征信息节点的连接关系;第二超边度矩阵特征表征第二超图中的边的节点对应关系;第二节点特征表征第二超图中的特征信息节点的节点信息。
[0393]
一个示例中,第一确定单元73在将多个对偶超图信息,输入到编码器中,生成与编码器中的每一超图卷积层对应的卷积特征时,具体用于:将多个对偶超图信息,输入到编码器中,根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征;根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征;根据与特征信息对应的第一初始嵌入特征和第二初始嵌入特征,基于每一超图卷积层进行处理,得到与每一超图卷积层对应的卷积特征。
[0394]
一个示例中,第一确定单元73在根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征时,具体用于:根据与特征信息对应的第一超图的第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第一图内传播特征;其中,第一图内传播特征表征用户在特征信息上的特征表达;根据与特征信息对应的第二超图的第二关联矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第一图间传播特征;其中,第一图间传播特征表征用户与特征信息之间的特征表达;根据与特征信息对应的第一图内传播特征、以及与特征信息对应的第一图间传播特征,确定与特征信息对应的第一初始嵌入特征。
[0395]
一个示例中,第一确定单元73在根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征时,具体用于:根据与特征信息对应的第二超图的第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第二图内传播特征;其中,第二图内传播特征表征特征信息在用户上的特征表达;根据与特征信息对应的第一超图的第一关联矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第二图间传播特征;其中,第二图间传播特征表征用户与特征信息之间的特征表达;根据与特征信息对应的第二图内传播特征、以及与特征信息对应的第二图间传播特征,确定与特征信息对应的第二初始嵌入特征。
[0396]
一个示例中,第一确定单元73在根据聚合特征,确定待识别的消费行为数据的意图特征时,具体用于:基于多层感知方式对聚合特征进行处理,生成待识别的消费行为数据的意图特征。
[0397]
一个示例中,获取单元71所获取的待识别集合包括第一集合和第二集合;第一集合中待识别的消费行为数据具有实际的意图信息,第二集合中待识别的消费行为数据不具
有实际的意图信息。
[0398]
一个示例中,获取单元71所获取的待识别集合包括第一集合和第二集合;第一集合中待识别的消费行为数据具有实际的意图信息,第二集合中待识别的消费行为数据不具有实际的意图信息;第二确定单元74在将意图特征输入到意图识别模型的解码器中,得到待识别的消费行为数据的意图信息时,具体用于:对各待识别的消费行为数据的意图特征进行聚类处理,得到多个意图信息;根据意图识别模型的解码器,对待识别的消费行为数据对应的意图特征进行解码处理,以将待识别的消费行为数据分类到所得到的多个意图信息中,得到待识别的消费行为数据的意图信息。
[0399]
一个示例中,第二确定单元74在根据意图识别模型的解码器,对待识别的消费行为数据对应的意图特征进行解码处理,以将待识别的消费行为数据分类到所得到的多个意图信息中,得到待识别的消费行为数据的意图信息时,具体用于:根据意图识别模型的解码器,对待识别的消费行为数据对应的意图特征进行解码处理,以将待识别的消费行为数据分类到所得到的多个意图信息中,得到待识别的消费行为数据在每一特征信息上的概率分布信息;其中,概率分布信息表征待识别的消费行为数据归属于多个意图信息中的意图信息的概率分布情况;根据待识别的消费行为数据在每一特征信息上的子特征,确定待识别的消费行为数据在每一特征信息上的权重信息;根据待识别的消费行为数据在每一特征信息上的概率分布信息和权重信息,确定待识别的消费行为数据在每一特征信息上的初始意图;根据待识别的消费行为数据对应的各初始意图,确定待识别的消费行为数据的意图信息。
[0400]
一个示例中,识别装置,还包括,应用单元75,用于根据待识别的消费行为数据的意图信息,向用户推荐物品。
[0401]
图8为本技术实施例提供的一种应用于意图识别的模型训练装置的结构示意图,如图8所示,该装置包括:
[0402]
获取单元81,用于获取待训练集合;其中,待训练集合中包括多个待训练的消费行为数据,待训练的消费行为数据包括用户和多个特征信息,用户与每一特征信息之间具有二元关系。
[0403]
处理单元82,用于根据待训练集合,生成多个对偶超图信息;其中,对偶超图信息包括与每一特征信息对应的第一超图和与每一特征信息对应的第二超图,第一超图表征用户在特征信息上的关联关系,第二超图表征特征信息在用户上的关联关系。
[0404]
第一更新单元83,用于将多个对偶超图信息输入到初始模型的编码器中进行训练,生成待训练的消费行为数据的意图特征;其中,意图特征表征待训练的消费行为数据在每一特征信息上的子特征;并根据意图特征对编码器进行更新。
[0405]
第二更新单元84,用于将意图特征输入到初始模型的解码器中进行训练,以更新解码器,得到意图识别模型;其中,意图识别模型用于对待识别的消费行为数据进行识别得到意图信息。
[0406]
一个示例中,第一更新单元83,具体用于:将多个对偶超图信息,输入到编码器中,生成与编码器中的每一超图卷积层对应的卷积特征;对各卷积特征进行聚合,得到聚合特征;并根据聚合特征,确定待训练的消费行为数据的意图特征。
[0407]
一个示例中,第一超图具有第一关联矩阵特征、第一节点度矩阵特征、第一超边度
矩阵特征、以及第一节点特征;其中,第一关联矩阵特征表征第一超图所归属的对偶超图信息的特征表达;第一节点度矩阵特征表征第一超图中的用户节点的连接关系;第一超边度矩阵特征表征第一超图中的边的节点对应关系;第一节点特征表征第一超图中的用户节点的节点信息;第二超图具有第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征;其中,第二关联矩阵特征表征第二超图所归属的对偶超图信息的特征表达;第二节点度矩阵特征表征第二超图中的特征信息节点的连接关系;第二超边度矩阵特征表征第二超图中的边的节点对应关系;第二节点特征表征第二超图中的特征信息节点的节点信息。
[0408]
一个示例中,第一更新单元83在将多个对偶超图信息,输入到编码器中,生成与编码器中的每一超图卷积层对应的卷积特征时,具体用于:将多个对偶超图信息,输入到编码器中,根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征;根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征;根据与特征信息对应的第一初始嵌入特征和第二初始嵌入特征,基于每一超图卷积层进行处理,得到与每一超图卷积层对应的卷积特征。
[0409]
一个示例中,第一更新单元83在根据与特征信息对应的第一超图的特征、以及第二超图中的部分特征,生成与特征信息对应的第一初始嵌入特征时,具体用于:根据与特征信息对应的第一超图的第一关联矩阵特征、第一节点度矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第一图内传播特征;其中,第一图内传播特征表征用户在特征信息上的特征表达;根据与特征信息对应的第二超图的第二关联矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第一图间传播特征;其中,第一图间传播特征表征用户与特征信息之间的特征表达;根据与特征信息对应的第一图内传播特征、以及与特征信息对应的第一图间传播特征,确定与特征信息对应的第一初始嵌入特征。
[0410]
一个示例中,第一更新单元83在根据与特征信息对应的第二超图的特征、以及第一超图中的部分特征,生成与特征信息对应的第二初始嵌入特征时,具体用于:根据与特征信息对应的第二超图的第二关联矩阵特征、第二节点度矩阵特征、第二超边度矩阵特征、以及第二节点特征,确定与特征信息对应的第二图内传播特征;其中,第二图内传播特征表征特征信息在用户上的特征表达;根据与特征信息对应的第一超图的第一关联矩阵特征、第一超边度矩阵特征、以及第一节点特征,确定与特征信息对应的第二图间传播特征;其中,第二图间传播特征表征用户与特征信息之间的特征表达;根据与特征信息对应的第二图内传播特征、以及与特征信息对应的第二图间传播特征,确定与特征信息对应的第二初始嵌入特征。
[0411]
一个示例中,第一更新单元83在根据聚合特征,确定待训练的消费行为数据的意图特征时,具体用于:基于多层感知方式对聚合特征进行处理,生成待训练的消费行为数据的意图特征。
[0412]
一个示例中,获取单元81所获取的待训练的消费行为数据具有实际的行为信息,实际的行为信息表征用户是否购买消费行为数据中的物品;第一更新单元83在根据意图特征对编码器进行更新时,具体用于:根据待训练的消费行为数据对应的每一对子特征、以及
待训练集合的待训练的消费行为数据的总个数,确定独立损失函数;根据待训练的消费行为数据对应的各子特征,确定待训练的消费行为数据的预测的行为信息,并根据待训练的消费行为数据的预测的行为信息和实际的行为信息,确定bpr损失函数;根据bpr损失函数、独立损失函数以及预设的超参数,确定总体损失函数,并根据总体损失函数更新解码器。
[0413]
一个示例中,获取单元81所获取的待训练集合包括第一集合和第二集合;第一集合中待训练的消费行为数据具有实际的意图信息,第二集合中待训练的消费行为数据不具有实际的意图信息。
[0414]
一个示例中,获取单元81所获取的待训练集合包括第一集合和第二集合;第一集合中待训练的消费行为数据具有实际的意图信息,第二集合中待训练的消费行为数据不具有实际的意图信息;第二更新单元84在将意图特征输入到初始模型的解码器中进行训练,以更新解码器,得到意图识别模型时,具体用于:对各待训练的消费行为数据的意图特征进行聚类处理,得到多个意图信息;根据初始模型的解码器,对第一集合中待训练的消费行为数据对应的意图特征进行解码处理,得到交叉熵损失函数;根据初始模型的解码器,对与第二集合中待训练的消费行为数据对应的意图特征进行解码处理,以将第二集合中待训练的消费行为数据分类到所得到的多个意图信息中,得到二分类交叉熵优化损失函数;根据交叉熵损失函数和二分类交叉熵优化损失函数,更新解码器,得到意图识别模型。
[0415]
一个示例中,第二更新单元84在根据初始模型的解码器,对与第二集合中待训练的消费行为数据对应的意图特征进行解码处理,以将第二集合中待训练的消费行为数据分类到所得到的多个意图信息中,得到二分类交叉熵优化损失函数时,具体用于:根据初始模型的解码器,对与第二集合中待训练的消费行为数据对应的意图特征进行解码处理,以将第二集合中待训练的消费行为数据分类到所得到的多个意图信息中;并且针对每一种子特征,针对第二集合中每一对待训练的消费行为数据的子特征进行相似度计算,得到第二集合中的每一对待训练的消费行为数据在每一子特征上的相似度信息;针对每一种子特征,确定第二集合中的每一对待训练的消费行为数据在每一子特征上的分数信息,分数信息表征一对待训练的消费行为数据在子特征维度上属于同一意图信息的分数;根据第二集合中的每一对待训练的消费行为数据在每一子特征上的相似度信息、第二集合中的每一对待训练的消费行为数据在每一子特征上的分数信息,确定二分类交叉熵优化损失函数。
[0416]
图9为本技术实施例提供的一种电子设备的结构示意图,如图9所示,电子设备包括:存储器91,处理器92;存储器91;用于存储处理器92可执行指令的存储器。
[0417]
其中,处理器92被配置为执行如上述任一实施例提供的方法。
[0418]
终端设备还包括接收器93和发送器94。接收器93用于接收其他设备发送的指令和数据,发送器94用于向外部设备发送指令和数据。
[0419]
图10为本技术实施例提供的一种电子设备的框图,该设备可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
[0420]
装置1000可以包括以下一个或多个组件:处理组件1002,存储器1004,电源组件1006,多媒体组件1008,音频组件1010,输入/输出(i/o)接口1012,传感器组件1014,以及通信组件1016。
[0421]
处理组件1002通常控制装置1000的整体操作,诸如与显示,电话呼叫,数据通信,
相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1002可以包括一个或多个模块,便于处理组件1002和其他组件之间的交互。例如,处理组件1002可以包括多媒体模块,以方便多媒体组件1008和处理组件1002之间的交互。
[0422]
存储器1004被配置为存储各种类型的数据以支持在装置1000的操作。这些数据的示例包括用于在装置1000上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
[0423]
电源组件1006为装置1000的各种组件提供电力。电源组件1006可以包括电源管理系统,一个或多个电源,及其他与为装置1000生成、管理和分配电力相关联的组件。
[0424]
多媒体组件1008包括在装置1000和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1008包括一个前置摄像头和/或后置摄像头。当装置1000处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0425]
音频组件1010被配置为输出和/或输入音频信号。例如,音频组件1010包括一个麦克风(mic),当装置1000处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中,音频组件1010还包括一个扬声器,用于输出音频信号。
[0426]
i/o接口1012为处理组件1002和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
[0427]
传感器组件1014包括一个或多个传感器,用于为装置1000提供各个方面的状态评估。例如,传感器组件1014可以检测到装置1000的打开/关闭状态,组件的相对定位,例如组件为装置1000的显示器和小键盘,传感器组件1014还可以检测装置1000或装置1000一个组件的位置改变,用户与装置1000接触的存在或不存在,装置1000方位或加速/减速和装置1000的温度变化。传感器组件1014可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1014还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
[0428]
通信组件1016被配置为便于装置1000和其他设备之间有线或无线方式的通信。装置1000可以接入基于通信标准的无线网络,如wifi,2g或3g,或它们的组合。在一个示例性实施例中,通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件1016还包括近场通信(nfc)模块,以促进短程通信。
例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
[0429]
在示例性实施例中,装置1000可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
[0430]
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1004,上述指令可由装置1000的处理器1020执行以完成上述方法。例如,非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0431]
本技术实施例还提供了一种非临时性计算机可读存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述方法。
[0432]
本技术还提供了一种计算机程序产品,计算机程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
[0433]
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本技术的真正范围和精神由下面的权利要求书指出。
[0434]
应当理解的是,本技术并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1