一种基于边际参数损失的知识图谱三元组分类方法

本发明属于机器学习，尤其涉及一种基于边际参数损失的知识图谱三元组分类方法。

背景技术：

1、知识图谱表示学习是近年来人工智能领域的研究热点，其旨在将图谱中的实体和关系映射到低维连续向量空间得到稠密向量表示，以支持知识的计算和推理。知识图谱(knowledge graph，kg)，是以有向图的结构描述客观世界的事物及其相互联系，并以形如(h，r，t)的三元组形式表示和存储，其中，h，r和t分别表示头实体，关系和尾实体。

2、常用的知识图谱嵌入方法由于数据稀疏性问题，使得学习出的知识图谱嵌入性能欠佳，无法很好地编码稀疏的实体。于是，研究人员提出通过引入一些外部信息或者先验知识的方式来提升表示学习的性能。其中，isa关系三元组作为知识图谱的重要组成部分，包含了丰富的语义信息，通过对isa关系的准确建模可以增强实体和关系的嵌入表示学习的性能，缓解数据稀疏性的问题。

3、一般地，isa关系是由较具体的实体指向较抽象的实体的一种特殊关系，即给定实体c1和实体c2，若c2的外延包含c1的外延，则认为c1和c2具有“isa”关系。从语言学角度上看，isa关系是连接c1与c2之间的上下位关系，称c2为c1的上位词，c1为c2的下位词，记作isa(c1，c2)。例如三元组(dog，isa，animal)，dog是一种较具体的动物物种，animal是一种较抽象的概念，isa关系连接下位词dog与上位词animal。isa关系三元组蕴含的潜在语义信息包括如下2个方面：一方面，上位词为其下位词提供了基本的类别信息，另一方面，下位词为其对应的上位词提供了具体的细节信息，使得他们在嵌入表示的学习时互相受益，提升嵌入表示的学习效果。例如，对于一个邻接样本较少的某个动物“树懒”，由于它与其他常见的动物实例“猫”、“狗”一样，具有其上位词“动物”的基本类别信息，其嵌入表示应与上位词“动物”及其他常见的动物实例“猫”、“狗”的嵌入表示具有关联性，可以通过观察其他动物及其上位词“动物”在嵌入空间中的表示来大致确定“树懒”的嵌入表示。而上位词“动物”的嵌入表示也可通过观察嵌入空间中多个已知的动物实例的表示来大致确定。针对含有isa关系三元组的知识图谱，利用isa关系三元组自身存在的潜在语义信息来学习其表示，在不增加额外训练样本要求的前提下可以缓解图谱稀疏性带来的学习不充分问题。

4、isa关系具有两个重要的特性。一是传递性，即从(x isa y)和(y isa z)两个三元组，可以推理出三元组(x isa z)成立。从(audrey hepburn isa actor)和(actor isaarist)两个三元组，即使知识图谱中没有(audrey hepburn isa arist)这个三元组，通过传递性也可以推理得到这个三元组成立。二是反对称性。isa关系中的头实体与尾实体之间存在偏序关系，这种偏序关系具有反对称性。(singer isa arist)和(actor isa arist)，(arist isa person)三个三元组中的实体“singer”和“actor”、“arist”以及“person”构成树形层次结构，具有反对称性，即是(arist isasinger)、(arist isaactor)、(person isaarist)这些三元组一定不成立。

5、为了把isa关系三元组的学习融合到已有的知识图谱表示学习，研究人员利用isa关系三元组中头、尾实体之间的上下位关系特性进行建模。现有的相关工作主要分为三类。第一类是基于区域的模型。该类工作将概念建模成空间中的几何体区域，利用区域之间的包含关系表示isa关系中头实体和尾实体之间的上下位关系。然而这类模型建模的几何体通常为简单规则的几何体(超球或者超矩形)，无法准确建模现实世界中复杂的包含关系。第二类是基于偏序关系建模的方法。该类工作通过约束有上下位关系的头实体和尾实体在正实数嵌入表示空间中始终保持有序来建模反对称性和传递性。然而，模型将嵌入空间建模为正实数空间，限制了模型的表现力。第三类是基于线性变换的方法，这类工作使用线性变换的方式建模实体之间的上下位关系，这类方法无法建模反对称性和传递性。总之，通过对已有工作的分析发现，现有的工作无法完备的建模isa关系的特性。

技术实现思路

1、结合isa关系建模的知识表示学习方法属于基于实例和概念的知识图谱表示学习模型。这类模型现有的方法包括基于区域的模型、基于偏序关系建模的方法以及基于线性变换的方法等三类，但它们都无法完备的建模isa关系的特性。因此，本发明提出了一种结合isa关系建模的知识表示学习方法，通过对isa关系特性的准确建模来提升知识图谱表示学习性能。具体来说，利用向量的投影不变性建模isa关系的传递性，引入偏序约束来建模isa关系的反对称性。模型经过训练后可以建模同一实体对应多个不同的下位词或者上位词的情况。另外，为避免同一实体对应的同一层次的不同下位词或者上位词之间被误判存在isa关系，模型引入了一个实体层次信息的超参数。在多个数据集上执行三元组分类任务，实验结果表明，本发明相比其他基线方法学习出的向量表示性能更好。

2、本发明的基于边际参数损失的知识图谱三元组分类方法，包括以下步骤：

3、将三元组集s分为两个不相交的子集，即isa三元组集si和关系三元组集sr，所述isa三元组集其中ni是si的大小，ei、ej∈e，其嵌入表示分别为为n维嵌入表示空间；所述关系三元组集其中nr是sr的大小，h、t∈e，r∈rr，其嵌入分别表示为为n维嵌入表示空间；

4、采用不同的方式对isa三元组集si和关系三元组集sr进行建模；对于关系三元组(h，r，t)，采用rotate模型进行建模；建模isa关系的传递性和反对称性来建模isa关系链，经过传递性建模，对于同一个下位词对应不同上位词的情况，将这些不同的上位词建模成同一直线上的不同点，即将这些不同的下位词建模成不同的嵌入表示，对于同一个上位词对应多个不同下位词的情况，将这些不同的下位词建模成同一直线上的不同的嵌入表示；结合对于传递性的建模方法和对于反对称性的建模，利用实体嵌入表示的每个分量在旋转后的复平面虚轴上的投影点不同进行建模；

5、为了提高正负样本之间可区分性，使用基于边际参数的损失函数作为优化目标进行训练，用训练后的模型对知识图谱进行三元组分类。

6、进一步地，所述rotate模型将实体和关系映射到n维复数向量空间将关系r建模为复数向量空间中头实体嵌入到尾实体嵌入的向量元素级旋转，即：

7、et(k)＝rot(eh(k),θr(k))

8、其中，eh、eh、θr分别表示头实体h、尾实体t和关系r的嵌入表示，均为n维复数向量，eh(k)、et(k)、θr(k)分别表示eh、et、θr的第k维分量，其均为一维复数向量；

9、将re(eh(k))和im(eh(k))表示复数eh(k)的实部和虚部，则也可以表示为：[re(eh(k)),im(eh(k))]t，

10、每个分量θr的模被约束为1，即|θr(k)|＝1，由此可知，θr表示为：

11、

12、θr对应于关于复平面原点的辐角为θr(k)的逆时针旋转，rot(eh(k),θr(k))为旋转函数，表示将eh(k)旋转θr(k)弧度；

13、根据坐标旋转变换公式，平面上的点p(x,y)关于原点逆时针旋转θ弧度后到达p'(x,y)，得到:

14、

15、由此，et(k)＝rot(eh(k),θr(k))表示为：

16、

17、对于关系三元组(h、r、t)，rotate模型的距离函数定义为：

18、

19、rotate不能处理isa关系。

20、进一步地，采用如下方法建模isa关系：

21、定义isa关系链(e1，e2…，em)表示由isa关系连接的三元组集合(e1，isa，e2)，…，(em-2，isa，em-1)，(em-1，isa，em)，集合中的一个三元组的尾实体是另一个三元组的头实体，其中e1，…，em为其n维嵌入表示向量，ej(k)表示实体ej(j＝1,2,...,m)的第k维向量；

22、通过建模isa关系的传递性和反对称性来建模isa关系链，其中，传递性建模方法如下：

23、isa关系具有传递性，即是若存在三元组(a isa b)，(b isa b)，则一定存在三元组(a isac)；

24、对于三元组(h，r，t)，将每个关系r建模为一种变换操作tr，即模型训练后将满足et＝tr(eh)；对于isa关系链(e1，e2，e3)，即存在(e1，isa，e2)，(e2，isa，e3)，(e1，isa，e3)，e1，e2，e3为不同实体，对应的嵌入表示e1、e2、e3互不相同；假若变换操作t可建模传递性关系，即是满足

25、e2＝t(e1)，e3＝t(e2)＝t(t(e1))，e3＝t(e1)，

26、推出

27、t(e1)＝t(t(e1))，

28、即：对于e1执行多次t操作与执行1次t操作等效，说明传递性具有如下性质：传递性作用在一个实体上多次的效果，等价于作用在这个实体上一次的效果，在数学上该性质用一种向量的线性变换-投影变换表达。

29、进一步地，所述向量的线性变换-投影变换，包括：

30、e1(k)、e2(k)、e3(k)为e1、e2、e3的第k维分量，均为复数，在复平面上均用二维向量表示为

31、

32、使用投影操作t作用在e1(k)上得到t(e1(k))，即e1(k)向实轴进行1次投影变换，得到：

33、t(e1(k))＝[re(e1(k)),0]t

34、t(e2(k))为e2(k)向实轴的进行1次投影得到：

35、t(e2(k))＝[re(e2(k)),0]t

36、由于e2(k)＝t(e1(k))，t(e2(k))为e1(k)向实轴的进行2次投影，得到：

37、t(e2(k))＝t(t(e1(k)))＝[re(e1(k)),0]t

38、因此，得到

39、re(e2(k))＝re(e1(k))

40、t(e3(k))为e3(k)向实轴的进行1次投影，得到：

41、t(e3(k))＝[re(e3(k)),0]t

42、由于e3(k)＝t(t(e1(k)))，t(e3(k))为e1(k)向实轴的进行3次投影，得到

43、t(e3(k))＝t(t(t(e1(k))))＝[re(e1(k)),0]t

44、因此，得到

45、re(e3(k))＝re(e1(k))

46、综上，得出

47、re(e3(k))＝re(e2(k))＝re(e1(k))

48、即使用投影操作t作用在e1(k)、e2(k)、e3(k)上得到相同的投影点，投影点均为d；且由于e1(k)、e2(k)、e3(k)的虚部信息im(e3(k))、im(e2(k))、im(e1(k))互不相同，因此，e1(k)、e2(k)、e3(k)互不相同，因此使用投影操作建模isa关系的传递性。

49、进一步地，投影变换等价于幂等变换，即若p(e)表示复数e的投影变换，则

50、

51、表示e在复平面实轴轴上的投影变换结果，由此，p(e)的虚部信息均为0，即若投影操作只是向实轴进行投影，会导致所有不同的isa关系链中实体的投影点的虚部信息均为0，导致损失掉一个维度的信息；

52、为了得到更为通用的投影变换方式，将复平面坐标轴以原点为中心进行旋转，将复平面坐标轴逆时针旋转θp弧度，得到旋转后的坐标轴实轴x'和虚轴y'，e1(k)、e2(k)、e3(k)向旋转后的实轴x'投影，得到其在新坐标系下的投影点均为p，即是满足

53、t(e1(k))＝t(e2(k))＝t(e3(k))

54、而不同的isa关系链中的实体向旋转后的复平面坐标轴实轴进行投影，各投影点的虚部信息互不相同，这样既使投影点保留不同的虚部信息，同时建模isa关系的传递性。

55、进一步地，对isa关系的传递性建模过程代数化描述如下：

56、投影坐标轴的旋转向量为n维复数向量θp，对于不同的传递链，θp值是相同的；θp每个分量θp(k)的模被约束为1，即|θp(k)|＝1，因此，θp(k)的形式表示为

57、

58、θp(k)表示将复平面坐标轴以原点为中心逆时针旋转θp(k)弧度，0<θp(k)≤2π；

59、对于isa关系链(e1，e2…，em)上的任一实体嵌入ej，ej(k)在旋转了θp(k)弧度后的复平面实轴上的投影点px(ej(k))表示为：

60、

61、对于isa关系传递链上的任一实体ej(k)(j＝2,3,...,m)，都有

62、px(ej(k))＝px(e1(k))(j＝2,3,...,m)

63、结合上述公式，得出：

64、

65、若要上式成立，当且仅当下式成立：

66、cosθp(k)re(ej(k))+sinθp(k)im(ej(k))＝cosθp(k)re(e1(k))+sinθp(k)im(e1(k))

67、若要公式(10)对于j＝2,3,...,m都成立，当且仅当：

68、cosθp(k)re(ej(k))+sinθp(k)im(ej(k))＝ck

69、其中，ck必须为常数，即：

70、ck＝cosθp(k)re(e1(k))+sinθp(k)im(e1(k))

71、由上式，其为由ck和θp(k)定义的直线，该直线的斜率为-cot(θp(k))；而传递链上的所有实体e1、e2、…，ej、…、em，都满足上式，即是ej(k)(j＝1,2,3,...,m)都在由ck和θp(k)定义的斜率为-cot(θp(k))的直线上，而旋转后的复平面实轴的斜率为tan(θp(k))，由此得出，上式所定义的直线垂直于旋转后的复平面实轴，而不同的传递链对应的直线相互平行，均垂直于旋转后的复平面实轴；

72、对于isa关系三元组(ej，isa，ej+1)，定义传递性建模的距离函数为：

73、

74、其中px为投影操作。

75、进一步地，对isa关系的反对称性进行建模，包括：

76、isa关系具有反对称性，即若存在三元组(a isab)，则三元组(b isaa)一定不存在；对于isa关系链(e1，e2…，em)中的任一三元组(ej，isa，ej+1)，ej，ej+1对应的嵌入表示为ej、ej+1，ej+1是ej的上位词，或者ej+1较ej更抽象，ej较ej+1更具体，根据量化区分ej、ej+1嵌入表示ej、ej+1，以建模(ej+1，isa，ej)一定不存在；

77、假若操作f可以建模isa关系的反对称性，即若ej+1是ej的上位词，当且仅当f(ej)≤f(ej+1)，传递性利用实体嵌入表示的每个分量在旋转后的复平面坐标轴实轴的投影点相同进行建模，即px(ej(k))＝px(ej+1(k))；

78、将实体嵌入表示的每个分量在旋转后的复平面坐标轴虚轴上进行投影，投影向量的l1或者l2范数值越小，表示该实体越抽象，而值越大则表示该实体越具体；

79、py(ej(k))、py(ej+1(k))分别表示实体ej+1、ej的嵌入表示ej、ej+1的第k维分量在旋转后的复平面坐标轴虚轴上的投影点，若ej+1是ej的上位词，当且仅当：

80、

81、对于向量x＝(x(1)，x(2)...x(n))，表示向量x的每一维分量；即：ej每个分量在旋转后的复平面坐标轴虚轴上的投影点的l1或者l2范数值均大于ej+1的投影点的l1或者l2范数值，则py(ej(k))向量化表示为：

82、

83、为了避免同一上位词对应的不同下位词，或者同一下位词对应的不同上位词之间，经过训练后被误判为存在isa关系，增加一个区分不同概念层次的实体的超参数λf，即：若ej+1是ej的上位词，当且仅当：

84、

85、对于isa关系三元组(ej，isa，ej+1)，定义反对称性建模的距离函数为：

86、

87、其中py(z)为投影操作；函数[z]+只保留z的正数部分，其余部分为0，即是[z]+＝max{0,z}；

88、因此，定义isa关系三元组(ej，isa，ej+1)距离函数为传递性建模距离函数和反对称性建模距离函数之和，即是：

89、