本发明属于计算机应用技术领域，涉及数据挖掘、自然语言处理、机器学习，特别涉及开放式信息抽取背景下一种基于维基百科的实体语义化方法。
背景技术：
近几年来，信息抽取(informationextraction,ie)的研究取得了很大进展。典型的信息抽取系统需要预先指定抽取目标，并为每个目标学习相应的抽取器。当目标数量非常巨大或者目标不能提前规定时，典型的方法将失效。因此，典型的信息抽取系统很难从大规模非结构化的网页中发现事实。与之相反，开放式信息抽取(openie)系统如reverb和ollie学习词汇无关抽取器来提取事实。这些系统利用语言固有的特征，自然地避免了特定的名词和动词。因此，开放式信息抽取方法通常与领域无关，其系统也不像典型的信息抽取系统那样受到固定模式的约束。
开放式信息抽取系统抽取的数据对于了解文档，发现网络上的新事实和帮助搜索引擎开发问答功能十分重要。这些提取的事实可以被视为被处理文本中最重要的信息或知识。然而，由于开放式信息抽取缺乏一个预定义的本体或抽取目标，其提取的事实不可避免地是模糊的，因此机器难以解释和直接利用。开放式信息抽取系统提取知识三元组的原则是它认为该事实有一些具体的含义，但它并不真正明白这个含义究竟是什么。例如，三元组(michaeljordan,isan,americanscientist)的主语可能是指多个名为“michaeljordan”的实体，我们需要做的就是将字符串参数映射到正确的维基百科实体“michaeli.jordan(scientist)”而不是其他实体。
该映射任务有时也被称为实体链接或命名实体消歧。基本上，任务是将文档中的实体名称映射到知识库(例如维基百科)的相应实体。在过去十年里，实体链接任务已有相当丰富的研究进展。bunescu和pasca训练了一个消歧svm内核，并以有监督的方式完成了映射任务。cucerzan则选择语境上下文极大相似，同时实体类别标签极大相似的实体。
不同于典型的实体链接，本发明尝试将开放式信息抽取得到的三元组中的字符串参数映射到知识库中的实体，实现语义化。开放式信息抽取系统从网页提取(arg1，predicate，arg2)三元组。arg1和arg2是文本字符串，分别指主语和宾语。谓语是指定arg1和arg2之间的具体关系的短语。典型实体链接和面向开放式信息抽取的实体链接的主要区别在于，开放式信息抽取系统从网页中提取数以百万计的知识三元组，从而提供了可在映射任务中利用的大量有用的统计信息。相关研究例如，meilicke等人使用链接到维基百科实体的页面数来衡量其显著程度，并在所有候选中选择显著性最高的实体。这种方法比较简单，但却得到了鲁棒性很强的结果。lin等人分别计算每个候选的字符串匹配级别，显著程度得分和上下文匹配程度得分，并将三者的乘积作为每个候选实体的最终得分。他们还引入两个统计特征以提高精度。最近，dutta等人不仅将开放式知识三元组的主语和宾语映射到相应的实体，而且尝试将关系短语映射到知识库中定义的实体属性上。他们希望通过这样的做法完全语义化知识三元组，从而扩展了目标知识库。
开放式信息抽取能够从大规模非结构化文本中快速准确地抽取知识三元组，但因其缺乏清晰的语义，使得机器难以解释和直接利用。
技术实现要素：
为了克服上述现有技术的缺点，本发明的目的在于提供开放式信息抽取背景下一种基于维基百科的实体语义化方法，将开放式信息抽取得到的三元组中的字符串参数映射到相应的维基百科实体，从而赋予其相应的语义。
为了实现上述目的，本发明采用的技术方案是：
开放式信息抽取背景下一种基于维基百科的实体语义化方法，将开放式信息抽取得到的三元组中的字符串参数映射到相应的维基百科实体，从而赋予其相应的语义，其特征在于：
设e＝{(s1,p1,o1),…,(sn,pn,on)}为开放式信息抽取系统抽取的知识三元组集，s＝{s1,…,sn}为待语义化的字符串参数集，n表示三元组个数，集合中的元素si为待语义化的字符串参数，在不涉及下标时简写为s，表示知识三元组的主语，pi,oi为谓语和宾语，在不涉及下标时简写为p,o，t＝{t1,…,tm}为维基百科实体集，其中元素ti为维基百科实体，在不涉及下标时简写为t，则该映射的问题从数学上转化成以下最优化问题：
其中，t*(s)表示字符串参数s最可能映射的维基百科实体，得分函数φ(s,t)表示三元组e∈e中字符串参数s∈s被正确映射到维基百科实体t∈t的可能性，求解该问题，即得映射结果。
本发明通过如下步骤求解所述最优化问题：
步骤1)，生成候选实体集并计算先验映射概率：引入基于内容的相关性(roc)和基于主题的相关性(rot)两类特征，分别根据两类相关性，计算获得基于内容相关的候选实体集cc(s)和基于主题相关的候选实体集ct(s)，求其并集c(s)＝cc(s)∪ct(s)作为候选实体集合，对每一个候选实体，综合考虑三种信息源的特征，计算先验映射概率ppri(s,t)，包括显著程度、标题相似度以及语义类别标签的一致性程度；
步骤2)，基于图的语境相似度证据计算：以待语义化的字符串参数s，以及其所有的候选实体t∈c(s)作为节点，构造带权重的无向近邻图，通过计算两种类型节点的语境文本之间的余弦距离作为节点之间的距离，分别用distw(ti,tj)和dist(s,ti)表示，利用高斯核函数将距离转变为相似性度量作为边权重，分别用ww(ti,tj)和w(s,ti)表示，同时得到相似矩阵wp，在该无向近邻图上进行语义传播至收敛状态，得到最终的基于图的相似性度量graphsim(s,t)；
步骤3)，候选实体排序：通过贝叶斯理论将所述先验映射概率和基于图的语境相似度证据结合在一起，计算出每个候选实体的后验映射概率，以此排序得到最终映射实体。
所述步骤1)中，采用基于内容的维基搜索引擎获取相关实体，其集合为cc(s)；通过遍历实体网页，获取引用和被引用实体作为主题相关实体，记作ct(s)；利用维基百科实体的被引用实体数量表征显著程度，记作inlinks(t)；利用字符串参数和候选实体标题的编辑距离表征标题相似度，记作diste；利用谓语相似的三元组的域约束概率分布来表征语义类别的一致性程度，记作ptsub(e.pred,t.type)，
其中，inlinks(t)表示引用链接的数量，即利用维基百科实体的被引用次数表征显著程度，diste(s,t.title)表示字符串参数和实体标题的编辑距离，α和β是平衡参数。
所述步骤2)中，字符串参数s和候选实体ti之间的距离为
本发明利用高斯核函数将距离distw(ti,tj)转变为相似性度量作为边权重，用ww(ti,tj)表示，
f(k+1)＝αpspf(k)+(1-αp)y
其中，αp是(0,1)之间的参数，y表示初始标签，即y＝[100…]t，代表字符串参数是唯一的语义信息源，sp根据
所述步骤3)通过改写t*(s)呈现，即：
其中，graphsim(s,t)表示基于图的语境相似性度量，ppri(s,t)表示先验映射概率，同时，对每个映射结果，计算相应的置信度，用conf(s,t*(s))表示，公式如下：
其中，t2nd(s)是具有第二大后验映射概率的候选实体。
不同于以往的研究，本发明提出了一种新的方法将开放式信息抽取得到的三元组中的字符串参数映射到相应的维基百科实体，从而实现语义化。该研究思路优点有二：开放式信息抽取中具备相似谓语的知识三元组往往具备相似的域约束概率分布，以此特征融合多信息源特征，使该方法具备很好的鲁棒性；以基于语义传播的相似性度量代替独立计算相似度，更真实地刻画了实体之间深层次的关联。
具体实施方式
下面结合实施例详细说明本发明的实施方式。
开放式信息抽取背景下一种基于维基百科的实体语义化方法，设e＝{(s1,p1,o1),…,(sn,pn,on)}为开放式信息抽取系统抽取的知识三元组集，s＝{s1,…,sn}为待语义化的字符串参数集，n表示三元组个数，集合中的元素si为待语义化的字符串参数，在不涉及下标时也可简写为s，表示知识三元组的主语，pi,oi为谓语和宾语，在不涉及下标时也可简写为p,o，t＝{t1,…,tm}为维基百科实体集，其中元素ti为维基百科实体，在不涉及下标时也可简写为t，则该映射的问题从数学上转化成以下最优化问题：
其中，t*(s)表示字符串参数s最可能映射的维基百科实体，得分函数φ(s,t)表示三元组e∈e中字符串参数s∈s被正确映射到维基百科实体t∈t的可能性，求解该问题，即得映射结果。
其求解过程如下：
步骤1：生成候选实体集并计算先验映射概率
为了生成候选实体集，则需快速准确地找到和字符串参数最相关的维基百科实体。本发明认为维基百科至少提供了两类相关性，即基于内容的相关性(roc)以及基于主题的相关性(rot)。基于内容的相关性主要体现在文本内容上，即文本内容相似的实体往往具备较高的相关性。对此本发明采用基于内容的维基搜索引擎获取相关实体，其集合为cc(s)。基于主题的相关性主要体现在维基百科实体的相关引用上，即有引用链接的实体往往具备相关的主题。对此本发明通过遍历实体网页，获取引用和被引用实体作为主题相关实体，记作ct(s)。两类相关实体集的并集就是最终的候选实体集，即c(s)＝cc(s)∪ct(s)。
对每一个候选实体，综合考虑三种信息源的特征计算先验映射概率ppri(s,t)，包括显著程度、标题相似度以及语义类别标签的一致性程度。本发明利用维基百科实体的被引用实体数量表征显著程度，记作inlinks(t)；利用字符串参数和候选实体标题的编辑距离表征标题相似度，记作diste。特别地，本发明认为在开放式信息抽取中，谓语相似的三元组往往具有类似的域约束概率分布，因此利用此概率分布来表征语义类别的一致性程度，公式如下：
其中，nr(si.type)表示字符串参数si的语义类别数量。e(e.pred)表示谓语为e.pred的三元组集合。最后，结合以上三种特征，计算先验映射概率：
其中，inlinks(t)表示进入链接的数量，diste(s,t.title)表示字符串参数和实体标题的编辑距离。α和β是平衡前两项的参数。
步骤2：基于图的语境相似度证据计算
以待语义化字符串参数s，以及其所有的候选实体t∈c(s)作为节点，构造带权重的无向近邻图。设s.d表示字符串参数的语境文本内容，t.dw表示维基百科实体的文本内容。节点之间距离的计算如下：
其中，因为字符串参数s和候选实体ti∈t是不同类型的节点，所以采用不同的公式计算距离。得到距离后，利用高斯核函数将其转换成相似性度量，作为权重。计算公式如下：
特别地，ww(ti,ti)＝0。
本发明将待语义化的字符串参数视作唯一的信息源，在构建出的近邻图上进行语义信息传播。传播的公式如下：
f(k+1)＝αpspf(k)+(1-αp)y(9)
其中，αp是(0,1)之间的参数，y表示初始标签，即y＝[100…]t，代表字符串参数是唯一的语义信息源。sp根据
步骤3：候选实体排序
在步骤1计算出的先验映射概率和步骤2计算出的基于图的语境相似度证据的基础上，本发明采用贝叶斯理论将两者结合，将先验映射概率转换为后验映射概率，将优化问题转换成最大后验概率(map)的计算问题，如式(2)：
其中，graphsim(s,t)表示基于图的语境相似性度量，ppri(s,t)表示先验映射概率。同时，对每个映射结果，计算相应的置信度，用conf(s,t*(s))表示，公式如下：
其中，t2nd(s)是具有第二大后验映射概率的候选实体。