本发明涉及自然语言处理技术领域，特别涉及命名实体识别语料库的构建方法、系统、设备及存储介质。
背景技术：
信息抽取的目的是从无结构的自由文本中抽取出实体及其相互关系，并转化为结构化表达形式，从而为知识库的构造提供数据基础。
在现有技术中，中文命名实体识别研究主要使用高质量的手动标注的语料，如1998年1月份的《人民日报》语料、微软亚洲研究院msra语料、香港城市大学cityu语料和ace2005中文语料等。不同的语料所使用的命名实体类别、以及标注的规则和语料规模都有所差异，而且为了保证语料的质量，这些语料都是需要专业人员进行标注的，不仅限制了语料的规模和领域，也需要耗费大量的人力物力。例如，新闻领域的1998年1月份的《人民日报》语料，则不仅语料内容陈旧，而且当其应用于除新闻领域外的其它领域时，准确性较低。
因此，如何自动构建一种具有内容丰富及应用领域广等优点的中文命名实体识别语料库是本领域技术人员目前需要解决的技术问题。
技术实现要素：
本发明的目的是提供一种命名实体识别语料库的构建方法、系统、设备及存储介质，能够自动构建一种具有内容丰富及应用领域广等优点的中文命名实体识别语料库。
为了解决上述技术问题，本发明提供的一种中文命名实体识别语料库的构建方法，基于计算机，包括：
提取中文维基百科条目的特征，并依据所述特征预测中文维基实体条目对应的命名实体的类型；
基于所述类型和所述中文维基实体条目的重定向信息，构建包含所述命名实体的中文维基实体列表以构成语料库；
其中，所述中文维基实体条目为包含所述命名实体的中文维基百科条目。
优选地，所述提取中文维基百科条目的特征具体为：
从所述中文维基实体条目的信息框、分类框和摘要中抽取所述特征。
优选地，在所述构建包含所述命名实体的中文维基实体列表之后，还包括：
识别所述中文维基实体列表中的内部实体，并生成包含所述内部实体的嵌套命名实体；
将所述嵌套命名实体加入中文嵌套实体列表，并确定所述中文嵌套实体列表中的各所述内部实体是否满足嵌套关系；
移除满足所述嵌套关系的第一内部实体的标注，删除包含不满足所述嵌套关系的第二内部实体的嵌套命名实体。
优选地，所述识别所述中文维基实体列表中的内部实体具体包括：
确定所述中文维基实体列表中无类型歧义的所述命名实体；
以所述中文维基实体列表为字典，使用最长匹配原则识别无类型歧义的所述命名实体中包含的内部实体。
优选地，所述确定各所述内部实体是否满足嵌套关系具体为：
判断所述内部实体指向的所述中文维基实体条目和与所述内部实体对应的外部实体指向的中文维基实体条目是否有交集；
如果是，则确定所述内部实体为满足所述嵌套关系的第一内部实体；
如果否，则确定所述内部实体为不满足所述嵌套关系的第二内部实体。
优选地，在所述移除满足所述嵌套关系的第一内部实体的标注，删除包含不满足所述嵌套关系的第二内部实体的嵌套命名实体之后，还包括：
判断所述中文嵌套实体列表中的第一外部实体是否为第二外部实体的内部实体；
如果是，则将所述第一外部实体的嵌套结构汇聚到所述第二外部实体中。
为了解决上述技术问题，本发明还提供的一种中文命名实体识别语料库的构建系统，基于计算机，包括：
预测模块，用于提取中文维基百科条目的特征，并依据所述特征预测中文维基实体条目对应的命名实体的类型；
构建模块，用于基于所述类型和所述中文维基实体条目的重定向信息，构建包含所述命名实体的中文维基实体列表以构成语料库；
其中，所述中文维基实体条目为包含所述命名实体的中文维基百科条目。
为了解决上述技术问题，本发明还提供的一种中文命名实体识别语料库的构建设备，包括：
存储器，用于存储构建程序；
处理器，用于在执行所述构建程序时实现如上文所述的任一种中文命名实体识别语料库的构建方法的步骤。
为了解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有构建程序，所述构建程序被处理器执行时实现如上文所述的任一种中文命名实体识别语料库的构建方法的步骤。
相对于现有技术而言，本发明提供的中文命名实体识别语料库的构建方法，基于计算机，采用中文维基百科作为语料，通过提取中文维基百科条目的特征，能够对中文维基百科条目进行分类，确定出中文维基实体条目，并预测中文维基实体条目对应的命名实体的类型，最终，基于类型和重定向信息构建出包含命名实体的中文维基实体列表，可以由中文维基实体列表中的所有命名实体构成中文命名实体识别语料库。由于维基百科是一个自由内容、公开编辑且多语言的网络百科全书协作项目，覆盖了大量的命名实体，具有内容丰富及覆盖领域广等特点，所以，应用本中文命名实体识别语料库的构建方法构建的语料库，同样具有内容丰富及领域覆盖度广的优点。而且，本构建方法基于计算机，可以通过对应的计算机程序自动提取中文维基百科条目的特征、自动预测命名实体类型及自动构建中文维基实体列表以构成语料库，能够节省大量的人力物力。因此，应用本构建方法，能够自动构建一种具有内容丰富及应用领域广等优点的中文命名实体识别语料库。此外，本发明还提供了一种中文命名实体识别语料库的构建系统、设备及一种计算机可读存储介质，效果如上。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种中文命名实体识别语料库的构建方法的流程图；
图2为本发明实施例提供的另一种中文命名实体识别语料库的构建方法的流程图；
图3为本发明实施例提供的另一种中文命名实体识别语料库的构建方法的流程图；
图4为本发明实施例提供的一种中文命名实体识别语料库的构建系统的组成示意图；
图5为本发明实施例提供的一种中文命名实体识别语料库的构建设备的组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动的前提下，所获得的所有其他实施例，都属于本发明保护范围。
本发明的目的是提供一种命名实体识别语料库的构建方法、系统、设备及存储介质，能够自动构建一种具有内容丰富及应用领域广等优点的中文命名实体识别语料库。
为了使本领域的技术人员更好的理解本发明技术方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种中文命名实体识别语料库的构建方法的流程图。本实施例提供的文命名实体识别语料库的构建方法，基于计算机，如图1所示，该构建方法包括：
s10：提取中文维基百科条目的特征，并依据特征预测中文维基实体条目对应的命名实体的类型。
其中，中文维基百科条目为维基百科中采用中文显示的条目；中文维基实体条目为与命名实体对应的中文维基百科条目；命名实体指现实世界中的一个对象，在文本中通常由一个或多个连续的单词组成；命名实体的类型可以是人物(nr)、地名(ns)及组织(nt)等，如“[北京]ns”表示北京是一个地名实体。
维基百科是一个自由内容、公开编辑且多语言的网络百科全书协作项目，覆盖了大量的命名实体，具有内容丰富及覆盖领域广等特点，其内容以一个个的条目的形式呈现，每个条目都有一个对应的维基页面，维基页面内的文章汇总包含了丰富的结构化、半结构化和非结构化的信息，例如模板、信息框、页面分类等，这些信息对于自然语言处理的相关研究具有很大的利用价值。
中文维基百科条目的特征包括从维基百科中挖掘的有效特征和结合中文特点加入的扩展特征及词义特征等，目的是为了根据这些特征对中文维基百科条目进行分类，并预测中文维基实体条目对应的命名实体的类型。作为一种优选地实施方式，提取中文维基百科条目的特征具体为：从中文维基实体条目的信息框、分类框和摘要中抽取特征。
例如，一个中文维基实体条目中包含名称为“马云”这个命名实体，在中文维基实体条目中的信息框中有“出生1964年9月10日”、“居住地中国大陆”、“国籍中华人名共和国”、“母校杭州师范大学”、“职业阿里巴巴集团董事局主席”等关于主体的概要信息，则可以提取“姓名”、“出生”、“居住地”、“母校”和“职业”等作为词包特征；该中文维基实体条目的分类框有“1964年出生”、“在世人物”、“中华人民共和国亿万富豪”、“阿里巴巴集团”等，则可以提取每个类别的中心词“出生”、“人物”和“富豪”等作为特征；该中文维基实体条目的摘要的定义句为“马云(英文名jackma,1964年9月10日)中华人民共和国企业家”，则可以提取中心词“企业家”作为特征。
在具体实施中，可以预先选用一些已经标注好命名实体类型的中文维基实体条目作为现有分类器的训练数据，对分类器进行训练，得到分类模型。对于步骤s10来说，可以从中文维基实体条目的信息框、分类框和摘要中抽取多个特征，并由这多个特征组成命名实体的特征向量，然后再利用现有的分类器和预先训练好的分类模型对特征向量进行预测，得到对应的命名实体的类型。
s11：基于类型和中文维基实体条目的重定向信息，构建包含命名实体的中文维基实体列表以构成语料库。
一个命名实体可能具有多个名称，包括标准名称和别名，因此，可以根据中文维基实体条目的重定向信息确定出名称不同，但同时代表同一命名实体的名称，再加上命名实体的类型，可以确定一个命名实体。因为由命名实体的标准名称和类型可以确定命名实体，所以，基于类型和中文维基实体条目的重定向信息构建的中文维基实体列表至少应包括命名实体的名称和类型两项。而且，可以理解的是，在中文维基实体列表中，同一命名实体的名称和类型相对应。最后，中文维基实体列表中写入的所有命名实体构成语料库。
按照实体名称是否有歧义对命名实体进行划分，分别为具有名称歧义的命名实体和无名称歧义的命名实体；并且，对于有名称歧义的命名实体而言，又可以按照是否有类型歧义对有名称歧义的命名实体进行划分，分别为有类型歧义的命名实体和无类型歧义的命名实体。其中，名称歧义是指同一个命名实体指向两个或两个以上的中文维基实体条目，类型歧义是指具有名称歧义的同一个命名实体具有两种或两种以上的类型。
例如，命名实体的名称为“万隆”，对应的中文维基实体条目有“22735”和“5044266”，则该命名实体具有名称歧义，若中文维基实体条目“22735”中该命名实体的类型为“org”，中文维基实体条目“5044266”中该命名实体的类型为“per”，则该命名实体具有类型歧义。
在中文维基实体列表时，当需要将命名实体的名称和类型均写入中文维基实体列表。而且，命名实体可以分为两种，一种是无类型歧义的命名实体，包括无名称歧义的命名实体和有名称歧义但无类型歧义的命名实体；另一种是具有类型歧义的命名实体。在具体实施中，对于无名称歧义的命名实体和有名称歧义但无类型歧义的命名实体，可以将命名实体的名称和与之对应的唯一类型一同加入中文维基实体列表；对于具有类型歧义的命名实体，可以将命名实体的名称和与之对应的多个不同的类型一同加入中文维基实体列表。而且，可以理解的是，具有类型歧义的命名实体，一定同时具有名称歧义。
例如，命名实体的名称为“克利斯登·奈加特”，对应的中文维基实体条目为“125”，类型为“per”，则直接将“克利斯登·奈加特per”加入中文维基实体名称列表即可。而如果命名实体的名称为“万隆”，对应的中文维基实体条目有“22735”和“5044266”，其中，中文维基实体条目“22735”中命名实体的类型为“org”，中文维基实体条目“5044266”中命名实体的类型为“per”，则需要将“万隆per，org”加入中文维基实体名称列表。
综上所述，本发明实施例提供的中文命名实体识别语料库的构建方法，基于计算机，采用中文维基百科作为语料，通过提取中文维基百科条目的特征，能够对中文维基百科条目进行分类，确定出中文维基实体条目，并预测中文维基实体条目对应的命名实体的类型，最终，基于类型和重定向信息构建出包含命名实体的中文维基实体列表，可以由中文维基实体列表中的所有命名实体构成中文命名实体识别语料库。由于维基百科是一个自由内容、公开编辑且多语言的网络百科全书协作项目，覆盖了大量的命名实体，具有内容丰富及覆盖领域广等特点，所以，应用本中文命名实体识别语料库的构建方法构建的语料库，同样具有内容丰富及领域覆盖度广的优点。而且，本构建方法基于计算机，可以通过对应的计算机程序自动提取中文维基百科条目的特征、自动预测命名实体类型及自动构建中文维基实体列表以构成语料库，能够节省大量的人力物力。因此，应用本构建方法，能够自动构建一种具有内容丰富及应用领域广等优点的中文命名实体识别语料库。
上文所述的中文维基实体列表中包含的命名实体包括嵌套命名实体和非嵌套命名实体，而且没有加以区分，所以，由上文所述的中文维基实体列表中包含的命名实体构成的语料库同样没有区分嵌套命名实体和非嵌套命名实体。而在实际应用中，由于嵌套命名实体含有丰富的实体信息以及实体之间的相互关系，且其结构复杂多变，所以嵌套命名实体的识别也是信息抽取中值得研究的任务之一。
图2为本发明实施例提供的另一种中文命名实体识别语料库的构建方法的流程图。如图2所示，基于上述实施例，作为一种优选的实施方式，在构建包含命名实体的中文维基实体列表之后，还包括：
s20：识别中文维基实体列表中的内部实体，并生成包含内部实体的嵌套命名实体。
s21：将嵌套命名实体加入中文嵌套实体列表，并确定中文嵌套实体列表中的各内部实体是否满足嵌套关系。
s22：移除满足嵌套关系的第一内部实体的标注，删除包含不满足嵌套关系的第二内部实体的嵌套命名实体。
需要说明的是，嵌套命名实体是指命名实体内部嵌套一个或多个命名实体的命名实体；内部命名实体是指嵌套在嵌套命名实体内部的命名实体；外部实体是指嵌套在嵌套命名实体最外层的命名实体；第一内部实体是指在中文嵌套实体列表中，且满足嵌套关系的内部实体，第二内部实体是指在中文嵌套实体列表中，且不满足嵌套关系的内部实体。
在本优选实施方式中，在识别出中文维基实体列表中的内部实体之后，可以生成包含内部实体的嵌套命名实体，并将嵌套命名实体加入中文嵌套实体列表，判断中文嵌套实体列表中的各内部实体是否满足嵌套关系，从而确定出在中文嵌套实体列表中，哪些内部实体满足嵌套关系，哪些内部实体不满足嵌套关系，最后保留满足嵌套关系的嵌套命名实体，删除不满足嵌套关系的嵌套命名实体。对于满足嵌套关系的第一内部实体而言，直接移除其标注即可；而对于不满足嵌套关系的第二内部实体而言，说明当前包含第二内部实体的嵌套命名实体无法确定是不是真正的嵌套命名实体，这是可能由于维基百科内链接缺失导致的。此时，则需要将包含第二内部实体的嵌套命名实体从中文维基实体列表中删除。最终，可以由中文嵌套实体列表中的嵌套命名实体构成中文嵌套命名实体识别语料库。
基于上述实施例作为一种优选的实施方式，识别中文维基实体列表中的内部实体具体包括：
确定中文维基实体列表中无类型歧义的命名实体；
以中文维基实体列表为字典，使用最长匹配原则识别无类型歧义的命名实体中包含的内部实体。
在本优选实施方式中，采用最长匹配原则识别无类型歧义的命名实体中包含的内部实体，可以提升识别准确率。具体的，可以使用最长匹配原则，由左至右地识别无类型歧义的命名实体中包含的内部实体。
例如，命名实体为“[上海交通大学徐汇校区]ns”，字典中包含“[上海交通大学]nt”和“[徐汇]ns”两个命名实体，可直接得到嵌套命名实体“[[上海交通大学]nt[徐汇]ns校区]ns”。
基于上述实施例，作为一种优选的实施方式，确定各内部实体是否满足嵌套关系具体为：
判断内部实体指向的中文维基实体条目和与内部实体对应的外部实体指向的中文维基实体是否有交集；
如果是，则确定内部实体为满足嵌套关系的第一内部实体；
如果否，则确定内部实体为不满足嵌套关系的第二内部实体。
内部实体指向的中文维基实体条目和与内部实体对应的外部实体指向的中文维基实体条目有交集的情况有：
(1)内部实体无名称歧义，且指向的中文维基实体条目与该内部实体对应的外部实体指向的中文维基实体条目相同。
(2)内部实体有名称歧义，且指向的某一中文维基实体条目与该内部实体对应的外部实体指向的中文维基实体条目相同。
内部实体指向的中文维基实体条目和与内部实体对应的外部实体指向的中文维基实体条目没有交集的情况有：
(1)内部实体无名称歧义，且指向的中文维基实体条目没有出现在与该内部实体对应的外部实体的中文维基页面内链接链表中。
(2)内部实体有名称歧义，且指向的任一中文维基实体条目均没有出现在与该内部实体对应的外部实体的中文维基页面内链接链表中。
需要说明的是，中文维基页面内链接链表指一个中文维基页面中出现的所有指向其它维基页面的连接，维基页面与维基百科条目相对应。
例如，命名实体“[西藏自治区]ns”与命名实体“[西藏]ns”指向同一个中文维基实体条目，则后者不能作为前者的内部实体。事实上，命名实体“[西藏自治区]ns”是一个不能再分割的整体，所以删移除命名实体“[西藏]ns”的标注。
命名实体“[香港地区]ns”中的“香港”是一个名称歧义，其指向的某一个中文维基实体条目和外部实体指向中文维基实体条目相同，但是，事实上，“[香港地区]ns”是一个不能再分割的整体，所以移除“[香港]ns”的标注。
命名实体“[奥雷尔韦尔拉克]ns”内链接列表中不存在对命名实体“[奥雷]ns”的引用，因而嵌套关系不成立，将“[奥雷尔韦尔拉克]ns”从中文嵌套命名实体列表中移除。
命名实体“[中国城站]nt”中的“中国”是一个名称歧义，所指向的任何一个维基页面都没有出现在外部实体的维基页面内链接列表中，因而“中国”不是一个内部实体。将“[中国城站]nt”从中文嵌套命名实体列表中移除。
需要指出的是，命名实体“[七十三军抗战阵亡将士墓]ns”中的内部实体“[七十三军]nt”指向的维基页面没有出现在外部实体的维基页面内链接列表中。将“[七十三军]nt”从中文嵌套命名实体列表中移除，但是“[七十三军]nt”是其真正的嵌套命名实体，这是由于维基百科内链接缺失导致的。
图3为本发明实施例提供的另一种中文命名实体识别语料库的构建方法的流程图。如图3所示，为了将嵌套命名实体中的内部实体尽可能的标注出来，以进一步细化嵌套命名实体的内部结构，提高中文命名实体识别语料库中嵌套命名实体的精确度，基于上述实施例，作为一种优选的实施方式，在步骤s22之后，还包括：
s30：判断中文嵌套实体列表中的第一外部实体是否为第二外部实体的内部实体，如果是，则进入步骤s32，如果否，继续判断中文嵌套实体列表中的下一个第一外部实体是否为第二外部实体的内部实体，直至完成对中文嵌套实体列表中的所有外部实体的判断。
s31：将第一外部实体的嵌套结构汇聚到第二外部实体中。
如此，可以将本身为第二外部实体的内部实体的第一外部实体汇聚到第二外部实体中，也就是说，在与第二外部实体对应的嵌套命名实体中，将第一外部实体作为内部实体标注出来，以达到细化嵌套命名实体内部结构的目的，进而提高中文命名实体识别语料库中嵌套命名实体的精确度。而且，可以理解的是，通过将本身为第二外部实体的内部实体的第一外部实体汇聚到第二外部实体中，也可以使得中文嵌套实体列表中的数据更为简洁。最终，可以由中文嵌套实体列表中的嵌套命名实体构成中文嵌套命名实体识别语料库。
例如，命名实体“[[上海]ns交通大学]nt”出现在“[[上海交通大学]nt[徐汇]ns校区]ns”的内部，则可以汇聚成一个单一的嵌套命名实体“[[[上海]ns交通大学]nt[徐汇]ns校区]ns”。
上文对于本发明提供的一种中文命名实体识别语料库的构建方法的实施例进行了详细的描述，本发明还提供了一种与该构建方法对应的构建系统，由于系统部分的实施例与方法部分的实施例相互照应，因此系统部分的实施例请参见方法部分的实施例的描述，对于相同的部分，本文不再赘述。
图4为本发明实施例提供的一种中文命名实体识别语料库的构建系统的组成示意图。本实施例提供的中文命名实体识别语料库的构建基于计算机，如图4所示，该构建系统包括：
预测模块40，用于提取中文维基百科条目的特征，并依据特征预测中文维基实体条目对应的命名实体的类型。
构建模块41，用于基于类型和中文维基实体条目的重定向信息，构建包含命名实体的中文维基实体列表以构成语料库。
其中，中文维基实体条目为包含命名实体的中文维基百科条目。
由于本实施例提供的中文命名实体识别语料库的构建系统与上文所述的中文命名实体识别语料库的构建方法相对应，所以，本实施例提供的中文命名实体识别语料库的构建系统与上文所述的中文命名实体识别语料库的构建方法具有同样的有益效果，本文不再赘述。
上文对于本发明提供的一种中文命名实体识别语料库的构建方法的实施例进行了详细的描述，本发明还提供了一种与该构建方法对应的构建设备，由于设备部分的实施例与方法部分的实施例相互照应，因此设备部分的实施例请参见方法部分的实施例的描述，对于相同的部分，本文不再赘述。
图5为本发明实施例提供的一种中文命名实体识别语料库的构建设备的组成示意图。如图5所示，本实施例提供的中文命名实体识别语料库的构建设备包括：
存储器50，用于存储构建程序；
处理器51，用于在执行构建程序时实现如上文所述的任一种中文命名实体识别语料库的构建方法的步骤。
由于本实施例提供的中文命名实体识别语料库的构建设备中的处理器在调用存储器中存储的构建程序时，能够实现上文所述的任一种中文命名实体识别语料库的构建方法的步骤，所以，本实施例提供的中文命名实体识别语料库的构建设备与上文所述的中文命名实体识别语料库的构建方法具有同样的有益效果，本文不再赘述。
上文对于本发明提供的一种中文命名实体识别语料库的构建方法的实施例进行了详细的描述，本发明还提供了一种与该构建方法对应的计算机可读存储介质，由于计算机可读存储介质部分的实施例与方法部分的实施例相互照应，因此计算机可读存储介质部分的实施例请参见方法部分的实施例的描述，对于相同的部分，本文不再赘述。
本实施例提供的一种计算机可读存储介质，存储有构建程序，构建程序被处理器执行时实现如上文所述的任一种中文命名实体识别语料库的构建方法的步骤。
由于本实施例提供的计算机可读存储介质上存储的构建程序在被处理器调用时，能够实现上文所述的任一种中文命名实体识别语料库的构建方法的步骤，所以，本实施例提供的计算机可读存储介质与上文所述的中文命名实体识别语料库的构建方法具有同样的有益效果，本文不再赘述。
以上对本发明所提供的命名实体识别语料库的构建方法、系统、设备及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明都是与其它实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何变体意在涵盖非排他性的包含，从而使得包括一系列的要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。