一种新型实体指代消解的方法及其系统与流程

文档序号:11250865阅读:493来源:国知局
一种新型实体指代消解的方法及其系统与流程

本发明涉及自然语言处理应用领域,具体涉及一种新型实体指代消解的方法及其系统。



背景技术:

随着人工智能的发展和自然语言处理技术的深化,汉语中指代消解是文本理解不可或缺的内容,也是自然语言处理应用领域的一个关键问题,指代消解在机器翻译、信息抽取、自动文摘以及自动解题等领域中都有重要应用。指代消解有时也叫参照消解,其核心就是确定照应语与先行语之间的相互关系,从而明确照应词指代的是什么对象;在自动解题中,可以发现,代词的消解效果将直接影响着题目语义的理解程度。

而在现有的实体指代消解方法中,单纯实体替代已经解决不了在自动解题中的一些问题,在解题推理中还需用到实体的一些性质、属性,而这是传统的指代消解方法满足不了的。

由此可见,一种新的实体指代消解方法在人工智能及其相关的自动解题系统中有着至关重要的作用。



技术实现要素:

基于此,针对上述问题,有必要提出一种新型实体指代消解的方法及其系统,其在针对自动解题系统自然语言处理方面,效果显著;在指代消解过程中,融入了实体属性的概念,让指代消解过程带着属性;对于自然语言处理有着极大的推动作用。

为解决上述问题,本发明提供一种新型实体指代消解的方法,其技术方案如下:

一种新型实体指代消解的方法,包括以下步骤:

a、确定某一原始文本,并对该原始文本进行文本分词操作;

b、判断分词是否成功,如果是,则进入步骤c;如果否,则重新进入步骤a;

c、对分词成功的文本进行文本标注;

d、判断标注后的文本是否存在实体指代问题,如果是,则进行实体替换操作,进入步骤e;如果否,则进入步骤f;

e、判断实体替换操作是否成功,如果是,则进入步骤f;如果否,则重新进入步骤d;

f、获取属性齐全的实体,将需要替代的实体替换为新的属性齐全的实体。

作为上述方案的进一步优化,所述步骤d和e中的实体替换操作具体包括以下步骤:

执行实体指代存操作,遍历标注后的文本,找出文本中的实体,并将这些实体及其属性分别存入对应的类中。

作为上述方案的更进一步优化,所述步骤d和e中的实体替换操作还包括以下步骤:

执行实体指代取操作,在实体指代存操作完成后,再次遍历标注后的文本,获取需要进行替代的实体,并从存储的实体中找到与之对应的实体,将存储实体的属性赋值给该需要替代的实体。

在本发明中提到的指代、指代消解、分词以及标注作出如下解释:

指代,是指在文本中用一个指代词回指某个之前提到过的实体,也成为照应语,所指的实体成为先行词。

指代消解,确定照应语与先行词之间的相互关系,从而明确照应语指代的是什么对象,确定指代语的先行词的过程称为指代消解过程。

分词,给定一个字的序列,找出最可能的标签序列,将数学文本按字逐行展开后,对于每个字进行位置标注,即表示该字在词中的位置,例如:该字在词的词首、词中间亦或是在词尾的位置,相应的表示方法为b(开头),m(中间),e(结尾),s(独立成词)。

标注,词性是词汇基本的语法属性,通常也称为词类,标注是在给定文本中判定每个词的语法范畴,确定其词性并加以标注的过程,标注该词的词性,表示该词是动词、名词或是其他的连接词等等。

在本发明中,首先对选定的原始文本进行分词,得到一组标签序列;再对具有标签的文本进行标注,确定其语法范畴;然后对需要替换的实体实施属性替换,用属性齐全的实体代替需要替换的实体;实现实体指代消解。其在指代消解过程中,融入了实体属性的概念,让指代消解过程带着属性,对于自然语言处理有着极大的推动作用;针对自动解题系统自然语言处理方面,效果显著。

本发明还提供一种新型实体指代消解的系统,其技术方案如下:

一种新型实体指代消解的系统,包括文本分词模块、分词判断模块、文本标注模块、指代判断模块、实体替换模块和替换完成模块,其中:

文本分词模块,用于确定某一原始文本,并对该原始文本进行文本分词操作;

分词判断模块,判断分词是否成功,如果是,则跳转到文本标注模块,对文本进行标注;如果否,则重新对原始文本进行文本分词操作;

文本标注模块,用于对分词成功的文本进行文本标注;

指代判断模块,判断标注后的文本是否存在实体指代问题,如果是,则进行实体替换操作;如果否,则结束判断,获得属性齐全的实体;

实体替换模块,判断实体替换操作是否成功,如果是,则获得属性齐全的实体;如果否,则重新进行实体替换操作;

替换完成模块,用于获取属性齐全的实体,将需要替代的实体替换为新的属性齐全的实体。

作为上述方案的进一步优化,所述实体替换模块包括实体指代存子模块,用于执行实体指代存操作,遍历标注后的文本,找出文本中的实体,并将这些实体及其属性分别存入对应的类中。

作为上述方案的更进一步优化,所述实体替换模块包括实体指代取子模块,用于执行实体指代取操作,在实体指代存操作完成后,再次遍历标注后的文本,获取需要进行替代的实体,并从存储的实体中找到与之对应的实体,将存储实体的属性赋值给该需要替代的实体。

本发明的有益效果是:由于在指代消解过程中,被替代的实体缺乏一些解题所要求的性质、属性;所以本发明针对现有的实体指代消解过程中出现的问题,给出了新的实体指代消解思路;本发明在指代消解过程中,融入了实体属性的概念,让指代消解过程带着属性,对于自然语言处理有着极大的推动作用;且在针对自动解题系统自然语言处理方面,效果显著。

附图说明

图1是本发明实施例所述新型实体指代消解的方法的流程图;

图2是本发明实施例所述新型实体指代消解的系统的原理框图。

附图标记说明:

10-文本分词模块;20-分词判断模块;30-文本标注模块;40-指代判断模块;50-实体替换模块;501-实体指代存子模块;502-实体指代取子模块;60-替换完成模块。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例1

如图1所示,一种新型实体指代消解的方法,包括以下步骤:

a、确定某一原始文本,并对该原始文本进行文本分词操作;

b、判断分词是否成功,如果是,则进入步骤c;如果否,则重新进入步骤a;

c、对分词成功的文本进行文本标注;

d、判断标注后的文本是否存在实体指代问题,如果是,则进行实体替换操作,进入步骤e;如果否,则进入步骤f;

e、判断实体替换操作是否成功,如果是,则进入步骤f;如果否,则重新进入步骤d;

f、获取属性齐全的实体,将需要替代的实体替换为新的属性齐全的实体。

实施例2

本实施例在实施例1的基础上,

所述步骤d和e中的实体替换操作具体包括以下步骤:

执行实体指代存操作,遍历标注后的文本,找出文本中的实体,并将这些实体及其属性分别存入对应的类中。

实施例3

本实施例在实施例2的基础上,

所述步骤d和e中的实体替换操作还包括以下步骤:

执行实体指代取操作,在实体指代存操作完成后,再次遍历标注后的文本,获取需要进行替代的实体,并从存储的实体中找到与之对应的实体,将存储实体的属性赋值给该需要替代的实体。

在本发明中提到的指代、指代消解、分词以及标注作出如下解释:

指代,是指在文本中用一个指代词回指某个之前提到过的实体,也成为照应语,所指的实体成为先行词。

指代消解,确定照应语与先行词之间的相互关系,从而明确照应语指代的是什么对象,确定指代语的先行词的过程称为指代消解过程。

分词,给定一个字的序列,找出最可能的标签序列,将数学文本按字逐行展开后,对于每个字进行位置标注,即表示该字在词中的位置,例如:该字在词的词首、词中间亦或是在词尾的位置,相应的表示方法为b(开头),m(中间),e(结尾),s(独立成词)。

标注,词性是词汇基本的语法属性,通常也称为词类,标注是在给定文本中判定每个词的语法范畴,确定其词性并加以标注的过程,标注该词的词性,表示该词是动词、名词或是其他的连接词等等。

在本发明中,首先对选定的原始文本进行分词,得到一组标签序列;再对具有标签的文本进行标注,确定其语法范畴;然后对需要替换的实体实施属性替换,用属性齐全的实体代替需要替换的实体;实现实体指代消解。其在指代消解过程中,融入了实体属性的概念,让指代消解过程带着属性,对于自然语言处理有着极大的推动作用;针对自动解题系统自然语言处理方面,效果显著。

实施例4

本实施例为实施例1的系统,

如图2所示,一种新型实体指代消解的系统,包括文本分词模块10、分词判断模块20、文本标注模块30、指代判断模块40、实体替换模块50和替换完成模块60,其中:

文本分词模块10,用于确定某一原始文本,并对该原始文本进行文本分词操作;

分词判断模块20,判断分词是否成功,如果是,则跳转到文本标注模块30,对文本进行标注;如果否,则重新对原始文本进行文本分词操作;

文本标注模块30,用于对分词成功的文本进行文本标注;

指代判断模块40,判断标注后的文本是否存在实体指代问题,如果是,则进行实体替换操作;如果否,则结束判断,获得属性齐全的实体;

实体替换模块50,判断实体替换操作是否成功,如果是,则获得属性齐全的实体;如果否,则重新进行实体替换操作;

替换完成模块60,用于获取属性齐全的实体,将需要替代的实体替换为新的属性齐全的实体。

实施例5

本实施例为实施例2的系统,其在实施例4的基础上,

所述实体替换模块50包括实体指代存子模块501,用于执行实体指代存操作,遍历标注后的文本,找出文本中的实体,并将这些实体及其属性分别存入对应的类中。

实施例6

本实施例为实施例3的系统,其在实施例5的基础上,

所述实体替换模块50包括实体指代取子模块502,用于执行实体指代取操作,在实体指代存操作完成后,再次遍历标注后的文本,获取需要进行替代的实体,并从存储的实体中找到与之对应的实体,将存储实体的属性赋值给该需要替代的实体。

以上所述实施例仅表达了本发明的具体实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1