别名实体识别方法、装置、计算机设备、介质及程序产品

文档序号:29744011发布日期:2022-04-21 20:43阅读:103来源:国知局
别名实体识别方法、装置、计算机设备、介质及程序产品

1.本公开涉及人工智能技术领域,特别是涉及一种别名实体识别方法、装置、计算机设备、介质及程序产品。


背景技术:

2.命名实体识别是文本智能处理中的重要一环,但是,在文本的表述中经常包含有大量约定俗成的隐式语义表达,其中最明显的就是别名实体。别名实体可以认为是对命名实体的另一种方式的表达,通常在文本中伴随着命名实体出现。别名实体在文本中出现的位置不固定,在上下文中也没有针对别名实体的明显语义提示,导致文本中的别名实体难以被正确识别,后续的处理任务无法正确进行。


技术实现要素:

3.本公开提供了一种别名实体识别方法、装置、计算机设备、介质及程序产品。
4.根据本公开的一方面,提供了一种别名实体识别方法,包括:将待识别文本输入预训练语言模块,以得到待识别文本中的每一个字符的特征向量;将待识别文本中的每一个字符的特征向量输入实体识别模块,以得到待识别文本所对应的隐藏状态转移概率矩阵;根据隐藏状态转移概率矩阵,确定待识别文本中存在的预测别名实体;确定待识别文本中位于预测别名实体之前且最靠近预测别名实体的预测命名实体;从隐藏状态转移概率矩阵中提取对应于中间字符串的概率转移矩阵,其中,中间字符串为待识别文本中位于预测命名实体和预测别名实体之间的字符串,概率转移矩阵能够用于确定中间字符串中的每一个字符是否为位于命名实体和别名实体中的任意一者之中的字符;将中间字符串中的每一个字符的特征向量输入别名实体间约束模块,以得到对应于中间字符串的约束概率矩阵,其中,约束概率矩阵能够用于确定中间字符串中的每一个字符是否为用于连接命名实体和别名实体的字符;以及基于概率转移矩阵和约束概率矩阵,确定预测别名实体是否为预测命名实体的别名。
5.根据本公开的另一方面,提供了一种别名实体识别装置,包括:第一获取单元,被配置用于将待识别文本输入预训练语言模块,以得到待识别文本中的每一个字符的特征向量;第二获取单元,被配置用于将待识别文本中的每一个字符的特征向量输入实体识别模块,以得到待识别文本所对应的隐藏状态转移概率矩阵;第一确定单元,被配置用于根据隐藏状态转移概率矩阵,确定待识别文本中存在的预测别名实体;第二确定单元,被配置用于确定待识别文本中位于预测别名实体之前且最靠近预测别名实体的预测命名实体;提取单元,被配置用于从隐藏状态转移概率矩阵中提取对应于中间字符串的概率转移矩阵,其中,中间字符串为待识别文本中位于预测命名实体和预测别名实体之间的字符串,概率转移矩阵能够用于确定中间字符串中的每一个字符是否为位于命名实体和别名实体中的任意一者之中的字符;第三获取单元,被配置用于将中间字符串中的每一个字符的特征向量输入别名实体间约束模块,以得到对应于中间字符串的约束概率矩阵,其中,约束概率矩阵能够
用于确定中间字符串中的每一个字符是否为用于连接命名实体和别名实体的字符;以及第三确定单元,被配置用于基于概率转移矩阵和约束概率矩阵,确定预测别名实体是否为预测命名实体的别名。
6.根据本公开的另一方面,提供了一种计算机设备,包括:至少一个处理器;以及存储器,其上存储有计算机程序,其中,计算机程序在被处理器执行时,使处理器执行上述的方法。
7.根据本公开的又另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,使处理器执行上述的方法。
8.根据本公开的再另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时,使处理器执行上述的方法。
9.根据本公开的一个或多个实施例,能够准确、有效地识别出文本中的别名实体。
10.根据在下文中所描述的实施例,本公开的这些和其它方面将是清楚明白的,并且将参考在下文中所描述的实施例而被阐明。
附图说明
11.在下面结合附图对于示例性实施例的描述中,本公开的更多细节、特征和优点被公开,在附图中:
12.图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图;
13.图2是图示出根据示例性实施例的一种别名实体识别方法的流程图;
14.图3是图示出根据示例性实施例的实体识别模块的处理流程示意图;
15.图4是图示出根据另一种示例性实施例的一种别名实体识别的方法流程示意图;
16.图5是图示出根据示例性实施例的别名实体间约束模块的结构示意图;
17.图6是图示出根据另一种示例性实施例的一种别名实体识别的方法流程示意图;
18.图7是图示出根据示例性实施例的一种别名实体识别装置的示意性框图;
19.图8是图示出能够应用于示例性实施例的示例性计算机设备的框图。
具体实施方式
20.在本公开中,除非另有说明,否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系,这种术语只是用于将一个元件与另一元件区分开。在一些示例中,第一要素和第二要素可以指向该要素的同一实例,而在某些情况下,基于上下文的描述,它们也可以指代不同实例。
21.在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。如本文使用的,术语“多个”意指两个或更多,并且术语“基于”应解释为“至少部分地基于”。此外,术语“和/或”以及
“……
中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
22.在一个文本中,对同一对象的表述除了规范的命名实体之外,还往往存在一种或多种别名实体。别名实体可以为命名实体的其它语种的译文,可以为命名实体的缩写,或者
可以为一种约定俗成的别称。在文本中,对象的别名实体通常在该对象的命名实体之后出现。例如,在文本“戴高乐号航空母舰(charles de gaulle r91)是一艘隶属于法国海军的核动力航空母舰”中,别名实体“charles de gaulle r91”是命名实体“戴高乐号航空母舰”的别名。
23.相关技术中,为了实现对别名实体的识别,通过建立别名实体字典来对文本中的别名实体进行精确匹配。然而,由于同一对象可以同时存在多种别名实体,导致需要构建足够大的字典才能实施该识别方案,如此导致耗费大量的人力、物力构建字典,并且鲁棒性不强,后期维护十分麻烦。
24.基于此,本公开提出一种别名实体识别方法,通过实体识别模块识别出文本中的预测别名实体和在该预测别名实体之前且距离该预测别名实体最近的预测命名实体,以得到与两者之间的与中间字符串相对应的概率转移矩阵,同时,利用别名实体间约束模块,得到与中间字符串相对应的约束概率矩阵,并基于概率转移矩阵和约束概率矩阵来确定该预测别名实体是否为该预测命名实体的别名。如此,能够避免在对别名实体的识别过程中对别名实体字典的依赖,能够方便有效地识别出文本中存在的别名实体,同时还可以将识别出的别名实体与文本中的命名实体正确匹配。
25.下面结合附图详细描述本公开的示例性实施例。
26.图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统100的示意图。
27.参考图1,该系统100包括客户端设备110、服务器120、以及将客户端设备110与服务器120通信地耦合的网络130。
28.客户端设备110包括显示器114和可经由显示器114显示的客户端应用(app)112。客户端应用112可以为运行前需要下载和安装的应用程序或者作为轻量化应用程序的小程序(liteapp)。在客户端应用112为运行前需要下载和安装的应用程序的情况下,客户端应用112可以被预先安装在客户端设备110上并被激活。在客户端应用112为小程序的情况下,用户102可以通过在宿主应用中搜索客户端应用112(例如,通过客户端应用112的名称等)或扫描客户端应用112的图形码(例如,条形码、二维码等)等方式,在客户端设备110上直接运行客户端应用112,而无需安装客户端应用112。在一些实施例中,客户端设备110可以是任何类型的移动计算机设备,包括移动计算机、移动电话、可穿戴式计算机设备(例如智能手表、头戴式设备,包括智能眼镜,等)或其他类型的移动设备。在一些实施例中,客户端设备110可以替换地是固定式计算机设备,例如台式机、服务器计算机或其他类型的固定式计算机设备。
29.服务器120典型地为由互联网服务提供商(isp)或互联网内容提供商(icp)部署的服务器。服务器120可以代表单台服务器、多台服务器的集群、分布式系统、或者提供基础云服务(诸如云数据库、云计算、云存储、云通信)的云服务器。将理解的是,虽然图1中示出服务器120与仅一个客户端设备110通信,但是服务器120可以同时为多个客户端设备提供后台服务。
30.网络130的示例包括局域网(lan)、广域网(wan)、个域网(pan)、和/或诸如互联网之类的通信网络的组合。网络130可以是有线或无线网络。在一些实施例中,使用包括超文本标记语言(html)、可扩展标记语言(xml)等的技术和/或格式来处理通过网络130交换的
数据。此外,还可以使用诸如安全套接字层(ssl)、传输层安全(tls)、虚拟专用网络(vpn)、网际协议安全(ipsec)等加密技术来加密所有或者一些链路。在一些实施例中,还可以使用定制和/或专用数据通信技术来取代或者补充上述数据通信技术。
31.为了本公开实施例的目的,在图1的示例中,客户端应用112可以为文本应用程序,该文本应用程序可以提供基于文本的各种功能,例如,阅读、编辑、搜索等等。与此相应,服务器120可以是与文本应用程序一起使用的服务器。该服务器120可以向客户端设备110中运行的客户端应用112提供在线文本服务。替换地,也可以由客户端设备110中运行的客户端应用112提供本地文本服务。作为非限制性的示例,下文描述的方法可以由图1的系统100执行。
32.对文本的相关处理并向客户端设备110反馈处理结果。
33.图2是图示出根据示例性实施例的一种别名实体识别方法200的流程图。方法200可以在客户端设备(例如,图1中所示的客户端设备110)处执行,也即,方法200的各个步骤的执行主体可以是图1中所示的客户端设备110。在一些实施例中,方法200可以在服务器(例如,图1中所示的服务器120)处执行。在一些实施例中,方法200可以由客户端设备(例如,客户端设备110)和服务器(例如,服务器120)相组合地执行。
34.参考图2,别名实体识别方法200包括:步骤s201、将待识别文本输入预训练语言模块,以得到待识别文本中的每一个字符的特征向量;步骤s202、将待识别文本中的每一个字符的特征向量输入实体识别模块,以得到待识别文本所对应的隐藏状态转移概率矩阵;步骤s203、根据隐藏状态转移概率矩阵,确定待识别文本中存在的预测别名实体;步骤s204、确定待识别文本中位于预测别名实体之前且最靠近预测别名实体的预测命名实体;步骤s205、从隐藏状态转移概率矩阵中提取对应于中间字符串的概率转移矩阵,其中,中间字符串为待识别文本中位于预测命名实体和预测别名实体之间的字符串,概率转移矩阵能够用于确定中间字符串中的每一个字符是否为位于命名实体和别名实体中的任意一者之中的字符;步骤s206、将中间字符串中的每一个字符的特征向量输入别名实体间约束模块,以得到对应于中间字符串的约束概率矩阵,其中,约束概率矩阵能够用于确定中间字符串中的每一个字符是否为用于连接命名实体和别名实体的字符;以及步骤s207、基于概率转移矩阵和约束概率矩阵,确定预测别名实体是否为预测命名实体的别名。由此,能够避免在对别名实体的识别过程中对别名实体字典的依赖,能够方便有效地识别出文本中存在的别名实体,同时还可以将识别出的别名实体与文本中的命名实体正确匹配。
35.在步骤201,预训练语言模块可以为基于掩码的语言模型而构建的底层字/词嵌入模块,用于将待识别文本中的每一个字符向量化。
36.在一种实施方式中,预训练语言模块可以基于bert模型而构建,其中,bert模型具有12个transformer层,基于transformer层在通用领域预训练好的参数,能够使得在执行字符向量化的过程中,待识别文本的语义表征更加有效。
37.在另一种实施方式中,预训练语言模块也可以采用word2vec模型或bilstm模型来实现对待识别文本中的每一个字符的向量化。
38.根据一些实施例,实体识别模块可以包括双向循环长短时记忆子模块和条件随机场子模块。并且其中,在步骤202,将待识别文本中的每一个字符的特征向量输入实体识别模块,以得到待识别文本所对应的隐藏状态转移概率矩阵可以包括:将待识别文本中的每
一个字符的特征向量输入双向循环长短时记忆子模块,以得到待识别文本所对应的观测状态概率矩阵;以及将观测状态概率矩阵输入条件随机场子模块,以得到待识别文本所对应的隐藏状态转移概率矩阵。
39.由此,能够通过双向循环长短时记忆子模块,对输入的待识别文本中的每一个字符的特征向量进行双向循环解析,并通过条件随机场子模块对经过解析后的数据进行进一步的序列分析,以使所得到的隐藏状态转移概率矩阵能够有效地表征待识别文本的语义特征。
40.图3图示了示例性的实体识别模块的处理流程示意图。如图3所示,将待识别文本中的字符w0,w1,w2,w3,w4所分别对应的特征向量输入实体识别模块中的双向循环长短时记忆子模块301中,可以得到待识别文本所对应的观测状态概率矩阵。将观测状态概率矩阵输入条件随机场子模块302中,可以得到条件随机场子模块302所输出的隐藏状态转移概率矩阵。
41.返回参考图2,根据一些实施例,在步骤203,确定待识别文本中存在预测别名实体可以包括:基于隐藏状态转移概率矩阵,确定待识别文本中的每一个字符的预测标签,其中,每一个字符的预测标签能够用于指示该字符与别名实体的位置关系;以及响应于确定以下条件成立,确定待识别文本中存在预测别名实体:待识别文本中存在多个连续的字符;多个连续的字符中的首字符的预测标签指示该字符位于别名实体的开始;多个连续的字符中的尾字符的预测标签指示该字符位于别名实体的末尾;以及多个连续的字符中除首字符和尾字符两者以外的其它字符中的每一者的预测标签均指示该字符位于别名实体的中间,其中,预测别名实体为该多个连续的字符。由此,通过预测得到的每一个字符的预测标签,可以方便、有效地识别出待识别文本中存在的别名实体。
42.在通过步骤203识别出待识别文本中的预测别名实体之后,可以基于该识别出的预测别名实体,进一步通过步骤204在待识别文本中确定位于该预测别名实体之前且最靠近该预测别名实体的预测命名实体。
43.根据一些实施例,每一个字符的预测标签还能够用于指示该字符与命名实体的位置关系,并且预测命名实体为待识别文本中的与多个连续的字符不同的连续字符。连续字符中的首字符的预测标签指示该字符位于命名实体的开始,连续字符中的尾字符的预测标签指示该字符位于命名实体的末尾,并且连续字符中除首字符和尾字符两者以外的每个字符的预测标签均指示该字符位于命名实体的中间。由此,通过预测得到的每一个字符的预测标签,可以方便、有效地识别出待识别文本中存在的命名实体。
44.在一种实施方式中,每一个字符的预测标签为bioe标签,该bioe标签能够用于指示该字符与别名实体和命名实体的位置关系。
45.例如,预测标签“b
1”表示该字符位于命名实体的开始,预测标签“i
1”表示该字符位于命名实体的中间,预测标签“e
1”表示该字符位于命名实体的末尾,预测标签“b
2”表示该字符位于别名实体的开始,预测标签“i
2”表示该字符位于别名实体的中间,预测标签“e
2”表示该字符位于别名实体的末尾,预测标签“o”则表示该字符既不位于命名实体之中,也不位于别名实体之中。
46.如果待识别文本中存在多个连续的字符,并且该多个连续的字符所分别对应的预测标签为“b
1 i
1 i
1 i
1 i
1 e
1”,则说明该多个连续的字符为由6个字符组成的命名实体。而
如果待识别文本中存在多个连续的字符,并且该多个连续的字符所分别对应的预测标签为“b
2 i
2 i
2 e
2”,则说明该多个连续的字符为由4个字符组成的别名实体。
47.根据一些实施例,为了能够通过实体识别模块得到待识别文本中的每一个字符所对应的预测标签,可以利用经过标签标识的语料信息预先对实体识别模块进行训练。特别地,可以采用上述的bioe标签对训练样本中的字符进行标注。
48.基于上述的步骤s201-s204,利用预训练语言模块和实体识别模块,可以预测得到待识别文本中的每一个字符的预测标签,并能够据此识别出待识别文本中的命名实体和别名实体。图4示出了基于上述步骤s201-s204的示例性的别名实体识别的方法流程示意图。
49.如图4所示,首先,获取待识别文本所对应的字符串,即图4中的[cls],tok1,tok2,
……
,tokn。将该字符串中的每一个字符进行预处理以得到待识别文本所对应的字符串的初始表示,即图4中的e
[cls]
,e1,e2,
……
,en。然后,将该字符串的初始表示输入预训练语言模块bert 401中,以得到预训练语言模块bert 401所输出的待识别文本中的每一个字符的特征向量,即图4中所示的c,t1,t2,
……
,tn。接着,将得到的待识别文本中的每一个字符的特征向量输入实体识别模块402。利用实体识别模块402中的双向循环长短时记忆子模块,即图4中的bi-lstm,可以得到待识别文本所对应的观测状态概率转移矩阵,即图4中的pe,p1,p2,
……
,pn。实体识别模块402中的条件随机场子模块,即图4中的crf,通过对观测状态概率转移矩阵的进一步处理,可以得到待识别文本所对应的隐藏状态转移概率矩阵。最后,通过对隐藏状态转移概率矩阵的解析,可以得到待识别文本中的每一个字符的预测标签。
[0050]
返回参考图2,在根据隐藏状态转移概率矩阵确定了预测别名实体和预测命名实体之后,执行步骤205,从隐藏状态转移概率矩阵中提取中间字符串所对应的概率转移矩阵。其中,该概率转移矩阵是隐藏状态转移概率矩阵的一个子矩阵。通过对该概率转移矩阵的解析可以得到中间字符串中的每一个字符的预测标签。
[0051]
在示例中,在采用bioe标签的情况下,响应于中间字符串中的每一个字符的预测标签均为“o”,则可以确定在预测命名实体和预测别名实体之间的字符既不位于命名实体之中,也不位于别名实体之中。
[0052]
基于在待处理文本中所识别出的预测命名实体和预测别名实体,可以确定位于预测命名实体和预测别名实体之间的中间字符串在待处理文本中的定位信息。基于该定位信息,可以从预训练语言模块的输出之中提取出中间字符串中的每一个字符的特征向量。
[0053]
在步骤206,将中间字符串中的每一个字符的特征向量输入别名实体间约束模块,可以得到中间字符串所对应的约束概率矩阵,其中,约束概率矩阵能够用于确定中间字符串中的每一个字符是否为用于连接命名实体和别名实体的字符。
[0054]
其中,用于连接命名实体和别名实体的字符,例如,可以为“(”、“:”、“别”、“名”等,这些字符潜在地表示在该字符之前存在命名实体且在该字符之后存在别名实体。如“bm-30火箭炮(龙卷风)”中“(”为用于连接命名实体“bm-30火箭炮”和别名实体“龙卷风”的字符,即它可以作为命名实体“bm-30火箭炮”与别名实体“龙卷风”之间的字符存在。
[0055]
图5示出了别名实体间约束模块的示例性的结构示意图。如图5所示,别名实体间约束模块包括依次连接的输入层、隐藏层和输出层。将中间字符串中的每一个字符的特征向量输入别名实体间约束模块的输入层之后,经过别名实体间约束模块中的输入层、隐藏
层和输出层之间的协同运作,可以输出中间字符串所对应的约束概率矩阵。
[0056]
其中,别名实体间约束模块中的隐藏层可以根据字符的语义调节向量的权重,达到能够识别出用于连接命名实体和别名实体的字符的效果,输出层可以为全连接层,用于输出该字符为用于连接命名实体和别名实体的字符的概率。
[0057]
在一种实施方式中,约束概率矩阵可以为n
×
1的矩阵,其中,n表示中间字符串中字符的数量,其中的每一个元素依次对应于中间字符串中的每一个字符,用于指示该字符是否为用于连接命名实体和别名实体的字符。
[0058]
返回参考图2,在步骤207,在确定了概率转移矩阵和约束概率矩阵之后,可以确定预测别名实体是否为预测命名实体的别名。
[0059]
根据一些实施例,基于概率转移矩阵和约束概率矩阵,确定预测别名实体是否为预测命名实体的别名可以包括:针对中间字符串中的每一个字符:响应于该字符的预测标签指示该字符不是位于命名实体和别名实体中的任意一者之中的字符,将该字符确定为第一目标字符;响应于根据约束概率矩阵确定该字符为用于连接命名实体和别名实体的字符,将该字符确定为第二目标字符;响应于该字符为第一目标字符和第二目标字符两者,将该字符确定为中间字符串中的间隔字符;以及基于间隔字符在中间字符串中的占比,确定预测别名实体是否为预测命名实体的别名。由此,通过间隔字符在中间字符串中的占比,可以量化预测别名实体为预测命名实体的别名的概率,进而便于自动地确定预测别名实体是否为预测命名实体的别名。
[0060]
在一种实施方式中,首先将概率转移矩阵进行降维,以得到每个字符对应的标签索引。在示例中,如果字符的预测标签为“o”,即该字符的预测标签指示该字符不是位于命名实体和别名实体中的任意一者之中的字符,则该字符的标签索引置为1,即该字符确定为第一目标字符,反之则置为0,即该字符不为第一目标字符。如此可以得到n
×
1的概率转移矩阵,其中的每一个元素依次为中间字符串中的每一个字符的标签索引。
[0061]
同时,在n
×
1的约束概率矩阵中,元素为1则表示该元素所对应的字符被预测为用于连接命名实体和别名实体的字符,即该字符确定为第二目标字符,元素为0则表示该元素所对应的字符不被预测为用于连接命名实体和别名实体的字符,即该字符不为第二目标字符。
[0062]
将概率转移矩阵和约束概率矩阵进行与运算,以得到n
×
1的结果矩阵。该结果矩阵中的每一个元素依次对应于中间字符串中的每一个字符,并且针对中间字符串中的每一个字符,响应于该字符在结果矩阵中的对应元素为1,则表示该字符为间隔字符,反之,则表示该字符不是间隔字符。
[0063]
根据一些实施例,基于间隔字符在中间字符串中的占比,确定预测别名实体是否为预测命名实体的别名可以包括:响应于间隔字符在中间字符串中的占比大于预设阈值,确定预测别名实体为预测命名实体的别名。
[0064]
虽然各个操作在附图中被描绘为按照特定的顺序,但是这不应理解为要求这些操作必须以所示的特定顺序或者按顺行次序执行,也不应理解为要求必须执行所有示出的操作以获得期望的结果。例如,步骤206可以在步骤205之前被执行,或者与步骤205并发地执行。
[0065]
图6示出了基于预训练语言模块、实体识别模块、别名实体间约束模块和概率计算
模块的一种别名实体识别的方法流程示意图。如图6所示,首先,通过预训练语言模块得到待识别文本中的每一个字符的特征向量。
[0066]
预训练语言模块所输出的每一个字符的特征向量作为实体识别模块的输入,用于识别待识别文本中的预测命名实体和预测别名实体。同时,基于识别出的预测命名实体和预测别名实体,定位待识别文本中位于预测命名实体和预测别名实体的之间的中间字符串,并输出中间字符串所对应的概率转移矩阵。
[0067]
将通过预训练语言模块所确定的中间字符串的定位信息发送至别名实体间约束模块,以使别名实体间约束模块能够基于该定位信息,从预训练语言模块所输出的每一个字符的特征向量中提取出中间字符串中的每一个字符所对应的特征向量,并通过对中间字符串中的每一个字符所对应的特征向量的处理,输出中间字符串所对应的约束概率矩阵。
[0068]
实体识别模块所输出的概率转移矩阵和别名实体间约束模块所输出的约束概率矩阵输入至概率计算模块,以使该概率计算模块能够基于概率转移矩阵和约束概率矩阵两者,输出用于指示该预测别名实体是否为该预测命名实体的别名的指示信息。
[0069]
图7是图示出根据示例性实施例的一种别名实体识别装置700的示意性框图。如图7所示,装置700包括:第一获取单元701,被配置用于将待识别文本输入预训练语言模块,以得到待识别文本中的每一个字符的特征向量;第二获取单元701,被配置用于将待识别文本中的每一个字符的特征向量输入实体识别模块,以得到待识别文本所对应的隐藏状态转移概率矩阵;第一确定单元702,被配置用于根据隐藏状态转移概率矩阵,确定待识别文本中存在的预测别名实体;第二确定单元704,被配置用于确定待识别文本中位于预测别名实体之前且最靠近预测别名实体的预测命名实体;提取单元705,被配置用于从隐藏状态转移概率矩阵中提取对应于中间字符串的概率转移矩阵,其中,中间字符串为待识别文本中位于预测命名实体和预测别名实体之间的字符串,概率转移矩阵能够用于确定中间字符串中的每一个字符是否为位于命名实体和别名实体中的任意一者之中的字符;第三获取单元706,被配置用于将中间字符串中的每一个字符的特征向量输入别名实体间约束模块,以得到对应于中间字符串的约束概率矩阵,其中,约束概率矩阵能够用于确定中间字符串中的每一个字符是否为用于连接命名实体和别名实体的字符;以及第三确定单元707,被配置用于基于概率转移矩阵和约束概率矩阵,确定预测别名实体是否为预测命名实体的别名。
[0070]
应当理解,图7中所示装置700的各个模块可以与参考图2描述的方法200中的各个步骤相对应。由此,上面针对方法200描述的操作、特征和优点同样适用于装置700及其包括的模块。为了简洁起见,某些操作、特征和优点在此不再赘述。
[0071]
虽然上面参考特定模块讨论了特定功能,但是应当注意,本文讨论的各个模块的功能可以分为多个模块,和/或多个模块的至少一些功能可以组合成单个模块。本文讨论的特定模块执行动作包括该特定模块本身执行该动作,或者替换地该特定模块调用或以其他方式访问执行该动作(或结合该特定模块一起执行该动作)的另一个组件或模块。因此,执行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方式访问的、执行动作的另一模块。例如,上面描述的第二获取单元702、第一确定单元703、第二确定单元704和提取单元705在一些实施例中可以组合成单个模块。
[0072]
还应当理解,本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图7描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例
如,这些模块可以被实现为计算机程序代码/指令,该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地,这些模块可以被实现为硬件逻辑/电路。例如,在一些实施例中,第一获取单元701、第二获取单元702、第一确定单元703、第二确定单元704、提取单元705、第三获取单元706和第三确定单元707中的一个或多个可以一起被实现在片上系统(system on chip,soc)中。soc可以包括集成电路芯片(其包括处理器(例如,中央处理单元(central processing unit,cpu)、微控制器、微处理器、数字信号处理器(digital signal processor,dsp)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件),并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
[0073]
根据本公开的一方面,提供了一种计算机设备,其包括存储器、处理器以及存储在存储器上的计算机程序。该处理器被配置为执行计算机程序以实现上文描述的任一方法实施例的步骤。
[0074]
根据本公开的一方面,提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。
[0075]
根据本公开的一方面,提供了一种计算机程序产品,其包括计算机程序,该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。
[0076]
在下文中,结合图8描述这样的计算机设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。
[0077]
图8示出了可以被用来实施本文所描述的方法的计算机设备800的示例配置。举例来说,图1中所示的服务器120和/或客户端设备110可以包括类似于计算机设备800的架构。上述别名实体识别装置也可以全部或至少部分地由计算机设备800或类似设备或系统实现。
[0078]
计算机设备800可以是各种不同类型的设备。计算机设备800的示例包括但不限于:台式计算机、服务器计算机、笔记本电脑或上网本计算机、移动设备(例如,平板电脑、蜂窝或其他无线电话(例如,智能电话)、记事本计算机、移动台)、可穿戴设备(例如,眼镜、手表)、娱乐设备(例如,娱乐器具、通信地耦合到显示设备的机顶盒、游戏机)、电视或其他显示设备、汽车计算机等等。
[0079]
计算机设备800可以包括能够诸如通过系统总线814或其他适当的连接彼此通信的至少一个处理器802、存储器804、(多个)通信接口806、显示设备808、其他输入/输出(i/o)设备810以及一个或更多大容量存储设备812。
[0080]
处理器802可以是单个处理单元或多个处理单元,所有处理单元可以包括单个或多个计算单元或者多个核心。处理器802可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外,处理器802可以被配置成获取并且执行存储在存储器804、大容量存储设备812或者其他计算机可读介质中的计算机可读指令,诸如操作系统816的程序代码、应用程序818的程序代码、其他程序820的程序代码等。
[0081]
存储器804和大容量存储设备812是用于存储指令的计算机可读存储介质的示例,指令由处理器802执行来实施前面所描述的各种功能。举例来说,存储器804一般可以包括易失性存储器和非易失性存储器二者(例如ram、rom等等)。此外,大容量存储设备812一般
可以包括硬盘驱动器、固态驱动器、可移除介质、包括外部和可移除驱动器、存储器卡、闪存、软盘、光盘(例如cd、dvd)、存储阵列、网络附属存储、存储区域网等等。存储器804和大容量存储设备812在本文中都可以被统称为存储器或计算机可读存储介质,并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质,计算机程序代码可以由处理器802作为被配置成实施在本文的示例中所描述的操作和功能的特定机器来执行。多个程序可以存储在大容量存储设备812上。这些程序包括操作系统816、一个或多个应用程序818、其他程序820和程序数据822,并且它们可以被加载到存储器804以供执行。
[0082]
虽然在图8中被图示成存储在计算机设备800的存储器804中,但是模块816、818、820和822或者其部分可以使用可由计算机设备800访问的任何形式的计算机可读介质来实施。如本文所使用的,“计算机可读介质”至少包括两种类型的计算机可读介质,也就是计算机可读存储介质和通信介质。
[0083]
计算机可读存储介质包括通过用于存储信息的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质,信息诸如是计算机可读指令、数据结构、程序模块或者其他数据。计算机可读存储介质包括而不限于ram、rom、eeprom、闪存或其他存储器技术,cd-rom、数字通用盘(dvd)、或其他光学存储装置,磁盒、磁带、磁盘存储装置或其他磁性存储设备,或者可以被用来存储信息以供计算机设备访问的任何其他非传送介质。与此相对,通信介质可以在诸如载波或其他传送机制之类的已调制数据信号中具体实现计算机可读指令、数据结构、程序模块或其他数据。本文所定义的计算机可读存储介质不包括通信介质。
[0084]
一个或更多通信接口806用于诸如通过网络、直接连接等等与其他设备交换数据。这样的通信接口可以是以下各项中的一个或多个:任何类型的网络接口(例如,网络接口卡(nic))、有线或无线(诸如ieee 802.11无线lan(wlan))无线接口、全球微波接入互操作(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、bluetooth
tm
接口、近场通信(nfc)接口等。通信接口806可以促进在多种网络和协议类型内的通信,其中包括有线网络(例如lan、电缆等等)和无线网络(例如wlan、蜂窝、卫星等等)、因特网等等。通信接口806还可以提供与诸如存储阵列、网络附属存储、存储区域网等等中的外部存储装置(未示出)的通信。
[0085]
在一些示例中,可以包括诸如监视器之类的显示设备808,以用于向用户显示信息和图像。其他i/o设备810可以是接收来自用户的各种输入并且向用户提供各种输出的设备,并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等等。
[0086]
本文描述的技术可以由计算机设备800的这些各种配置来支持,并且不限于本文所描述的技术的具体示例。例如,该功能还可以通过使用分布式系统在“云”上全部或部分地实现。云包括和/或代表用于资源的平台。平台抽象云的硬件(例如,服务器)和软件资源的底层功能。资源可以包括在远离计算机设备800的服务器上执行计算处理时可以使用的应用和/或数据。资源还可以包括通过因特网和/或通过诸如蜂窝或wi-fi网络的订户网络提供的服务。平台可以抽象资源和功能以将计算机设备800与其他计算机设备连接。因此,本文描述的功能的实现可以分布在整个云内。例如,功能可以部分地在计算机设备800上以及部分地通过抽象云的功能的平台来实现。
[0087]
虽然在附图和前面的描述中已经详细地说明和描述了本公开,但是这样的说明和描述应当被认为是说明性的和示意性的,而非限制性的;本公开不限于所公开的实施例。通过研究附图、公开内容和所附的权利要求书,本领域技术人员在实践所要求保护的主题时,能够理解和实现对于所公开的实施例的变型。在权利要求书中,词语“包括”不排除未列出的其他元件或步骤,不定冠词“一”或“一个”不排除多个,术语“多个”是指两个或两个以上,并且术语“基于”应解释为“至少部分地基于”。在相互不同的从属权利要求中记载了某些措施的仅有事实并不表明这些措施的组合不能用来获益。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1