模型生成、实体识别方法、装置、电子设备及存储介质与流程

1.本公开涉及互联网技术领域，特别是涉及一种模型生成、实体识别方法、装置、电子设备及存储介质。


背景技术：

2.命名实体识别(named entity recognition，ner)旨在识别出给定文本中所提及的实体，并预测实体的类别，是很多自然语言处理流程中的关键步骤。精准的实体识别结果将极大提升搜索、问答和推荐等应用的效果。
3.目前的ner方法通常是利用实体识别模型进行实体识别。现有的实体识别模型大多基于文本间依赖关系较为紧密的输入文本，通常只是单一地通过挖掘成分间显式或隐式的特征来进行实体识别。但是对于文本间依赖关系较为稀疏的文本，实体识别模型在识别时由于只考虑成分间的特征，因此识别效果较差。


技术实现要素：

4.鉴于上述问题，本公开实施例提出了克服上述问题或者至少部分地解决上述问题的一种模型生成、实体识别方法、装置、电子设备及存储介质。
5.根据本公开的实施例的第一方面，提供了一种模型生成方法，包括：
6.获取样本数据；所述样本数据包括样本文本和样本标签；
7.将所述样本文本作为预设初始模型的输入，在所述初始模型中，基于所述样本文本中各字符对应的语义表示向量和图谱表示向量，生成所述样本文本对应的特征表示向量；
8.在基于所述样本标签和所述特征表示向量确定训练完成后，将训练完成的模型作为实体识别模型。
9.可选地，所述图谱表示向量包括实体表示向量和概念表示向量；基于所述样本文本中各字符对应的语义表示向量和图谱表示向量，生成所述样本文本对应的特征表示向量，包括：针对所述样本文本中的每个字符，获取所述字符对应的语义表示向量；获取所述字符对应的实体表示向量，将所述语义表示向量与所述实体表示向量进行融合处理，得到所述字符对应的第一表示向量；获取所述字符对应的概念表示向量，将所述第一表示向量与所述概念表示向量进行融合处理，得到所述字符对应的特征表示向量。
10.可选地，获取所述字符对应的语义表示向量，包括：从预先生成的词典库中，查询所述字符对应的字符表示向量和词汇表示向量；将所述字符表示向量和所述词汇表示向量进行拼接，得到所述字符对应的语义表示向量。
11.可选地，获取所述字符对应的实体表示向量包括：从预先生成的实体表示向量集合中，查询所述字符对应的实体表示向量；获取所述字符对应的概念表示向量包括：获取预先生成的概念表示向量集合，将所述概念表示向量集合中包含的概念表示向量，作为所述字符对应的概念表示向量。
12.可选地，所述实体表示向量集合和所述概念表示向量集合通过如下方式生成：获取事实三元组集合；所述事实三元组集合包括：实体与实体间的事实关系集合，概念与概念间的事实关系集合，和实体与概念间的事实关系集合；利用预设的知识表示模型分别对所述实体与实体间的事实关系集合，以及所述概念与概念间的事实关系集合两个子图进行建模，并确定实体学习优化目标和概念学习优化目标；获取概念所在的向量空间与实体所在的向量空间之间的线性变换关系，并确定关联学习优化目标；在所述实体学习优化目标，所述概念学习优化目标和所述关联学习优化目标满足预设条件后，得到所述实体表示向量集合和所述概念表示向量集合。
13.根据本公开的实施例的第二方面，提供了一种实体识别方法，包括：
14.获取待识别文本；
15.将所述待识别文本输入预先生成的实体识别模型，得到所述实体识别模型输出的所述待识别文本对应的预测结果；
16.其中，所述实体识别模型通过如上任一项所述的模型生成方法生成。
17.根据本公开的实施例的第三方面，提供了一种模型生成装置，包括：
18.第一获取模块，用于获取样本数据；所述样本数据包括样本文本和样本标签；
19.训练模块，用于将所述样本文本作为预设初始模型的输入，在所述初始模型中，基于所述样本文本中各字符对应的语义表示向量和图谱表示向量，生成所述样本文本对应的特征表示向量；
20.第一确定模块，用于在基于所述样本标签和所述特征表示向量确定训练完成后，将训练完成的模型作为实体识别模型。
21.可选地，所述图谱表示向量包括实体表示向量和概念表示向量；所述训练模块包括：语义获取单元，用于针对所述样本文本中的每个字符，获取所述字符对应的语义表示向量；第一融合单元，用于获取所述字符对应的实体表示向量，将所述语义表示向量与所述实体表示向量进行融合处理，得到所述字符对应的第一表示向量；第二融合单元，用于获取所述字符对应的概念表示向量，将所述第一表示向量与所述概念表示向量进行融合处理，得到所述字符对应的特征表示向量。
22.可选地，所述语义获取单元，具体用于从预先生成的词典库中，查询所述字符对应的字符表示向量和词汇表示向量；将所述字符表示向量和所述词汇表示向量进行拼接，得到所述字符对应的语义表示向量。
23.可选地，所述第一融合单元，具体用于从预先生成的实体表示向量集合中，查询所述字符对应的实体表示向量；所述第二融合单元，具体用于获取所述字符对应的概念表示向量包括：获取预先生成的概念表示向量集合，将所述概念表示向量集合中包含的概念表示向量，作为所述字符对应的概念表示向量。
24.可选地，所述实体表示向量集合和所述概念表示向量集合通过如下模块生成：第二获取模块，用于获取事实三元组集合；所述事实三元组集合包括：实体与实体间的事实关系集合，概念与概念间的事实关系集合，和实体与概念间的事实关系集合；第二确定模块，用于利用预设的知识表示模型分别对所述实体与实体间的事实关系集合，以及所述概念与概念间的事实关系集合两个子图进行建模，并确定实体学习优化目标和概念学习优化目标；第三确定模块，用于获取概念所在的向量空间与实体所在的向量空间之间的线性变换
关系，并确定关联学习优化目标；学习模块，用于在所述实体学习优化目标，所述概念学习优化目标和所述关联学习优化目标满足预设条件后，得到所述实体表示向量集合和所述概念表示向量集合。
25.根据本公开的实施例的第四方面，提供了一种实体识别装置，包括：
26.第三获取模块，用于获取待识别文本；
27.预测模块，用于将所述待识别文本输入预先生成的实体识别模型，得到所述实体识别模型输出的所述待识别文本对应的预测结果；
28.其中，所述实体识别模型通过如上任一项所述的模型生成方法生成。
29.根据本公开的实施例的第五方面，提供了一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质；当所述指令由所述一个或多个处理器执行时，使得所述处理器执行上述任一项所述的模型生成方法，或者，执行上述任一项所述的实体识别方法。
30.根据本公开的实施例的第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一项所述的模型生成方法，或者，实现上述任一项所述的实体识别方法。
31.本公开实施例提供了一种模型生成、实体识别方法、装置、电子设备及存储介质。模型生成方法包括：获取样本数据，所述样本数据包括样本文本和样本标签；将所述样本文本作为预设初始模型的输入，在所述初始模型中，基于所述样本文本中各字符对应的语义表示向量和图谱表示向量，生成所述样本文本对应的特征表示向量；在基于所述样本标签和所述特征表示向量确定训练完成后，将训练完成的模型作为实体识别模型。由此可知，本公开实施例中，实体识别模型不再单一地通过挖掘成分间的特征来进行识别，而是综合考虑文本中各字符对应的语义表示向量和图谱表示向量进行识别，通过引入语义信息，提升对实体短语切分的能力，通过引入知识图谱信息，提升对实体类别的预测能力，因此，无论是对于文本间依赖关系较为紧密的文本，还是对于文本间依赖关系较为稀疏的文本，均能够达到较好的识别效果。
附图说明
32.为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
33.图1是本公开实施例的一种模型生成方法的步骤流程图。
34.图2是本公开实施例的一种处理过程的示意图。
35.图3是本公开实施例的一种实体识别模型的示意图。
36.图4是本公开实施例的一种实体识别方法的步骤流程图。
37.图5是本公开实施例的一种模型生成装置的结构框图。
38.图6是本公开实施例的一种实体识别装置的结构框图。
具体实施方式
39.下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开的实施例保护的范围。
40.本公开的实施例中，实体识别模型很好地融合了两类异构知识：语义知识及图谱知识，从而增强文本语义的实体识别能力。无论是对于文本间依赖关系较为紧密的文本，还是对于文本间依赖关系较为稀疏的文本，均能够达到较好的识别效果。本公开实施例中的实体识别模型可应用于搜索场景、推荐场景、问答场景、情感分类场景，等等。
41.参照图1，示出了本公开实施例的一种模型生成方法的步骤流程图。
42.如图1所示，模型生成方法可以包括以下步骤：
43.步骤101，获取样本数据，所述样本数据包括样本文本和样本标签。
44.在实现中，可以从互联网上获取大量历史数据，基于历史数据构建样本集。样本集中的每个样本数据可以包括样本文本和为该样本文本标注的样本标签。其中，样本标签用于指示该样本文本中的各字符对应的标注信息。
45.其中，样本文本可以为用户在历史搜索过程中输入的搜索文本，等等。样本标签可以为采用bio标注(b，即begin，表示开始；i，即intermediate，表示中间；o，即other，表示其他，用于标记无关字符)，bioes标注(b，即begin，表示开始；i，即intermediate，表示中间；o，即other，表示其他，用于标记无关字符；e，即end，表示结尾；s，即single，表示单个字符)等方式标注得到的样本标签。可选地，标注信息中还可以包含类别信息，比如，地名(log)、人名(per)、组织机构名(org)、商家(mer)、食物(foo)，等等。
46.步骤102，将所述样本文本作为预设初始模型的输入，在所述初始模型中，基于所述样本文本中各字符对应的语义表示向量和图谱表示向量，生成所述样本文本对应的特征表示向量。
47.语义表示向量可以表征字符对应的语义信息，语义信息可以包括字符信息和/或词汇信息，因此语义表示向量可以包括字符表示向量和/或词汇表示向量。图谱表示向量可以表征字符对应的知识图谱信息，知识图谱信息可以包括实体信息和/或概念信息，因此图谱表示向量可以包括实体表示向量和/或概念表示向量。其中，“和/或”表示至少之一。
48.由于在训练实体识别模型时，需要采用字符对应的语义表示向量和图谱表示向量，因此可以提前进行预训练得到语义表示向量和图谱表示向量。本公开实施例中，以语义表示向量包括字符表示向量和词汇表示向量，图谱表示向量包括实体表示向量和概念表示向量为例进行说明。
49.图2是本公开实施例的一种处理过程的示意图。如图2所示，处理过程可以包括：基于查询文本等预训练字向量，得到字符表示向量；基于词汇知识等预训练词向量，得到词汇表示向量；基于图谱知识等进行知识表示学习，得到实体表示向量/概念表示向量(该过程可以称为表示向量生成过程)。基于字符表示向量、词汇表示向量、实体表示向量/概念表示向量进行特征融合训练(该过程可以称为特征融合训练过程)。训练结束后，基于训练得到的实体识别模型对文本进行实体识别，得到模型输出的实体识别结果(该过程可以称为线上识别过程)。
50.下面，分别对表示向量生成过程和特征融合训练过程进行说明。
51.1、表示向量生成过程
52.(1)字符表示向量和词汇表示向量生成：
53.预先训练用于生成字符表示向量和词汇表示向量的预训练模型。比如，可以采用预训练模型bert等来生成字符表示向量和词汇表示向量。在训练过程中，可以从中文维基百科、百度百科、公开新闻和业务相关数据(用户评论等)等数据得到训练语料。对于该模型训练的具体过程，可以根据实际经验进行相关处理，本公开实施例在此不再详细论述。
54.在得到用于生成字符表示向量和词汇表示向量的预训练模型后，可以利用该预训练模型进行预测，从而得到字符对应的字符表示向量和词汇表示向量。将字符对应的字符表示向量和词汇表示向量存储到词典库中，以便后续在特征融合训练中查询使用。
55.(2)实体表示向量和概念表示向量生成：
56.可选地，实体表示向量集合和所述概念表示向量集合通过如下步骤a1～a4生成：
57.a1，获取事实三元组集合，所述事实三元组集合包括：实体与实体间的事实关系集合，概念与概念间的事实关系集合，和实体与概念间的事实关系集合。
58.在实现中，可以使用百科知识图谱中文dbpedia作为实体表示及概念表示学习的输入。形式化知识图谱为四元组g＝(e，c，r，t)。其中，e表示实体集合(如：中国、重庆、雾都、雾都门、火锅，等等)、c表示概念集合(如：国家、城市、商家、数学、科学，等等)、r表示关系集合、t表示事实三元组集合。
59.其中，关系集合r＝r
e
∪r
c
∪r
ec
，r
e
表示实体与实体间的关系(如：毗邻等)、r
c
表示概念与概念间的关系(如：subclassof等，subclassof表示级别关系，比如概念“数学”的上级是概念“科学”等)、r
ec
表示实体与概念间的关系(r
ec
＝{isa}，isa表示从属关系，比如实体“重庆”属于概念“城市”)。
60.对应地，事实三元组集合t可以分为三类：实体与实体间的事实关系集合t
e
＝{(e
h
，r，e
t
)|e
h
，e
t
∈e，r∈r
e
}，概念与概念间的事实关系集合t
c
＝{(c
h
，r，c
t
)|c
h
，c
t
∈c，r∈r
c
}，以及实体与概念间的事实关系集合t
ec
＝{(e，r，c)|e∈e，r∈r
ec
，c∈c}。
61.a2，利用预设的知识表示模型分别对所述实体与实体间的事实关系集合，以及所述概念与概念间的事实关系集合两个子图进行建模，并确定实体学习优化目标和概念学习优化目标。
62.可选地，可以利用知识表示模型transe等分别对实体与实体间的事实关系集合(即集合t
e
)、概念与概念间的事实关系集合(即集合t
c
)两个子图进行建模。知识表示模型transe定义了一个事实三元组的合理性得分其中，是指实体h的实体表示向量，是指关系r的关系表示向量，是指概念t的概念表示向量，||||2是指l2范数。在训练时，实体表示向量、关系表示向量和概念表示向量均随机初始化。
63.因此，可以分别得到实体学习优化目标o
e
和概念学习优化目标o
c
：
64.[0065][0066]
其中，γ1和γ2为预设的超参数，[
·
]
+
＝max(0，
·
)，t
e
′
和t
c
′
为随机生成的训练负样本。
[0067]
a3，获取概念所在的向量空间与实体所在的向量空间之间的线性变换关系，并确定关联学习优化目标。
[0068]
为了表征实体与概念间的从属关系(即isa)关系，本方案假设概念所在的向量空间可由实体向量空间经过一个线性变换得到，即，若实体e属于(isa)概念c，则存在线性变换m使得其中，m为线性变换矩阵，为实体e的实体表示向量，为概念c的概念表示向量。转换后可得到判定一个实体是否属于一个概念的得分函数
[0069]
由此，可以定义关联学习优化目标函数o
ec
：
[0070][0071]
其中，γ3为预设的超参数，m为模型学习的参数，t
ec
′
为随机生成的训练负样本。
[0072]
a4，在所述实体学习优化目标，所述概念学习优化目标和所述关联学习优化目标满足预设条件后，得到所述实体表示向量集合和所述概念表示向量集合。
[0073]
将三部分进行联合训练，最小化目标o
k
＝o
e
+o
c
+o
ec
。训练结束后，即可得到实体表示向量集合e和概念表示向量集合c。
[0074]
2、特征融合训练过程
[0075]
特征融合训练过程对应本公开实施例中的模型生成过程。在经过步骤101获取样本数据后，基于样本数据进行特征融合训练，从而生成实体识别模型。
[0076]
初始模型是指还完成训练的实体识别模型。可选地，融合多源知识的实体识别模型可以采用bilstm(bi
‑
directional long short
‑
term memory，双向长短期记忆)结合crf(conditional random field，条件随机场)的结构，cnn(convolutional neural network，卷积神经网络)结合crf的结构，lstm(long short
‑
term memory，长短期记忆)结合crf的结构，等等。
[0077]
图3是本公开实施例的一种实体识别模型的示意图。本公开实施例以图3所示的实体识别模型结构为例进行说明。如图3所示，实体识别模型采用bilstm结合crf的结构，在此基础上增加图谱概念交互的注意力层。
[0078]
可选地，在初始模型中，基于样本文本中各字符对应的语义表示向量和图谱表示向量，生成样本文本对应的样本预测结果的过程可以包括以下步骤b1～b3：
[0079]
b1，针对所述样本文本中的每个字符，获取所述字符对应的语义表示向量。
[0080]
可选地，获取所述字符对应的语义表示向量的过程，可以包括：从预先生成的词典库中，查询所述字符对应的字符表示向量和词汇表示向量；将所述字符表示向量和所述词汇表示向量进行拼接，得到所述字符对应的语义表示向量。
[0081]
对于样本文本中的一个字符i，可以在词典库中找到以该字符为首、中、尾的词汇，这些词汇表示向量依据字位置的不同分别平均，可以得到词汇表示向量b
i
(egin)、m
i
(iddle)、e
i
(nd)，加之该字符本身的字符表示向量s
i
(ingle)，每个字符共有四个部分的向量表示。将这四部分向量表示进行拼接得到字符对应的语义表示向量，作为bilstm层的输入，记为从而融合字符及词汇的语义信息。
[0082]
需要说明的是，在查询字符对应的字符表示向量和词汇表示向量过程中，可以结合该字符在样本文本中的环境进行查询。比如，如图3所示，对于样本文本中的字符“都”，可以查询到“都”对应的字符表示向量s
i
，“都门”对应的词汇表示向量b
i
，“雾都门”对应的词汇表示向量m
i
，“重庆雾都”和“雾都”对应的词汇表示向量e
i
，等等。
[0083]
b2，获取所述字符对应的实体表示向量，将所述语义表示向量与所述实体表示向量进行融合处理，得到所述字符对应的第一表示向量。
[0084]
可选地，获取所述字符对应的实体表示向量的过程，可以包括：从预先生成的实体表示向量集合中，查询所述字符对应的实体表示向量。
[0085]
需要说明的是，在查询字符对应的实体表示向量过程中，可以结合该字符在样本文本中的环境进行查询。比如，如图3所示，对于样本文本中的字符“重”和“庆”，可以查询到“重庆”对应的实体表示向量，对于样本文本中的字符“雾”，“都”和“门”，可以查询到“雾都门”对应的实体表示向量，对于样本文本中的字符“火”和“锅”，可以查询到“火锅”对应的实体表示向量，等等。
[0086]
以字符表示向量及词汇表示向量拼接得到的语义表示向量为输入，输入文本字符j在字符级lstm的特征传递方式如下：
[0087][0088][0089][0090][0091][0092][0093]
其中，σ(
·
)为sigmoid函数，w
·
x
，w
·
h
，b.为bilstm层中每个门的学习参数，
⊙
为hadamard积，y
j
为字符j经单层lstm编码后的输出。
[0094]
为了融合实体特征，本公开实施例中使用类似的结构将实体表示向量进行编码：
[0095][0096][0097]
[0098][0099]
其中，e
j
∈e为字符j所对应的实体表示向量。
[0100]
由于一个字符可能被多个实体关联，因此可以对实体的特征做归一化(比如，利用softmax函数进行归一化处理)。因此，融合实体表示向量的字符j表示为：
[0101][0102]
由于bilstm层由两个不同方向的lstm模型组成，因此字符j的最终输出为：其中，y
j
与上述y
j
等同，h
j
即为字符j对应的第一表示向量。如图3中的h1，h2，h3，h4，h5，h6，h7即为样本文本中各字符对应的第一表示向量。
[0103]
b3，获取所述字符对应的概念表示向量，将所述第一表示向量与所述概念表示向量进行融合处理，得到所述字符对应的特征表示向量。
[0104]
可选地，获取所述字符对应的概念表示向量的过程，可以包括：获取预先生成的概念表示向量集合，将所述概念表示向量集合中包含的概念表示向量，作为所述字符对应的概念表示向量。
[0105]
为了在图谱概念特征的指导下学习更好的文本字符编码，注意力层以bilstm层的输出h
j
为输入，使用多头注意力机制(multi
‑
head attention mechanism)将概念表示向量融入模型中：
[0106][0107]
其中，w
qi
，w
ki
，w
vi
为注意力层中第i个头的注意力参数，d为特征维数，m为总头数，c为概念表示向量。
[0108]
由此可以得到注意力增强的文本字符编码：
[0109][0110]
h
j
′
即为字符j对应的特征表示向量。如图3中的h1′
，h2′
，h3′
，h4′
，h5′
，h6′
，h7′
，即为样本文本中各字符对应的特征表示向量。
[0111]
步骤103，在基于所述样本标签和所述特征表示向量确定训练完成后，将训练完成的模型作为实体识别模型。
[0112]
基于注意力层的输出h
j
′
，使用标准的crf层对信息进行解码，并与训练给定的样本标签序列l＝l1，
…
，l
l
计算条件概率：
[0113][0114]
其中，l
′
表示任意的样本标签序列组合，和为模型参数。
[0115]
模型优化目标为：在达到优化目标后，可以确定训练完成，将训练完成的模型作为实体识别模型。
[0116]
参照图4，示出了本公开实施例的一种实体识别方法的步骤流程图。
[0117]
如图4所示，实体识别方法可以包括以下步骤：
[0118]
步骤401，获取待识别文本。
[0119]
步骤402，将所述待识别文本输入预先生成的实体识别模型，得到所述实体识别模型输出的所述待识别文本对应的预测结果。
[0120]
其中，实体识别模型通过上述任一实施例所述的模型生成方法生成。
[0121]
在预测时，使用维特比算法(viterbi algorithm)寻找使得概率p(l|h
′
)最大的标签序列，作为模型预测的输出。
[0122]
比如，对于待识别文本“重庆雾都门火锅”，经过实体识别模型预测后，得到的预测结果为b
‑
log，e
‑
log，b
‑
mer，i
‑
mer，e
‑
mer，b
‑
foo，e
‑
foo。
[0123]
本公开的实施例中，一方面，考虑到仅融合词汇信息的方式，虽能带来较好的实体短语划分效果，但词汇的多义性限制了效果的进一步提升。因此在融合词汇信息的基础上，引入知识图谱的结构化信息，通过图谱的无歧义性使结果实体语义更具区分度。另一方面，考虑到图谱融合仅考虑实体和关系的表示，而概念分类体系同样是完整知识图谱的重要组成，因此除了实体表示向量之外，还引入概念表示向量，为实体识别提供更丰富的背景知识，利于实体类别的预测。再一方面，考虑到如果将每个字/词与实体表示分别做注意力运算，而真实图谱中实体规模往往十分巨大，计算耗时，因此将实体表示向量和概念表示向量以新颖的方式融入模型，减少较大规模的注意力运算，提升模型性能。
[0124]
参照图5，示出了本公开实施例的一种模型生成装置的结构框图。
[0125]
如图5所示，模型生成装置可以包括以下模块：
[0126]
第一获取模块501，用于获取样本数据；所述样本数据包括样本文本和样本标签；
[0127]
训练模块502，用于将所述样本文本作为预设初始模型的输入，在所述初始模型中，基于所述样本文本中各字符对应的语义表示向量和图谱表示向量，生成所述样本文本对应的特征表示向量；
[0128]
第一确定模块503，用于在基于所述样本标签和所述特征表示向量确定训练完成后，将训练完成的模型作为实体识别模型。
[0129]
可选地，所述图谱表示向量包括实体表示向量和概念表示向量；所述训练模块502包括：语义获取单元，用于针对所述样本文本中的每个字符，获取所述字符对应的语义表示向量；第一融合单元，用于获取所述字符对应的实体表示向量，将所述语义表示向量与所述实体表示向量进行融合处理，得到所述字符对应的第一表示向量；第二融合单元，用于获取所述字符对应的概念表示向量，将所述第一表示向量与所述概念表示向量进行融合处理，得到所述字符对应的特征表示向量。
[0130]
可选地，所述语义获取单元，具体用于从预先生成的词典库中，查询所述字符对应的字符表示向量和词汇表示向量；将所述字符表示向量和所述词汇表示向量进行拼接，得到所述字符对应的语义表示向量。
[0131]
可选地，所述第一融合单元，具体用于从预先生成的实体表示向量集合中，查询所述字符对应的实体表示向量；所述第二融合单元，具体用于获取所述字符对应的概念表示向量包括：获取预先生成的概念表示向量集合，将所述概念表示向量集合中包含的概念表示向量，作为所述字符对应的概念表示向量。
[0132]
可选地，所述实体表示向量集合和所述概念表示向量集合通过如下模块生成：第二获取模块，用于获取事实三元组集合；所述事实三元组集合包括：实体与实体间的事实关系集合，概念与概念间的事实关系集合，和实体与概念间的事实关系集合；第二确定模块，用于利用预设的知识表示模型分别对所述实体与实体间的事实关系集合，以及所述概念与概念间的事实关系集合两个子图进行建模，并确定实体学习优化目标和概念学习优化目标；第三确定模块，用于获取概念所在的向量空间与实体所在的向量空间之间的线性变换关系，并确定关联学习优化目标；学习模块，用于在所述实体学习优化目标，所述概念学习优化目标和所述关联学习优化目标满足预设条件后，得到所述实体表示向量集合和所述概念表示向量集合。
[0133]
参照图6，示出了本公开实施例的一种实体识别装置的结构框图。
[0134]
如图6所示，实体识别装置可以包括以下模块：
[0135]
第三获取模块601，用于获取待识别文本；
[0136]
预测模块602，用于将所述待识别文本输入预先生成的实体识别模型，得到所述实体识别模型输出的所述待识别文本对应的预测结果；
[0137]
其中，所述实体识别模型通过如上任一实施例所述的模型生成方法生成。
[0138]
本公开的实施例中，实体识别模型不再单一地通过挖掘成分间的特征来进行识别，而是综合考虑文本中各字符对应的语义表示向量和图谱表示向量进行识别，通过引入语义信息，提升对实体短语切分的能力，通过引入知识图谱信息，提升对实体类别的预测能力，因此，无论是对于文本间依赖关系较为紧密的文本，还是对于文本间依赖关系较为稀疏的文本，均能够达到较好的识别效果。
[0139]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0140]
在本公开的实施例中，还提供了一种电子设备。该电子设备可以包括一个或多个处理器，以及其上存储有指令的一个或多个机器可读介质，指令例如应用程序。当所述指令由所述一个或多个处理器执行时，使得所述处理器执行上述任一实施例所述的模型生成方法，或者，执行上述任一实施例所述的实体识别方法。
[0141]
在本公开的实施例中，还提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序可由电子设备的处理器执行，以执行上述任一实施例所述的模型生成方法，或者，执行上述任一实施例所述的实体识别方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
[0142]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开的实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的实施例的内容，并且上面对特定语言所做的描述是为了披露本公开的实施例的最佳实施方式。
[0143]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0144]
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在
上面对本公开的示例性实施例的描述中，本公开的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的实施例的单独实施例。
[0145]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
[0146]
本公开的实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本公开的实施例的动态图片的生成设备中的一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0147]
应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0148]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0149]
以上所述仅为本公开的实施例的较佳实施例而已，并不用以限制本公开的实施例，凡在本公开的实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本公开的实施例的保护范围之内。
[0150]
以上所述，仅为本公开的实施例的具体实施方式，但本公开的实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的实施例的保护范围之内。因此，本公开的实施例的保护范围应以权利要求的保护范围为准。