标签识别方法、装置、电子设备和存储介质与流程

文档序号:29444349发布日期:2022-03-30 10:44阅读:77来源:国知局
标签识别方法、装置、电子设备和存储介质与流程

1.本技术涉及计算机领域,具体涉及一种标签识别方法、装置、电子设备和存储介质。


背景技术:

2.现有技术中,在面对某一特定技术领域的文本内容时,为了加快对信息的获取速度,通常会借助技术手段提取文本内容中的专有名词的所属归类,该归类也可称为标签。
3.然而现有技术在提取文本内容中的专有名词所对应的标签时,常常会出现预测出的标签的类型不准确的问题。


技术实现要素:

4.本技术实施例提供一种标签识别方法、装置、电子设备和存储介质,可以改善现有技术中文本内容中的专有名词的标签预测不准确的问题。
5.本技术实施例提供一种标签识别方法,所述方法包括:
6.获取输入文本,所述输入文本包括第一数量个字符;
7.对每个所述字符进行编码处理,得到对应的编码结果;
8.将第一数量个所述编码结果输入至第二数量个多层感知器中的每个多层感知器,得到每个所述多层感知器输出的输出向量,其中,所述第二数量个多层感知器并联,每个所述多层感知器均有各自对应的标签,每个所述输出向量的维度为第一数量,第一数量个维度与第一数量个字符一一对应;
9.对于第二数量个所述输出向量中的每个输出向量,从第一数量个维度中获取分数值超过预设分数值的至少一个维度,其中,所述至少一个维度有对应的至少一个字符,所述至少一个字符的标签便为所述至少一个维度所属的输出向量对应的标签。
10.本技术实施例还提供一种标签识别装置,所述装置包括:
11.输入文本获取单元,用于获取输入文本,所述输入文本包括第一数量个字符;
12.编码处理单元,用于对每个所述字符进行编码处理,得到对应的编码结果;
13.输出向量获取单元,用于将第一数量个所述编码结果输入至第二数量个多层感知器中的每个多层感知器,得到每个所述多层感知器输出的输出向量,其中,所述第二数量个多层感知器并联,每个所述多层感知器均有各自对应的标签,每个所述输出向量的维度为第一数量,第一数量个维度与第一数量个字符一一对应;
14.标签确定单元,用于对于第二数量个所述输出向量中的每个输出向量,从第一数量个维度中获取分数值超过预设分数值的至少一个维度,其中,所述至少一个维度有对应的至少一个字符,所述至少一个字符的标签便为所述至少一个维度所属的输出向量对应的标签。
15.在一些实施例中,编码处理单元,包括:
16.模型获取子单元,用于获取标签识别模型,所述标签识别模型包括cnn和第二数量
个并联的多层感知器;
17.结果获取子单元,用于通过所述cnn对每个所述字符进行编码处理,得到对应的编码结果。
18.在一些实施例中,所述装置还包括:
19.训练文本获取单元,用于获取训练文本,所述训练文本包括第三数量个训练字符;
20.训练编码获取单元,用于对每个所述训练字符进行编码处理,得到对应的训练编码结果;
21.训练输出获取单元,用于将所述第三数量个训练编码结果输入至所述第二数量个多层感知器中的每个多层感知器,得到每个所述多层感知器输出的训练输出向量,每个所述多层感知器均有各自对应的标签;
22.标注声明信息单元,用于获取标注声明信息,所述标注声明信息用于声明所述训练文本中的带有标注信息的目标类型的标签;
23.感知器获取单元,用于获取所述目标类型的标签对应的目标多层感知器;
24.损失加和计算单元,用于根据所述目标多层感知器输出的所述输出向量,计算损失,并获取所述损失的加和;
25.加和收敛单元,用于当所述损失的加和收敛时,则得到完成训练的标签识别模型。
26.在一些实施例中,所述装置还包括:
27.加和未收敛单元,用于当所述损失的加和未收敛时,则根据所述损失的加和,对所述cnn以及所述目标多层感知器进行参数更新,直至损失的加和收敛,得到完成训练的标签识别模型。
28.在一些实施例中,所述装置还包括:
29.训练文本筛选单元,用于从多个待筛选文本中筛选被选中文本,所述被选中文本包括有归属于所述目标类型的标签的名词,所述被选中文本为未进行标签标注的训练文本。
30.在一些实施例中,所述训练文本筛选单元包括:
31.第一编码子单元,用于对所述待筛选文本包括的第四数量个字符进行第一编码处理,得到第一编码结果;
32.第二编码子单元,用于对目标类型词典包括的第五数量个字符进行第二编码处理,得到第二编码结果,其中,所述目标类型词典包括多个目标名词,所述多个目标名词均归属于所述目标类型的标签,所述多个目标名词共包括所述第五数量个字符;
33.交互构建子单元,用于根据注意力机制,构建所述第一编码结果与所述第二编码结果的交互,得到交互结果;
34.二维向量子单元,用于对所述交互结果进行全连接变换,得到二维向量结果;
35.得分值获取子单元,用于获取所述二维向量结果中的第一维向量的得分值,其中,所述第一维向量的得分值反映:所述待筛选文本包括有归属于所述目标类型的标签的名词的概率;
36.文本选取子单元,用于从所述多个待筛选文本中,选取第一维向量的得分值最高的预设数量个待筛选文本,所述预设数量个待筛选文本为所述被选中文本。
37.在一些实施例中,所述装置还包括:
38.模型获取单元,用于获取概率预测模型,所述概率预测模型包括第一roberta模型、第二roberta模型、注意力层和全连接层;
39.第一编码子单元,具体用于利用所述第一roberta模型对所述第四数量个字符进行第一编码处理;
40.第二编码子单元,具体用于利用所述第二roberta模型对所述第五数量个字符进行第二编码处理;
41.交互构建子单元,具体用于利用所述注意力层构建所述第一编码结果与所述第二编码结果的交互;
42.二维向量子单元,具体用于利用所述全连接层对所述交互结果进行全连接变换。
43.在一些实施例中,所述装置还包括:
44.结果判断单元,用于利用完成训练的二分类模型判断所述第一维向量的得分值的结果是否准确;
45.参数更新单元,用于当所述第一维向量的得分值的结果不准确时,更新所述第一roberta模型、第二roberta模型、注意力层和全连接层的参数。
46.在一些实施例中,所述装置还包括:
47.标签筛选单元,用于从多个待筛选标签中筛选所述目标类型的标签,所述多个待筛选标签对应相同的目标技术领域。
48.在一些实施例中,所述标签筛选单元,包括:
49.测试集识别子单元,用于将属于所述目标技术领域的测试样本集输入原始标签识别模型,获取所述测试样本集中的字符对应的标签识别结果;
50.测试集参数确定子单元,用于根据所述测试样本集中的字符对应的标签识别结果、以及所述测试样本集中的字符实际对应的标签,确定所述多个待筛选标签中的每个待筛选标签的第一参数和第二参数,其中,所述多个待筛选标签为所述测试样本集中的字符实际对应的全部标签;
51.训练集参数确定子单元,用于根据训练样本集中的字符实际对应的全部标签中的每个标签的出现次数,确定每个所述待筛选标签的第三参数;
52.标签筛选子单元,用于对于每个所述待筛选标签,若所述待筛选标签的第一参数、第二参数以及第三参数均满足预设条件,则判定该待筛选标签为所述目标类型的标签。
53.本技术实施例提供的标签识别方法中,可以获取输入文本,并将输入文本拆分成第一数量个字符,然后对第一数量个字符中的每个字符进行编码处理,得到对应的编码结果,共第一数量个编码结果。随后,将第一数量个编码结果作为整体,输入至第二数量个多层感知器中的每个多层感知器,从而可以得到每个多层感知器输出的输出向量,共第二数量个输出向量,其中,每个多层感知器均有自身对应互不相同的标签;每个输出向量的维度数量均是第一数量,且第一数量的维度与第一数量的字符一一对应。对于每个输出向量,可以将其第一数量个维度的分数值与预设分数值进行比较,并获取到分数值超过预设分数值的至少一个维度。上述的至少一个维度对应有至少一个字符,该至少一个字符为输入文本中的一个名词,且该名词所属的标签便是上述的至少一个维度所属的输出向量对应的标签。
54.在本技术中,并联的、且与多个标签分别对应的多个多次感知器可以生成输出向
量,且输出向量中的维度的分数值可以与预设分数值进行比较,从而可以得到分数值超过预设分数值的维度所对应的字符,并进一步得到这部分字符所属的标签。本技术利用到了并联的、且与多个标签分别对应的多个多次感知器,从而使得输出向量的生成过程更加具有针对性,从而使得字符所表示的名词的标签的类型预测地更加准确。
附图说明
55.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
56.图1是本技术实施例提供的标签识别方法的场景示意图;
57.图2是本技术一实施例提供的标签识别方法的流程示意图;
58.图3示出了标签识别模型在应用阶段的一种具体实施方式的模型示意图;
59.图4示出了标签识别模型在训练阶段的一种具体实施方式的模型示意图;
60.图5示出了概率预测模型的一种具体实施方式的模型示意图;
61.图6示出了现有技术中的标注方式与本技术对应的标注方式的对比示意图;
62.图7示出了原始标签识别模型的一种具体实施方式的模型示意图;
63.图8是本技术一实施例提供的标签识别装置的一种结构示意图;
64.图9是本技术实施例提供的电子设备的结构示意图。
具体实施方式
65.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
66.本技术实施例提供一种标签识别方法、装置、电子设备和存储介质。
67.其中,该标签识别装置具体可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(personal computer,pc)等设备。服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
68.在一些实施例中,该标签识别装置还可以集成在多个电子设备中,比如,标签识别装置可以集成在多个服务器中,由多个服务器来实现本技术的标签识别方法。
69.在一些实施例中,服务器也可以以终端的形式来实现。
70.例如,上述的电子设备可以执行如下方法:获取输入文本,所述输入文本包括第一数量个字符;对每个所述字符进行编码处理,得到对应的编码结果;将第一数量个所述编码结果输入至第二数量个多层感知器中的每个多层感知器,得到每个所述多层感知器输出的输出向量,其中,所述第二数量个多层感知器并联,每个所述多层感知器均有各自对应的标签,每个所述输出向量的维度为第一数量,第一数量个维度与第一数量个字符一一对应;对于第二数量个所述输出向量中的每个输出向量,从第一数量个维度中获取分数值超过预设
分数值的至少一个维度,其中,所述至少一个维度有对应的至少一个字符,所述至少一个字符的标签便为所述至少一个维度所属的输出向量对应的标签。
71.详情请参见图1,不妨以输入文本是“头疼三天,服用散利痛未见效”为例进行说明,该输入文本共包括13个字符,分别为“头、疼、三、天、,、服、用、散、利、痛、未、见、效”。对上述13个字符中的每个字符均进行编码处理,可以得到每个字符分别对应的处理结果;例如,“头、疼、三、天、,、服、用、散、利、痛、未、见、效”分别对应“结果1、结果2、结果3、结果4、结果5、结果6、结果7、结果8、结果9、结果10、结果11、结果12、结果13”。
72.在得到上述13个处理结果之后,可以将上述13个处理结果作为整体,分别输入到多层感知器1、多层感知器2

多层感知器n。其中,每个多层感知器均有各自对应的标签:多层感知器1对应标签1,多层感知器2对应标签2

多层感知器n对应标签n。n个多层感知器中的每个多层感知器在对13个处理结果进行输出后均会产生输出向量,共n个输出向量。每个输出向量均为13维向量,13个维度与13个字符一一对应。
73.对于每个输出向量,可以将该输出向量的13个维度的分数值分别与预设分数值进行比较,从而选取出分数值超过预设分数值的至少一个维度,至少一个维度有着自身对应的字符,该字符的标签便是上述的至少一个维度所属的输出向量对应的标签。
74.详情请参见图1,不妨设标签1所对应的输出向量的1维为分数值超过预设分数值的维度,则1维对应的字符是输入文本“头疼三天,服用散利痛未见效”中的“头”,而“头”的标签便是标签1。又不妨设标签2所对应的输出向量的1维、2维均为分数值超过预设分数值的维度,则1维、2维对应的字符是输入文本“头疼三天,服用散利痛未见效”中的“头”和“疼”,因此,可以看做1维、2维对应的字符组合成的名词“头疼”的标签便是标签2,同理,也可知名词“散利痛”对应的标签便是标签n。标签1可以是人体部位标签,即所有归属于人体部位这个类型的名词均属于标签1;标签2可以是症状标签,标签n可以是药物标签。
75.以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
76.在本实施例中,提供了一种标签识别方法,如图2所示,该标签识别方法应用在终端,该方法的具体流程可以包括如下步骤110至步骤140:
77.110、获取输入文本,所述输入文本包括第一数量个字符。
78.输入文本为待被预测标签的文本,输入文本可以是描述某一专业领域的信息的文本信息。专业领域为不易被普通人了解或熟悉的、具有专业技术门槛的领域,例如医学领域、法律领域等。
79.该输入文本中可以包括有第一数量个字符。其中,第一数量为正整数的数量,第一数量的具体数量值不应该理解为是对本技术的限制。可选地,在获取到输入文本之后,可以对输入文本进行分词处理,得到第一数量个字符。
80.120、对每个所述字符进行编码处理,得到对应的编码结果。
81.对于第一数量个字符中的每个字符,均可以进行编码处理,从而可以得到每个字符分别对应的编码结果。
82.可选地,在一种具体实施方式中,步骤120具体可以包括如下步骤121至步骤122:
83.121、获取标签识别模型,所述标签识别模型包括cnn和第二数量个并联的多层感知器。
84.标签识别模型为用于对输入文本所包括的名词进行标签识别的模型,其中,输入文本包括的名词可以由至少一个字符组成。标签识别模型可以包括卷积神经网络(convolutional neural networks,简称cnn)和第二数量个多层感知器(multilayer perceptron,简称mlp),第二数量个多层感知器相互并联。其中,第二数量为正整数的数量,第二数量的具体数量值同样不应该理解为是对本技术的限制。
85.122、通过所述cnn对每个所述字符进行编码处理,得到对应的编码结果。
86.cnn可以是gated cnn,也可以是双向gated cnn,cnn的具体类型不应该理解为是对本技术的限制。
87.详情请参见图3,图3示出了标签识别模型在应用阶段的一种具体实施方式。接下来不妨以专业领域是医学领域、输入文本是“头疼三天,服用散利痛未见效”、且cnn是双向gated cnn为例,对本技术实施例进行说明。
88.通过cnn对每个字符进行编码处理具体可以包括如下过程:
89.对于输入文本“头疼三天,服用散利痛未见效”包括的13个字符“头、疼、三、天、,、服、用、散、利、痛、未、见、效”中的每个字符,均会拆分为m维向量,从而可以得到13*m的矩阵。其中,m的取值同样为正整数,具体取值范围不应该理解为是对本技术的限制。
90.上述过程中,将每个字符均拆分为m维向量可以通过以下方式实现:1、将每个字符随机初始化为m维向量;2、利用预先设置的m维向量对每个字符进行初始化。应当理解,将字符拆分为m维向量也可以通过其他方式实现,具体实现方式不应该理解为是对本技术的限制。
91.设置一个n*m的卷积核,其中,n为小于13的正整数。随后利用该n*m的卷积核对上述的13*m的矩阵从左往右移动进行卷积,每个时间步移动的步长为1,移动13次,便可以得到13*1的第一卷积结果;然后再利用该n*m的卷积核对上述的13*m的矩阵从右往左进行卷积,每个时间步移动的步长为1,移动13次,便可以得到13*1的第二卷积结果。接着将第一卷积结果与第二卷积结果纵向拼接起来,得到13*2的拼接结果。该13*2的每列为与13个字符中的相应字符对应的编码结果,例如,第一个字符“头”对应的编码结果为13*2的拼接结果的第一列,第二个字符“疼”对应的编码结果为13*2的拼接结果的第二列

依次类推。
92.130、将第一数量个所述编码结果输入至第二数量个多层感知器中的每个多层感知器,得到每个所述多层感知器输出的输出向量;其中,所述第二数量个多层感知器并联,每个所述多层感知器均有各自对应的标签,每个所述输出向量的维度为第一数量,第一数量个维度与第一数量个字符一一对应。
93.第一数量个编码结果作为整体,可以分别输入到每个多层感知器,从而可以获取每个多层感知器输出的输出向量,由于多层感知器的数量为第二数量个,因此,输出向量的数量同样也为第二数量个。
94.接上文的举例继续进行说明,详情请参见图3,编码结果输入至多层感知器1,多层感知器1会输出与标签1对应的输出向量;编码结果输入至多层感知器2,多层感知器2会输出与标签2对应的输出向量

编码结果输入至多层感知器n,多层感知器n会输出与标签n对应的输出向量。
95.应当理解,输出向量与标签的对应关系可以是通过输出该输出向量的多层感知器实现的,由于每个多层感知器均有自身对应的标签,因此由多层感知器输出的输出向量也
有着对应的标签。
96.每个输出向量均具有第一数量个维度,每个维度均有自身对应的分数值,第一数量个维度与第一数量个字符一一对应。详情请参见图3,与标签1对应的输出向量具有13个维度,也标签2对应的输出向量也具有13个维度,且输出向量13个维度中的第i个维度与13个字符中的第i个字符相对应,i为不超过第一数量的正整数,在本例中,i便为不超过13的正整数。
97.140、对于第二数量个所述输出向量中的每个输出向量,从第一数量个维度中获取分数值超过预设分数值的至少一个维度,其中,所述至少一个维度有对应的至少一个字符,所述至少一个字符的标签便为所述至少一个维度所属的输出向量对应的标签。
98.对于每个输出向量,均会将该输出向量中的第一数量个维度的分数值与预设分数值进行比较,若分数值超过预设分数值,则说明相应的维度表示的字符属于该输出向量对应的标签的可能性较高。因此,可以判定:分数值超过预设分数值的维度表示的字符的标签为该输出向量对应的标签。
99.接上文的举例继续进行说明,例如,对于标签n对应的输出向量,不妨设维度中的第8维、第9维以及第10维的分数值均超过预设分数值,则可以获取第8维、第9维以及第10维分别对应的字符,即“散”、“利”、“痛”,然后判定上述三个字符组成的名词“散利痛”对应的标签为标签n。
100.在上述的实施方式中,并联的、且与多个标签分别对应的多个多次感知器可以生成输出向量,且输出向量中的维度的分数值可以与预设分数值进行比较,从而可以得到分数值超过预设分数值的维度所对应的字符,并进一步得到这部分字符所属的标签。本技术利用到了并联的、且与多个标签分别对应的多个多次感知器,从而使得输出向量的生成过程更加具有针对性,从而使得字符所表示的名词的标签的类型预测地更加准确。
101.可选地,在一种具体实施方式中,在步骤120之前,本技术实施例还可以包括如下步骤a1至步骤a8:
102.a1、获取训练文本,所述训练文本包括第三数量个训练字符。
103.此处的训练文本为被针对性标注过目标类型的标签的文本。其中,目标类型的标签为满足某一种或几种特性的标签。例如,目标类型的标签可以是在训练集中出现的频率低的标签;目标类型的标签也可以是经多次训练后,依然难以被准确识别的标签;目标类型的标签还可以是既出现的频率低,又难以被准确识别的标签。第三数量的取值为正整数,第三数量的具体数值同样不应理解为是对本技术的限制。
104.详情请参见图4,图4示出了标签识别模型在训练阶段的一种具体实施方式。可以看出,图4示出的训练阶段与图3示出的应用阶段相比,输入量除了与输入文本对应的训练文本外,还增加了标注声明信息,关于标注声明信息将在介绍步骤a4时再进行详细说明。
105.a2、对每个所述训练字符进行编码处理,得到对应的训练编码结果。
106.步骤a2的具体实现方式与步骤120对应相同,在此便不做赘述。
107.a3、将所述第三数量个训练编码结果输入至所述第二数量个多层感知器中的每个多层感知器,得到每个所述多层感知器输出的训练输出向量,每个所述多层感知器均有各自对应的标签。
108.步骤a3的具体实现方式与步骤130对应相同,在此便不做赘述。
109.a4、获取标注声明信息,所述标注声明信息用于声明所述训练文本中的带有标注信息的目标类型的标签。
110.标注声明信息用于声明对应的训练文本被针对性标注的标签的类型。具体地,标注声明信息为数据量为第三数量位的数据串,该数据串的每个数据位均唯一对应有标签。若训练文本被针对性标注了某个或某几个标签,则数据串的某个或某几个数据位可以设置标注信息,数据串的其他数据位可以未设置上述的标注信息。设置标注信息可以是置一,未设置标注信息则可以是置零。例如,不妨设训练文本被针对性标注了标签1,训练文本可能还包括属于其他标签的字符,但其他标签并没有被工作人员标注出来。在这种情况下,标注声明信息会在与标签1对应的数据位置一,其他数据位均置零,详情请参见图4。
111.a5、获取所述目标类型的标签对应的目标多层感知器。
112.由于标签与多次感知器为一一对应的,因此,可以根据目标类型的标签,获取到对应的目标多次感知器。
113.a6、根据所述目标多层感知器输出的所述输出向量,计算损失,并获取所述损失的加和。
114.在上述的实施方式中,在计算损失时,可以仅根据目标多层感知器输出的输出向量进行计算;而对于非目标多层感知器,可以将其对应的损失置零。在计算损失的加和时,只根据目标多层感知器输出的输出向量计算损失,若目标多层感知器的数量仅有一个,则将其对应的损失作为损失的加和。
115.训练文本只被针对性标注了目标类型的标签,因此,训练文本中可能存在归属于非目标类型的标签却未被标注的训练字符。若不将非目标多层感知器对应的损失置零,标签识别模型在识别出归属于非目标类型的标签的训练字符后,由于该非目标类型的标签未被标注,所以在计算损失时,便会引入误差;该误差是通过如下方式产生的:虽然准确识别了非目标类型的标签,却因非目标类型的标签未标注而被错误计算损失值。
116.在上述的实施方式中,可以使得在对标签识别模型进行训练的过程中,定向增多标签识别模型对目标类型的标签的训练,从而可以提高标签识别模型对目标类型的标签的识别准确率;同时又有效避免定向增多对目标类型的标签的训练而对非目标类型的标签的识别产生误差。与现有技术中的既增加目标类型的标签的标注又增加其他类型的标签的标注相比,节省了工作人员对其他类型的标签进行标注的工作时间,针对性地完善了标签识别模型。
117.a7、若所述损失的加和收敛,则得到完成训练的标签识别模型。
118.a8、若所述损失的加和未收敛,则根据所述损失的加和,对所述cnn以及所述目标多层感知器进行参数更新,直至损失的加和收敛,得到完成训练的标签识别模型。
119.若所述损失的加和未收敛,则根据所述损失的加和,对所述被标注的标签对应的多层感知器进行参数更新,根据更新后的目标多层感知器输出的输出向量,计算新的损失,并获取所述新的损失的加和,若所述新的损失的加和未收敛,以此迭代,直至损失的加和收敛,得到完成训练的标签识别模型。
120.在上述的实施方式中,根据所述目标多层感知器输出的所述输出向量,计算损失,具体可以通过如下方式实现:
121.不妨设目标多层感知器对应的目标类型的标签为标签c,则
122.根据公式计算标签c的损失值lc。其中,ω
neg
表示标签c所对应的输出向量中所有未被标注的位置,ω
pos
表示标签c所对应的输出向量中所有被标注标签的位置,sj表示第j维度对应的分数值。
123.可选地,在一种具体实施方式中,在步骤a1之前,本技术实施例还可以包括如下步骤:
124.从多个待筛选文本中筛选被选中文本,所述被选中文本包括有归属于所述目标类型的标签的名词,所述被选中文本为未进行标签标注的训练文本。
125.待筛选文本为待筛选的、描述某一专业领域的信息的文本信息。待筛选文本中可能包括有归属于目标类型的标签的名词,也可能未包括归属于目标类型的标签的名词。应当理解,此时从多个待筛选文本中筛选出的被选中文本,是尚未被工作人员进行针对性标注过目标类型的标签的训练文本。在将被选中文本筛选出后,下一步便可以由工作人员进行目标类型的标签的标注。
126.在上述的实施方式中,从多个待筛选文本中将被选中文本筛选出来,由机器实现:识别文本中是否包括归属于目标类型的标签的名词的工作,而非由工作人员实现上述工作,使得工作人员直接将被选中文本中的属于目标类型的标签的名词标注出即可,可以进一步减小工作人员的工作负担。
127.可选地,步骤“从多个待筛选文本中筛选被选中文本,所述被选中文本包括有归属于所述目标类型的标签的名词”具体包括如下步骤b1至步骤b6:
128.对于多个待筛选文本中的每个待筛选文本,均执行如下步骤b1至步骤b5:
129.b1、对所述待筛选文本包括的第四数量个字符进行第一编码处理,得到第一编码结果。
130.第四数量的取值范围是正整数,第四数量的具体数值不应该理解为是对本技术的限制。第一编码结果包括第四数量个n维向量,第四数量个n维向量与第四数量个字符一一对应,第一编码结果为第四数量
×
n的矩阵。其中,n的取值为正整数,例如,n可以取80、100、200等数值,其具体取值不应该理解为是对本技术的限制。
131.可选地,步骤b1是在概率预测模型中执行的,概率预测模型包括第一roberta模型、第二roberta模型、注意力层和全连接层,详情请参见图5。
132.步骤b1具体可以利用所述第一roberta模型对所述第四数量个字符进行第一编码处理。
133.b2、对目标类型词典包括的第五数量个字符进行第二编码处理,得到第二编码结果。
134.其中,所述目标类型词典包括多个目标名词,多个目标名词均归属于目标类型的标签,所述多个目标名词共包括所述第五数量个字符。例如,不妨设目标类型的标签为标签c,目标类型词典为词典c,词典c中有p个名词,这p个名词的标签均为标签c,且这p个名词的总的字符数量为第五数量个。
135.第二编码结果包括第五数量个n维向量,第五数量个n维向量与上述的第五数量个字符一一对应,第二编码结果为第五数量
×
n的矩阵。步骤b2具体可以利用所述第二roberta模型对所述第五数量个字符进行第二编码处理,详情请参见图5。
136.b3、根据注意力机制,构建所述第一编码结果与所述第二编码结果的交互,得到交互结果。
137.步骤b3具体可以利用注意力层构建第一编码结果与第二编码结果的交互,详情请参见图5。
138.不妨设第四数量取值13,第五数量取值100,则第一编码结果便为13
×
n的矩阵,共13个n维向量;第二编码结果便为100
×
n的矩阵,共100个n维向量。第一编码结果与第二编码结果共有113个n维向量。步骤b3具体包括如下过程:
139.对于全部113个n维向量中的每个n维向量,均可以执行如下步骤:
140.不妨以第一n维向量为例进行说明,第一n维向量为113个n维向量中的任一n维向量。
141.计算第一n维向量与113个向量的内积,共得到113个乘积。
142.再对这113个乘积进行softmax变换,便可以得到第一n维向量与全部113个n维向量分别对应的权重值。
143.随后再计算113个n维向量的加权和,该加权和为第一n维向量的交互结果。
144.通过上述方式,便可以得到全部113个n维向量中的每个n维向量的交互结果。
145.b4、对所述交互结果进行全连接变换,得到二维向量结果。
146.步骤b4具体可以利用所述全连接层对所述交互结果进行全连接变换,得到二维向量结果。其中,二维向量结果包括第一维向量和第二维向量,第一维向量用于描述待筛选文本包括有归属于所述目标类型的标签的名词的可能性,第二维向量用于描述待筛选文本未包括有归属于所述目标类型的标签的名词的可能性。
147.b5、获取所述二维向量结果中的第一维向量的得分值。
148.其中,所述第一维向量的得分值反映:所述待筛选文本包括有归属于所述目标类型的标签的名词的概率。得分值越高,待筛选文本包括有归属于所述目标类型的标签的名词的概率越大。
149.对多个待筛选文本中的每个待筛选文本均执行上述的步骤b1至b5,便可以得到每个待筛选文本所对应的第一维向量的得分值。可选地,在获取到多个待筛选文本中的每个待筛选文本对应的第一维向量的得分值之后,执行步骤b6:
150.b6、从所述多个待筛选文本中,选取第一维向量的得分值最高的预设数量个待筛选文本,所述预设数量个待筛选文本为所述被选中文本。
151.在步骤b6中,在得到每个待筛选文本所对应的第一维向量的得分值后,可以根据得分值的大小对多个待筛选文本进行降序排列,然后再截取前预设数量个待筛选文本,并将这预设数量个待筛选文本作为被选中文本。
152.在上述的实施方式中,可以将第一维向量的得分值最高的预设数量个待筛选文本作为被选中文本。第一维向量的得分值高便意味着待筛选文本包括有归属于所述目标类型的标签的名词的概率较大,令工作人员获得到的被选中文本有较大的概率包括有归属于所述目标类型的标签的名词,从而使得工作人员可以专注于对目标类型的标签的标注工作,减少了对待标注文本的筛选工作,提高了工作效率。
153.详情请参见图6,图6示出了工作人员的传统标注方式(即现有技术中的标注方式)与提案标注方式(即本技术对应的标注方式)的对比。不妨设“头晕”为归属于所述目标类型
的标签的名词,且目标类型的标签为“不良反应”,结合图6可以看出,在现有技术的标注方式中,不仅要对目标类型的标签“不良反应”的名词“头晕”进行标注,还需要对其他类型的标签进行标注,例如,将“头”标注为“部位”标签,将“头疼”标注为“症状”标签,将“三天”标注为“持续时间”标签,将“散利痛”标注为“药物”标签等。
154.而对于本技术对应的标注方式,工作人员仅需要对目标类型的标签“不良反应”的名词“头晕”进行标注,归属于其他类型的标签的名词则不需要进行标注,从而极大地提高了工作人员的工作效率。
155.可选地,在一种实施方式中,在步骤b5之后,本技术实施例还可以包括如下步骤:
156.利用完成训练的二分类模型判断所述第一维向量的得分值的结果是否准确;若不准确,更新所述第一roberta模型、第二roberta模型、注意力层和全连接层的参数。
157.在上述的实施方式中,在步骤b5计算出第一维向量的得分值后,可以利用完成训练的二分类模型判断第一维向量的得分值的结果是否准确,若不准确,则可以依据二分类模型的判断结果更新概率预测模型的各参数,从而不断对概率预测模型进行完善。
158.在一种具体实施方式中,可以通过如下方式实现对概率预测模型的训练:
159.不妨仍以标签c为例,首先从已标注过标签的文本中获取到一批标注有标签c的文本片段,然后将这批文本片段与词典c构建成一批正样本;然后从已标注过标签的文本中获取到一批不包含标签c的文本片段,将这批文本片段与词典c构建成一批负样本。然后利用构建出的正样本和负样本实现对概率预测模型的训练。
160.可选地,在一种具体实施方式中,在步骤“从多个待筛选文本中筛选被选中文本”之前,本技术实施例还可以包括如下步骤:
161.从多个待筛选标签中筛选所述目标类型的标签,所述多个待筛选标签对应相同的目标技术领域。
162.像上文所描述的,目标类型的标签可以是在训练集中出现的频率低的标签;目标类型的标签也可以是经多次训练后,依然难以被准确识别的标签;目标类型的标签还可以是既出现的频率低,又难以被准确识别的标签。
163.不妨以目标类型的标签是既出现的频率低,又难以被准确识别的标签,目标技术领域是医学领域为例,进行说明:在筛选训练文本之前,需要从同属医学领域的多个待筛选标签中筛选出出现的频率低且难以被准确识别的标签。
164.可选地,步骤“从多个待筛选标签中筛选所述目标类型的标签”具体可以包括如下步骤c1至步骤c4:
165.c1、将属于所述目标技术领域的测试样本集输入原始标签识别模型,获取所述测试样本集中的字符对应的标签识别结果。
166.原始标签识别模型可以包括特征提取网络和全连接层,详情请参见图7。其中,关于原始标签识别模型的训练过程,可以通过crf的方式计算原始标签识别模型的损失,并且在损失收敛时,得到完成训练的原始标签识别模型。将测试样本集中的任一个测试样本输入原始标签识别模型,便可以得到该测试样本的字符对应的标签识别结果。
167.例如,不妨以测试样本“牙齿疼痛,服用阿司匹林见效”为例进行说明:
168.将测试样本“牙齿疼痛,服用阿司匹林见效”拆分成13个字符“牙、齿、疼、痛、,、服、用、阿、司、匹、林、见、效”,然后利用特征提取网络对上述13个字符进行编码,得到编码结
果。
169.可选地,特征提取网络可以是cnn,cnn可以是gated cnn,也可以是双向gated cnn。不妨设特征提取网络为双向gated cnn,则双向gated cnn对13个字符进行编码的过程与步骤122中对每个字符进行编码处理的过程相同,在此便不做赘述。应当理解,特征提取网络除了是cnn以外,还可以是bilstm,特征提取网络的具体类型不应该理解为是对本技术的限制。
170.将编码结果输入至原始标签识别模型的全连接层,便可以得到13个字符“牙、齿、疼、痛、,、服、用、阿、司、匹、林、见、效”中的每个字符分别对应的(2
×
a+1)维向量。其中,a为该原始标签识别模型所能够识别的标签的数量,由于每个标签均分为标签开头部分和标签非开头部分,因此取2
×
a;而测试样本包括的字符中存在不归属于任何标签的字符例如“,”,因此还有表示不归属于任何标签的空,故每个字符分别对应的向量均是(2
×
a+1)维向量,其中,每个字符分别对应的(2
×
a+1)维向量均有各自的分数值。
171.对于多个字符中的每个字符,对字符的(2
×
a+1)维向量做softmax变换,便可以得到每个字符作为(2
×
a+1)中标签情况的概率值。取概率值最大的标签情况作为对应字符的标签,便可以得到该字符的标签。
172.重复执行上述步骤,便可以实现对测试样本集中的每个测试样本进行标签的识别。
173.c2、根据所述测试样本集中的字符对应的标签识别结果、以及所述测试样本集中的字符实际对应的标签,确定所述多个待筛选标签中的每个待筛选标签的第一参数和第二参数,其中,所述多个待筛选标签为所述测试样本集中的字符实际对应的全部标签。
174.在通过步骤c1得到测试样本集中的每个测试样本标签识别结果后,根据上述的标签识别结果以及测试样本集中的字符实际对应的标签,确定每个待筛选标签的第一参数和第二参数。其中,第一参数和第二参数可以用于反映待筛选标签是否能够被准确识别;第一参数可以是f1分数,第二参数可以是置信度。
175.可以通过如下方式计算每个待筛选标签的f1分数:
176.对于每个待筛选标签,可以先计算每个待筛选标签的精确率和召回率。
177.其中,精确率precision表示的是预测为正的样本中有多少是真正的正样本。而预测为正的样本有如下两种情况:将实际为正的样本预测为正(tp),将实际为负的样本预测为正(fp),因此,精确率precision=tp/(tp+fp)。
178.召回率recall表示的是样本中的正例有多少被预测正确,而正例被预测的结果有如下两种情况:将实际为正的样本预测为正(tp),将实际为正的样本预测为负(fn)。因此,召回率recall=tp/(tp+fn)。
179.通过上述步骤计算出精确率precision和召回率recall后,可以利用如下公式计算f1分数。
180.可以通过如下方式计算每个待筛选标签的置信度:
181.不妨设标签c为多个待筛选标签中的任一待筛选标签,
182.根据公式计算置信度sc;其中,pk为测试样本集中被预测成标签为c、
且实际标签确实为c的字符在标签c处的概率值,∑
l
pk为测试样本集中被预测成标签为c、且实际标签确实为c的x个字符分别在标签c处的概率值的加和,l为测试样本集中被预测成标签为c、且实际标签确实为c的字符的总数。
183.c3、根据训练样本集中的字符实际对应的全部标签中的每个标签的出现次数,确定每个所述待筛选标签的第三参数。
184.第三参数为反映待筛选标签的出现频次的参数,第三参数可以为标签频次。不妨继续以标签c为例进行说明:获取标签c在训练样本集中出现的次数,该出现的次数便为标签c的标签频次nc。
185.c4、对于每个所述待筛选标签,若所述待筛选标签的第一参数、第二参数以及第三参数均满足预设条件,则判定该待筛选标签为所述目标类型的标签。
186.对于多个待筛选标签中的每个待筛选标签,可以分别获取待筛选标签的第一参数、第二参数以及第三参数,并且在第一参数、第二参数以及第三参数均满足预设条件时,将对应的待筛选标签确定为目标类型的标签。
187.不妨继续以标签c为例进行说明,标签c对应的第一参数为f1c,标签c对应的第二参数为nc,标签c对应的第三参数为sc。
188.若上述三个参数满足如下条件:
189.fc《90%
190.nc《250
191.sc《70%
192.则可以判定标签c为目标类型的标签。
193.本技术实施例提供的标签识别方法中,可以获取输入文本,并将输入文本拆分成第一数量个字符,然后对第一数量个字符中的每个字符进行编码处理,得到对应的编码结果,共第一数量个编码结果。随后,将第一数量个编码结果作为整体,输入至第二数量个多层感知器中的每个多层感知器,从而可以得到每个多层感知器输出的输出向量,共第二数量个输出向量,其中,每个多层感知器均有自身对应互不相同的标签;每个输出向量的维度数量均是第一数量,且第一数量的维度与第一数量的字符一一对应。对于每个输出向量,可以将其第一数量个维度的分数值与预设分数值进行比较,并获取到分数值超过预设分数值的至少一个维度。上述的至少一个维度对应有至少一个字符,该至少一个字符为输入文本中的一个名词,且该名词所属的标签便是上述的至少一个维度所属的输出向量对应的标签。
194.在本技术中,并联的、且与多个标签分别对应的多个多次感知器可以生成输出向量,且输出向量中的维度的分数值可以与预设分数值进行比较,从而可以得到分数值超过预设分数值的维度所对应的字符,并进一步得到这部分字符所属的标签。本技术利用到了并联的、且与多个标签分别对应的多个多次感知器,从而使得输出向量的生成过程更加具有针对性,从而使得字符所表示的名词的标签的类型预测地更加准确。
195.为了更好地实施以上方法,本技术实施例还提供一种标签识别装置,该标签识别装置具体可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(personal computer,pc)等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。例如,如图8所
示,该标签识别装置可以包括:
196.输入文本获取单元801,用于获取输入文本,所述输入文本包括第一数量个字符;
197.编码处理单元802,用于对每个所述字符进行编码处理,得到对应的编码结果;
198.输出向量获取单元803,用于将第一数量个所述编码结果输入至第二数量个多层感知器中的每个多层感知器,得到每个所述多层感知器输出的输出向量,其中,所述第二数量个多层感知器并联,每个所述多层感知器均有各自对应的标签,每个所述输出向量的维度为第一数量,第一数量个维度与第一数量个字符一一对应;
199.标签确定单元804,用于对于第二数量个所述输出向量中的每个输出向量,从第一数量个维度中获取分数值超过预设分数值的至少一个维度,其中,所述至少一个维度有对应的至少一个字符,所述至少一个字符的标签便为所述至少一个维度所属的输出向量对应的标签。
200.在一些实施例中,编码处理单元802,包括:
201.模型获取子单元,用于获取标签识别模型,所述标签识别模型包括cnn和第二数量个并联的多层感知器;
202.结果获取子单元,用于通过所述cnn对每个所述字符进行编码处理,得到对应的编码结果。
203.在一些实施例中,所述装置还包括:
204.训练文本获取单元,用于获取训练文本,所述训练文本包括第三数量个训练字符;
205.训练编码获取单元,用于对每个所述训练字符进行编码处理,得到对应的训练编码结果;
206.训练输出获取单元,用于将所述第三数量个训练编码结果输入至所述第二数量个多层感知器中的每个多层感知器,得到每个所述多层感知器输出的训练输出向量,每个所述多层感知器均有各自对应的标签;
207.标注声明信息单元,用于获取标注声明信息,所述标注声明信息用于声明所述训练文本中的带有标注信息的目标类型的标签;
208.感知器获取单元,用于获取所述目标类型的标签对应的目标多层感知器;
209.损失加和计算单元,用于根据所述目标多层感知器输出的所述输出向量,计算损失,并获取所述损失的加和;
210.加和收敛单元,用于当所述损失的加和收敛时,则得到完成训练的标签识别模型。
211.在一些实施例中,所述装置还包括:
212.加和未收敛单元,用于当所述损失的加和未收敛时,则根据所述损失的加和,对所述cnn以及所述目标多层感知器进行参数更新,直至损失的加和收敛,得到完成训练的标签识别模型。
213.在一些实施例中,所述装置还包括:
214.训练文本筛选单元,用于从多个待筛选文本中筛选被选中文本,所述被选中文本包括有归属于所述目标类型的标签的名词,所述被选中文本为未进行标签标注的训练文本。
215.在一些实施例中,所述训练文本筛选单元包括:
216.第一编码子单元,用于对所述待筛选文本包括的第四数量个字符进行第一编码处
理,得到第一编码结果;
217.第二编码子单元,用于对目标类型词典包括的第五数量个字符进行第二编码处理,得到第二编码结果,其中,所述目标类型词典包括多个目标名词,所述多个目标名词均归属于所述目标类型的标签,所述多个目标名词共包括所述第五数量个字符;
218.交互构建子单元,用于根据注意力机制,构建所述第一编码结果与所述第二编码结果的交互,得到交互结果;
219.二维向量子单元,用于对所述交互结果进行全连接变换,得到二维向量结果;
220.得分值获取子单元,用于获取所述二维向量结果中的第一维向量的得分值,其中,所述第一维向量的得分值反映:所述待筛选文本包括有归属于所述目标类型的标签的名词的概率;
221.文本选取子单元,用于从所述多个待筛选文本中,选取第一维向量的得分值最高的预设数量个待筛选文本,所述预设数量个待筛选文本为所述被选中文本。
222.在一些实施例中,所述装置还包括:
223.模型获取单元,用于获取概率预测模型,所述概率预测模型包括第一roberta模型、第二roberta模型、注意力层和全连接层;
224.第一编码子单元,具体用于利用所述第一roberta模型对所述第四数量个字符进行第一编码处理;
225.第二编码子单元,具体用于利用所述第二roberta模型对所述第五数量个字符进行第二编码处理;
226.交互构建子单元,具体用于利用所述注意力层构建所述第一编码结果与所述第二编码结果的交互;
227.二维向量子单元,具体用于利用所述全连接层对所述交互结果进行全连接变换。
228.在一些实施例中,所述装置还包括:
229.结果判断单元,用于利用完成训练的二分类模型判断所述第一维向量的得分值的结果是否准确;
230.参数更新单元,用于当所述第一维向量的得分值的结果不准确时,更新所述第一roberta模型、第二roberta模型、注意力层和全连接层的参数。
231.在一些实施例中,所述装置还包括:
232.标签筛选单元,用于从多个待筛选标签中筛选所述目标类型的标签,所述多个待筛选标签对应相同的目标技术领域。
233.在一些实施例中,所述标签筛选单元,包括:
234.测试集识别子单元,用于将属于所述目标技术领域的测试样本集输入原始标签识别模型,获取所述测试样本集中的字符对应的标签识别结果;
235.测试集参数确定子单元,用于根据所述测试样本集中的字符对应的标签识别结果、以及所述测试样本集中的字符实际对应的标签,确定所述多个待筛选标签中的每个待筛选标签的第一参数和第二参数,其中,所述多个待筛选标签为所述测试样本集中的字符实际对应的全部标签;
236.训练集参数确定子单元,用于根据训练样本集中的字符实际对应的全部标签中的每个标签的出现次数,确定每个所述待筛选标签的第三参数;
237.标签筛选子单元,用于对于每个所述待筛选标签,若所述待筛选标签的第一参数、第二参数以及第三参数均满足预设条件,则判定该待筛选标签为所述目标类型的标签。
238.具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
239.本技术实施例提供的标签识别方法中,并联的、且与多个标签分别对应的多个多次感知器可以生成输出向量,且输出向量中的维度的分数值可以与预设分数值进行比较,从而可以得到分数值超过预设分数值的维度所对应的字符,并进一步得到这部分字符所属的标签。本技术利用到了并联的、且与多个标签分别对应的多个多次感知器,从而使得输出向量的生成过程更加具有针对性,从而使得字符所表示的名词的标签的类型预测地更加准确。
240.在本技术中,可以提高字符所表示的名词的标签的预测准确率。
241.本技术实施例还提供一种电子设备,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑,等等;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,等等。
242.在一些实施例中,该标签识别装置还可以集成在多个电子设备中,比如,标签识别装置可以集成在多个服务器中,由多个服务器来实现本技术的标签识别方法。
243.在本实施例中,将以本实施例的电子设备是电子设备为例进行详细描述,比如,如图9所示,其示出了本技术实施例所涉及的电子设备的结构示意图,具体来讲:
244.该电子设备可以包括一个或者一个以上处理核心的处理器901、一个或一个以上计算机可读存储介质的存储器902、电源903、输入模块904以及通信模块905等部件。本领域技术人员可以理解,图9中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
245.处理器901是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器902内的软件程序和/或模块,以及调用存储在存储器902内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。在一些实施例中,处理器901可包括一个或多个处理核心;在一些实施例中,处理器901可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器901中。
246.存储器902可用于存储软件程序以及模块,处理器901通过运行存储在存储器902的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器902可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器902还可以包括存储器控制器,以提供处理器901对存储器902的访问。
247.电子设备还包括给各个部件供电的电源903,在一些实施例中,电源903可以通过电源管理系统与处理器901逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功
耗管理等功能。电源903还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
248.该电子设备还可包括输入模块904,该输入模块904可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
249.该电子设备还可包括通信模块905,在一些实施例中通信模块905可以包括无线模块,电子设备可以通过该通信模块905的无线模块进行短距离无线传输,从而为用户提供了无线的宽带互联网访问。比如,该通信模块905可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
250.尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器901会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器902中,并由处理器901来运行存储在存储器902中的应用程序,从而实现各种功能,如下:
251.获取输入文本,所述输入文本包括第一数量个字符;对每个所述字符进行编码处理,得到对应的编码结果;将第一数量个所述编码结果输入至第二数量个多层感知器中的每个多层感知器,得到每个所述多层感知器输出的输出向量,其中,所述第二数量个多层感知器并联,每个所述多层感知器均有各自对应的标签,每个所述输出向量的维度为第一数量,第一数量个维度与第一数量个字符一一对应;对于第二数量个所述输出向量中的每个输出向量,从第一数量个维度中获取分数值超过预设分数值的至少一个维度,其中,所述至少一个维度有对应的至少一个字符,所述至少一个字符的标签便为所述至少一个维度所属的输出向量对应的标签。
252.以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
253.本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
254.为此,本技术实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本技术实施例所提供的任一种标签识别方法中的步骤。例如,该指令可以执行如下步骤:
255.获取输入文本,所述输入文本包括第一数量个字符;对每个所述字符进行编码处理,得到对应的编码结果;将第一数量个所述编码结果输入至第二数量个多层感知器中的每个多层感知器,得到每个所述多层感知器输出的输出向量,其中,所述第二数量个多层感知器并联,每个所述多层感知器均有各自对应的标签,每个所述输出向量的维度为第一数量,第一数量个维度与第一数量个字符一一对应;对于第二数量个所述输出向量中的每个输出向量,从第一数量个维度中获取分数值超过预设分数值的至少一个维度,其中,所述至少一个维度有对应的至少一个字符,所述至少一个字符的标签便为所述至少一个维度所属的输出向量对应的标签。
256.其中,该存储介质可以包括:只读存储器(rom,read only memory)、随机存取记忆体(ram,random access memory)、磁盘或光盘等。
257.根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程
序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中提供的各种可选实现方式中提供的方法。
258.由于该存储介质中所存储的指令,可以执行本技术实施例所提供的任一种标签识别方法中的步骤,因此,可以实现本技术实施例所提供的任一种标签识别方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
259.以上对本技术实施例所提供的一种标签识别方法、装置、电子设备和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1