一种处理方法以及装置与流程

1.本技术涉及数据处理技术领域，尤其涉及一种处理方法以及装置。


背景技术：

2.在实际应用中，在文本识别时，在文本中词语数量较少或词语之间的关系简单的情况下，文本识别的精度较好，但若文本中词语之间关系复杂，相关技术中的文本识别精度较低。


技术实现要素：

3.基于以上问题，本技术实施例提供了一种处理方法以及装置。
4.本技术实施例提供的技术方案是这样的：
5.本技术实施例提供了一种处理方法，其中，所述方法包括：
6.获取包含至少一个待处理词语的待处理文本；
7.对所述待处理文本进行特征提取，得到文本特征信息；
8.从图网络中获取具备关联关系的至少两种类别的词语的类别特征信息；
9.基于所述类别特征信息对所述文本特征信息进行处理，得到至少一种类别的所述待处理词语的位置信息。
10.本技术实施例还提供了一种处理装置，包括：
11.获取模块，用于获取包含至少一个待处理词语的待处理文本；
12.提取模块，用于对所述待处理文本进行特征提取，得到文本特征信息；
13.所述获取模块，还用于从图网络中获取具备关联关系的至少两种类别的词语的类别特征信息；
14.处理模块，用于基于所述类别特征信息对所述文本特征信息进行处理，得到至少一种类别的所述待处理词语的位置信息。
15.本技术实施例还提供了一种电子设备，其中，所述电子设备包括处理器和存储器；所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，能够实现如前任一实施例提供的处理方法。
16.本技术实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有计算机程序；所述计算机程序被电子设备的处理器执行时，能够实现如前任一实施例所述的处理方法。
17.由以上可知，本技术实施例提供的处理方法，在对待处理文本处理得到文本特征信息之后，并不是仅根据文本特征信息本身的特性进行处理，而是通过图网络中具备关联关系的至少两种类别的词语的类别特征信息，对文本特征信息进行分析处理，由于图网络携带了至少两种类别的词语的类别特征信息、以及至少两种类别的词语之间的关联关系，如此，即使在待处理文本中待处理词语的类别较多、且各个类别之间关系复杂的情况下，本技术实施例提供的处理方法依然能够通过从图网络中提取得到的具备关联关系的类别特
征信息这样的先验知识，对文本特征信息的处理过程进行指导和干预，进而使得得到的至少一种类别的待处理词语的位置信息，能够与待处理文本中各个待处理词语的类别、位置以及各个待处理词语之间的关联关系更一致，进而改善对具备复杂关系的待处理文本中的待处理词语的类别和位置确定的精度。
附图说明
18.图1为本技术实施例提供的处理方法的流程示意图；
19.图2为本技术实施例提供的得到至少一种类别的待处理词语的位置信息的流程示意图；
20.图3为本技术实施例提供的得到目标类别的待处理词语的位置信息的流程示意图；
21.图4为本技术实施例提供的获取类别特征信息的流程示意图；
22.图5为本技术实施例提供的处理模型的结构示意图；
23.图6为本技术实施例提供的处理模型的训练以及使用的流程示意图；
24.图7为本技术实施例提供的处理装置的结构示意图。
具体实施方式
25.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
26.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
27.本技术涉及数据处理技术领域，尤其涉及一种处理方法以及装置。
28.命名实体识别(name entity recognition，ner)，用于识别文本数据中具有特定意义的实体名称，比如人物名称、城市名称、机构名称、以及专业技术名词等。在实际应用中，ner在信息提取、智能问答系统、文本数据句法分析、智能翻译、以及知识图谱构建等领域均发挥着重要的作用，与此同时，ner在自然语言处理(natural language processing，nlp)走向实用化的过程中也占据着至关重要的地位。
29.在实际应用中，传统的ner任务在待识别文本中词语类别较少、且各个类别之间关系简单的情况下，通过长短期记忆网络(lstm，long short-term memory)与条件随机场(conditional random field，crf)相结合的方法、或基于转换器的双向编码表征(bidirectional encoder representation from transformers，bert)的方法可以实现对待识别文本中词语的识别。
30.但在很多应用场景下，待识别的命名实体的类别较多，比如其中有些命名实体的类别可达上百种，且部分类型之间的关联结构关系复杂，在这种情况下，若要采用相关技术中的lstm与crf结合的方法、或者bert的方法对这些命名实体进行高精度识别，则需要在ner模型训练时从完全随机的初始化参数空间中仅通过训练数据确定符合类别结构的合适权重，然而，这需要依赖大量的标注数据才能实现，但在实际应用中，很难构建包含大量的标注数据的样本空间。
31.除了lstm与crf结合的方法以及bert的方法之外，相关技术中还提供了用于处理细粒度的ner还包括多级识别方法，其针对不同层级粒度的识别任务分别训练识别模型，但
这种类识别模型的训练过程复杂，在粒度层级增多的情况下，上述识别模型的训练运算量以及识别模型的复杂度都会呈现指数级别的增长。并且，这种识别模型也只能应用于类别之间仅存在层级结构的细粒度命名实体的场景，一旦不同类别的命名实体之间的结构复杂化，这种识别模型的识别精度将会有明显的弱化。
32.基于以上问题，本技术实施例提供了一种处理方法以及装置，本技术实施例提供的处理方法，能够基于从图网络中获取的具备关联关系的至少两种类别的词语的类别特征信息，对待处理文本中提取到的文本特征信息进行处理，从而得到至少一种类别的待处理词语的位置信息，如此，通过图网络中携带的具备关联关系的至少两种类别的词语的类别特征信息先验知识，就能够指导对待处理文本的文本特征信息的处理方向，并改善对文本特征信息处理的精度，从而提高对待处理文本的处理精度。
33.本技术实施例提供的处理方法，可以通过电子设备的处理器实现。需要说明的是，上述处理器可以为特定用途集成电路(application specific integrated circuit，asic)、数字信号处理器(digital signal processor，dsp)、数字信号处理装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device，pld)、现场可编程逻辑门阵列(field programmable gate array，fpga)、中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器中的至少一种。
34.示例性的，电子设备可以包括计算机设备，比如服务器设备或个人计算机(personal computer，pc)；示例性的，电子设备还可以为智能移动设备，比如智能手机或平板电脑等。
35.图1为本技术实施例提供的处理方法的流程示意图，如图1所示，该方法可以包括步骤101至步骤104：
36.步骤101、获取包含至少一个待处理词语的待处理文本。
37.在一种实施方式中，待处理词语可以包括名词、动词、形容词、副词、连词、感叹词、代词、数词以及介词中的至少一种词语。
38.在一种实施方式中，待处理词语可以为命名实体类型的词语。
39.在一种实施方式中，待处理文本中可以包含至少一种类别的待处理词语；示例性的，待处理文本可以包括至少两种类型的文本数据，比如待处理文本可以包括数字、字符、字符串、字符与数字的组合、数学运算符号、以及中文字符中的至少两种；示例性的，待处理文本可以仅包括一种类型的文本数据，比如待处理文本仅包括中文字符或数字。
40.在一种实施方式中，在待处理文本包括多个待处理词语的情况下，多个待处理词语可以是按照公众惯用的文本表达的逻辑组织结构组织的，比如“我要去旅游”；示例性的，待处理文本中的多个待处理词语也可以是随机组织在一起的，比如“去我旅游”，本技术实施例对此不作限定。
41.在一种实施方式中，待处理文本可以是电子设备的处理器从电子设备的内部存储空间中获取的；示例性的，内部存储空间可以包括电子设备的内存或硬盘；示例性的，待处理文本还可以是电子设备的处理器从其它地址获取的，其中其它地址可以包括网络地址或其它设备的存储空间的地址。
42.步骤102、对待处理文本进行特征提取，得到文本特征信息。
43.在一种实施方式中，文本特征信息，可以包括待处理文本中待处理词语的数量、待
处理词语的基本类型、以及对待处理文本进行整合后得到的语义信息等。示例性的，待处理词语的基本类型，可以包括数字、字符、字符串以及数学符号等；示例性的，对待处理文本进行整合后得到的语义信息，可以包括对待处理文本进行初步分析，确定待处理文本的逻辑结构信息，若待处理文本的逻辑结构信息不为指定逻辑结构信息，则对待处理文本进行转换，并对转换后的待处理文本进行分析，得到上述语义信息。
44.在一种实施方式中，对待处理文本进行特征提取，可以是对待处理文本进行划分，得到至少一个待处理词语，然后通过二叉树算法或决策树算法对至少一个待处理词语进行分析得到的。
45.在一种实施方式中，对待处理文本进行特征提取，可以通过神经网络实现，示例性的，上述神经网络可以包括lstm、或者卷积神经网络(convolutional neural networks，cnn)等能够实现文本特征信息提取功能的神经网络，本技术实施例对此不作限定。
46.步骤103、从图网络中获取具备关联关系的至少两种类别的词语的类别特征信息。
47.在一种实施方式中，至少两种类别，可以包括词语的基本类别，比如该词语是名词、动词、形容词以及介词等；示例性的，至少两种类别，还可以包括词语的扩展类别，其中，扩展类别可以包括根据公众的认知标准为词语赋予或扩展出来的类别，比如省会城市名称、乡村名称，这些词语都属于名词，但基于公众的认知标准，可以对表示地名的名词进行进一步的细粒度的划分；再比如，长跑属于健身运动类型的名词，但基于公众的认知标准，对长跑的细粒度划分可以为田径运动类型。
48.在一种实施方式中，至少两种类别的词语之间所具备的关联关系，可以包括与语法规范对应的基本类别的词语之间的关联关系，比如根据形容词与名词之间的结合规范，若形容词与名词相邻的出现在待处理文本中，则形容词与名词之间具备关联关系。
49.在一种实施方式中，至少两种类别的词语之间所具备的关联关系，可以包括扩展类别的词语之间所具备的关联关系，比如，在“合同”属于商业协议类别的名词，那么，与“合同”具备关联关系的至少两种类别的词语包括合同中的甲方、乙方、条款以及合同签约日期等。
50.在一种实施方式中，图网络，可以包括多个节点(node)以及连接节点的边(edge)，也就是说图网络可以包括节点的有穷非空集合以及连接节点之间的边的集合组成；其中，每一节点分别具备节点向量，其中节点向量可以用于表示一种类别的词语的类别特征信息；连接节点的边可以用于表示节点之间的关联关系；示例性的，连接节点的边也可以通过向量的形式表示，本技术实施例中可以将连接节点的边的向量记为关系向量或邻接向量，其用于表示边连接的两个节点之间关联关系的强弱。
51.在一种实施方式中，图网络，可以包括多种场景中被广泛采用的多种类别的词语的类别特征信息、以及这些类别特征信息之间的关联关系信息，比如图网络可以包括旅游、餐饮、商务、教育、以及医疗等场景中被广泛采用的多种类别的词语的类别特征信息、以及这些类别特征信息之间的关联关系信息。
52.在一种实施方式中，图网络，可以包括指定场景中被广泛采用的多种类别的词语的类别特征信息、以及这些类别特征信息之间的关联关系信息，比如，第一图网络中包含与旅游场景对应的多种类型的词语、以及这些类型的词语之间的关联关系，第二图网络中包含与医疗场景对应的多种类型的词语、以及这些类型的词语之间的关联关系。
53.在一种实施方式中，在图网络包含指定领域中词语的类型以及词语的属性信息，比如实体类别的词语类别的类型以及词语的属性信息的情况下，图网络又可以称为该领域对应的本体图。
54.在一种实施方式中，从图网络中获取具备关联关系的至少两种类别的词语的类别特征信息，可以是直接从图网络读取得到的，还可以先从图网络中获取词语的类别特征信息以及各个类别特征信息之间的关联关系信息，然后通过神经网络根据各个类别特征信息之间的关联关系信息，从多个类别特征信息中选取至少两种类别的词语的类别特征信息。
55.步骤104、基于类别特征信息对文本特征信息进行处理，得到至少一种类别的待处理词语的位置信息。
56.在一种实施方式中，至少一种类别的待处理词语的位置信息，可以包括至少一种类别的待处理词语相对于待处理文本的指定位置的位置信息，其中，上述指定位置，可以包括待处理文本的首个字符的位置、或待处理文本的末尾字符的位置等。
57.在一种实施方式中，至少一种类别的待处理词语的位置信息，可以包括待处理文本中的指定类别的词语的位置信息，比如待处理文本中类型为城市实体名称的词语的位置信息。
58.在一种实施方式中，至少一种类别的待处理词语的位置信息，可以包括待处理文本中指定类别的词语的位置信息、以及不属于该指定类别的词语的位置信息，示例性的，对于不属于指定类别的词语的位置信息，可以在待处理文本中出现该词语的位置上标识o(outside)，以表示该词语是指定类别之外的词语，而在待处理文本中出现的指定类别的词语，在指定类别的词语的首个字符位置上标识b(begin)，以表示检测到的指定类别的词语的起始位置，而在该词语的后续字符位置上标识i(inside)，以表示该指定类别的词语中的第二个至第n个字符，其中n为大于2的整数。
59.在一种实施方式中，基于类别特征信息对文本特征信息进行处理，可以是通过以下任一方式实现的：
60.基于类别特征信息与文本特征信息之间的匹配程度，确定待处理词语是否属于指定类别。
61.对文本特征信息进行分析处理，确定文本特征信息中的关联关系是否与至少两种类别特征信息之间的关联关系一致，在确定二者一致的情况下，基于至少两种类别特征信息对文本特征信息进行分析，从而确定待处理文本中是否包含与至少两种类别特征信息对应类别的词语。
62.在本技术实施例中，由于图网络中的类别特征信息是预先确定的，并且，图网络中不仅包含了类别特征信息，还包含了与各个类别之间的关联关系，因此，基于从图网络中得到的类别特征信息对文本特征信息进行处理的过程，相当于将类别特征信息这样的先验知识加入了对待处理文本的处理过程，也就是说，从图网络中得到的类别特征信息对文本特征信息的处理过程起到了指导的作用，从而不仅能够改善对待处理文本的处理精度，还能改善对待处理文本的处理效率。
63.由以上可知，在本技术实施例提供的处理方法中，在获取包含至少一个待处理词语的待处理文本、对待处理文本进行特征提取得到文本特征信息之后，能够基于从图网络中获取的具备关联关系的至少两种类别的词语的类别特征信息对文本特征信息进行处理，
得到至少一种类别的待处理词语的位置信息。
64.如此，本技术实施例提供的处理方法，在对待处理文本处理得到文本特征信息之后，并不是仅根据文本特征信息本身的特性进行处理，而是通过图网络中具备关联关系的至少两种类别的词语的类别特征信息，对文本特征信息进行分析处理，由于图网络携带了至少两种类别的词语的类别特征信息、以及至少两种类别的词语之间的关联关系，如此，即使在待处理文本中待处理词语的类别较多、且各个类别之间关系复杂的情况下，本技术实施例提供的处理方法依然能够通过从图网络中提取得到的具备关联关系的类别特征信息这样的先验知识，对文本特征信息的处理过程进行指导和干预，进而使得得到的至少一种类别的待处理词语的位置信息，能够与待处理文本中各个待处理词语的类别、位置以及各个待处理词语之间的关联关系更一致，进而改善对具备复杂关系的待处理文本中的待处理词语的类别和位置确定的精度。
65.基于前述实施例，本技术实施例提供的处理方法中，基于类别特征信息对文本特征信息进行处理，得到至少一种类别的待处理词语的位置信息，可以是通过图2所示的流程实现的。图2为本技术实施例提供的得到至少一种类别的待处理词语的位置信息的流程示意图，如图2所示，该流程可以包括步骤1041至步骤1042：
66.步骤1041、基于类别特征信息，确定处理模型的特征融合模块的特征融合权重。
67.在一种实施方式中，特征融合模块，可以包括能够实现特征融合功能的神经网络；示例性的，特征融合，可以包括对图网络的类别特征信息以及从待处理文本中提取得到的文本特征信息的融合。
68.在一种实施方式中，特征融合模块，可以通过神经网络领域的注意力机制attention对类别特征信息以及文本特征信息进行融合。在本技术实施例中，特征融合模块又可以称为attention模块，其中，attention模块可以实现对文本特征信息以及从图网络中得到的类别特征信息的针对性的融合，得到特征融合结果，再通过全连接层结合softmax模块、或者通过crf得到每一待处理词语属于某一类别的概率，并将概率最高的类别确定为该词语的目标类别，在目标类别确定之后，可以输出该词语的位置信息。
69.在一种实施方式中，处理模型可以仅包括特征融合模块，也就是说，文本特征信息以及类别特征信息，可以是通过其它模型分别对待处理文本以及图网络进行处理得到的。
70.在一种实施方式中，处理模型还可以包括用于对待处理文本进行处理的文本处理模块，和/或，用于对图网络处理的图特征处理模块。
71.在一种实施方式中，基于类别特征信息，确定处理模型的特征融合模块的特征融合权重，可以是通过以下方式实现的：
72.获取特征融合模型的初始特征融合权重，然后基于类别特征信息对初始特征融合权重进行修正，得到特征融合模块的特征融合权重。
73.从类别特征信息中获取指定类别的特征信息，然后基于指定类别的特征信息对特征融合模型的初始特征融合权重进行修正，得到特征融合模块的特征融合权重。
74.步骤1042、通过特征融合模块，基于特征融合权重对文本特征信息进行处理，得到至少一种类别的待处理词语的位置信息。
75.在一种实施方式中，通过特征融合模块，基于特征融合权重对文本特征信息进行处理，得到至少一种类别的待处理词语的位置信息，可以是通过以下方式实现的：
76.将文本特征信息输入至特征融合模块中，通过特征融合模块的特征融合权重对文本特征信息中的至少部分特征信息进行处理，以确定待处理文本中是否包含与类别特征信息对应类别的待处理词语，若待处理文本中包含与类别特征信息对应类别的待处理词语，则从待处理文本中得到与类别特征信息对应的类别的待处理词语的位置信息；相应的，若待处理文本中未包含与类别特征信息对应类别的待处理词语，则在每一待处理词语的位置信息均输出o，以表示待处理文本中未包含与类别特征信息对应类别的待处理词语。
77.由以上可知，本技术实施例提供的处理方法，从图网络中得到类别特征信息之后，能够基于类别特征信息确定处理模型的特征融合模块的特征融合权重，然后通过特征融合模块，基于特征融合权重对文本特征信息进行处理。如此，通过类别特征信息确定特征融合权重，就使得特征融合权重中包含有具备关联关系的类别特征信息的因素，从而使得特征融合权重能够基于类别特征信息中的先验知识，更快速精准且智能从文本特征信息中挖掘出各个具备关联关系的待处理词语的类别信息，进而削弱待处理词语之间的关联关系对待处理文本识别过程产生的干扰。
78.基于前述实施例，本技术实施例提供的处理方法中，通过特征融合网络，基于特征融合权重对文本特征信息进行处理，得到至少一种类别的待处理词语的位置信息，可以通过图3所示的流程实现，图3为本技术实施例提供的得到目标类别的待处理词语的位置信息的流程示意图，如图3所示，该流程可以包括步骤10421至步骤10422：
79.步骤10421、从类别特征信息中确定目标类别的目标特征信息。
80.在一种实施方式中，目标特征信息，可以包括至少一种类别的特征信息；示例性的，在目标特征信息的数量为一个的情况下，目标特征信息可以为多个类别特征信息中的首个特征信息、或者可以为多个类别特征信息中的任意特征信息；示例性的，目标特征信息可以是基于对待处理词语的处理需要而从多个类别特征信息中确定的。
81.在一种实施方式中，在目标特征信息的数量为至少两个的情况下，目标特征信息可以为从多个类别特征信息中选定的关联关系紧密程度大于第一阈值的类别特征信息，比如在图网络对应的场景为商务场景的情况下，目标特征信息可以包括：合同、甲方以及乙方等。
82.在一种实施方式中，目标特征信息，可以是通过神经网络从多个类别特征信息中提取得到的；示例性的，可以在图网络设定目标节点，然后通过神经网络对图网络进行处理，从而得到目标节点对应的目标特征信息；示例性的，由于图网络的信息展示方式更加直观，因此，在图网络中设定目标节点，再通过神经网络得到目标特征信息，从而使得目标特征信息的确定过程更直观，也能改善目标特征信息的确定效率。
83.步骤10422、通过特征融合模块，基于与目标特征信息关联的特征融合权重，对文本特征信息进行处理，得到目标类别的待处理词语的位置信息。
84.在一种实施方式中，与目标特征信息关联的特征融合权重，可以包括针对目标类别的待处理词语进行特征融合和特征筛选的权重。
85.在一种实施方式中，与目标特征信息关联的特征融合权重，可以是基于目标特征信息对特征融合模块的初始特征融合权重进行修正，得到的用于融合和筛选目标类别的待处理词语的权重。
86.在一种实施方式中，与目标特征信息关联的特征融合权重，可以是基于目标特征
信息对从特征融合权重中筛选得到的用于检测与目标类别的待处理词语的权重。
87.示例性的，通过特征融合模块，基于与目标特征信息关联的特征融合权重，对文本特征信息进行处理，得到目标类别的待处理词语的位置信息，可以是通过以下方式实现的：
88.将文本特征信息输入至特征融合模块，然后基于与目标特征信息关联的特征融合权重，对文本特征信息进行分析处理，以确定文本特征信息中是否包含目标类型的待处理词语，若包含目标类型的待处理词语，则在目标类别的待处理词语出现的位置以b或i的形式对该词语进行标识；若未包含目标类型的待处理词语，则在每个待处理词语的位置以o的形式进行标识。
89.在一种实施方式中，为了实现对待处理文本的细粒度处理，可以通过特征融合模块对文本特征信息执行多次处理，并且，特征融合模块每一次对文本特征信息进行处理时所依据的特征融合权重，均与预先确定的目标类别即第k类别的目标特征信息关联，如此，特征融合模块每一次对文本特征信息进行处理都可以确定待处理文本是否包含第k类别的待处理词语、以及第k类别的待处理词语的位置信息；在特征融合模块的对文本特征信息的一次处理结束之后，可以调整目标类别至第k+1类别，并通过特征融合模块中与第k+1类别关联的特征融合权重，对文本特征信息再次进行处理，从而可以确定第k+1类别的待处理词语的位置信息，如此循环往复，直至待处理文本中每一待处理词语的类别信息均确定为止。其中，k为大于或等于1的整数。
90.在相关技术中，传统的ner模型的识别过程包括对词语类别以及词语位置的识别，比如b-per代表begin-person，用于表示以人名开始的类别标识，而i-org代表inside-organization，用于表示以组织为非开始的类别标识。这样的识别过程需要处理的信息类型过多，因此，在词语类别较为丰富的时候，很容易降低识别的精度。
91.而在本技术实施例提供的处理方法中，可以预先设定目标类别，在对待处理文本进行处理时，只需要检测目标类别的待处理词语是否存在，若存在才需要确定目标类别的待处理词语的位置信息，从而大大减少了处理过程的复杂度，而且通过调整目标类别，还能够实现对待处理文本的高精细程度的识别。
92.由以上可知，本技术实施例提供的处理方法，能够从图网络的多个类别特征信息中确定目标类别的目标特征信息，并通过特征融合模块中与目标特征信息关联的特征融合权重对文本特征信息进行处理，从而得到目标类别的待处理词语的位置信息。如此，在对待处理文本进行处理时，通过调整目标类别的目标特征信息，就能够实现对待处理文本的针对性处理；并且，在目标类别的目标特征信息的数量为1的情况下，对待处理文本的单次处理能够精确的确定待处理文本中一种类别的待处理词语的位置信息，如此，就能够实现对待处理文本的细粒度的处理和识别，在此基础上，结合目标类别的目标特征信息的调整过程，就可以高效精准且灵活的实现对待处理文本步步递进的针对性处理，进一步提高对待处理文本中待处理词语类别和位置确定的精度，削弱待处理词语之间的复杂关系对待处理文本处理过程的干扰。
93.基于前述实施例，本技术实施例提供的处理方法中，基于类别特征信息，确定处理模型的特征融合模块的特征融合权重，可以通过以下方式实现：
94.基于类别特征信息对文本特征信息进行处理，确定特征融合权重。
95.在一种实施方式中，可以直接对类别特征信息以及文本特征信息进行加权运算，
并将运算得到的结果确定为特征融合权重，通过这种方式得到的特征融合权重，可以对类别特征信息中的任一类别的特征信息、以及对文本特征信息中的任一特征信息均敏感。
96.在一种实施方式中，可以根据权重计算函数基于类别特征信息对部分文本特征信息进行处理，从而强化或弱化文本特征信息中的部分文本特征信息，这就使得特征融合权重能够基于类别特征信息实现对文本特征信息的针对性检测。
97.在一种实施方式中，特征融合权重可以通过attention模块的三个状态向量计算得到；其中，attention模块的三个状态向量包括键向量、值向量以及查询向量；在本技术实施例中，查询向量可以为从图网络中得到的类别特征信息，键向量和值向量可以相同，且可以均为文本特征向量；示例性的，可以通过权重计算函数对键向量以及查询向量进行处理，就可以得到attention模块的特征融合权重。
98.示例性的，在本技术实施例中，文本特征信息可以为文本特征向量；示例性的，可以将文本特征向量记为文本token，通过特征融合模块比如attention模块对文本token进行处理得到特征融合结果之后，再结合文本token，就能够得到文本token相对于图网络的信息增益，从而使得文本特征融合结果中携带的图网络中的先验知识，能够得到更直接的表示。
99.由以上可知，本技术实施例提供的处理方法，能够基于类别特征信息对文本特征信息进行处理，得到特征融合权重，从而使得特征融合权重不仅对文本特征信息敏感，而且对图网络中的类别特征信息敏感，进而能够改善特征融合模块基于图网络中的先验知识对文本特征信息处理的精确度。
100.基于前述实施例，本技术实施例提供的处理方法中，从图网络中获取具备关联关系的至少两种类别的词语的类别特征信息，可以通过以下方式实现：
101.通过处理模型的图特征提取模块，对图网络进行处理，获取类别特征信息。
102.在一种实施方式中，图特征提取模块，可以通过节点遍历的方法从图网络中获取类别特征信息，在这种情况下，图特征提取模块并未对其获取得到的类别特征信息进行处理。
103.在一种实施方式中，图特征提取模块，还可以通过神经网络实现，示例性的，神经网络可以从图网络中得到多个节点的向量特征信息，并对各个节点的向量特征信息进行处理得到类别特征信息，通过上述处理过程，类别特征信息对待处理文本中待处理词语的类别可以更加敏感，从而改善处理模型对待处理文本的处理精度；示例性的，图特征提取模块所对应的神经网络可以包括生成对抗网络(generative adversarial network，gan)。
104.在一种实施方式中，处理模型的图特征提取模块对图网络进行处理，可以是通过以下任一方式实现的：
105.图特征提取模块获取图网络的节点向量以及邻接向量，然后根据邻接向量对节点向量进行调整处理，将调整处理的结果确定为类别特征信息。
106.图特征提取模块获取图网络中的节点向量以及邻接向量，然后根据邻接向量从节点向量中获取关联关系紧密程度大于或等于第二阈值的节点向量，并将这些节点向量作为类别特征信息。
107.由以上可知，本技术实施例提供的处理方法，能够通过处理模型的图特征提取模块对图网络进行处理，从而获取类别特征信息，如此，通过调整图特征提取模块的参数信
息，就能够实现对类别特征信息的针对性处理，从而为改善对文本特征信息的针对性处理以及改善对待处理文本的灵活性奠定基础。
108.基于前述实施例，本技术实施例提供的处理方法中，通过处理模型的图特征提取模块，对图网络进行处理，获取类别特征信息，可以通过图4所示的流程实现。图4为本技术实施例提供的获取类别特征信息的流程示意图，如图4所示，该流程可以包括步骤401至步骤402：
109.步骤401、通过图特征提取模块的图嵌入单元，对图网络中的类别信息以及各个类别之间的关联关系进行量化，得到图网络的初始类别特征信息以及关联关系信息。
110.在一种实施方式中，图网络中的类别信息可以为图网络中的节点向量；图网络中各个类别之间的关联关系可以为图网络中的邻接向量。
111.在一种实施方式中，图嵌入单元，可以用于读取图网络中的节点向量以及邻接向量之后，对离散的节点向量以及邻接向量进行量化处理，从而将节点向量以及邻接向量转换为连续的初始类别特征信息以及关联关系信息。
112.在一种实施方式中，初始类别特征信息以及关联关系信息，也可以以向量的形式体现；示例性的，多个初始类别特征信息以及关联关系信息，可以构成初始类别特征矩阵以及邻接矩阵。
113.在一种实施方式中，图嵌入单元可以包括任一能够实现graph embedding的图数据处理单元。
114.步骤402、通过图特征提取模块的图编码单元，基于关联关系信息，对初始类别特征信息进行处理，获取类别特征信息。
115.在一种实施方式中，图编码单元，可以对初始类别特征信息中相邻的特征信息进行聚合，从而实现对不同的相邻特征信息的自适应匹配。
116.在一种实施方式中，图编码单元可以为图注意力网络(graph attention network，gat)，示例性的，gat能够基于关联关系信息结合注意力系数，对初始类别特征信息中的相邻特征信息进行调整处理，从而改善相邻特征信息的特征表征与关联关系信息之间的一致性。
117.在一种实施方式中，图编码单元可以基于关联关系信息，对初始类别特征信息中的向量元素进行调整，从而使得初始类别特征信息中相邻的或相关的类别特征信息之间的距离或关联程度，能够与关联关系信息保持一致，进而使得最终得到的类别特征信息能够充分包含有图网络中的节点向量以及邻接向量的信息。
118.由以上可知，本技术实施例提供的处理方法中，通过图特征提取模块的图嵌入单元对图网络中的类别信息以及各个类别之间的关联关系进行量化，得到图网络的初始类别特征信息以及关联关系信息，然后再通过图特征提取模块的图编码单元，基于关联关系信息对初始类别特征信息进行处理，从而最终获取类别特征信息。
119.如此，经过上述处理过程，类别特征信息不仅具备了特征连续的特性，而且还与图网络中的关联关系信息保持一致，从而能够改善类别特征信息与图网络的网络结构之间的一致性。
120.基于前世实施例，本技术实施例提供的处理方法中，对待处理文本进行特征提取，得到文本特征信息，可以通过步骤a1至步骤a2实现：
121.步骤a1、通过处理模型的文本编码单元，对待处理词语进行量化，得到文本量化结果。
122.在一种实施方式中，文本量化结果，可以以二进制码流的形式体现，比如，对第一个待处理词语的量化结果为100010，对第二个待处理词语的量化结果可以为010001。
123.在一种实施方式中，文本编码单元对待处理词语进行量化，可以是对每一待处理词语中包含的文字信息进行编码量化。
124.在一种实施方式中，处理模型的文本编码单元，可以首先对待处理文本进行分割得到至少一个待处理词语，然后根据待处理词语与词语编码集合确定每一待处理词语的编码信息，从而实现对每一待处理词语的量化，得到文本量化结果。示例性的，词语编码集合可以为包括词语与编码信息的数据集合，在该集合中，词语与编码信息之间具备一一对应的关联关系。
125.在一种实施方式中，文本编码单元，可以通过语言模型word2vec实现。
126.步骤a2、通过第一文本提取单元对文本量化结果进行特征提取，得到文本特征信息。
127.在一种实施方式中，第一文本提取单元，可以对文本量化结果中的各个量化结果的关联关系进行分析，并根据关联关系调整文本量化结果中的向量元素，从而得到文本特征信息。
128.在一种实施方式中，第一文本提取单元，可以通过神经网络实现，比如lstm或卷积神经网络(convolutional neural networks，cnn)，这些神经网络可以对文本量化结果中各个量化结果之间是否具备关联关系、以及关联关系强弱进行分析，并根据分析的结果调整文本量化结果中的向量元素，从而使得文本特征信息与待处理文本的深度语义信息更加一致。
129.由以上可知，本技术实施例提供的处理方法中，通过处理模型的文本编码单元对待处理文本的每一待处理词语进行量化得到文本量化结果，从而能够将离散的待处理词语转化为连续的文本特征向量，通过第一文本提取单元对文本量化结果进行特征提取得到的文本特征信息，不仅携带有每一待处理词语的含义信息，还能包含待处理文本的深度语义信息，从而为对待处理词语的高精度识别提供客观数据支持。
130.基于前述实施例，本技术实施例提供的处理方法中，对待处理文本进行特征提取，得到文本特征信息，还可以通过以下方式实现：
131.通过处理模型的第二文本提取单元，对待处理词语以及待处理词语的上下文信息进行分析，得到文本特征信息。
132.在一种实施方式中，待处理词语的上下文信息，可以包括待处理词语在待处理文本中的位置信息、以及与待处理词语相邻的词语的基本类型信息等。
133.在一种实施方式中，第二文本提取单元，可以包括bert，bert对待处理文本进行处理时，能够融合待处理词语的上下文信息的深层双向语言表征，从而得到与待处理文本中每一待处理词语对应的深层双向语言表征。
134.由以上可知，本技术实施例提供的处理方法中，处理模型的第二文本提取单元能够对待处理词语的上下文信息进行分析，从而使得最终得到的文本特征信息能够与待处理文本的整体上下文信息保持一致，进而改善了文本特征信息与待处理文本的深层语义之间
的一致性。
135.基于前述实施例，本技术实施例还提供了一种处理模型5，图5为本技术实施例提供的处理模型5的结构示意图，如图5所示，该处理模型5可以包括：文本特征提取模块501、图特征提取模块502、特征融合模块503以及输出模块504。
136.其中，文本特征提取模块501，可以包括文本编码单元5011以及第一文本提取单元5012；示例性的，文本编码单元5011可以为语言模型word2vec，其用于对待处理文本进行量化，得到文本量化结果；第一文本提取单元5012，可以为lstm，其用于对文本量化结果进行特征提取，得到文本特征信息。
137.示例性的，文本特征提取模块501，还可以为前述实施例中的第二文本提取单元，比如gat。
138.示例性的，图特征提取单元502，可以包括图嵌入单元5021以及图编码单元5022；其中，图嵌入单元5021用于读取图网络中的节点向量以及边向量，并对节点向量和边向量进行量化，得到图网络的初始类别特征信息以及关联关系信息；图编码单元5022，可以基于关联关系信息，对初始类别特征信息进行处理，获取类别特征信息。
139.示例性的，特征融合模块503，可以包括前述实施例中的注意力attention模块，其可以获取文本特征信息以及类别特征信息，并基于文本特征信息和类别特征信息确定attention模块的键向量和值向量，进而确定attention模块的权重，然后根据该权重对文本特征信息进行处理，得到特征融合结果。
140.示例性的，输出层504，可以对特征融合结果的类别进行预测；示例性的的，输出层504，可以包括全连接层与softmax的组合，也可以通过crf实现。示例性的，可以将输出层504输出的位置信息概率最大的一个位置确定为本次处理模型检测的目标类别的待处理词语的位置信息，并基于位置信息标注目标类别。
141.需要说明的是，处理模型5中各个模块或单元的参数，是需要基于样本数据对初始状态的处理模型进行训练才能确定的。
142.示例性的，为了对初始状态的处理模型进行训练，首先需要确定样本数据，在本技术实施例中，样本数据可以包括文本样本以及图网络样本；示例性的，文本样本可以包括多个文本数据，并且，文本数据中的每一词语可以均携带有类别信息；图网络样本可以与多种应用场景对应，比如商务场景、旅游场景、以及就医场景等。
143.图6为本技术实施例提供的处理模型的训练以及使用的流程示意图，如图6所示，该流程可以包括以下步骤：
144.步骤601、开始。
145.示例性的，在步骤601中，可以确定初始状态的处理模型的结构信息，比如确定处理状态的处理模型的结构可以为图5所示的结构。
146.步骤602、构建文本样本。
147.示例性的，文本样本可以包括多个包含至少一个词语的文本数据；示例性的，在文本数据包含的词语的数量为多个情况下，多个词语的类型可以不同；示例性的，文本样本可以按照应用场景进行划分，比如，医疗场景中的文本样本、旅游场景中的文本样本等。
148.步骤603、构建图网络样本。
149.示例性的，图网络样本也可以是与应用场景对应的，比如医疗场景对应的图网络
样本、旅游场景对应的图网络样本等。
150.示例性的，图网络样本中可以包括该应用场景下使用频率高于第三阈值的词语的类型信息以及这些类型信息之间的关联关系信息；示例性的，上述类型信息以及关联关系信息，可以通过图网络样本中的节点对应的节点向量以及边对应的邻接向量的形式表示。
151.步骤604、得到本体信息。
152.示例性的，本体信息，可以是对图网络样本中的节点向量以及边向量对应的邻接矩阵进行量化和特征提取后得到的类别特征信息；示例性的，可以通过处理模型中的图特征提取模块对图网络样本进行处理，得到本体信息。
153.步骤605、通过初始状态的处理模型处理文本样本以及本体信息。
154.示例性的，通过初始状态的处理模型处理文本样本以及本体信息，可以得到文本样本中至少一种类别的词语的位置信息。
155.示例性的，在得到文本样本中至少一种类别的词语的位置信息之后，可以基于其与样本数据中对应词语的类别以及位置信息之间的匹配关系，调整初始状态的处理模型中各个模块以及各个单元的参数，然后基于参数调整后的处理模型中的各个模块以及各个单元，对样本数据以及本体信息继续进行处理，直至得到文本样本中至少一种类别的词语的位置信息之后，该词语的类别以及词语的位置信息、与样本数据中对应词语的类别以及位置信息之间的匹配程度大于或等于第四阈值，此时可以停止对处理模型的训练。
156.示例性的，在上述训练过程中，可以将处理模型的预测概率最大的类别信息与文本样本中的类别标签信息进行匹配，计算处理误差，并通过反向传播处理误差的方式调整处理模型的各个参数；示例性的，反向传播处理误差可以通过交叉熵损失函数实现。
157.示例性的，在上述训练过程中，可以对图样本数据中的类别节点进行标记，并将标记后的图样本数据输入至处理模型中，在将处理模型输出的概率最高的类别与图样本中标记后的类别节点对应的类别进行匹配，并根据匹配的结果确定如何调整处理模型的各个参数，从而实现对处理模型针对标记的类别节点对应的类别处理的训练过程。
158.步骤606、得到处理模型。
159.示例性的，这里的处理模型，可以是能够对至少一种指定应用场景的词语类别信息以及位置信息进行精准识别的模型。
160.步骤607、通过处理模型处理待处理文本。
161.示例性的，可以通过前述实施例提供的处理方法实现步骤607。
162.步骤608、得到类型信息以及位置信息。
163.示例性的，可以通过处理模型对待处理文本的多次处理，从而得到待处理文本中每一待处理词语的类型以及位置信息。
164.由以上可知，本技术实施例提供的处理模型的训练过程中，将本体信息用图网络的形式表示，并将融入至处理模型即ner中，使得本体信息能够指导处理模型的参数收敛方向，从而使得处理模型在训练时能够更快的收敛，从而加快了处理模型的训练速度；并且，本技术实施例提供的处理模型为端到端的结构，其训练过程简单，且数据处理的中间任务较少，从而能够降低训练以及实际的数据处理过程的误差积累的风险。
165.需要说明的是，在训练过程中，可以直接使用预先从图网络中提取得到的本体信息，若已有的本体信息不可用，则可以通过文本样本中的类别标签快速构建。
166.相应的，在处理模型处理待处理数据的过程中，也可以通过以下方式快速确定图网络，并从图网络中得到本体信息：
167.基于待处理文本确定语料样本；基于语料样本中包含的类别信息，确定图网络。
168.在一种实施方式中，语料样本可以为前述实施例中所提供的文本样本；示例性的，在语料样本中可以包含至少一种类型的词语以及该词语的类型信息。
169.在一种实施方式中，可以对待处理文本进行初步分析确定待处理样本的应用场景，然后根据应用场景确定语料样本。
170.在一种实施方式中，可以基于语料样本对应的应用场景，对语料样本中包含的类别信息进行分析，从而确定不同类别词语之间是否具备关联关系、以及不同类别的词语之间关联关系的强弱等，然后基于类别信息以及上述关联关系确定图网络。
171.由以上可知，在本技术实施例中，图网络可以基于待处理文本对应的余料样本中包含的类别信息确定，从而使得图网络与待处理文本之间的一致性更强，那么，基于从图网络中得到的类别信息对对待处理文本处理得到的文本特征信息进行处理，得到的至少一种类别的词语的位置信息，能够与待处理文本中对应类别的词语的位置信息的一致性更强；并且，基于语料样本能够快速确定图网络，也能够提高对待处理文本处理的效率。
172.需要说明的是，本技术实施例提供的处理方法以及处理模型，也可以用于其它建模为序列标注问题的任务实现，比如分词、词性标注、chunk识别以及句法分析等。
173.基于前述实施例，本技术实施例还提供了一种处理装置7，图7为本技术实施例提供的处理装置7的结构示意图，如图7所示，该装置可以包括：
174.获取模块701，用于获取包含至少一个待处理词语的待处理文本；
175.提取模块702，用于对待处理文本进行特征提取，得到文本特征信息；
176.获取模块701，还用于从图网络中获取具备关联关系的至少两种类别的词语的类别特征信息；
177.处理模块703，用于基于类别特征信息对文本特征信息进行处理，得到至少一种类别的待处理词语的位置信息。
178.在一种实施方式中，处理模块703，用于基于类别特征信息，确定处理模型的特征融合模块的特征融合权重；通过特征融合模块，基于特征融合权重对文本特征信息进行处理，得到至少一种类别的待处理词语的位置信息。
179.在一种实施方式中，处理模块703，用于从类别特征信息中确定目标类别的目标特征信息；通过特征融合模块，基于与目标特征信息关联的特征融合权重，对文本特征信息进行处理，得到目标类别的待处理词语的位置信息。
180.在一种实施方式中，处理模块703，用于基于类别特征信息对文本特征信息进行处理，确定特征融合权重。
181.在一种实施方式中，处理模块703，用于通过处理模型的图特征提取模块，对图网络进行处理，获取类别特征信息。
182.在一种实施方式中，处理模块703，用于通过图特征提取模块的图嵌入单元，对图网络中的类别信息以及各个类别之间的关联关系进行量化，得到图网络的初始类别特征信息以及关联关系信息；通过图特征提取模块的图编码单元，基于关联关系信息，对初始类别特征信息进行处理，获取类别特征信息。
183.在一种实施方式中，处理模块703，用于通过处理模型的文本编码单元，对待处理词语进行量化，得到文本量化结果；通过第一文本提取单元对文本量化结果进行特征提取，得到文本特征信息。
184.在一种实施方式中，处理模块703，用于通过处理模型的第二文本提取单元，对待处理词语以及待处理词语的上下文信息进行分析，得到文本特征信息。
185.在一种实施方式中，处理模块703，用于基于待处理文本确定语料样本；基于语料样本中包含的类别信息，确定图网络。
186.基于前述实施例，本技术实施例还提供了一种电子设备，该电子设备包括处理器和存储器，其中，存储器中存储有计算机程序，该计算机程序被电子设备的处理器执行时，能够实现如前任一的处理方法。
187.上述处理器可以为asic、dsp、dspd、pld、fpga、cpu、控制器、微控制器、微处理器中的至少一种。
188.上述存储器，可以是易失性存储器(volatile memory)，例如随机存取存储器(random access memory，ram)；或者非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，rom)，快闪存储器(flash memory)，硬盘驱动器(hard disk drive，hdd)或固态硬盘(solid state disk，ssd)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
189.示例性的，前述实施例中的获取模块701、提取模块702以及处理模块703，可以通过电子设备的处理器实现。
190.基于前述实施例，本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被电子设备的处理器执行时，能够实现如前任一所述的处理方法。
191.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
192.本技术所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
193.本技术所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
194.本技术所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
195.需要说明的是，上述计算机可读存储介质可以是只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性随机存取存储器(ferromagnetic random access memory，fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(compact disc read-only memory，cd-rom)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
196.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排
他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
197.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
198.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件节点的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所描述的方法。
199.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的发热模块以产生一个机器，使得通过计算机或其他可编程数据处理设备的发热模块执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
200.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
201.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
202.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。