一种多价值链问题文本分类方法和装置

1.本发明涉及文本分类技术领域，特别是指一种多价值链问题文本分类方法和装置。


背景技术：

2.在多价值链中各企业协同工作、数据共享平台的不断自我更新下，越来越多的企业建立了自己的知识库，存储了在企业经营、生产、销售等方面重要的知识和经验，而智能问答系统随之被开发，用于企业工作人员对知识库的检索，而企业工人往往倾向于使用自然语言进行查询想要的知识，因此对问句进行分类是在多价值链智能问答系统构建里的重要一环，对于智能问答系统服务有重要的推进作用。
3.文本分类的核心问题是文本表示与分类模型。传统的文本表示利用词袋原理(bag-of-words),将词无序地表示到一个高维的向量空间模型(vector space model)中,丢弃了词序、语法等文本结构信息。传统的机器学习文本分类模型基于分类服从某种概率分布的假设,利用贝叶斯理论获取分类器,但是一旦假设不成立则会影响分类准确率。


技术实现要素：

4.本发明提供了一种多价值链问题文本分类方法和装置，用以实现多价值链问题文本的智能分类。
5.所述技术方案如下：
6.一方面，提供了一种多价值链问题文本分类方法，该方法包括：
7.s1、对企业里各业务检索平台中用户检索的问句进行收集与文本类别标签标注，得到多价值链问题文本的数据集；
8.s2、将所述问题文本数据集进行预处理，将预处理后的问题文本数据集划分为训练文本集与测试文本集；
9.s3、对所述训练文本集与所述测试文本集进行词向量提取，基于所述训练文本集，用提取后的词向量与标注的文本类别标签，构建全连接网络图；
10.s4、基于所述全连接网络图，对初始标签图注意力模型进行训练，得到训练完毕的标签图注意力模型；
11.s5、基于所述训练文本集提取的词向量，对初始文本语义抽取模型进行训练，得到训练完毕的文本语义抽取模型；
12.s6、根据训练完毕的文本语义抽取模型，对所述测试文本集进行语义抽取，根据训练完毕的标签图注意力模型，对所述测试文本集进行分类。
13.可选地，所述s2中的对所述问题文本数据集进行预处理，包括：
14.对所述问题文本数据集进行中文分词处理和去掉停用词处理；
15.其中，所述中文分词处理以及停用词过滤处理包括：
16.基于预先构建的多价值链文本专家词典对所述文本进行分词，采用大颗粒度词语
数目最大化的原则，确定分词结果；其中，所述文本为问题文本数据集；
17.基于预先构建的多价值链停用词词典对停用词进行过滤，去除噪声字词。
18.可选地，所述s3中的对预处理后的所述训练文本集与测试文本集进行词向量提取，并基于所述训练文本集，用提取后的词向量与标注的文本类别标签，构建全连接网络图，包括：
19.基于预训练的bert词向量提取模型，得到预处理后的训练文本集与测试文本集的词向量；
20.基于训练文本集，用提取后的词向量与标注的文本类别标签分别作为节点，构建所有节点间全连接的全连接网络图，其中，所述文本类别标签代表的节点初始化为随机向量，维度与词向量维度一致，词向量节点间的边权重随机初始化，类别-词节点间的边权重初始化为所述训练文本集中该词在该类别中出现的概率。
21.可选地，所述s4中基于全连接网络图，训练初始标签图注意力模型为gnn-attention模型，所述gnn-attention模型包括gnn子模型与attention子模型；
22.所述gnn子模型用于得到每个类别标签节点的输出特征；
23.所述attention子模型用于控制在gnn子模型中的节点间的注意力权重分配。
24.可选地，所述gnn-attention模型的训练过程包括：
25.根据下述公式(2)对gnn-attention模型中节点的特征向量进行迭代更新；
[0026][0027]
其中，σ0表示sigmoid激活函数，wk表示gnn第k次迭代时的参数矩阵，k∈[1，k]，其中k∈r
+
，k＞1，为预设的常数，n(v)表示节点v的所有邻居节点，|n(v)|表示n(v)的大小，表示第k-1次迭代时节点u的特征向量，是节点v在第k-1次迭代时的特征向量，是第k次迭代时节点v的输出向量，bk是第k次迭代时的偏置参数，k为1表示第一次迭代，所有参数都随机初始化。α
vu
表示节点u和节点v之间的注意力权重，定义如下述公式(3)表示；
[0028][0029]
其中，e
vu
定义如下述公式(4)得到；
[0030][0031]
其中，a表示一种计算注意力权重的函数；
[0032]
所定义损失函数为类均衡标签相似度损失函数，如下述公式(5)：
[0033][0034]
其中m表示将整个训练文本集分成的批次的数量，b表示批次的下标，nb表示下标为b的批次里训练文本的数量，i表示某一批次内训练文本的下标，l表示类别标签的总个数，sj表示第j个标签出现在整个训练文本集里的频次，gb(i)表示在下标为b的批次里下标
为i的训练文本对应的类别标签，zb(i)表示在下标为b的批次里下标为i的训练文本在全连接图中对应的节点下标，zb(gb(i))表示类别标签gb(i)在全连接图中所对应的节点下标，wc表示对训练文本节点进行线性变换的参数矩阵，w
l
表示对标签节点进行线性变换的参数矩阵，k为前述的迭代的总次数；
[0035]
根据上述类均衡标签相似度损失函数，采用批量梯度下降算法对gnn-attention模型中的参数进行更新，得到训练完毕的标签图注意力模型。
[0036]
可选地，所述s5中基于训练文本集提取的词向量，训练的初始文本语义抽取模型为bi-lstm模型；
[0037]
根据下述公式(6)对bi-lstm子模型进行训练；
[0038][0039]
其中，n表示训练文本集的句子个数，yi表示第i个句子的分类标签向量，用独热编码表示，pi表示第i个句子的最终输出的概率分布，定义如下述公式(7)表示；
[0040]
pi＝softmax(z)
……
(7)
[0041]
其中，softmax表示softmax激活函数，z表示当前文本经过bi-lstm的输出向量与每一个标签向量的点积结果向量，定义为下述公式(8)；
[0042]zt
＝ei·ht
，t∈[0，m)
……
(8)
[0043]
其中z
t
表示向量z的第t个分量，ei表示bi-lstm模型对第i条文本的输出向量，h
t
表示第t个类别标签的表示向量，m表示类别标签总数目。
[0044]
另一方面，本发明提供了一种多价值链问题文本分类装置，所述装置包括：
[0045]
数据收集模块，用于对企业里各业务检索平台中用户检索的问句进行收集与文本类别标签标注，得到多价值链问题文本的数据集；
[0046]
数据预处理模块，用于将所述问题文本数据集进行预处理，将预处理后的问题文本数据集划分为训练文本集与测试文本集；
[0047]
提取构建模块，用于对所述训练文本集与测试文本集进行词向量提取，基于所述训练文本集，用提取后的词向量与标注的文本类别标签，构建全连接网络图；
[0048]
训练模块，用于基于所述全连接网络图，对初始标签图注意力模型进行训练，得到训练完毕的标签图注意力模型；基于所述训练文本集提取的词向量，对初始文本语义抽取模型进行训练，得到训练完毕的文本语义抽取模型；
[0049]
分类模块，用于根据训练完毕的文本语义抽取模型，对所述测试文本集进行语义抽取，根据训练完毕的标签图注意力模型，对所述测试文本集进行分类。
[0050]
可选地，所述数据预处理模块，具体用于：
[0051]
对所述问题文本数据集进行中文分词处理和去除停用词处理；
[0052]
其中，所述中文分词处理以及去除停用词处理包括：
[0053]
基于预先构建的多价值链文本专家词典对所述文本进行分词，采用大颗粒度词语数目最大化的原则，确定分词结果；其中，所述文本为问题文本数据集；
[0054]
基于预先构建的多价值链停用词词典对停用词进行过滤，去除噪声字词。
[0055]
可选地，所述提取构建模块，具体用于：
[0056]
基于预训练的bert词向量提取模型，得到预处理后的训练文本集与测试文本集的词向量；
[0057]
基于训练文本集，用提取后的词向量与标注的文本类别标签分别作为节点，构建所有节点间全连接的全连接网络图，其中，所述文本类别标签代表的节点初始化为随机向量，维度与词向量维度一致，词向量节点间的边权重随机初始化，类别-词节点间的边权重初始化为所述训练文本集中该词在该类别中出现的概率。
[0058]
可选地，所述初始标签图注意力模型为gnn-attention模型，所述gnn-attention模型包括gnn子模型与attention子模型；
[0059]
所述gnn子模型用于得到每个类别标签节点的输出特征；
[0060]
所述attention子模型用于控制在gnn子模型中的节点间的注意力权重分配。
[0061]
可选地，所述训练模块具体用于：
[0062]
根据下述公式(2)对gnn-attention模型中节点的特征向量进行迭代更新；
[0063][0064]
其中，σ0表示sigmoid激活函数，wk表示gnn第k次迭代时的参数矩阵，k∈[1，k]，其中k∈r
+
，k＞1，为预设的常数，n(v)表示节点v的所有邻居节点，|n(v)|表示n(v)的大小，表示第k-1次迭代时节点u的特征向量，是节点v在第k-1次迭代时的特征向量，是第k次迭代时节点v的输出向量，bk是第k次迭代时的偏置参数，k为1表示第一次迭代，所有参数都随机初始化。α
vu
表示节点u和节点v之间的注意力权重，定义如下述公式(3)表示；
[0065][0066]
其中，e
vu
定义如下述公式(4)得到；
[0067][0068]
其中，a表示一种计算注意力权重的函数；
[0069]
所定义损失函数为类均衡标签相似度损失函数，如下述公式(5)：
[0070][0071]
其中m表示将整个训练文本集分成的批次的数量，b表示批次的下标，nb表示下标为b的批次里训练文本的数量，i表示某一批次内训练文本的下标，l表示类别标签的总个数，sj表示第j个标签出现在整个训练文本集里的频次，gb(i)表示在下标为b的批次里下标为i的训练文本对应的类别标签，zb(i)表示在下标为b的批次里下标为i的训练文本在全连接图中对应的节点下标，zb(gb(i))表示类别标签gb(i)在全连接图中所对应的节点下标，wc表示对训练文本节点进行线性变换的参数矩阵，w
l
表示对标签节点进行线性变换的参数矩阵，k为前述的迭代的总次数；
[0072]
根据上述类均衡标签相似度损失函数，采用批量梯度下降算法对gnn-attention模型中的参数进行更新，得到训练完毕的标签图注意力模型。
[0073]
可选地，所述初始文本语义抽取模型为bi-lstm模型，所述训练模块，具体用于：
[0074]
根据下述公式(6)对bi-lstm子模型进行训练；
[0075][0076]
其中，n表示训练文本集的句子个数，yi表示第i个句子的分类标签向量，用独热编码表示，pi表示第i个句子的最终输出的概率分布，定义如下述公式(7)表示；
[0077]
pi＝softmax(z)
……
(7)
[0078]
其中，softmax表示softmax激活函数，z表示当前文本经过bi-lstm的输出向量与每一个标签向量的点积结果向量，定义为下述公式(8)；
[0079]zt
＝ei·ht
，t∈[0，m)
……
(8)
[0080]
其中z
t
表示向量z的第t个分量，ei表示bi-lstm模型对第i条文本的输出向量，h
t
表示第t个类别标签的表示向量，m表示类别标签总数目。
[0081]
另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述多价值链问题文本分类方法。
[0082]
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述多价值链问题文本分类方法。
[0083]
本发明提供的技术方案带来的有益效果至少包括：
[0084]
本发明中，首先是多价值链问题文本的收集，其中包括构建多价值链领域内专有词典，通过梳理多价值链领域内的专有名词，能够对多价值链领域内文本的分词准确性提供很大的帮助；
[0085]
然后是基于图注意力网络的问题文本分类，通过训练图注意力标签模型与文本语义抽取模型对多价值链领域中企业工作人员的搜索问句进行分类，对于企业内部的业务问答系统的构建提供了很大帮助，问答系统能够根据问题分类结果大大减少检索的范围并提高检索的效率，最终使问答系统能够得到更快速的响应与更准确的语义搜索。
附图说明
[0086]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0087]
图1是本发明实施例提供的一种多价值链问题文本分类方法的流程示意图；
[0088]
图2是本发明实施例提供的基于图注意力网络的多价值链问题文本分类模型的详细架构图；
[0089]
图3是本发明实施例提供的基于图注意力网络的多价值链问题文本辅助分类决策模型构建方法流程图；
[0090]
图4是本发明实施例提供的一种多价值链问题文本分类装置框图；
[0091]
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
[0092]
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具
体实施例进行详细描述。
[0093]
本发明实施例提供了一种多价值链问题文本分类方法，该方法可以由一种多价值链问题文本分类装置实现。如图1所示的一种多价值链问题文本分类方法流程图，该方法的处理流程可以包括如下的步骤：
[0094]
s1、对企业里各业务检索平台中用户检索的问句进行收集与文本类别标签标注，得到多价值链问题文本的数据集；
[0095]
s2、将所述问题文本数据集进行预处理，将预处理后的问题文本数据集划分为训练文本集与测试文本集；
[0096]
s3、对所述训练文本集与所述测试文本集进行词向量提取，基于所述训练文本集，用提取后的词向量与标注的文本类别标签，构建全连接网络图；
[0097]
s4、基于所述全连接网络图，对初始标签图注意力模型进行训练，得到训练完毕的标签图注意力模型；
[0098]
s5、基于所述训练文本集提取的词向量，对初始文本语义抽取模型进行训练，得到训练完毕的文本语义抽取模型；
[0099]
s6、根据训练完毕的文本语义抽取模型，对所述测试文本集进行语义抽取，根据训练完毕的标签图注意力模型，对所述测试文本集进行分类。
[0100]
可选地，所述s2中的对所述问题文本数据集进行预处理，包括：
[0101]
对所述问题文本数据集进行中文分词处理和去掉停用词处理；
[0102]
其中，所述中文分词处理以及停用词过滤处理包括：
[0103]
基于预先构建的多价值链文本专家词典对所述文本进行分词，采用大颗粒度词语数目最大化的原则，确定分词结果；其中，所述文本为问题文本数据集；
[0104]
基于预先构建的多价值链停用词词典对停用词进行过滤，去除噪声字词。
[0105]
可选地，所述s3中的对预处理后的所述训练文本集与测试文本集进行词向量提取，并基于所述训练文本集，用提取后的词向量与标注的文本类别标签，构建全连接网络图，包括：
[0106]
基于预训练的bert词向量提取模型，得到预处理后的训练文本集与测试文本集的词向量；
[0107]
基于训练文本集，用提取后的词向量与标注的文本类别标签分别作为节点，构建所有节点间全连接的全连接网络图，其中，所述文本类别标签代表的节点初始化为随机向量，维度与词向量维度一致，词向量节点间的边权重随机初始化，类别-词节点间的边权重初始化为所述训练文本集中该词在该类别中出现的概率。
[0108]
可选地，所述s4中基于全连接网络图，训练初始标签图注意力模型为gnn-attention模型，所述gnn-attention模型包括gnn子模型与attention子模型；
[0109]
所述gnn子模型用于得到每个类别标签节点的输出特征；
[0110]
所述attention子模型用于控制在gnn子模型中的节点间的注意力权重分配。
[0111]
可选地，所述gnn-attention模型的训练过程包括：
[0112]
根据下述公式(2)对gnn-attention模型中节点的特征向量进行迭代更新；
[0113]
[0114]
其中，σ0表示sigmoid激活函数，wk表示gnn第k次迭代时的参数矩阵，k∈[1，k]，其中k∈r
+
，k＞1，为预设的常数，n(v)表示节点v的所有邻居节点，|n(v)|表示n(v)的大小，表示第k-1次迭代时节点u的特征向量，是节点v在第k-1次迭代时的特征向量，是第k次迭代时节点v的输出向量，bk是第k次迭代时的偏置参数，k为1表示第一次迭代，所有参数都随机初始化。α
vu
表示节点u和节点v之间的注意力权重，定义如下述公式(3)表示；
[0115][0116]
其中，e
vu
定义如下述公式(4)得到；
[0117][0118]
其中，a表示一种计算注意力权重的函数；
[0119]
所定义损失函数为类均衡标签相似度损失函数，如下述公式(5)：
[0120][0121]
其中m表示将整个训练文本集分成的批次的数量，b表示批次的下标，nb表示下标为b的批次里训练文本的数量，i表示某一批次内训练文本的下标，l表示类别标签的总个数，sj表示第j个标签出现在整个训练文本集里的频次，gb(i)表示在下标为b的批次里下标为i的训练文本对应的类别标签，zb(i)表示在下标为b的批次里下标为i的训练文本在全连接图中对应的节点下标，zb(gb(i))表示类别标签gb(i)在全连接图中所对应的节点下标，wc表示对训练文本节点进行线性变换的参数矩阵，w
l
表示对标签节点进行线性变换的参数矩阵，k为前述的迭代的总次数；
[0122]
根据上述类均衡标签相似度损失函数，采用批量梯度下降算法对gnn-attention模型中的参数进行更新，得到训练完毕的标签图注意力模型。
[0123]
可选地，所述s5中基于训练文本集提取的词向量，训练的初始文本语义抽取模型为bi-lstm模型；
[0124]
根据下述公式(6)对bi-lstm子模型进行训练；
[0125][0126]
其中，n表示训练文本集的句子个数，yi表示第i个句子的分类标签向量，用独热编码表示，pi表示第i个句子的最终输出的概率分布，定义如下述公式(7)表示；
[0127]
pi＝softmax(z)
……
(7)
[0128]
其中，softmax表示softmax激活函数，z表示当前文本经过bi-lstm的输出向量与每一个标签向量的点积结果向量，定义为下述公式(8)；
[0129]zt
＝ei·ht
，t∈[0，m)
……
(8)
[0130]
其中z
t
表示向量z的第t个分量，ei表示bi-lstm模型对第i条文本的输出向量，h
t
表示第t个类别标签的表示向量，m表示类别标签总数目。
[0131]
本发明实施例中，首先是多价值链问题文本的收集，其中包括构建多价值链领域
内专有词典，通过梳理多价值链领域内的专有名词，能够对多价值链领域内文本的分词准确性提供很大的帮助；
[0132]
然后是基于图注意力网络的问题文本分类，通过训练图注意力标签模型与文本语义抽取模型对多价值链领域中企业工作人员的搜索问句进行分类，对于企业内部的业务问答系统的构建提供了很大帮助，问答系统能够根据问题分类结果大大减少检索的范围并提高检索的效率，最终使问答系统能够得到更快速的响应与更准确的语义搜索。
[0133]
下面详细介绍本发明实施例：
[0134]
首先，介绍一下文本分类领域的相关知识：
[0135]
文本分类是文本挖掘的重要部分，其主要任务是将给定的文本集合划分到已知的一个或者多个类别集合中。目前文本分类任务已经应用到了许多领域，如情感分析、问题分类、垃圾邮件检测等。构建文本分类系统与有监督的学习一样，需要一个训练集合d＝(d1，d2，...，dn)，其中n是序列个数，每个文本标注好它的类别(c1，c2，...，cn)，然后利用训练数据学习分类模型，从而对新的文本x预测其类别。
[0136]
文本分类的核心问题是文本表示与分类模型。传统的文本表示利用词袋原理(bag-of-words)，将词无序地表示到一个高维的向量空间模型(vector space model)中，丢弃了词序、语法等文本结构信息。传统的机器学习文本分类模型基于分类服从某种概率分布的假设，利用贝叶斯理论获取分类器，但是一旦假设不成立则会影响分类准确率。随着深度学习的发展，越来越多的神经网络模型被用来进行文本分类。如fasttext将整篇文档的词及n-gram向量叠加平均得到文档向量，然后使用文档向量做softmax多分类。但是fasttext中的网络结果是完全没有考虑词序信息的，而它用的n-gram特征恰恰说明了局部序列信息的重要意义。于是textcnn被提出，将卷积神经网络cnn应用到文本分类任务，利用多个不同size的kernel来提取句子中的关键信息(类似于多窗口大小的n-gram)，从而能够更好地捕捉局部相关性。
[0137]
尽管textcnn能够在很多任务里面能有不错的表现，但cnn有个最大问题是固定filter_size的视野，一方面无法建模更长的序列信息，另一方面filter_size的超参调节也很繁琐。cnn本质是做文本的特征表达工作，而自然语言处理中更常用的是递归神经网络，能够更好的表达上下文信息。
[0138]
cnn和rnn用在文本分类任务中尽管效果显著，但可解释性不好。而注意力(attention)机制是自然语言处理领域一个常用的建模长时间记忆机制，能够很直观的给出每个词对结果的贡献。如hierarchical attention network在文档分类任务中将一个文档按照句子和单词进行了分层，并且在每层中使用了效果非常好的注意力机制。这些深度学习模型可以很好地捕捉局部连续词序列中的语义和句法信息，但在具有非连续和长距离语义的语料库中，可能会忽略全局词的共现，而基于图神经网络的gnn模型通过迭代更新可以很好的解决这个问题。因此本发明实施例将gnn和attention结合起来能很好的解决特征表达与可解释性的问题，并用rnn的变种bi-lstm做文本语义提取。
[0139]
本发明实施例提出的多价值链问题文本分类方案应用了有监督学习和图神经网络学习理论，通过将训练文本中的词语与所有表示类别标签的节点构成全连接图进行类别标签的特征学习，然后通过训练文本语义抽取模型对文本特征进行抽取，最后通过文本特征与类别标签特征的相似度得到文本类别的标签分布，取其中概率最大的为预测类别，如
图3所示。
[0140]
基于上述思路，如图2所示的基于图注意力网络的多价值链问题文本分类方法流程图，该方法的处理流程可以包括如下的步骤：
[0141]
s1、对企业里各业务检索平台中用户检索的问句进行收集与文本类别标签标注，得到多价值链问题文本的数据集；
[0142]
s2、将所述问题文本数据集进行预处理，将预处理后的问题文本数据集划分为训练文本集与测试文本集；
[0143]
可选地，所述步骤中的将问题文本数据集进行预处理包括中文分词处理以及去除停用词处理。
[0144]
其中，所述中文分词处理以及停用词过滤处理包括：
[0145]
基于预先构建的多价值链文本专家词典对所述文本进行分词，采用大颗粒度词语数目最大化的原则，确定分词结果；其中，所述文本为问题文本数据集；
[0146]
一种可行的实施方式中，由于与开放领域分词的开放度要求相比，多价值链领域分词需要更加精确与准确，因此，本发明实施例采用了构建专家词典的分词方法对多价值链问题文本进行分词，采用的词典通过解析文档中的词级或短文本字段值，对这些词语或短语进行抽取，并结合多价值链中企业积累的术语词库以及开放领域的通用词库，由此构建了领域的专业分词词库。
[0147]
一种可行的实施方式中，通过开源的jieba中文分词库，设置个人词典为所述专家辞典内容，然后用其内置的分词算法，由于jieba分词库提供了精准分词模式和全模式分词，后者是将所有可能的分词结果都展示出来，所以本发明实施例采用前者，即采用精准分词模式，通过分词即可得到较准确的多价值链问题文本分词结果。
[0148]
基于预先构建的多价值链停用词词典对停用词进行过滤，去除噪声字词。
[0149]
一种可行的实施方式中，经过文本分词，文本已经被切分成词语的形式，但其中包含了大量低质量数据，被称为停用词，这些词汇对于文本语义的影响很小，因此，过滤停用词有利于减小数据量，进而降低后续工作对文本处理的计算量。通用的停用词表包括数词、量词以及“的/地/在/和”等连词、副词等，这些词语在分词结果中大量出现，并且对上下文语义几乎无影响，因此进行剔除。
[0150]
本发明实施例使用的开放领域中文停用词表包括：哈工大停用词库、百度停用词库和四川大学机器智能实验室停用词表，并基于多价值链领域专家知识构建了多价值链领域停用词表，这些词表基本完整涵盖开放领域绝大部分中文停用词和多价值链领域停用词，利用上述完备的常用停用库，可以有效剔除掉大多数对分类多价值链问题文本无关的噪声词，去除停用词之后的问题文本的特征词数量大大减小，在后续计算中即可提升模型计算速度，也能提高基于词向量模型进行后续知识抽取的准确度。
[0151]
s3、对所述训练文本集与测试文本集进行词向量提取，基于训练文本集，用提取后的词向量与标注的文本类别标签，构建全连接网络图；
[0152]
一种可行的实施方式中，多价值链问题文本经过分词、去停用词后，得到了一系列离散的中文词汇，这些词汇是计算机无法处理的。因此，要构建数学模型，以计算机能计算的数字的形式表示每一个字词，即将自然语言词汇转换为一定维度的数字向量，以输入数学模型进行概率计算，这就是提取词向量的过程。
[0153]
可选地，s3中的对预处理后的训练文本集与测试文本集进行词向量提取，可以包括以下步骤：
[0154]
基于预训练的bert词向量提取模型，得到预处理后的训练文本集与测试文本集的词向量，完成词向量提取。
[0155]
可选地，所述bert词向量提取模型的训练过程包括以下步骤s31-s33：
[0156]
s31、构建初始bert词向量提取模型，初始化其参数，所述初始bert词向量提取模型的输入为一条经过掩码处理后的词序列，所述经过掩码处理的词序列表示为其中n为所述序列长度，m1，m2，...mk为随机选取的k个下标，k＜n，将这些下标位置上的词语统一用掩码词[mask]代替；所述初始bert词向量提取模型的第i个位置的输出向量为预测对应位置的输出词的概率分布pi；其中，词序列表示中除了被掩码遮盖的词语，其余均初始化为随机向量，被掩码遮盖的词语统一初始化为0向量。
[0157]
s32、定义损失函数为多分类交叉熵损失函数，如下公式(1)；
[0158][0159]
s33、基于所述多分类交叉熵损失函数，采用批量随机梯度下降法更新初始bert词向量提取模型中的参数，得到预训练完毕的bert词向量提取模型。
[0160]
s4、基于所述全连接网络图，对初始标签图注意力模型进行训练，得到训练完毕的标签图注意力模型；
[0161]
一种可行的实施方式中，多价值链问题文本通过分词、去停用词的预处理和词向量化的数值化转换后，获得了向量数据表征，将这些词向量和类别标签向量构成一张全连接网络图，得以建模文本中词语与类别标签的依赖关系，通过图卷积和注意力机制，训练出每个类别标签的特征向量表示，是本发明实施例中多价值链问题文本分类模型要着重解决的技术重点。
[0162]
可选地，所述训练初始标签图注意力模型为gnn-attention模型，所述gnn-attention模型包括gnn子模型与attention子模型；
[0163]
所述gnn子模型用于得到每个类别标签节点的输出特征。
[0164]
所述attention子模型用于控制在gnn子模型中的节点间的注意力权重分配。
[0165]
可选地，所述gnn-attention模型的训练过程包括：
[0166]
根据下述公式(2)对gnn-attention模型中节点的特征向量进行迭代更新；
[0167][0168]
其中，σ0表示sigmoid激活函数，wk表示gnn第k次迭代时的参数矩阵，k∈[1，k]，其中k∈r
+
，k＞1，为预设的常数，n(v)表示节点v的所有邻居节点，|n(v)|表示n(v)的大小，表示第k-1次迭代时节点u的特征向量，是节点v在第k-1次迭代时的特征向量，是第k次迭代时节点v的输出向量，bk是第k次迭代时的偏置参数，k为1表示第一次迭代，所有参数都随机初始化。α
vu
表示节点u和节点v之间的注意力权重，定义如下述公式(3)表示；
[0169][0170]
其中，e
vu
定义如下述公式(4)得到；
[0171][0172]
其中，a表示一种计算注意力权重的函数。
[0173]
可选地，a在本发明实施例中为内积计算函数，定义为a(x，y)＝x
·
y。模型中的系数矩阵其中n为词向量维度，为偏置系数矩阵，当前迭代中的输出由上一层在节点v的特征乘上偏置系数矩阵bk再加上节点v的所有邻居节点的特征的注意力权重加权求和并乘上系数矩阵w，最后经过一个激活函数σ0得到，系数矩阵w用来将输入向量映射到隐藏层，它的第i列表示对邻居节点加权求和结果的第i项的变换向量。激活函数σ0将隐藏层映射到输出层，得到输出向量的每一项。
[0174]
所定义损失函数为类均衡标签相似度损失函数，如下述公式(5)：
[0175][0176]
其中m表示将整个训练文本集分成的批次的数量，b表示批次的下标，nb表示下标为b的批次里训练文本的数量，i表示某一批次内训练文本的下标，l表示类别标签的总个数，sj表示第j个标签出现在整个训练文本集里的频次，gb(i)表示在下标为b的批次里下标为i的训练文本对应的类别标签，zb(i)表示在下标为b的批次里下标为i的训练文本在全连接图中对应的节点下标，zb(gb(i))表示类别标签gb(i)在全连接图中所对应的节点下标，wc表示对训练文本节点进行线性变换的参数矩阵，w
l
表示对标签节点进行线性变换的参数矩阵，k为前述的迭代的总次数。
[0177]
根据上述类均衡标签相似度损失函数，采用批量梯度下降算法对gnn-attention模型中的参数进行更新，得到训练完毕的标签图注意力模型。
[0178]
s5、基于所述训练文本集提取的词向量，对初始文本语义抽取模型进行训练，得到训练完毕的文本语义抽取模型；
[0179]
一种可行的实施方式中，文本语义抽取模型训练首先将多价值链问题文本进行问题文本类别的标注；接着进行文本分词、去停用词和提取词向量，获取文本的词向量表示；根据训练文本中提取的词向量，通过前向lstm网络和后向lstm网络，所述前向lstm网络提取从左到右的文本特征，所述后向lstm网络提取从右到左的文本特征，再将两种特征拼接起来形成最终的文本语义特征；基于所述文本语义特征和本文的类别标签的向量特征之间的相似度得到预测类别，并通过交叉熵损失函数和梯度下降算法迭代更新模型。
[0180]
可选地，所述bi-lstm模型的训练过程包括：
[0181]
根据下述公式(6)对bi-lstm子模型进行训练；
[0182][0183]
其中，n表示训练文本集的句子个数，yi表示第i个句子的分类标签向量，用独热编码表示，pi表示第i个句子的最终输出的概率分布，定义如下述公式(7)表示；
[0184]
pi＝softmax(z)
……
(7)
[0185]
其中，softmax表示softmax激活函数，z表示当前文本经过bi-lstm的输出向量与每一个标签向量的点积结果向量，定义为下述公式(8)；
[0186]zt
＝ei·ht
，t∈[0，m)
……
(8)
[0187]
其中z
t
表示向量z的第t个分量，ei表示bi-lstm模型对第i条文本的输出向量，h
t
表示第t个类别标签的表示向量，m表示类别标签总数目，ei·ht
表示第i条文本和类别标签t点积后的结果，用于计算文本与类别标签之间的相似度，通过softmax函数即可做归一化得到文本属于某一类别标签的概率。其中softmax函数定义如下述公式(9)所示；
[0188][0189]
其中，z表示输入向量，c表示输入向量的长度，zc表示向量z的第c个分量，zi表示向量z的第i个分量，公式左边代表向量z通过softmax函数后的输出的第i个分量的数值。softmax是sigmoid函数的多分类版本，可以很好的根据向量的分布做归一化，得到的输出都在0到1之间，并加起来为1，可将其视为预测为类别分布的概率。
[0190]
类别标签预测结果为对所有pi中取最大的，即预测结果如下述公式(10)给出；
[0191]
o＝argmax
i∈[0，m)
(pi)
……
(10)
[0192]
其中i代表序号为i的类别标签，o表示最终判断为哪一类别标签的结果，用数字序号表示。
[0193]
s6、根据训练完毕的文本语义抽取模型，对所述测试文本集进行语义抽取，根据训练完毕的标签图注意力模型，对所述测试文本集进行分类。
[0194]
一种可行的实施方式中，基于已经提取出的测试文本集的词向量，通过bi-lstm进行文本的语义抽取，得到文本向量；再将所述文本向量与训练好的标签向量做点积计算相似度得到预测的文本类别概率分布。
[0195]
一种可行的实施方式中，基于图注意力机制模型训练的多价值链问题文本分类方法可以描述为：首先将多价值链问题文本进行问题文本类别的标注；接着进行文本分词、去停用词和提取词向量，获取文本的词向量表示；根据训练文本中提取的词向量，和类别标签节点构建全连接网络图；基于全连接网络图训练图注意力标签网络；对于输入测试问题文本，首先对齐进行文本语义特征提取，然后将文本语义特征与各个类别标签特征分别计算相似度，得到文本预测类别的概率分布，再取概率最大的类别作为最终输出。
[0196]
下面对一条测试文本“市场发展部的业务负责人是谁”进行实施方式说明，经过分词和停用词处理后，文本变为“市场发展部业务负责人谁”的形式，其中四个词语分别通过bert预训练词向量提取模型，词向量提取维度为30，得到的四个词向量分别为：
[0197]
市场发展部：[-3.06069449,8.08047426,-1.04657962,2.54707903,-5.45107929,7.71724758,-7.21749163,7.71894487,7.39433977,2.44432663,-2.92139483,-3.49030684,-15.05859546,-8.33196712,-4.01220638,-5.44485077,-3.03348011,3.26214281,-2.34982418,-0.71703633,-0.29940802,7.9193014,-3.54363642,-1.94711914,4.08936812,-2.04229542,-4.19505067,-7.50068999,-5.51120226,5.35286249]
[0198]
业务：[-11.49322276,-9.0087295,2.98726354,6.07464975,-0.21259287,-6.2843385,1.84081827,10.30846377,-2.41484459,6.04847987,0.5687931,2.82225513,
2.59458137,-5.84662537,-8.38614455,-4.3733154,8.88788102,7.9281024,4.30021329,4.11297809,2.0158162],
[0205]
标签1：[-13.52978119,10.18655095,-22.65309115,11.19357032,-10.03651148,3.53468868,17.72594014,-7.40914667,3.75224215,-6.49460953,6.03641369,13.25902568,-2.0260207,10.99278901,-0.94538989,-2.86637046,-1.35209965,-9.31925225,-6.04641304,-9.05954462,-4.19337716,14.57395911,9.17987103,2.00481698,-1.54548618,20.95201259,1.19885046,11.36862312,9.69431927,8.30669821,1.65183686,2.70179518,-26.48967033,5.1492787,9.97703957,-0.25899668,16.80103617,5.54094704,6.67475959,20.23955869,4.4467589,-1.1262427,-9.41496104,-5.75355392,-0.57321567,-15.7887971,-5.76783193,-20.41854168,9.03704669,-7.8332908],
[0206]
标签2：[-15.5523014,-0.05098922,-14.34667976,-2.25306942,8.27374374,12.72074316,-12.71875066,-10.296529,-2.06284104,2.45320212,16.16718339,-6.62264998,16.27301166,13.89477223,-12.65328534,0.27039158,16.53604385,-5.42513727,-9.11123829,-2.47018876,7.82217354,-4.22237532,-17.04346112,-6.69827197,5.73699076,13.35587841,1.2153476,-3.83075819,5.12494883,-9.38151991,-14.57682911,10.56865872,-13.68774591,10.21696476,6.8567849,9.01829401,-0.95757215,-16.13063979,-0.262992,8.68835084,10.6138184,-9.17414989,6.33474456,5.94803427,20.02490159,-3.20275873,11.40157664,-1.19329514,14.87974036,3.87267909],
[0207]
标签3：[4.85479927,-1.99093857,-5.56741885,6.20331452,3.62071848,12.37271197,12.47100925,5.55905451,-6.24048162,-0.73280996,6.89689023,7.22896023,17.30554227,-20.74874563,10.3976227,-17.11342545,-4.66771674,-0.05348024,-2.11445769,5.72611576,-12.52517376,-2.6273724,3.61542192,-0.82440065,-8.68445132,-11.81142574,8.62742712,7.07431355,6.59820306,1.6810814,-7.27525461,7.07595003,1.73496954,6.5950062,17.02141687,9.91207892,-1.93083413,-2.874787,-7.68151885,3.13225138,21.4477146,12.68083358,8.85897204,9.11184453,1.76935689,7.08592237,0.60035095,-12.19481081,-4.15659429,-7.84300446],
[0208]
标签4：[10.35834579,4.27755478,8.28834525,-4.32956095,7.56058244,9.48078205,1.71802476,4.50813155,18.53001609,8.5279681,-13.37840118,0.40000298,11.91627408,-1.03129535,-18.31844916,1.5001133,7.10047334,3.00095028,3.72462107,-11.59926491,-5.0415842,10.09667557,-7.99359476,-14.64089078,7.11108861,10.33194604,5.26059789,-11.85866284,-1.02213081,3.93500563,-15.22253635,-5.38307785,11.19184711,16.25874224,-2.78640284,5.35442683,0.55587949,8.84622493,8.15230091,-3.76267201,-8.21651066,2.41864845,11.19213948,5.50713794,-5.88278869,8.13093996,2.22734626,4.69525982,-8.82085003,0.83872203]
[0209]
根据相似度计算函数计算该文本特征向量与每一个类别特征向量的归一化相似
度，作为预测为该类别的概率，相似度计算公式为sim(x,y)＝104*(x
·
y)*(||x||
·
||y||)-1
，再做softmax归一化，计算结果如下所示：
[0210]
[8.6843e-01,4.5041e-04,2.1220e-04,1.3028e-01,6.2073e-04]
[0211]
取其中概率最大的类别，即标签0，为0.86843，作为输出，测试完毕。
[0212]
图4是根据示例实施例示出的一种基于图注意力网络的多价值链问题文本分类模型构建装置框图。该装置400包括：数据收集模块410、数据预处理模块420、提取构建模块430、训练模块440、分类模块450；
[0213]
数据收集模块410，用于对企业里各业务检索平台中用户检索的问句进行收集与文本类别标签标注，得到多价值链问题文本的数据集；
[0214]
数据预处理模块420，用于将所述问题文本数据集进行预处理，将预处理后的问题文本数据集划分为训练文本集与测试文本集；
[0215]
提取构建模块430，用于对所述训练文本集与测试文本集进行词向量提取，基于所述训练文本集，用提取后的词向量与标注的文本类别标签，构建全连接网络图；
[0216]
训练模块440，用于基于所述全连接网络图，对初始标签图注意力模型进行训练，得到训练完毕的标签图注意力模型；基于所述训练文本集提取的词向量，对初始文本语义抽取模型进行训练，得到训练完毕的文本语义抽取模型；
[0217]
分类模块450，用于根据训练完毕的文本语义抽取模型，对所述测试文本集进行语义抽取，根据训练完毕的标签图注意力模型，对所述测试文本集进行分类。
[0218]
可选地，所述数据预处理模块，具体用于：
[0219]
对所述问题文本数据集进行中文分词处理和去除停用词处理；
[0220]
其中，所述中文分词处理以及去除停用词处理包括：
[0221]
基于预先构建的多价值链文本专家词典对所述文本进行分词，采用大颗粒度词语数目最大化的原则，确定分词结果；其中，所述文本为问题文本数据集；
[0222]
基于预先构建的多价值链停用词词典对停用词进行过滤，去除噪声字词。
[0223]
可选地，所述提取构建模块，具体用于：
[0224]
基于预训练的bert词向量提取模型，得到预处理后的训练文本集与测试文本集的词向量；
[0225]
基于训练文本集，用提取后的词向量与标注的文本类别标签分别作为节点，构建所有节点间全连接的全连接网络图，其中，所述文本类别标签代表的节点初始化为随机向量，维度与词向量维度一致，词向量节点间的边权重随机初始化，类别-词节点间的边权重初始化为所述训练文本集中该词在该类别中出现的概率。
[0226]
可选地，所述初始标签图注意力模型为gnn-attention模型，所述gnn-attention模型包括gnn子模型与attention子模型；
[0227]
所述gnn子模型用于得到每个类别标签节点的输出特征；
[0228]
所述attention子模型用于控制在gnn子模型中的节点间的注意力权重分配。
[0229]
可选地，所述训练模块具体用于：
[0230]
根据下述公式(2)对gnn-attention模型中节点的特征向量进行迭代更新；
[0231][0232]
其中，σ0表示sigmoid激活函数，wk表示gnn第k次迭代时的参数矩阵，k∈[1，k]，其中k∈r
+
，k＞1，为预设的常数，n(v)表示节点v的所有邻居节点，|n(v)|表示n(v)的大小，表示第k-1次迭代时节点u的特征向量，是节点v在第k-1次迭代时的特征向量，是第k次迭代时节点v的输出向量，bk是第k次迭代时的偏置参数，k为1表示第一次迭代，所有参数都随机初始化。α
vu
表示节点u和节点v之间的注意力权重，定义如下述公式(3)表示；
[0233][0234]
其中，e
vu
定义如下述公式(4)得到；
[0235][0236]
其中，a表示一种计算注意力权重的函数；
[0237]
所定义损失函数为类均衡标签相似度损失函数，如下述公式(5)：
[0238][0239]
其中m表示将整个训练文本集分成的批次的数量，b表示批次的下标，nb表示下标为b的批次里训练文本的数量，i表示某一批次内训练文本的下标，l表示类别标签的总个数，sj表示第j个标签出现在整个训练文本集里的频次，gb(i)表示在下标为b的批次里下标为i的训练文本对应的类别标签，zb(i)表示在下标为b的批次里下标为i的训练文本在全连接图中对应的节点下标，zb(gb(i))表示类别标签gb(i)在全连接图中所对应的节点下标，wc表示对训练文本节点进行线性变换的参数矩阵，w
l
表示对标签节点进行线性变换的参数矩阵，k为前述的迭代的总次数；
[0240]
根据上述类均衡标签相似度损失函数，采用批量梯度下降算法对gnn-attention模型中的参数进行更新，得到训练完毕的标签图注意力模型。
[0241]
图5是本发明实施例提供的一种电子设备的结构示意图，该电子设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)501和一个或一个以上的存储器502，其中，所述存储器502中存储有至少一条指令，所述至少一条指令由所述处理器501加载并执行以实现上述一种多价值链问题文本分类方法的步骤。
[0242]
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述一种多价值链问题文本分类方法。例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0243]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读
存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0244]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。