一种文本分类方法和装置与流程

1.本发明涉及深度学习技术领域，尤其涉及一种文本分类方法和装置。


背景技术：

2.文本分类是情报分析、主题分类、垃圾内容检测、情感分析等应用的基础，有非常广泛的发展前景，因此对文本分类的探索便显得尤为重要。
3.传统的文本分类方法大多数基于词袋模型，在此基础上设计了一些更复杂的特征(例如n-gram、实体识别标签)，再使用传统的分类算法(例如支持向量机、逻辑回归)；同时也有一些方法，基于将文本表示成图结构，通过图算法(如隐马尔可夫链、条件随机场)来实现文本的表示和分类。
4.随着2010年代深度神经网络的大发展，出现了一些基于词嵌入(word embedding)和卷积神经网络(cnn)/循环神经网络(rnn)的分类方法。它们都试图根据词的上下文同现关系、词序关系和距离等特征，学习词的数学表示。由这些思路诞生了一些诸如word2vec、glove、textcnn等工具。
5.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
6.传统的文本分类方法，至少存在两方面的重要缺陷：一方面是很难表达文本的潜在语义，例如往往不能识别同义词；另一方面是难以描述文本之间的语义差异，例如“茄子”、“轮胎”两个词，哪个和“西瓜”更接近。
7.深度神经网络能较好地解决上述问题，但是它也有一些缺点：以word embedding为基础的文本分类方法，需要先训练文本的向量表示，然后根据向量表示来进行文本分类，这不是一个端对端的模型，可能会带来额外的语义类别信息损失。
8.以cnn/rnn为代表的文本分类模型，对于局部的上下文、词序关系挖掘得较好，而对于全局的，特别是“词到文本”的关系挖掘得较少，这也带来了很大的信息损失。假如整个语料库的所有文本都比较短(例如一批商品名称)，会挖掘不到足够的信息，导致分类效果不佳。


技术实现要素：

9.有鉴于此，本发明实施例提供一种文本分类方法和装置，以解决文本分类不够准确的技术问题。
10.为实现上述目的，根据本发明实施例的一个方面，提供了一种文本分类方法，包括：
11.通过文本集合中的各个文本构建文本图谱；其中，所述文本集合包括已标记标签的文本和未标记标签的文本；
12.根据所述文本图谱构建图卷积神经网络，并采用所述文本集合中已标记标签的文本对所述图卷积神经网络进行训练；
13.将待分类文本输入到训练后的所述图卷积神经网络中，得到所述待分类文本的分
类标记。
14.可选地，通过文本集合中的各个文本构建文本图谱，包括：
15.对文本集合中的各个文本进行分词处理；
16.分别计算所述文本集合中各个词在各个文本中的词频-逆文本频率指数和词与词之间的互信息；
17.根据所述各个词在各个文本中的词频-逆文本频率指数和词与词之间的互信息，构建文本图谱。
18.可选地，对于每个文本中的每个词，采用如下方法计算所述词在所述文本中的词频-逆文本频率指数：
19.将所述词在所述文本中的出现次数与所述文本中的词数相除，得到第一指数；
20.将所述文本集合中的文本总数量与含有所述词的文本数量相除后取对数，得到第二指数；
21.将所述第一指数与所述第二指数相乘，得到所述词在所述文本中的词频-逆文本频率指数。
22.可选地，对于文本集合中的每个词，采用如下方法计算所述词与任意一个其他词之间的互信息：
23.以k个相邻词作为一个窗口，计算所述词和所述任意一个其他词出现在同一个窗口中的次数，以及，所述词和所述任意一个其他词中的至少一个词出现在一个窗口中的次数；
24.将所述词和所述任意一个其他词出现在同一个窗口中的次数与所述词和所述任意一个其他词中的至少一个词出现在一个窗口中的次数相除，得到所述词与所述任意一个其他词之间的互信息。
25.可选地，根据所述各个词在各个文本中的词频-逆文本频率指数和词与词之间的互信息，构建文本图谱，包括：
26.以词和文本作为实体，构建带权无向边的文本图谱；其中，词与文本的边的权值为所述词在所述文本中的词频-逆文本频率指数，词与词的边的权值为词与词之间的互信息。
27.可选地，根据所述文本图谱构建图卷积神经网络，包括：
28.根据所述文本图谱构建邻接矩阵和度矩阵，根据所述邻接矩阵和度矩阵构建拉普拉斯矩阵；
29.根据所述拉普拉斯矩阵构建图卷积神经网络。
30.可选地，所述图卷积神经网络的层数为2-3层。
31.可选地，所述图卷积神经网络的输出结果的计算方法，包括：
32.采用线性整流激活函数对拉普拉矩斯阵、样本文本输入信息和第一层神经网络参数进行求解，得到中间结果；
33.采用损失函数对拉普拉矩斯阵、所述中间结果和第二层神经网络参数进行求解，得到输出结果。
34.另外，根据本发明实施例的另一个方面，提供了一种文本分类装置，包括：
35.构建模块，用于通过文本集合中的各个文本构建文本图谱；其中，所述文本集合包括已标记标签的文本和未标记标签的文本；
36.训练模块，用于根据所述文本图谱构建图卷积神经网络，并采用所述文本集合中已标记标签的文本对所述图卷积神经网络进行训练；
37.分类模块，用于将待分类文本输入到训练后的所述图卷积神经网络中，得到所述待分类文本的分类标记。
38.可选地，所述构建模块还用于：
39.对文本集合中的各个文本进行分词处理；
40.分别计算所述文本集合中各个词在各个文本中的词频-逆文本频率指数和词与词之间的互信息；
41.根据所述各个词在各个文本中的词频-逆文本频率指数和词与词之间的互信息，构建文本图谱。
42.可选地，所述构建模块还用于：对于每个文本中的每个词，采用如下方法计算所述词在所述文本中的词频-逆文本频率指数：
43.将所述词在所述文本中的出现次数与所述文本中的词数相除，得到第一指数；
44.将所述文本集合中的文本总数量与含有所述词的文本数量相除后取对数，得到第二指数；
45.将所述第一指数与所述第二指数相乘，得到所述词在所述文本中的词频-逆文本频率指数。
46.可选地，所述构建模块还用于：对于文本集合中的每个词，采用如下方法计算所述词与任意一个其他词之间的互信息：
47.以k个相邻词作为一个窗口，计算所述词和所述任意一个其他词出现在同一个窗口中的次数，以及，所述词和所述任意一个其他词中的至少一个词出现在一个窗口中的次数；
48.将所述词和所述任意一个其他词出现在同一个窗口中的次数与所述词和所述任意一个其他词中的至少一个词出现在一个窗口中的次数相除，得到所述词与所述任意一个其他词之间的互信息。
49.可选地，所述构建模块还用于：
50.以词和文本作为实体，构建带权无向边的文本图谱；其中，词与文本的边的权值为所述词在所述文本中的词频-逆文本频率指数，词与词的边的权值为词与词之间的互信息。
51.可选地，所述训练模块还用于：
52.根据所述文本图谱构建邻接矩阵和度矩阵，根据所述邻接矩阵和度矩阵构建拉普拉斯矩阵；
53.根据所述拉普拉斯矩阵构建图卷积神经网络。
54.可选地，所述图卷积神经网络的层数为2-3层。
55.可选地，所述图卷积神经网络的输出结果的计算方法，包括：
56.采用线性整流激活函数对拉普拉矩斯阵、样本文本输入信息和第一层神经网络参数进行求解，得到中间结果；
57.采用损失函数对拉普拉矩斯阵、所述中间结果和第二层神经网络参数进行求解，得到输出结果。
58.根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
59.一个或多个处理器；
60.存储装置，用于存储一个或多个程序，
61.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。
62.根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
63.上述发明中的一个实施例具有如下优点或有益效果：因为采用通过文本集合中的各个文本构建文本图谱，根据文本图谱构建图卷积神经网络，并采用文本集合中已标记标签的文本对图卷积神经网络进行训练的技术手段，所以克服了现有技术中文本分类不够准确的技术问题。本发明实施例通过建立词-文本、词-词的文本图谱并结合图卷积神经网络来实现文本的分类，既充分地挖掘了局部的词语上下文信息，也充分地挖掘了全局的词与文本的关系，因此可以提高文本分类的准确性。
64.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
65.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
66.图1是根据本发明实施例的文本分类方法的主要流程的示意图；
67.图2是根据本发明实施例的文本内容的示意图；
68.图3是根据本发明实施例的文本图谱的示意图；
69.图4是根据本发明一个可参考实施例的文本分类方法的主要流程的示意图；
70.图5是根据本发明实施例的文本分类装置的主要模块的示意图；
71.图6是本发明实施例可以应用于其中的示例性系统架构图；
72.图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
73.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
74.图1是根据本发明实施例的文本分类方法的主要流程的示意图。作为本发明的一个实施例，如图1所示，所述文本分类方法可以包括：
75.步骤101，通过文本集合中的各个文本构建文本图谱。
76.在本发明的实施例中，所述文本集合包括已标记标签的文本和未标记标签的文本。假设已标记标签的文本集合为y，共有c个类别，未标记标签的文本集合为z，那么文本集合(即所有文本)φ＝y∪z，且总的文本数为n。在φ中，需要保留y的所有文本类别标记(作为训练数据，训练图卷积神经网络)。
77.在实际应用中，可以采取人工标记标签的方式来生成训练数据，即y。限于人工的
工作量，一般说来y总是比z小很多。
78.可选地，步骤101可以包括：对文本集合中的各个文本进行分词处理；分别计算所述文本集合中各个词在各个文本中的词频-逆文本频率指数和词与词之间的互信息；根据所述各个词在各个文本中的词频-逆文本频率指数和词与词之间的互信息，构建文本图谱。在步骤101中，对文本集合φ中的所有文本，使用分词器(比如nlpir汉语分词系统)进行分词，将每个文本划分为若干个词，因此所述文本集合包括多个词。然后，分别计算各个词在各个文本中的词频-逆文本频率指数(tf-idf)和词与词之间的互信息(pmi)，最后根据tf-idf和pmi构建文本图谱。
79.可选地，对于每个文本中的每个词，采用如下方法计算所述词在所述文本中的词频-逆文本频率指数：将所述词在所述文本中的出现次数与所述文本中的词数相除，得到第一指数；将所述文本集合中的文本总数量与含有所述词的文本数量相除后取对数，得到第二指数；将所述第一指数与所述第二指数相乘，得到所述词在所述文本中的词频-逆文本频率指数。
80.设文本i的第j个词为w
i,j
，对于每个文本的每个词，采用如下公式计算w
i,j
的tfidf值：
[0081][0082]
其中，n为文本集合φ中的文本总数量。
[0083]
tfidf
i,j
可以用来描述词w
i,j
和文本d
i
的联系。
[0084]
由于部分停用词的tf值可能会很大，会干扰最终的结果，例如“的”、“和”等，考虑将这些停用词从原始语料中去除，不需要计算其tfidf值。因此，所述文本集合中的词是对文本集合中的各个文本进行分词处理和去除停用词后得到的词集合。
[0085]
如果已标记标签的文本集合y的文本类别分布不均匀，例如所有文本都是数码产品相关的，可能会使得某些词的idf值偏小，如果用来估量新的文本分类，可能会发生偏差。因此，应尽量使文本集合y包含全局类别的文本。
[0086]
可选地，对于文本集合中的每个词，采用如下方法计算所述词与任意一个其他词之间的互信息：以k个相邻词作为一个窗口，计算所述词和所述任意一个其他词出现在同一个窗口中的次数，以及，所述词和所述任意一个其他词中的至少一个词出现在一个窗口中的次数；将所述词和所述任意一个其他词出现在同一个窗口中的次数与所述词和所述任意一个其他词中的至少一个词出现在一个窗口中的次数相除，得到所述词与所述任意一个其他词之间的互信息。
[0087]
词与词的互信息可以用来描述同文本中多个词之间的上下文联系，例如“苹果”和“iphone”出现在同一个文本的上下文的几率较高，而“iphone”和“西红柿”出现在同一个文本的上下文的几率较低。
[0088]
对文档d
i
，以k个相邻词为一个窗口；在每个窗口中，同时出现的每对词，其共现频度加1，最后可以得到词w
i
和词w
j
出现在同一个窗口中的次数(即共现频度)cofreq
i,j
，以及它们中的任意一个词出现在一个窗口中的次数freq
i,j
，最终得到两词之间的互信息如下：
[0089][0090]
如图2所示，若k＝3，则“搜索引擎”和“广告”出现在同一个窗口中的次数为2，“搜索引擎”和“广告”中的至少一个词出现在一个窗口中的次数为8，那么“搜索引擎”和“广告”的互信息为0.25。而“搜索引擎”和“成熟”此时没有在任何同一窗口共现，故其互信息为0。
[0091]
可选地，根据所述各个词在各个文本中的词频-逆文本频率指数和词与词之间的互信息，构建文本图谱，包括：以词和文本作为实体，构建带权无向边的文本图谱；其中，词与文本的边的权值为所述词在所述文本中的词频-逆文本频率指数，词与词的边的权值为词与词之间的互信息。本发明实施例建立了一个含有两类实体(entity)的文本图谱，一类实体为文本，另一类实体为词。实体与实体之间的联系是若干带权无向边。
[0092]
假设只有两个已标注文本，分别是【互联网/搜索引擎/的/商业价值/是/广告】、【搜索引擎/广告/技术】，构建的文本图谱如图3所示。
[0093]
其中，实线边是“文本”到“词”的联系，虚线边则为“词”到“词”的联系，类别边仅供示意，各类边的权重定义如下：
[0094]
词—词：每个词与其他词的权值，定义为两词的互信息
[0095]
词—文本：某词(记为w
j
)与某文档(记为d
i
)的权值，是词的tfidf值(即tfidf
i,j
)
[0096]
自身—自身：每个实体天然与自己等同，因此该权值记为1。
[0097]
本发明实施例通过词-词关系、词-文本关系的定量计算，巧妙地构建了文本图谱，是能够正确将文本分类的关键。
[0098]
步骤102，根据所述文本图谱构建图卷积神经网络，并采用所述文本集合中已标记标签的文本对所述图卷积神经网络进行训练。
[0099]
图卷积神经网络(gcn)能够很好地学习到文本图谱的节点(即实体)邻接关系，使用相对较小的资源耗费就能学习到各个节点的向量表示。其能同时对节点特征信息与结构信息进行端对端学习。
[0100]
可选地，根据所述文本图谱构建图卷积神经网络，包括：根据所述文本图谱构建邻接矩阵和度矩阵，根据所述邻接矩阵和度矩阵构建拉普拉斯矩阵；根据所述拉普拉斯矩阵构建图卷积神经网络。
[0101]
在本发明的实施例中，通过图卷积神经网络模型学习文本图谱的各个节点表示(即文本和词的向量表示)，并通过图卷积网络的输出层softmax分类器，同时对文档和词分类。
[0102]
可以构建文本图谱的邻接矩阵a，定义如下：
[0103][0104]
设邻接矩阵a的度矩阵为d，则其拉普拉斯矩阵a
′
＝d-1/2
ad-1/2
。
[0105]
可选地，所述图卷积神经网络的层数为2-3层，本发明在提高了文本分类准确性的同时，只使用了2-3层神经网络结构，比起现有技术，并不增加过多的资源耗费，有较强的实
用性。
[0106]
可选地，所述图卷积神经网络的输出结果的计算方法可以包括：采用线性整流激活函数对拉普拉矩斯阵、样本文本输入信息和第一层神经网络参数进行求解，得到中间结果；采用损失函数对拉普拉矩斯阵、所述中间结果和第二层神经网络参数进行求解，得到输出结果。以构建两层神经网络为例，所述图卷积神经网络描述为：
[0107]
z＝softmax(a
′
*relu(a
′
xw0)w1)。
[0108]
其中，x为样本文本输入信息，w0、w1分别为第一、二层神经网络参数，relu为线性整流激活函数，a
′
为拉普拉斯矩阵。
[0109]
模型训练的损失值定义为，训练集的各个已标记文本与网络输出的该文本在各个类别下的softmax值的交叉熵之和，表示如下：
[0110][0111]
其中，c为已标记标签的文本的类别数量，z
d,f
为属于第f类的概率；式中的y
d,f
定义为：
[0112][0113]
同时，由图卷积神经网络的定义，第二层的原始输出e2＝a
′
*relu(a
′
xw0)w1即为文本和词的嵌入(embedding)表示。显然，通过修改隐藏层的宽度，就能改变表示向量的维度。
[0114]
本发明实施例使用自适应矩估计(adam)优化器对模型进行优化，可选地，隐藏层宽度可以定义为500维。可选地，每次训练，从已标记标签的文本集合y中随机采样32个样本进行训练。
[0115]
步骤103，将待分类文本输入到训练后的所述图卷积神经网络中，得到所述待分类文本的分类标记。
[0116]
在模型收敛后，将未标记标签的文本集合z中的任意一个文本输入到模型中，即得到该文本的分类标记。本发明实施例提供的文本分类方法是一种端对端的文本分类方法，在训练得到文本表示的同时，就能够完成文本的分类。
[0117]
而且本发明实施例采用较少的已标注标签的文本训练图卷积神经网络，就可以准确地对文本进行分类。需要指出的是，训练后的图卷积神经网络不但可以对文本集合φ中的未标记标签的文本进行分类，也可以对文本集合φ外的文本进行分类，本发明实施例对此不作限制。
[0118]
根据上面所述的各种实施例，可以看出本发明采用通过文本集合中的各个文本构建文本图谱，根据文本图谱构建图卷积神经网络，并采用文本集合中已标记标签的文本对图卷积神经网络进行训练的技术手段，解决了现有技术中文本分类不够准确的技术问题。本发明实施例通过建立词-文本、词-词的文本图谱并结合图卷积神经网络来实现文本的分类，既充分地挖掘了局部的词语上下文信息，也充分地挖掘了全局的词与文本的关系，因此可以提高文本分类的准确性。
[0119]
图4是根据本发明一个可参考实施例的文本分类方法的主要流程的示意图。作为本发明的另一个实施例，如图4所示，所述文本分类方法可以包括：
[0120]
步骤401，对文本集合中的各个文本进行分词处理。
[0121]
可选地，所述文本集合中φ既包括已标记标签的文本集合y和未标记标签的文本集合z。可以采取人工标记标签的方式来生成训练数据，即y。限于人工的工作量，一般说来y总是比z小很多。
[0122]
对文本集合φ中的所有文本，使用分词器(比如nlpir汉语分词系统)进行分词，将每个文本划分为若干个词。
[0123]
步骤402，去除分词结果中的停用词。
[0124]
由于部分停用词的tf值可能会很大，会干扰最终的结果，因此将这些停用词从文本集合中去除。
[0125]
步骤403，分别计算所述文本集合中各个词在各个文本中的词频-逆文本频率指数和词与词之间的互信息。
[0126]
设文本i的第j个词为w
i,j
，对于每个文本的每个词，采用如下公式计算w
i,j
的tfidf值：
[0127][0128]
其中，n为文本集合φ中的文本总数量。
[0129]
对文档d
i
，以k个相邻词为一个窗口；在每个窗口中，同时出现的每对词，其共现频度加1，最后可以得到词w
i
和词w
j
出现在同一个窗口中的次数(即共现频度)cofreq
i,j
，以及它们中的任意一个词出现在一个窗口中的次数freq
i,
，最终得到两词之间的互信息如下：
[0130][0131]
步骤404，根据所述各个词在各个文本中的词频-逆文本频率指数和词与词之间的互信息，构建文本图谱。
[0132]
以词和文本作为实体，构建带权无向边的文本图谱；其中，词与文本的边的权值为所述词在所述文本中的词频-逆文本频率指数，词与词的边的权值为词与词之间的互信息。
[0133]
步骤405，根据所述文本图谱构建图卷积神经网络。
[0134]
通过图卷积神经网络模型学习文本图谱的各个节点表示(即文本和词的向量表示)，并通过图卷积网络的输出层softmax分类器，同时对文档和词分类。
[0135]
可以构建文本图谱的邻接矩阵a，定义如下：
[0136][0137]
设邻接矩阵a的度矩阵为d，则其拉普拉斯矩阵a
′
＝d-1/2
ad-1/2
。
[0138]
以构建两层神经网络为例，所述图卷积神经网络描述为：
[0139]
z＝softmax(a
′
*relu(x
′
xw0)w1)。
[0140]
其中，x为样本文本输入信息，w0、w1分别为第一、二层神经网络参数，relu为线性整流激活函数，a
′
为拉普拉斯矩阵。
[0141]
步骤406，采用所述文本集合中已标记标签的文本对所述图卷积神经网络进行训练。
[0142]
模型训练的损失值定义为，训练集的各个已标记文本与网络输出的该文本在各个类别下的softmax值的交叉熵之和，表示如下：
[0143][0144]
其中，c为已标记标签的文本的类别数量，z
d,f
为属于第f类的概率；式中的y
d,f
定义为：
[0145][0146]
同时，由图卷积神经网络的定义，第二层的原始输出e2＝a
′
*relu(a
′
xw0)w1即为文本和词的embedding表示。
[0147]
步骤407，将待分类文本输入到训练后的所述图卷积神经网络中，得到所述待分类文本的分类标记。
[0148]
在模型收敛后，将未标记标签的文本集合z中的任意一个文本输入到模型中，即得到该文本的分类标记。
[0149]
另外，在本发明一个可参考实施例中文本分类方法的具体实施内容，在上面所述文本分类方法中已经详细说明了，故在此重复内容不再说明。
[0150]
图5是根据本发明实施例的文本分类装置的主要模块的示意图，如图5所示，所述文本分类装置500包括构建模块501、训练模块502和分类模块503。其中，构建模块501用于通过文本集合中的各个文本构建文本图谱；其中，所述文本集合包括已标记标签的文本和未标记标签的文本；训练模块502用于根据所述文本图谱构建图卷积神经网络，并采用所述文本集合中已标记标签的文本对所述图卷积神经网络进行训练；分类模块503用于将待分类文本输入到训练后的所述图卷积神经网络中，得到所述待分类文本的分类标记。
[0151]
可选地，所述构建模块501还用于：
[0152]
对文本集合中的各个文本进行分词处理；
[0153]
分别计算所述文本集合中各个词在各个文本中的词频-逆文本频率指数和词与词之间的互信息；
[0154]
根据所述各个词在各个文本中的词频-逆文本频率指数和词与词之间的互信息，构建文本图谱。
[0155]
可选地，所述构建模块501还用于：对于每个文本中的每个词，采用如下方法计算所述词在所述文本中的词频-逆文本频率指数：
[0156]
将所述词在所述文本中的出现次数与所述文本中的词数相除，得到第一指数；
[0157]
将所述文本集合中的文本总数量与含有所述词的文本数量相除后取对数，得到第二指数；
[0158]
将所述第一指数与所述第二指数相乘，得到所述词在所述文本中的词频-逆文本频率指数。
[0159]
可选地，所述构建模块501还用于：对于文本集合中的每个词，采用如下方法计算所述词与任意一个其他词之间的互信息：
[0160]
以k个相邻词作为一个窗口，计算所述词和所述任意一个其他词出现在同一个窗口中的次数，以及，所述词和所述任意一个其他词中的至少一个词出现在一个窗口中的次数；
[0161]
将所述词和所述任意一个其他词出现在同一个窗口中的次数与所述词和所述任意一个其他词中的至少一个词出现在一个窗口中的次数相除，得到所述词与所述任意一个其他词之间的互信息。
[0162]
可选地，所述构建模块501还用于：
[0163]
以词和文本作为实体，构建带权无向边的文本图谱；其中，词与文本的边的权值为所述词在所述文本中的词频-逆文本频率指数，词与词的边的权值为词与词之间的互信息。
[0164]
可选地，所述训练模块502还用于：
[0165]
根据所述文本图谱构建邻接矩阵和度矩阵，根据所述邻接矩阵和度矩阵构建拉普拉斯矩阵；
[0166]
根据所述拉普拉斯矩阵构建图卷积神经网络。
[0167]
可选地，所述图卷积神经网络的层数为2-3层。
[0168]
可选地，所述图卷积神经网络的输出结果的计算方法，包括：
[0169]
采用线性整流激活函数对拉普拉矩斯阵、样本文本输入信息和第一层神经网络参数进行求解，得到中间结果；
[0170]
采用损失函数对拉普拉矩斯阵、所述中间结果和第二层神经网络参数进行求解，得到输出结果。
[0171]
根据上面所述的各种实施例，可以看出本发明采用通过文本集合中的各个文本构建文本图谱，根据文本图谱构建图卷积神经网络，并采用文本集合中已标记标签的文本对图卷积神经网络进行训练的技术手段，解决了现有技术中文本分类不够准确的技术问题。本发明实施例通过建立词-文本、词-词的文本图谱并结合图卷积神经网络来实现文本的分类，既充分地挖掘了局部的词语上下文信息，也充分地挖掘了全局的词与文本的关系，因此可以提高文本分类的准确性。
[0172]
需要说明的是，在本发明所述文本分类装置的具体实施内容，在上面所述文本分类方法中已经详细说明了，故在此重复内容不再说明。
[0173]
图6示出了可以应用本发明实施例的文本分类方法或文本分类装置的示例性系统架构600。
[0174]
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0175]
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0176]
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0177]
服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的物品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、物品信息——仅为示例)反馈给终端设备。
[0178]
需要说明的是，本发明实施例所提供的文本分类方法一般由服务器605执行，相应地，所述文本分类装置一般设置在服务器605中。本发明实施例所提供的文本分类方法也可以由终端设备601、602、603执行，相应地，所述文本分类装置可以设置在终端设备601、602、603中。
[0179]
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0180]
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0181]
如图7所示，计算机系统700包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram 703中，还存储有系统700操作所需的各种程序和数据。cpu 701、rom 702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0182]
以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
[0183]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本发明的系统中限定的上述功能。
[0184]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，
其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0185]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0186]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括构建模块、训练模块和分类模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
[0187]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：通过文本集合中的各个文本构建文本图谱；其中，所述文本集合包括已标记标签的文本和未标记标签的文本；根据所述文本图谱构建图卷积神经网络，并采用所述文本集合中已标记标签的文本对所述图卷积神经网络进行训练；将待分类文本输入到训练后的所述图卷积神经网络中，得到所述待分类文本的分类标记。
[0188]
根据本发明实施例的技术方案，因为采用通过文本集合中的各个文本构建文本图谱，根据文本图谱构建图卷积神经网络，并采用文本集合中已标记标签的文本对图卷积神经网络进行训练的技术手段，所以克服了现有技术中文本分类不够准确的技术问题。本发明实施例通过建立词-文本、词-词的文本图谱并结合图卷积神经网络来实现文本的分类，既充分地挖掘了局部的词语上下文信息，也充分地挖掘了全局的词与文本的关系，因此可以提高文本分类的准确性。
[0189]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。