基于量子启发式神经网络的文本分类方法及邮件分类方法

1.本发明属于自然语言处理领域，具体涉及一种基于量子启发式神经网络的文本分类方法及邮件分类方法。


背景技术：

2.随着经济技术的发展和人们生活水平的提高，自然语言处理技术已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。
3.在自然语言处理(以下简称nlp)领域当中，采用深度学习的方法来完成包括文本分类在内的任务时，首先要考虑的是如何将文本中的单词转换为计算机可以识别的形式。经过深度学习技术的长久发展，distributed representation形式的词向量(用来表示单词的向量，简称词向量)被提出用来代替文本单词，并作为输入投到神经网络当中，使网络通过反向传播算法得以训练进而完成各种nlp下游任务，包括文本分类、问题答案匹配以及机器翻译等等。文本分类是nlp的一个基本任务，根据分类标签的数量又进一步分为文本二分类以及文本多分类。
4.但是，现有常用的文本分类方法，往往存在着文本分类精确度较差，分类效果较差的问题，从而严重影响了文本分类方法的使用和推广。


技术实现要素：

5.本发明的目的之一在于提供一种可靠性高、实用性好且精确度较高的基于量子启发式神经网络的文本分类方法。
6.本发明的目的之二在于提供一种包括了所述基于量子启发式神经网络的文本分类方法的邮件分类方法。
7.本发明提供的这种基于量子启发式神经网络的文本分类方法，包括如下步骤：
8.s1.获取基础的训练文本，并对训练文本的分类结果进行标记，从而得到文本分类训练数据；
9.s2.基于量子启发式复数词向量和深度学习算法，构建初级文本分类模型；
10.s3.采用步骤s1得到的文本分类训练数据，对步骤s2构建的初级文本分类模型进行训练，从而得到文本分类最终模型；
11.s4.采用步骤s3得到的文本分类最终模型对实际文本进行分类。
12.步骤s2所述的基于量子启发式复数词向量和深度学习算法，构建初级文本分类模型，具体为采用如下步骤构建初级文本分类模型：
13.a.采用分词技术，将获取的训练文本进行分词；
14.b.将步骤a得到的每一个单词输入到幅度词向量层，得到幅度词向量；
15.c.将步骤a得到的每一个单词输入到相位词向量层，得到相位词向量；
16.d.将步骤b得到的幅度词向量输入到gru层进行语义特征提取，从而得到新词向量；
17.e.将步骤d得到的新词向量通过自注意力机制层进行计算；
18.f.根据步骤c得到的相位词向量和步骤e得到的计算结果，构建密度矩阵；
19.g.对步骤f构建的密度矩阵进行投影测量，从而得到文本分类的概率；
20.h.根据步骤g得到的文本分类的概率，对文本进行分类。
21.步骤b所述的幅度词向量层，具体为采用glove预训练词向量，并作为幅度词向量层。
22.步骤d所述的gru层，具体为采用如下公式进行gru层内部的计算：
[0023][0024][0025]
h
′
t
‑1＝h
t
‑1⊙
r
[0026][0027]
h
t
＝(1
‑
z)
⊙
h
t
‑1+z
⊙
h
′
[0028]
式中r为重置向量的门控；σ为sigmoid函数，且为激活函数；w
r
为gru中的第一权重矩阵；x
t
和h
t
‑1为gru的输入词向量，且x
t
包含当前单词t的信息，h
t
‑1包含单词t之前的文本信息；z为更新向量的门控；w
z
为gru中的第二权重矩阵；h
′
t
‑1为h
t
‑1经过重置门r后的重置向量；
⊙
为哈达玛积；h
′
为x
t
和h
′
t
‑1拼接后且经过激活函数的向量；tanh为激活函数；w为gru中的第三权重矩阵；h
t
为由h
t
‑1和x
t
共同生成单词t的新词向量。
[0029]
步骤e所述的自注意力机制层，具体为采用如下算式进行自注意力机制层内的计算：
[0030][0031]
式中attention(q,k,v)为经过激活函数softmax后的结果矩阵；q为查询矩阵；k为键矩阵；v为值矩阵；d
k
为词向量的维度。
[0032]
步骤f所述的构建密度矩阵，具体为采用如下算式计算密度矩阵d：
[0033][0034]
式中p
i
为单词的权重；|φ
i
>代表右矢和列向量，具体为<φ
i
|代表左矢和行向量，具体为|φ
i
>的转置向量，m为句子的长度。
[0035]
步骤g所述的对步骤f构建的密度矩阵进行投影测量，从而得到文本分类的概率，具体为采用如下算式计算文本分类的概率p：
[0036]
p＝tr(dm)
[0037]
式中d为步骤f得到的密度矩阵；m为投影矩阵，且m由一个正交向量基e1,e2,...,ei,...,en中的某个向量ei外积得到；tr为求迹运算。
[0038]
步骤s3所述的训练，具体为训练时，优化器采用adam进行参数更新；损失函数采用二元交叉熵损失函数。
[0039]
本发明还提供了一种包括了所述基于量子启发式神经网络的文本分类方法的邮件分类方法，具体包括如下步骤：
[0040]
(1)将邮件内容作为目标文本，将目标文本的分类结果定义为垃圾邮件和非垃圾邮件；
[0041]
(2)采用上述的基于量子启发式神经网络的文本分类方法对目标文本进行分类；
[0042]
(3)根据步骤(2)得到的分类结果，将邮件分类为垃圾邮件或非垃圾邮件。
[0043]
本发明提供的这种基于量子启发式神经网络的文本分类方法及邮件分类方法，首先，采用量子力学中的密度矩阵表示句子级别的文本，使用投影测量确定文本极性；其次，在将单词映射成词向量后，采用gru提取文本语义特征，丰富词向量的语义信息，提升量子力学理论生成的模型在文本分类任务中的效果；最后，在gru层，添加自注意力层，使模型能够关注到句子中的重要单词，提升这些单词在句子中的权重，降低影响分类结果的单词的权重，进一步提升模型的分类效果；因此本发明方法的可靠性高、实用性好且精确度较高。
附图说明
[0044]
图1为本发明的文本分类方法的方法流程示意图。
[0045]
图2为本发明的文本分类方法中文本分类模型的结构示意图。
[0046]
图3为本发明的文本分类方法中由单词映射得到词向量的示例示意图。
[0047]
图4为本发明的邮件分类方法的方法流程示意图。
具体实施方式
[0048]
如图1所示为本发明的文本分类方法的方法流程示意图：本发明提供的这种基于量子启发式神经网络的文本分类方法，包括如下步骤：
[0049]
s1.获取基础的训练文本，并对训练文本的分类结果进行标记，从而得到文本分类训练数据；
[0050]
具体实施时，获取训练文本，对文本进行分类(比如分类为积极和消极，分类为暴力和非暴力等)，并对分类结果进行标记；
[0051]
s2.基于量子启发式复数词向量和深度学习算法，构建初级文本分类模型；具体为采用如下步骤构建初级文本分类模型，具体构建的模型如图2所示，图中句子的每一行都是一个one
‑
hot编码的向量(向量的某一位为1，其余为0)，代表一个单词，每个one
‑
hot编码的词向量通过词向量层映射成distributed representation形式的词向量：
[0052]
a.采用分词技术，将获取的训练文本进行分词；
[0053]
比如，对于句子“the movie is so good”这个句子，可以按照语句中的空格，将语句分成“the”,“movie”,“is”,“so”,“good”等5个单词；
[0054]
b.将步骤a得到的每一个单词输入到幅度词向量层，得到幅度词向量；
[0055]
具体实施时，可以采用glove预训练词向量，并作为幅度词向量层；
[0056]
c.将步骤a得到的每一个单词输入到相位词向量层，得到相位词向量；
[0057]
步骤b和步骤c的意义为：
[0058]
将单词分词后，得到“the”,“movie”,“is”,“so”,“good”等5个单词；
[0059]
每个单词都会有对应的下标或者one
‑
hot编码的向量(这种向量只有1位是1，其余位置都是0)，表示单词的下标或者one
‑
hot向量又会经过一个二维数组或者矩阵；其中，矩阵的每一行都是一个向量；通过这个矩阵，单词会被映射成一个个向量。整个过程如图3所示；
[0060]
而在一般的nlp任务当中，每个单词只经过一个embedding layer(也就是上面说的矩阵)即可；但是在量子力学中，为了真实模拟量子微粒的量子态，根据公式|φ>代表微粒量子态，是量子态的另外一种表示形式，同时也是一个复数词向量；还有一种量子态表示形式为|φ>＝α|0>+β|1>；每个单词需要经过两个embedding layer来分别生成微粒的幅度r
j
以及相位((微粒和单词可以认为是一一对应的)；同时，根据欧拉公式从而得到总而言之，为了模拟量子态模型需要使用复数词向量；
[0061]
d.将步骤b得到的幅度词向量输入到gru层进行语义特征提取，从而得到新词向量，用于构建密度矩阵；具体为采用如下公式进行gru层内部的计算：
[0062][0063][0064]
h
′
t
‑1＝h
t
‑1⊙
r
[0065][0066]
h
t
＝(1
‑
z)
⊙
h
t
‑1+z
⊙
h
′
[0067]
式中r为重置向量的门控；σ为sigmoid函数，且为激活函数；w
r
为gru中的第一权重矩阵；x
t
和h
t
‑1为gru的输入词向量，且x
t
包含当前单词t的信息，h
t
‑1包含单词t之前的文本信息；z为更新向量的门控；w
z
为gru中的第二权重矩阵；h
′
t
‑1为h
t
‑1经过重置门r后的重置向量；
⊙
为哈达玛积；h
′
为x
t
和h
′
t
‑1拼接后且经过激活函数的向量；tanh为激活函数；w为gru中的第三权重矩阵；h
t
为由h
t
‑1和x
t
共同生成单词t的新词向量；
[0068]
通过将gru层应用到产生幅度向量的embedding layer之后，以提取更多的语义特
征；
[0069]
e.将步骤d得到的新词向量通过自注意力机制层进行计算；具体为采用如下算式进行自注意力机制层内的计算：
[0070][0071]
式中attention(q,k,v)为经过激活函数softmax后的结果矩阵；q为查询矩阵；k为键矩阵；v为值矩阵；d
k
为词向量的维度；
[0072]
以一个句子为例，经过attention层时，表示一个句子的矩阵先被映射成3个矩阵q,k,v；q，k，v分别代表句子的query矩阵，key矩阵以及value矩阵，每个单词也就被映射成3个词向量了；接着表示某个句子的三个矩阵q,k,v经过上式的运算后会得到一个新的矩阵，用这个新矩阵来表示句子输入attention层后得到的输出；
[0073]
f.根据步骤c得到的相位词向量和步骤e得到的计算结果，构建密度矩阵；具体为采用如下算式计算密度矩阵d：
[0074][0075]
式中p
i
为单词的权重；|φ
i
>代表右矢和列向量，具体为<φ
i
|代表左矢和行向量，具体为|φ
i
>的转置向量，m为句子的长度；
[0076]
g.对步骤f构建的密度矩阵进行投影测量，从而得到文本分类的概率；具体为采用如下算式计算文本分类的概率p：
[0077]
p＝tr(dm)
[0078]
式中d为步骤f得到的密度矩阵；m为投影矩阵，且m由一个正交向量基e1,e2,...,ei,...,en中的某个向量ei外积得到；tr为求迹运算；
[0079]
根据量子力学理论，一个处于叠加态的量子微粒或者混合态的物理系统在被观察或者测量后会发生塌缩，进而得到确定的状态；同时，根据gleason理论可以得到，对密度矩阵进行投影测量可以得到一个概率，模型可以根据此概率来推断文本的极性；
[0080]
h.根据步骤g得到的文本分类的概率，对文本进行分类；
[0081]
具体实施时，可以根据步骤g得到的概率，进行文本分类，比如若分类结果为积极和消极，则可认定：若概率在0.5～1之间，则认定为积极；概率为0～0.5之间，则认定为消极；
[0082]
s3.采用步骤s1得到的文本分类训练数据，对步骤s2构建的初级文本分类模型进行训练，从而得到文本分类最终模型；
[0083]
训练时，优化器采用adam进行参数更新；损失函数采用二元交叉熵损失函数；
[0084]
s4.采用步骤s3得到的文本分类最终模型对实际文本进行分类。
[0085]
如图4所示为本发明的邮件分类方法的方法流程示意图：本发明提供的这种包括了所述基于量子启发式神经网络的文本分类方法的邮件分类方法，具体包括如下步骤：
[0086]
(1)将邮件内容作为目标文本，将目标文本的分类结果定义为垃圾邮件和非垃圾
邮件；
[0087]
(2)采用上述的基于量子启发式复数词向量和深度学习的文本分类方法对目标文本进行分类；
[0088]
(3)根据步骤(2)得到的分类结果，将邮件分类为垃圾邮件或非垃圾邮件。