融合深度特征和时序模型的语义情感分析方法与流程

1.本申请涉及数据处理领域，尤其涉及融合深度特征和时序模型的语义情感分析方法。


背景技术：

2.近年来，随着情感计算的流行，高速发展，情感分析技术在人工智能和人机交互领域中起着重要的作用。各种类型的技术用于检测情绪，例如：面部表情，生理信号，语音信号和文本信息。测试的情绪标准通常是“七大”基本情绪。如今，互联网已经进入到家家户户，各种应用平台随之兴起，人们也越来越习惯用文本来表达自己的情绪，意见。因此，从应用的角度来看，文本中情感的检测变得越来越重要。
3.但是由于文本语言具有多义性，可能相同的词在不同的情境下会有完全相反的含义，所以如何能够做好文本情感分析是一项长久的艰难挑战。目前的技术多是采用传统语言特征和机器学习方法，深度学习也多集中在单模型单特征，这些方法均有一个明显的不足之处就是特征的提取太单一，无法做到情感信息的有效完整提取，因此情感分析效果也会受到局限与影响。针对此，我们要设计一种能够提取完整语义情感特征的模型结构，这项工作也将是一项非常有意义的工作。
4.专利申请公布号cn 110826336 a涉及一种情感分类方法、系统、存储介质及设备，通过对上下文使用位置词向量和多 头自注意力进行编码，对目标词使用双向门控循环单元和多头自注意力进行编码，充分提取了长短距离句子的语义信息和位置信息，同时通过将上下文语义信息和目标词语义信息交互拼接进行低阶融合，利用胶囊网络在低阶融合基础上进行位置编码，再利用多头交互注意力机制将低阶融合后的信息进行高阶融合，将高阶融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示。相对于现有技术，本发明实现了上下文语义信息和目标词语义信息、位置信息的充分融合，提高情感分类准确性和效率。
5.专利申请公布号cn 111259142 a提供一种基于注意力编码和图卷积网络的特定目标情感分类方法，包括：通过预设双向循环神经网络模型，得到上下文和特定目标对应的隐藏状态向量，并对其分别进行多头自注意编码；再通过结合逐点卷积的图卷积神经网络，提取所述上下文对应的句法依存树中的句法向量，对句法向量进行多头自注意力编码；之后，使用多头交互注意力分别对句法信息编码和上下文语义信息编码、句法信息编码和特定目标语义信息编码进行交互融合，将融合后的结果与上下文语义信息编码拼接，获取最终的特征表示，基于特征表示得到特定目标的情感分类结果。相对于现有技术，本发明充分考虑了上下文和特定目标与句法信息之间的联系，提高了情感分类的准确性。


技术实现要素：

6.为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了融合深度特征和时序模型的语义情感分析方法，包括：
s1：文本预处理，将文本转化为格式统一的词向量矩阵；s2：以词向量矩阵为输入，提取局部语义情感文本特征和提取上下文语义情感文本特征；s3：利用注意力机制通过对所述局部语义情感文本特征和上下文语义情感文本特征加权，生成融合语义情感文本特征；s4：将所述局部语义情感文本特征、所述上下文语义情感文本特征和融合语义情感文本特征进行连接，生成全局语义情感文本特征；s5：以全局语义情感文本特征为输入，利用softmax分类器进行最终的文本情感语义分析识别。
7.优选地，所述将文本转化为格式统一的词向量矩阵的具体方法包括：s11：切词处理，对于中文文本进行切词处理，英文文本不进行切词处理；s12：对切词处理后的文本进行清洗处理；s13：词嵌入：对清洗处理后的文本通过预训练好的词向量进行词嵌入，得到词向量矩阵。
8.优选地，所述将文本转化为格式统一的词向量矩阵的具体方法还包括：数据长度处理：设置每个数据输入序列的长度为n，则文本长度小于n的句子要利用零向量进行填充，而大于长度n的句子则要进行剪切，最终使得每个文本数据的词向量矩阵为n
×
d。
9.优选地，所述将文本转化为格式统一的词向量矩阵的具体方法还包括：跨语言词嵌入：找出两种不同语言词汇向量之间的转化桥梁
‑
转换矩阵来使得两种不同语言的词向量能够更加的接近。
10.优选地，采用卷积神经网络提取局部语义情感文本特征。
11.优选地，使用双向长短时记忆网络bi
‑
lstm提取上下文语义情感文本特征。
12.优选地，据模型设置，双向长短时记忆网络bi
‑
lstm和卷积神经网络的输出具有相同的宽度，但是长度不同；根据scaled dot
‑
product注意力机制，可得出注意权重公式为：其中，，分别为卷积神经网络和双向长短时记忆网络的输出， 是对齐分数，用于衡量它们的相似性；通过注意力权重和计算具有关键情感信息的融合特征向量，取的最后一维向量并将其记录为作为最终输出，即融合语义情感文本特征向量。
13.优选地，所述生成全局语义情感文本特征的具体方法是将所述局部语义情感文本特征、所述上下文语义情感文本特征和所述融合语义情感文本特征进行连接，即。
14.优选地，将所述全局语义情感文本特征输入完全连接层后，输入softmax分类器进
行最终的文本情感语义分析识别。
15.优选地，所述文本情感语义分析识别采用交叉熵损失函数来进行模型训练。
16.本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，(1) 词嵌入层分别完成了两项任务。 在单语言情感识别任务中，单词嵌入层使用预训练的单词矢量方法并对其进行微调，以更好地理解实验数据的语义情感信息。 改进的词向量表示可以进一步提高文本情感识别的性能。 在跨语言情感识别的任务中，利用不同语言词汇之间的共现程度及其对应词嵌入的空间关系来进行跨语言关系转换，并构建跨语言词向量。
17.(2) 基于深度神经网络的框架，我们使用两种神经网络模型作为编码器来提取句子特征。 bilstm和cnn合作提取完整和足够的句子语义情感。
18.(3) 提出了一种基于注意力机制的新型双神经网络模型。 在使用bilstm和cnn对文本进行编码以获得文本的语义情感特征信息之后，使用注意力机制动态融合这两个特征以获得文本中的重要情感关系。 然后，我们将最后三种表示形式结合起来，利用全连接层，softmax分类器，交叉熵损失函数来进行最终的模型训练，该优化后的模型可以有效进行语义情感分析，提高情感识别的精确度。
附图说明
19.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
21.图1为本申请实施例提供的融合深度特征和时序模型的语义情感分析方法流程图。
22.图2是根据一示例性实施例示出的融合深度特征和时序模型的语义情感分析系统结构图。
具体实施方式
23.为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
24.图1，为本申请实施例提供的融合深度特征和时序模型的语义情感分析方法，包括：s1：文本预处理，将文本转化为格式统一的词向量矩阵；s2：以词向量矩阵为输入，提取局部语义情感文本特征和提取上下文语义情感文本特征；s3：利用注意力机制通过对所述局部语义情感文本特征和上下文语义情感文本特
征加权，生成融合语义情感文本特征；s4：将所述局部语义情感文本特征、所述上下文语义情感文本特征和融合语义情感文本特征进行连接，生成全局语义情感文本特征；s5：以全局语义情感文本特征为输入，利用softmax分类器进行最终的文本情感语义分析识别。
25.根据上述方案，进一步，所述将文本转化为格式统一的词向量矩阵的具体方法包括：s11：切词处理，对于中文文本进行切词处理，英文文本不进行切词处理；s12：对切词处理后的文本进行清洗处理；s13：词嵌入：对清洗处理后的文本通过预训练好的词向量进行词嵌入，得到词向量矩阵。
26.根据上述方案，进一步，所述将文本转化为格式统一的词向量矩阵的具体方法还包括：数据长度处理：设置每个数据输入序列的长度为n，则文本长度小于n的句子要利用零向量进行填充，而大于长度n的句子则要进行剪切，最终使得每个文本数据的词向量矩阵为n
×
d。
27.根据上述方案，进一步，所述将文本转化为格式统一的词向量矩阵的具体方法还包括：跨语言词嵌入：找出两种不同语言词汇向量之间的转化桥梁
‑
转换矩阵来使得两种不同语言的词向量能够更加的接近。
28.根据上述方案，进一步，采用卷积神经网络提取局部语义情感文本特征。
29.根据上述方案，进一步，使用双向长短时记忆网络提取上下文语义情感文本特征。
30.根据上述方案，进一步，据模型设置，双向长短时记忆网络bi
‑
lstm和卷积神经网络的输出具有相同的宽度，但是长度不同；根据scaled dot
‑
product注意力机制，可得出注意权重公式为：其中，，分别为卷积神经网络和双向长短时记忆网络的输出， 是对齐分数，用于衡量它们的相似性；通过注意力权重和计算具有关键情感信息的融合特征向量，取的最后一维向量并将其记录为作为最终输出，即融合语义情感文本特征向量。
31.根据上述方案，进一步，所述生成全局语义情感文本特征的具体方法是将所述局部语义情感文本特征、所述上下文语义情感文本特征和所述融合语义情感文本特征进行连接，即。
32.根据上述方案，进一步，所述全局语义情感文本特征输入完全连接层后，输入
softmax分类器进行最终的文本情感语义分析识别。
33.根据上述方案，进一步，所述文本情感语义分析识别采用交叉熵损失函数来进行模型训练。
34.具体实施方法：步骤1：文本预处理，将文本转化为格式统一的词向量矩阵：同语言情况下：输入的文本格式为预处理过后的文本s，可表示为，，n为统一文本数据长度，d为词向量的维度。对于英文文本，采用的预训练词向量为glove，对于中文词向量采用的与训练词向量为百科中文词向量，训练模型为skip
‑
gram模型。注意输入文本需要统一长度，我们需要对数据长度进行处理，设置每个数据输入序列的长度为n，则文本长度小于n的句子要利用零向量进行填充，而大于长度n的句子则要进行剪切，最终使得每个文本数据的词向量矩阵为n
×
d。不同语言情况下：对于跨语言词嵌入，则需要找出两者不同词汇向量之间的转化桥梁
‑
转换矩阵f，来使得两者词向量（源语言词嵌入矩阵s，目标语言词嵌入矩阵t）能够更加的接近，。
35.步骤2：利用卷积神经网络cnn和双向长短时记忆网络bi
‑
lstm来分别提取局部语义情感特征和上下文语义情感特征：将卷积神经网络cnn和双向长短时记忆网络bi
‑
lstm并联起来，分别利用各自结构优势提取不同的语义情感特征。卷积神经网络更加关注局部信息，可利用这个特性，来提取局部语义情感特征，具体公式如下：其中b为偏置值，w为卷积核权重值，f为非线性激活函数，s[i:i+s
‑
1]表示s文本从i到i+s
‑
1的子矩阵。
[0036]
每个词窗口生成的局部向量在完成卷积运算后将生成一个新向量，表示为：因为每个过滤器生成的特征图的尺寸将根据句子长度和过滤器区域大小而变化。 因此，将池化pooling应用于每个特征图以生成固定长度的向量。 一种常见的策略是maxpooling，它将向量x_i^s映射到固定长度的向量。向量的长度由用户设置的超参数确定（卷积层中隐藏单元的数量）。
[0037]
最后，该模型将具有两个输出向量。一种是将卷积运算后的结果向量用作特征融合机制的输入，另一种是将池化运算后的特征向量展平，作为卷积层子网的特征输出
。
[0038]
双向长短时记忆网络bi
‑
lstm的记忆细胞结构可以有效关注到上下文的文本特征信息，利用此结构，来提取文本上下文语义情感特征，具体公式如下：其中是第i个通道双向长短时记忆网络的输出，和分别为lstm的前向和后向的输出。
[0039]
该结构利用了双层的bi
‑
lstm，所以第一层的双向长短时记忆网络的输出就为第二层双向长短时记忆网络的输入，而且第二个双向长短时记忆网络的输出被分为两部分，一部分作为特征输出，另一部分为注意力机制的输入，具体公式如下：其中，每个隐藏层的输出，这一部分被用来作为注意力机制的输入，为最后一个隐藏层的最终输出，作为双向长短时记忆网络的特征提取输出。
[0040]
步骤3：利用注意力机制通过对所述局部语义情感文本特征和上下文语义情感文本特征加权，生成融合语义情感文本特征：为了进一步捕获文本中的关键情感信息，我们选择使用注意力机制来处理由两个子网提取的语义情感特征。它用于计算上下文语义情感特征和局部语义情感特征之间的相似性。因此，该模型可以进一步专注于关键的情感信息并提高情感识别的性能。根据模型设置，双向长短时记忆网络bi
‑
lstm和卷积神经网络的输出具有相同的宽度，但是长度不同。根据scaled dot
‑
product注意力机制，可得出注意权重公式为：其中，，分别为卷积神经网络和双向长短时记忆网络的输出， 是对齐分数，用于衡量它们的相似性；通过注意力权重和计算具有关键情感信息的融合特征向量，取的最后一维向量并将其记录为作为最终输出，即融合语义情感文本特征向量。
[0041]
步骤4：所述生成全局语义情感文本特征的具体方法是将所述局部语义情感文本特征、所述上下文语义情感文本特征和所述融合语义情感文本特征进行连接，即。
[0042]
步骤5：利用全连接层和softmax，交叉熵损失函数来进行最终的文本情感语义分
析识别：在全局特征c构建完成，我们接下来将其馈送到完全连接的层中，并利用softmax，交叉熵损失函数来进行最终的文本情感语义分析模型训练，其具体公式如下：其中是完全连接层，和分别为权重和偏置值。o是最终完全连接层输出。
[0043]
最终的分类结果是通过softmax分类器获得的。 如上所述，当给定序列时，我们需要预测每个序列的情感y。用于计算这种情绪的预测值的公式如下：其中p是情感分类标签的预测概率，而和是softmax分类器的参数。
[0044]
然后，我们使用交叉熵训练损失函数来平均所有获得的标记序列的最终损失,其公式如下：其中y表示的情感注释序列（y = y1，y2，...，）。 下标n表示第n个输入序列。
[0045]
如图2，融合深度特征和时序模型的语义情感分析系统，包括，文本预处理模块1、多模型特征提取模块2、全局特征融合模块3和文本情感解码分类模块4；所述文本预处理模块1与所述多模型特征提取模块2连接，所述多模型特征提取模块2与所述全局特征融合模块3连接，所述全局特征融合模块3与所述文本情感解码分类模块4连接。
[0046]
文本预处理模块1：对同语言与不同语言的数据，分别采用不同的词向量，将文本数据映射为词向量矩阵，对于同语言采用预训练的词向量，词嵌入层利用该词向量，将文本映射为对应的词向量矩阵，跨语言情况，则需要找出两种词向量的对应转换关系，利用该关系，来实现面对不同语言，自动生成相对应的词向量矩阵；同语言情况下：输入的文本格式为预处理过后的文本s，可表示为，n为统一文本数据长度，d为词向量的维度。对于英文文本，采用的预训练词向量为glove，对于中文词向量采用的与训练词向量为百科中文词向量，训练模型为skip
‑
gram模型。注意输入文本需要统一长度，我们需要对数据长度进行处理，设置每个数据输入序列的长度为n，则文本长度小于n的句子要利用零向量进行填充，而大于长度n的句子则要进行剪切，最终使得每个文本数据的词向量矩阵为n
×
d。不同语言情
况下：对于跨语言词嵌入，则需要找出两者不同词汇向量之间的转化桥梁
‑
转换矩阵f，来使得两者词向量（源语言词嵌入矩阵s，目标语言词嵌入矩阵t）能够更加的接近，其中和分别为目标语言与源语言的第i个条目的词嵌入。f是矩阵方程t f = s的最小二乘解。可以通过moorepenrose伪逆来求解。公式如下：多模型特征提取模块2：使用卷积神经网络cnn和双向长短时记忆网络bi
‑
lstm来分别提取局部语义情感特征和上下文语义情感特征，在通过注意力机制来对特征进行加权，生成更加关键重要的语义情感特征。
[0047]
将卷积神经网络cnn和双向长短时记忆网络bi
‑
lstm并联起来，分别利用各自结构优势提取不同的语义情感特征。卷积神经网络更加关注局部信息，可利用这个特性，来提取局部语义情感特征，具体公式如下：其中b为偏置值，w为卷积核权重值，f为非线性激活函数，s[i:i+s
‑
1]表示s文本从i到i+s
‑
1的子矩阵。
[0048]
每个词窗口生成的局部向量在完成卷积运算后将生成一个新向量，表示为：因为每个过滤器生成的特征图的尺寸将根据句子长度和过滤器区域大小而变化。 因此，将池化pooling应用于每个特征图以生成固定长度的向量。 一种常见的策略是maxpooling，它将向量x_i^s映射到固定长度的向量。向量的长度由用户设置的超参数确定（卷积层中隐藏单元的数量）。
[0049]
最后，该模型将具有两个输出向量。一种是将卷积运算后的结果向量用作特征融合机制的输入，另一种是将池化运算后的特征向量展平，作为卷积层子网的特征输出。
[0050]
双向长短时记忆网络bi
‑
lstm的记忆细胞结构可以有效关注到上下文的文本特征
信息，利用此结构，来提取文本上下文语义情感特征，具体公式如下：其中是第i个通道双向长短时记忆网络的输出，和分别为lstm的前向和后向的输出。
[0051]
该结构利用了双层的bi
‑
lstm，所以第一层的双向长短时记忆网络的输出就为第二层双向长短时记忆网络的输入，而且第二个双向长短时记忆网络的输出被分为两部分，一部分作为特征输出，另一部分为注意力机制的输入，具体公式如下：一部分作为特征输出，另一部分为注意力机制的输入，具体公式如下：其中，每个隐藏层的输出，这一部分被用来作为注意力机制的输入，为最后一个隐藏层的最终输出，作为双向长短时记忆网络的特征提取输出。
[0052]
为了进一步捕获文本中的关键情感信息，我们选择使用注意力机制来处理由两个子网提取的语义情感特征。它用于计算上下文语义情感特征和局部语义情感特征之间的相似性。因此，该模型可以进一步专注于关键的情感信息并提高情感识别的性能。根据模型设置，双向长短时记忆网络bi
‑
lstm和卷积神经网络的输出具有相同的宽度，但是长度不同。根据scaled dot
‑
product注意力机制，可得出注意权重公式为：其中，,分别为卷积神经网络和双向长短时记忆网络的输出， 是对齐分数，用于衡量它们的相似性；通过注意力权重和计算具有关键情感信息的融合特征向量，取的最后一维向量并将其记录为作为最终输出，即融合语义情感文本特征向量。
[0053]
全局特征融合模块3：将模块二生成的三个语义情感特征进行拼接组合成全局语义情感特征，该特征克服了以往单模型特征不足不充分的缺点。将所述局部语义情感文本特征、所述上下文语义情感文本特征和所述融合语义情感文本特征进行连接，即。
[0054]
文本情感解码分类模块4：在生成最终的全局特征后，接着利用全连接层和softmax分类器和交叉熵损失函数来进行模型训练，该模型可以用来进行文本情感分析与识别。
[0055]
在全局特征c构建完成，我们接下来将其馈送到完全连接的层中，并利用softmax，交叉熵损失函数来进行最终的文本情感语义分析模型训练，其具体公式如下：
其中是完全连接层，和分别为权重和偏置值。o是最终完全连接层输出。
[0056]
最终的分类结果是通过softmax分类器获得的。 如上所述，当给定序列时，我们需要预测每个序列的情感y。用于计算这种情绪的预测值的公式如下：其中p是情感分类标签的预测概率，而和是softmax分类器的参数。
[0057]
然后，我们使用交叉熵训练损失函数来平均所有获得的标记序列的最终损失,其公式如下：其中y表示的情感注释序列（y = y1，y2，...，）。 下标n表示第n个输入序列。
[0058]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0059]
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。