基于位置门控递归神经网络的属性级文本情感分类方法

1.本发明涉及的技术领域包括自然语言处理、文本倾向性分析、情感分类算法技术，更确切地说是一种基于位置门控递归神经网络的属性级文本情感分类方法。


背景技术：

2.属性级文本情感分类是文本情感分类中新涌现的领域之一。当用户在网络中发表评论语句，属性级文本情感分析算法能够根据句子内容抽取出评论的主题词并返回评论的情感倾向性标签。例如，给定句子“物理课程本身很有趣，但是a老师讲解得让人昏昏欲睡”，能够推导出属性词“物理课程”包含正向情感，“a老师”包含负向情感。
3.神经网络以其独特的性能在属性级情感分类任务中呈现巨大的优势，首先，借助于神经网络模型能够减轻大量复杂的特征工程工作，其次，神经网络的方法是基于模型的能力是自动学习上下文词的分布式表示。目前对属性级情感分类任务的研究主要集中在两个方面：关注如何使用长短循环神经网络学习情感知识的低维语义特征信息，以及如何应用注意加强模型表示的机制。最近的研究采用了神经网络的注意机制证明了在属性级情感分类任务中的有效性。为了利用情感信息实现更好的隐藏表征，一些工作专注于捕捉全局句子向量的隐式表征。例如，一些学者提出了基于lstm的方法来通过最后一个隐藏向量捕获全局表示。最近的一些工作提出了最大池和平均池来捕获全局表示。为了加强模型学习的基本部分，一些工作侧重于在情感分类任务中建立具有注意机制的模型。现有研究也表明了位置信息对基于属性的情感分类的作用。例如，一项早期工作提出了位置加权记忆来编辑记忆，以便模型将重点放在上下文中密切相关的部分，在最近的工作中，为了帮助cnn特征提取器更准确地定位情绪指标，一些工作采用邻近策略，通过词与目标词之间的位置相关性来缩放卷积层的输入。大多数文献试图通过依赖树结构或通过简单计算词与目标词之间的单词数来利用目标词与周围上下文词之间的位置作为相关信息。
4.然而，大多数已有工作忽略了细粒度表示(例如，联合全局和局部信息)，简单地通过局部表示或全局表示独立地判断情感的极性，或将它们与连接结合起来。全局信息侧重于整个句子的表示，而局部信息侧重于确定词之间的绝对距离。已有方法关于对特定属性词进行有效表示的说明依然缺乏。如何动态吸收局部表示和全局表示对于模型学习到句子的重要部分和全局情感信息都是重要的。此外，尽管现有的研究表明基于属性的情绪分类的位置信息具有重要的作用，但是已有模型通常侧重于在原句中定义属性词和情感的绝对距离，如何对文本序列离散位置信息建模依然比较困难，目前还没有相关的一款组件方案能够解决这一问题。


技术实现要素：

5.针对现有技术的不足，本发明提供了一种基于位置门控递归神经网络(position-gated recurrent neural networks,pgrnn)的属性级文本情感分类方法，以至少解决现有情感分类技术中动态建模属性词位置信息的问题。
6.一种基于位置门控递归神经网络的属性级文本情感分类方法，包括以下步骤：
7.基于位置门控递归神经网络的属性级文本情感特征提取；
8.基于位置门控递归神经网络的属性级文本情感分类。
9.基于位置门控递归神经网络的属性级文本情感特征提取包括以下步骤：
10.对评论文本进行属性级情感数据构建，将属性级情感分类预料库与人工构建预料结合，从目标文本中自动抽取属性词，标注正负例，得出训练样本数据；
11.对训练样本数据进行特征提取，首先引入单词嵌入模型，得到单词的向量表示，并将单词向量表示拼接成句子的表示，同时，将文本中属性词的位置信息进行建模，拼接输入神经网络模块；
12.建立用于基于属性的情感分类的位置递归神经网络，针对给定的属性词，以不同的方式集成局部表示和全局的句子表示；将位置向量集成到循环神经网络模型中，融合句子建模后的句子级别隐向量表示和注意权重参数，计算出词的属性级别情感分布；
13.执行注意力权重计算模块，分别计算词和位置的注意力权重，针对不同的权重得到注意力表示和全局表示不同级别的句子表示。
14.基于位置门控递归神经网络的属性级文本情感分类包括以下步骤：
15.执行位置级别的字嵌入，输入的文本信息包含句子中属性词语的位置向量并嵌入到单词的语义词向量中，通过将输入的位置向量附加到句子的隐含状态中，位置向量以隐藏状态进行叠加，其中，位置词向量映射过程中考虑到属性词位置的影响函数；
16.执行循环神经网络模型，将位置和词的向量映射输入到循环神经网络中，建模句子序列的全局表示模型；
17.执行句子表示模块，对给定的属性词相关的重要词语和句子的全局情绪信息进行动态调整注意和全局表示的权重。
18.利用训练得到的分类器参数，对其他评论文本数据进行属性词抽取，再进行情感标签类别预测。
19.一种针对文本进行情感特征提取分析组件，包括如下功能模块：
20.句子建模表示模块，其为给定的句子提供不同的方式集成局部和全局的句子向量表示的方法，利用词向量映射获取句子的向量表示操作；
21.注意力机制的情感驱动模块，其在所述句子建模表示模块的基础上，进一步抽象，通过使用位置向量集成到rnn模型中，并采用单词嵌入、隐藏状态和注意机制增强句子的局部和全局表示。
22.一种针对文本进行情感特征提取分析方法，其特征在于，包括如下步骤：
23.针对不同文本的特征，提供位置词嵌入、位置隐藏状态和位置注意力三部分，并增强注意力表征和全局表征；
24.利用动态门机构控制模型的局部和全局注意力；
25.通过核函数将位置向量集成于情感特征分析模型中，将给定属性词语的位置分布信息建模，并进一步通过表征吸收门支持动态调整注意力权重和全局表征的权重。
26.一种基于支持对文本进行情感特征提取分析的框架模型，包括：全局表示模块、注意力模块、门吸收模块和情感分析模块；
27.所述全局表示模块以循环神经网络作为基本模块，发送文本输入到循环神经网络
中，得到句子的表示向量，再将句子表示输入到注意力模块；
28.所述注意力模块对接收到的句子向量表示与位置信息进行交互，使用高斯核对纵横比位置信息进行建模，通过核函数计算属性词与句子词语位置相关性，并将包含来自输入位置信息的句子表示输入到门吸收模块；
29.所述门吸收模块，通过设计门机制将给定方面相关的重要词语和句子的全局情绪信息进行动态注意力调整，以控制注意力表示和全局表示的通过比例，并将最终句子表示输入到情感分析模块；
30.所述情感分析模块，通过将位置注意和全局的句子表示向量连接，输入神经网络全连接层，并添加激活函数层，计算句子情感分布。
31.一种文本分类推理方法，包括如下步骤：
32.选择文本情感分析模型驱动，对原始模型进行封装，实现对文本的自动分析，提供情感分析操作的应用执行接口；
33.客户端将文本数据发送至所述文本进行情感特征提取分析的框架模块将外部发送的文本进行分析处理，分析后的模型考虑模型并发性，并封装成端口，转发给查询模块；
34.服务端请求语义分析及情感推理，并根据后端的情感处理标签返回界面显示。
35.本发明的有益效果在于：使用本发明能够预测句子对目标词语的情感极性，用户无需关注底层算法逻辑，通过调用本发明，在不修改代码的和标注数据的情况下即可分析出文本的情感倾向性。同时，作为文本分析的组件，本发明能够动态建模属性词的位置信息，在不同数据上鲁棒性较好，能够为上游应用服务提供技术支撑。
附图说明
36.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
37.图1是本发明基于位置门控递归神经网络的属性级文本情感分类的流程图。
38.图2是本发明基于位置门控递归神经网络的属性级文本情感分类的算法架构图。
39.图3是本发明基于位置门控递归神经网络的属性级文本情感分类的位置门结构图。
具体实施方式
40.结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
41.一种用于基于属性的情感分类的位置递归神经网络模型组件。针对给定的属性目标词语和句子，以不同的方式集成局部表示和全局表示；利用核函数建模，将位置向量集成到循环神经网络模型中，并采用单词嵌入、隐藏状态和注意机制，为了吸收位置局部表示和全局表示动态地，设计表示吸收选通门机制融入循环神经网络模型中，从而增强句子的局部和全局表示。提供相应的接口，能够辅助文本属性级情感分析。
42.本发明提供了一种针对文本进行情感特征提取分析步骤，包括如下功能模块：
43.句子的建模表示与特征提取模块，其功能是分别对评论文本进行属性级情感数据
构建，从文本中自动抽取属性词抽取，标注正负例，得出可以供模型训练样本的数据；引入自然语言处理中单词嵌入模型，得到句子中词语的分布式表示，并将词语拼接，得到句子的向量表示；
44.注意力机制的情感驱动模块，其在所述句子建模表示模块的基础上，进一步抽象，通过使用位置向量集成到rnn模型中，并采用单词嵌入、隐藏状态和注意机制增强句子的局部和全局表示。
45.步骤1：选择支持的文本分析模型驱动，对原始模型进行封装，实现对文本的自动分析，提供情感分析操作的应用执行接口；
46.步骤2：句子进行建模。针对不同文本的特征，提供位置词嵌入、位置隐藏状态和位置注意力三部分建模，并增强注意力表征和句子的全局表征；
47.其中，全局表示为，rg＝[hn；h
max
]，[h
max
]j＝max
0≤k≤n
[h
k，j
]
[0048]
其中，hn表示句子级词向量表示，h
max
表示最大化池化后句子的向量表示，“；”表示向量进行拼接，rg表示融入句子级词向量和最大化池化后句子的全局向量表示。
[0049]
属性词位置向量表示为，其中k代表属性词开始的位置索引，m表示属性词的长度，k+m/2代表中间位置索引，i-(k+m/2)表示第i个词和中间属性词的位置间隔数；
[0050]
本发明提出了一种基于位置门控递归神经网络的属性级文本情感分类组件，包括以下步骤：
[0051]
神经网络建模与情感分类模块，建立用于基于属性的情感分类的位置递归神经网络，针对给定的属性词，以不同的方式集成局部表示和全局的句子表示；将位置向量、隐藏状态和注意机制集成到循环神经网络模型中，注意力机制的情感驱动模块，其在所述句子建模表示模块的基础上，进一步抽象，通过使用位置向量集成到rnn模型中，并采用单词嵌入、隐藏状态和注意机制增强句子的局部和全局表示；利用训练得到的分类器对其他评论文本数据进行属性词抽取，再进行情感分类。
[0052]
步骤1：所述的支持对文本进行情感特征提取分析的框架模型，包括：全局表示模块、注意力模块、门吸收模块和情感分析模块，通过核函数将位置向量集成于情感特征分析模型，将给定属性词语的位置分布信息建模。并进一步通过表征吸收门支持动态调整注意力权重和全局表征的权重。
[0053]
步骤2：所述全局表示模块以循环神经网络作为基本模块，发送文本输入到循环神经网络中，得到句子的表示向量，再将句子表示输入到注意力模块。
[0054]
注意力机制的表示为，其中w表示权重参数，h表示句子的向量表示。
[0055]
在以往大多数基于属性的情绪分类的注意机制中，单词的注意权重是由隐藏的表征来计算的，而属性词的位置信息则被忽略了。在方法中，通过提出一种位置注意方法，将目标的位置注入纳入句子的注意表征。具体地说，句子中第i个单词的注意权重被表示为，目标的位置注入纳入句子的注意表征。具体地说，句子中第i个单词的注意权重被表示为，目标的位置注入纳入句子的注意表征。具体地说，句子中第i个单词的注意权重被表示为，操作符表示：操作符重复连接pi数次，其中是列向量。其中，wh和w
p
为权值矩阵；
[0056]
步骤3：所述注意力模块对接收到的句子向量表示与位置信息进行交互，使用高斯核对纵横比位置信息进行建模，通过核函数计算属性词与句子词语位置相关性，并将包含来自输入位置信息的句子表示输入到门吸收模块；
[0057]
本发明使用高斯核对方面的位置信息进行建模，通过不同的核函数计算第i个单词和属性词之间的位置相关性定义为pi，核函数的表示为其中σ表示标准化参数；值得注意的是，随着距离的增加，位置输液量逐渐减少。特别是，当ui＝0时，得到最大传播注入。对于传播范围σ，最优值可能因不同的句子存在差异性，在本方法中，对所有句子应用一个恒定的σ值，并重点将位置上下文纳入注意力机制中。
[0058]
步骤4：所述门吸收模块，通过设计门机制将给定方面相关的重要词语和句子的全局情绪信息进行动态注意力调整，以控制注意力表示和全局表示的通过比例，并将最终句子表示输入到情感分析模块；
[0059]
门g可以用如下方式表示，
[0060]
9＝σ(rawa+rgwg)
[0061][0062][0063]
wa和wg为权值矩阵，σ()是对元素进行sigmoid函数计算，然后，通过门计算情绪分布
[0064]
步骤5：所述情感分析模块，通过将位置注意和全局的句子表示向量连接，输入神经网络全连接层，并添加激活函数层，计算句子情感分布。
[0065]
情感分析模块将优化的损失函数视为训练时黄金情绪分布与所提出的情绪分布之间的交叉熵误差为，式中，是标注情感c的概率，(s，t)代表训练集d中的一个句子和属性词对。
[0066]
在本技术实施例中，提出了一种新的位置选通递归神经网络模型用于基于属性的情绪分类。由于句子的重要部分和全局情绪信息对于情感分类任务而言具有极大的影响，本方法采用吸收选通自适应门，动态吸收局部和全局的向量表示；为了有效地对位置信息进行建模，利用核函数对目标词和周围上下文词之间的位置进行建模，通过将位置信息集成到注意机制中，最终将方面的位置信息集成到循环神经网络中，以丰富循环神经网络的局部表示,进一步提升模型的有效性。
[0067]
在此算法基础上，本方法抽象开发出一套支持对文本进行情感特征提取分析的组件，该组件能够将算法框架进行封装，通过api接口即可对外部发送的文本进行分析处理，减轻外部使用的复杂度，同时，针对情绪识别后的文本设置底层存储机制。
[0068]
针对文本进行情感特征提取分析技术方案，可以参阅图1本发明的流程图，可见本发明包括以下两个步骤：
[0069]
1)实现基于位置门控递归神经网络的属性级文本情感特征提取
[0070]
本发明目的是预测句子对目标词语的情感极性，增强句子和目标词的内隐交互。由于句子中不同目标词会存在不同的情感极性，并且词语之间的位置关系能够影响情感分析建模的结果，因此将位置信息引入到传统的循环神经网络中，能够更有效地提取句子针
对目标词语的情感表示。图1是根据本技术实施例的基于位置门控递归神经网络的属性级文本情感分类流程图，如图1所示，该流程包括如下步骤：
[0071]
步骤1：对评论文本进行属性级情感数据构建，将属性级情感分类预料库与人工构建预料结合，从目标文本中自动抽取属性词抽取，标注正负例，得出训练样本数据；
[0072]
步骤2：根据步骤1中的数据进行特征提取，首先引入单词嵌入模型，得到单词的向量表示，并将单词向量表示拼接成句子的表示，同时，将文本中属性词的位置信息进行建模，拼接输入神经网络模块；
[0073]
步骤3：建立用于基于属性的情感分类的位置递归神经网络，针对给定的属性词，以不同的方式集成局部表示和全局的句子表示；将位置向量集成到循环神经网络模型中，融合句子建模后的句子级别隐向量表示和注意权重参数，计算出词的属性级别情感分布；
[0074]
步骤4：执行注意力权重计算模块，分别计算词和位置的注意力权重，针对不同的权重得到注意力表示和全局表示不同级别的句子表示。
[0075]
在现有的建模中，很少考虑位置信息的影响，造成模型的性能有限，本方法采用函数分配位置权重以增加上下文词的重要性，提供了关键的部分句子的注意机制进行情感类别划分，并且包含针对给定目标的句子的注意力表达。
[0076]
2)实现基于位置门控递归神经网络的属性级文本情感分类
[0077]
能够针对所述文本进行情感特征提取分析的框架模块将外部发送的文本进行分析处理，分析后的模型考虑模型并发性，并封装成端口，转发给查询模块；图2是根据本技术实施例的基于位置门控递归神经网络的属性级文本情感分类算法流程图，如图2所示，该框架包括如下步骤：
[0078]
步骤1：执行位置级别的字嵌入，输入的文本信息包含句子中属性词语的位置向量并嵌入到单词的语义词向量中，通过将输入的位置向量附加到句子的隐含状态中，位置向量以隐藏状态进行叠加，其中，位置词向量映射过程中考虑到属性词位置的影响函数；
[0079]
步骤2：执行循环神经网络模型，将位置和词的向量映射输入到循环神经网络中，建模句子序列的全局表示模型；
[0080]
步骤3：执行句子表示模块，对给定的属性词相关的重要词语和句子的全局情绪信息进行动态调整注意和全局表示的权重。如图3基于位置门控递归神经网络的属性级文本情感分类的位置门结构图，通过门控单元策略，动态吸收和选择，以控制注意力表示和全局表示的通过比例。
[0081]
步骤4：利用训练得到的分类器参数，对其他评论文本数据进行属性词抽取，再进行情感标签类别预测；
[0082]
实施例1
[0083]
一种基于位置门控递归神经网络的属性级文本情感分类方法，参见图2，该方法包含以下步骤：
[0084]
根据文本句子，构造句子-属性词对《句子，属性词，情感标签》训练数据集，其中每个句子可能对应多个属性词，例如,句子a＝“物理课程本身很有趣，但是a老师讲解得让人昏昏欲睡”，可构建《句子a,物理课程,正向》，《句子a,a老师,负向》数据集。
[0085]
利用现有的属性情感数据集，按照情感分类任务训练基于位置门控递归神经网络的属性级文本情感分类方法；该步骤具体包括：
[0086]
(1)构造图2中所示的位置门控递归神经网络模型：该模型包括词嵌入层、门控递归神经网络rnn、位置隐向量表示层、注意力权重计算层和情感计算层。
[0087]
(2)词嵌入层，对于给定的句子，通过将输入属性词的位置向量附加到单词嵌入中，从而更好地利用位置信息。通过这种方式，输出隐藏表示可以包含来自输入位置的信息。单词嵌入向量和隐藏状态向量的维数为300，所有词汇表外单词和权重矩阵都用均匀分布u(0.1,0.1)初始化，偏差初始化为0。
[0088]
(3)门控递归神经网络rnn层，通过给定一个句子的词嵌入向量表示，将其输到rnn中，得到表示向量；
[0089]
(4)位置隐向量表示层，更接近的属性词更有可能是相位的实际修饰语。通过计算每个单词和属性词的数量表示距离，通过核函数将位置向量集成到rnn模型中，以增强句子的局部和全局表示，然后通过表征吸收门动态吸收位置注意表征和全局表征。
[0090]
(5)注意力权重计算层，注意层为句子中的每个单词分配权重，通过将目标的位置影响纳入句子的注意表征中，来获得句子的注意表征。
[0091]
(6)情感计算层，从注意表征和全局表征中提取句子表征r，然后将r馈送到softmax层进行情绪分布预测；
[0092]
(7)训练的目的是优化标注情感分布与模型预测情感分布之间的交叉熵误差，表达式为，
[0093]
(8)使用梯度下降的方式优化目标函数，在模型训练中，采用rmsprop作为优化器。我们在每个数据集上使用5折交叉验证运行每个模型，并使用平均值作为计算结果，以确保结果可靠。学习率设置为0.001，批量大小为64，dropout为0.5防止过拟合；超参σ设置为50，得到最终训练模型的参数；
[0094]
利用训练后的参数推理新的测试数据。
[0095]
在本实施例中，提供一种接口访问策略，算法推理模型存储于服务器中，用户通过接口向服务器发送文本请求，服务器通过模型推理以执行以上实施例中的方法。
[0096]
本发明通过一个位置门控递归神经网络来动态集成句子级别全局和局部信息，实现基于属性的文本情感分类。通过使用核函数来建模位置信息，将属性词的位置信息集成到句子编码器中，设计了一个表示吸收门来动态吸收局部位置表示和全局表示，以增强句子级别的潜在表示。本发明对给定的句子进行语义分析情感检测，实现基于属性级情感的分类效果。
[0097]
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。