一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法与流程

本发明涉及人工智能技术领域，具体涉及一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法。

背景技术：

随着网络购物与消费成为当今社会主流生活方式之一，在互联网上对各种产品和服务进行评论成为人们发布自己对产品和服务满意度的一种方便且有效的途径，用户评论数据量爆炸式增长。如何把握这些评论文本中表现出来了用户态度和意向，对于产品和服务的改进、营销和推广都起着至关重要的作用。而这些用户自发填写的评论文本中往往存在拼写错误(或缩写)、单词顺序错误等噪声及正负情感态度混合表达的情况，给评论的整体情感得分的把握带来了挑战。

目前，文本整体情感分类的方法主要集中在深度学习模型上，包括以下几类：一种是使用如rnn和cnn的传统神经网络，rnns能够捕获序列的长距离依赖，其最终捕获的信息侧重于序列的开始和结束，cnns对单词的共现进行了建模，将n个单词串接成短语，并通过池化操作减少了特征数，使分类更加容易；另一种方法是使用语言模型，其预训练阶段在大型语料库上进行，大多使用预训练+微调的方式来处理下游任务；第三种深度学习方法是图模型，为文本及其结构关系构建具有全局共享参数的图，提供了在非欧几里得空间上表示和处理文本的思路

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

现有技术中的上述方法没有关注到网络评论文本的非正式性问题，忽略了真实文本中的噪声问题，使得它们在含有这类问题的复杂评论文本的整体情感分类上表现较差。

由此可知，现有技术中的方法存在分类效果较差的技术问题。

技术实现要素：

本发明提出一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法，用于解决或者至少部分解决现有技术中的方法存在的分类效果较差的技术问题

为了解决上述技术问题，本发明提供了一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法，包括：

s1：从开源库中获取多个情感分类数据集；

s2：根据情感分类数据集中噪声和情绪混合的情况，选取出目标数据集，并将每个目标数据集划分为训练集和验证集；

s3：根据单词层面、短语层面以及句子层面之间的逻辑关系，设置与单词层面对应的向量模块、与短语层面对应的卷积模块以及与句子层面对应的胶囊网络模块，其中，向量模块、卷积模块以及胶囊网络模块构成综合深度胶囊网络分类模型，向量模块、卷积模块以及胶囊网络模块分别用于捕获单词层面、短语层面和句子层面的特征信息；

s4：将用作训练集的数据集输入综合深度胶囊网络分类模型，进行模型训练，当模型训练若干步后，交叉熵损失值的变化收敛到阈值之后，停止训练，再将验证集数据输入进训练得到的模型中，进行预测与评估，得到最终分类模型；

s5：利用最终分类模型对待分类文本进行分类。

在一种实施方式中，s1的数据集包括但不限于：stanfordsentimenttreebank、yelp、amazonreviews、semeval以及cornellmoviereviews数据集。

在一种实施方式中，s2具体包括：

s2.1：从获取的每个情感分类数据集随机抽取预设数量的样本；

s2.2：统计样本中存在噪声和情绪混合情况的样本数量，并计算存在噪声和情绪混合情况的样本的比例，其中，存在噪声和情绪混合情况的样本包括存在噪声的样本和存在情绪混合情况的样本，存在噪声的样本包括存在单词拼写错误、语法错误的样本，存在情绪混合情况的样本包括文本中出现“正向-负向-正向”或“负向-正向-负向”情感交替的样本；

s2.3：根据所述比例，选取出目标数据集。

在一种实施方式中，s2.2中语法错误包括词序错误以及完全口语化的不符合语法规范的省略。

在一种实施方式中，s2中的胶囊网络模块采用空洞卷积进行间隔卷积，并通过动态路由机制将句子层面的特征直接对应到最终分类过程，最高层胶囊各自对应一个分类类别。

在一种实施方式中，s3中所述交叉熵损失为真实标签分布与预测标签分布之间的差异，用h(p,q)表示，p表示label，也就是真实类别标签，q表示预测类别标签，n表示所有的n种可能性，p(xi)表示xi发生的概率，q(xi)表示预测为xi的概率：

在一种实施方式中，预测结果的评估以准确率作为指标，具体为分类正确的样本占被分类样本总个数的比例

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

针对现有技术中情感分类几乎尚未有针对性地关注拼写、词序、情感交替等非正式文本，尤其是评论文本中的常见错误的方法，本发明关注真实评论文本中这类噪声和情绪混合问题，通过设计综合深度胶囊网络分类模型弱化这些问题对把握评论整体情感得分类别的不良影响，分别在单词层面、短语层面和句子层面捕获特征信息，并利用训练集和验证集训练和评估模型，得到最终分类模型，提高了评论文本整体情感分类的准确率，增强了模型设计的可解释性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法的整体流程示意图；

图2为综合深度胶囊网络分类模型的结构示意图；

图3为获取模型输入用的wordpiece向量的流程图。

具体实施方式

本申请发明人通过大量的研究与实践发现，现有技术中的方法没有关注到网络评论文本的非正式性问题，忽略了这些真实文本中的拼写错误(或缩写)、单词顺序错误等噪声问题，以及不同情感倾向的子句交替出现的问题(情绪混合)，加上对评论文本情感态度的把握本来就比单纯地判断正负难度大，使得它们在含有这类问题的复杂评论文本的整体情感分类上表现较差。

基于以上考虑，本发明按照模拟人类阅读的逻辑步骤，设计了一种基于综合深度胶囊网络的复杂评论文本的整体情感分类方法，通过分别在单词层面、短语层面和句子层面捕获特征信息，对评论进行建模，弱化单词拼写错误、顺序错误以及不同情感倾向部分交替出现对最终把握评论整体情感得分的影响，提高情感分类准确率。该方法关注真实评论文本与常规情感分类任务对象的差异，有针对性地处理噪声和情绪混合问题，因而具有较高的实际应用价值。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的总体技术方案是：

一种模拟人类阅读的逻辑步骤，借助bertwordpiece向量、卷积单元及胶囊网络，分步从单词层面、短语层面和句子层面捕获句子特征，进行复杂评论文本整体情感分类的方法，命名为综合深度胶囊网络，步骤包括：

s1：从开源库中获取多个情感分类数据集；

s2：根据情感分类数据集中噪声和情绪混合的情况，选取出目标数据集，并将每个目标数据集划分为训练集和验证集；

s3：根据单词层面、短语层面以及句子层面之间的逻辑关系，设置与单词层面对应的向量模块、与短语层面对应的卷积模块以及与句子层面对应的胶囊网络模块，其中，向量模块、卷积模块以及胶囊网络模块构成综合深度胶囊网络分类模型，向量模块、卷积模块以及胶囊网络模块分别用于捕获单词层面、短语层面和句子层面的特征信息；

s4：将用作训练集的数据集输入综合深度胶囊网络分类模型，进行模型训练，当模型训练若干步后，交叉熵损失值的变化收敛到阈值之后，停止训练，再将验证集数据输入进训练得到的模型中，进行预测与评估，得到最终分类模型；

s5：利用最终分类模型对待分类文本进行分类。

具体来说，s1和s2对应数据集的获取与筛选，s3和s4对应模型的设计与训练，s5为模型的应用。

s2中根据情感分类数据集中噪声和情绪混合的情况，选取出目标数据集，是选取出噪声和情绪混合的情况比例高的数据集，目标数据集也包含多个。

s3中构建的综合深度胶囊网络分类模型，可以模拟人类阅读逻辑分层次捕获单词层面、短语层面和句子层面的特征信息，具体来说是将单词层面和短语层面的建模与拼错错误、词序错误等噪声问题对应，将句子层面的建模与情绪混合问题对应，也就是将每个短句子当作义群，动态考量不同义群对最终整体情感态度的影响。实现上可通过bertwordpiece向量和卷积作为单词级别和短语级别特征，再用胶囊网络获取句子层面最终的向量表示来进行分类。

请参见图1，为本发明的流程图，说明评论文本整体情感分类的一个实施例。整体分为四个步骤，第一步对情感分类数据集的获取和筛选，保留内容为人工评论的数据集。第二步对评论数据集进行抽样统计，得到各数据集中含有本发明所述噪声及混合情绪的比例，选择这类噪声和情绪混合情况最突出的几个数据集进行实验。第三步对模型进行设计和训练，保留模型参数。第四步训练得到的模型对验证集样本进行情感标签预测，并与真实标签进行比较，评估结果。

在一种实施方式中，s1的数据集包括但不限于：stanfordsentimenttreebank、yelp、amazonreviews、semeval以及cornellmoviereviews数据集。

在一种实施方式中，s2具体包括：

s2.1：从获取的每个情感分类数据集随机抽取预设数量的样本；

s2.2：统计样本中存在噪声和情绪混合情况的样本数量，并计算存在噪声和情绪混合情况的样本的比例，其中，存在噪声和情绪混合情况的样本包括存在噪声的样本和存在情绪混合情况的样本，存在噪声的样本包括存在单词拼写错误、语法错误的样本，存在情绪混合情况的样本包括文本中出现“正向-负向-正向”或“负向-正向-负向”情感交替的样本；

s2.3：根据所述比例，选取出目标数据集。

具体来说，s2.1中抽取的预设数量的样本可以根据实际情况设置，例如50、80、100等。

下面以抽取的样本数量为50为例，给出一个统计存在噪声和情绪混合情况的样本比例的示例，具体见表1。

其中，yelp、sst、tripadvisor、beeradvocate为筛选出的4个目标数据集。

再将筛选出的每个目标数据集进行数据集划分，如果数据集来源方已区分训练集和验证集，则可以保持其原本拆分比例不变，否则可以按照3:1的比例来拆分为训练集和验证集。

在判断是否存在情绪混合时，以逗号切分子句，各子句出现“正向-负向-正向”或“负向-正向-负向”情感交替时，即判断该样本存在情绪混合现象。

在一种实施方式中，s2.2中语法错误包括词序错误以及完全口语化的不符合语法规范的省略。

在一种实施方式中，s2中的胶囊网络模块采用空洞卷积进行间隔卷积，并通过动态路由机制将句子层面的特征直接对应到最终分类过程，最高层胶囊各自对应一个分类类别。

具体来说，空洞卷积策略应用于初级胶囊层，可以扩大初级胶囊层初始化时的视野范围，通过空洞卷积进行间隔卷积，紧密连续的单词不会被按顺序同时提取，而是跨过了一定的间隔，通过这种方式能够弱化形如“价格、服务员、房间、地理位置都挺好”这样句子中的平行短语表示的顺序信息。

本发明的处理方法与现有方法区别在于本发明在胶囊网络构建初始特征层是用的是空洞卷积，而现有胶囊网络用的是常规卷积。

具体地，1)单词层面同时包括wordpiece(词根)层面及完整单词层面；2)短语层面表现为n-gram形式，非自然语言中实际存在的短语，而是一定大小窗口内来连续出现的单词皆算在短语层面内；3)句子层面与前两个层面为递进关系，其特征捕获在前两个层面基础上进行；4)单词层面建模以wordpiece向量实现，通过上下文双向建模当前当词表示；5)短语层面建模以卷积形式实现，模仿人类阅读时若干单词连续起来表示一个含义块，块内单词顺序错误被下意识忽略；6)句子层面特征以胶囊网络动态路由机制直接对应到最终分类过程，最高层胶囊各自对应一个分类类别，类似于人类理解整段文本情感态度时，会整体平衡各个能表现态度的情感强度及其所占比重，动态调整而非线性叠加。

请参见图2，图2为图1中模型设计与训练部分的模型结构图，输入部分对应单词层面，卷积层对应短语层面，胶囊网络模块对应句子层面。其中，空洞卷积策略应用于胶囊网络模块的初级胶囊层。

图3为获取模型输入用的wordpiece向量的流程图。第一步采用筛选出的目标据集在bert预训练模型上进行微调，第二步保留微调后的模型参数。第三步用微调后得到的模型对任务所用数据集进行建模，取模型最后一层隐层状态作为单词向量表示，作为本发明所述模型的输入。

在一种实施方式中，s3中所述交叉熵损失为真实标签分布与预测标签分布之间的差异，用h(p,q)表示，p表示真实类别标签，q表示预测类别标签，n表示所有的n种可能性，p(xi)表示xi发生的概率，q(xi)表示预测为xi的概率：

在一种实施方式中，预测结果的评估以准确率作为指标，具体为分类正确的样本占被分类样本总个数的比例。

本发明的优点主要包括：

1.现有自然语言处理领域情感分类几乎尚未有针对性地关注拼写、词序、情感交替等非正式文本，尤其是评论文本中的常见错误，本发明关注真实评论文本中这类噪声和情绪混合问题，设计综合深度胶囊网络分类模型弱化这些问题对把握整体情感类别的不良影响，提高了评论文本整体情感分类的准确率，增强了模型设计的可解释性。

2.本发明分析和模拟人类阅读逻辑分层次处理上述噪声和情绪混合问题，具体为：1)单词层面模拟人类阅读时上下文影响对单词的理解，通过上下文建模当前单词表示；2)短语层面模拟人类在阅读时若干单词连续起来表示一个义群，由于外部知识库的影响，可以自动忽略义群内的单词顺序错误，得到正确的意思；3)句子层面模拟人类理解整段文本情感态度时，会整体平衡各个能表现态度的情感强度及其所占比重，动态调整而非线性叠加。

3.本发明充分发挥模型各模块的优势。bert(综合深度胶囊网络分类模型)作为一个双向transfomerencoder在大语料库上训练得到的模型，在mask机制的训练策略的帮助下，综合考虑了当前被mask掉的单词所处的上下文信息，也就是说，当前词的向量表示完全是由其上下文决定的，像人一样通过上下文综合考虑当前词的意思，而非一个字一个字孤立地学习。这天然地与本发明要处理单词拼写错误、缩写及时态错误问题的可操作思路相一致；卷积单元同时取一定窗口大小内的单词，强调单词共现而弱化其顺序关系，能有效缓解词序错误对最终用于分类的句子表示的影响；人在进行较为复杂的分类任务时，将细类归到大类的过程不是一次就完成，而是会多次层层归类，不断调整，直到达到最满意的分类，胶囊网络模块正是通过动态路由机制模拟了这个过程，将层层类别表示为胶囊，胶囊参数为下层胶囊映射到当前层胶囊的概率向量，以调整和映射向量的方式实现动态调整和层层传递。

4.本发明针对评论文本实际情况，有针对性改进胶囊网络，在胶囊网络的初级胶囊层引入空洞卷积策略，扩大初级胶囊层的视野范围，稀疏化评论文本中常有的平行短语的顺序表示，使模型每次迭代时可以只考虑其中一项，避免了模型建模时对这样不重要的顺序信息编码过多。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。