文本细粒度情感分类方法、系统、装置及存储介质与流程

本发明涉及自然语言处理领域，尤其涉及一种文本细粒度情感分类方法、系统、装置及存储介质。

背景技术：

基于机器学习的文本属性情感分类是近年来自然语言处理领域中最热门的一个研究方向，在舆情监测、自动问答、信息抽取、电子商务等众多领域已经得到广泛和深入的应用。所谓的文本属性情感分类是指在给定分类体系的前提下，利用机器学习的方式来对文本的内容进行分析后自动确定文本中针对某个属性的情感极性的过程。早期很多研究人员采用了各种基于特征的表示方式，特别是采用各种经典的神经网络模型，如卷积神经网络cnn、长短期记忆网络lstm、门控循环单元gru等。近两年来，预训练语言模型及针对任务进行微调的两阶段模型在多个自然语言处理任务上取得了新的最好结果。特别是生成式预训练gpt和双向预训练语言模型bert等工作证明了利用大规模无标注文本语料学习通用语言表示，并根据具体任务进行微调的方式是可行的。由于bert在训练过程中没有考虑被屏蔽单词之间的关系，并且容易与微调过程出现不一致，因此yang等学者进一步提出了xlnet模型用于克服bert中存在上述的问题，并在多个自然语言任务中取得了新的最好结果。现有的研究和应用已证明预训练语言模型及xlnet适合用于学习句子中语言单元间的依赖关系，而胶囊网络适合用于学习句子的局部特征和空间层次结构关系，但目前的研究没有充分地结合xlnet和胶囊网络capsnet各自的优势，也没有考虑属性情感分类任务的特点更好地对属性和目标文本之间的关系进行建模。

技术实现要素：

为了解决上述技术问题，本发明的目的是提供一种结合胶囊网络和xlnet的文本细粒度情感分类方法、系统、装置及存储介质。

本发明所采用的技术方案是：

一种文本细粒度情感分类方法，包括以下步骤：

获取目标文本和属性词，对所述目标文本和所述属性词进行预处理，获得序列对；

将所述序列对输入xlnet模型进行学习，并输出属性相关的词向量语义序列和全局特征表示；

采用胶囊网络对所述词向量语义序列进行学习，获得包含局部特征及空间层次关系的局部特征表示；

将所述全局特征表示和所述局部特征表示进行合并，获得目标文本的最终语义表示，根据所述最终语义表示对情感类别进行预测。

进一步，所述对所述目标文本和所述属性词进行预处理，获得序列对，包括：

采用预设工具对所述目标文本和所述属性词进行分词，将分词后的各个单词转成预设词汇表中的序号信息；

结合所述序号信息、各个单词的位置词向量、单词词向量信息及分段信息获得序列对；

所述序列对包含句子单词词向量以及属性词词向量。

进一步，所述将所述序列对输入xlnet模型进行学习，并输出属性相关的词向量语义序列和全局特征表示，包括：

将所述序列对输入xlnet模型后，通过xlnet模型对序列对中包含属性相关的上下文信息进行学习，获得并输出属性相关的词向量语义序列和全局特征表示；

将包含语义信息的句子词向量表示转化为包含语义及上下文信息的表示。

进一步，所述采用胶囊网络对所述词向量语义序列进行学习，获得包含局部特征及空间层次关系的局部特征表示，包括：

采用胶囊网络对所述词向量语义序列进行学习；

通过动态路由算法学习不同胶囊层之间的局部-整体间的层次结构关系，获得包含局部特征及空间层次关系的所述局部特征表示。

进一步，所述将所述全局特征表示和所述局部特征表示进行合并，获得目标文本的最终语义表示，根据所述最终语义表示对情感类别进行预测，包括：

采用预设的合并策略将所述全局特征表示和所述局部特征表示进行合并，得到目标文本的最终语义表示，作为目标文本语义的一维输出；

结合softmax网络和所述最终语义表示对情感类别进行预测。

进一步，所述预设的合并策略包括求和合并策略、串联合并策略或取最大值合并策略中的至少之一。

进一步，所述文本细粒度情感分类方法通过一个多层神经网络来实现。

本发明所采用的另一技术方案是：

一种文本细粒度情感分类系统，包括：

预处理模块，用于获取目标文本和属性词，对所述目标文本和所述属性词进行预处理，获得序列对；

语义学习模块，用于将所述序列对输入xlnet模型进行学习，并输出属性相关的词向量语义序列和全局特征表示；

结构学习模块，用于采用胶囊网络对所述词向量语义序列进行学习，获得包含局部特征及空间层次关系的局部特征表示；

预测模块，用于将所述全局特征表示和所述局部特征表示进行合并，获得目标文本的最终语义表示，根据所述最终语义表示对情感类别进行预测。

本发明所采用的另一技术方案是：

一种文本细粒度情感分类装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。

本发明所采用的另一技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明通过充分结合基于自编码语言模型xlnet学习大规模文本的语义知识方面的优势，以及胶囊网络capsnet在学习文本序列的局部信息和空间结构信息方面的优势，提高情感分类的准确率。

附图说明

图1是本发明实施例多层神经网络模型的总体架构图；

图2是本发明实施例一种文本细粒度情感分类系统的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

本实施例提供了一种混合胶囊网络和xlnet的文本细粒度情感分类方法，包括但不限于以下步骤：

步骤1、获取目标文本和属性词，对目标文本和属性词进行预处理，获得序列对。

对目标文本和属性词进行预处理，通过构造包含属性信息的辅助句子的方式与目标文本构成序列队。结合sentencepiece对文本序列及属性进行分词，将分词后的各个单词转成词汇表中的序号信息，并合并各个单词的位置词向量、单词词向量信息及分段信息作为xlnet层的输入。同时将原先针对目标文本及指定属性的多元情感分类判断转换为针对序列对之间二元关系的判断。

步骤2、将序列对输入xlnet模型进行学习，并输出属性相关的词向量语义序列和全局特征表示。

对于输入的包含句子单词词向量及属性词词向量的序列对，分别通过xlnet学习目标文本的上文信息和与属性之间的关系，从而得到了属性相关的词向量语义序列，并将包含语义信息的句子词向量表示转化为同时包含语义及上下文信息的表示。

步骤3、采用胶囊网络对词向量语义序列进行学习，获得包含局部特征及空间层次关系的局部特征表示。

使用一个胶囊网络对xlnet层中输出的目标文本序列的词向量进行学习，通过动态路由算法学习不同胶囊层之间的局部-整体间的层次结构关系，最终得到包含目标文本的局部特征表示。

步骤4、将全局特征表示和局部特征表示进行合并，获得目标文本的最终语义表示，根据最终语义表示对情感类别进行预测。

利用求和、串联、取最大值等多种不同合并策略对目标文本的全局特征表示和局部特征表示进行合并，得到目标文本的最终语义表示，并通过一个简单的softmax网络对句子的情感类别进行预测。

本实施例的一种结合胶囊网络和xlnet的文本细粒度情感分类方法是在一个多层神经网络中完成的，多层神经网络的架构图如图1所示，所述步骤1在第一层输入层中完成；步骤2在第二层xlnet层中完成，其中，xlnet中各单元词向量的输出维度为768或1024维；步骤3在第三层capsnet层中完成，其中，capsnet层中的迭代次数为3，胶囊单元和单元词向量与xlnet的输出维度相关，针对768为(24，32)，针对1024为(32，32)；步骤4在第四层输出层中完成，对于合并策略主要采用求和串联两种，最后通过一个softmax网络进行预测和输出。模型训练过程中采用多元交叉熵定义损失函数，并结合了adam优化器，其学习率统一为2e-05。为避免过拟合，采用基于dropout的正则化策略，值统一设置为0.1。

其中，所述第二层xlnet层用于学习原始输入目标文本中各个词的属性相关上下文信息，所述第三层capsnet层通过胶囊网络和动态路由算法学习句子的局部特征及空间层次结构特征，并得到相应的词向量表示。所述第四层通过多种不同的词向量合并策略得到目标文本的最终语义表示，并通过softmax进行分类输出。

其中，所述步骤1为输入构造过程，先构造包含属性及情感极性的辅助句子，并与目标文本构成序列对，然后通过sentencepiece进行分词及编码转换后作为xlnet的输入；所述步骤2利用xlnet学习目标文本的属性相关上下文信息后，得到目标文本的全局特征表示及各个单词的序列词向量信息；所述步骤3通过capsnet及动态路由算法的多次迭代进一步学习提取上下文信息的词向量的局部特征和空间层次结构关系，形成固定维度的输出；所述步骤4通过多种词向量合并策略得到包含全局上下文信息及局部特征信息的目标文本语义表示，然后利用一个softmax进行分类输出。

综上所述，本实施例与现有技术相比，至少具有如下有益效果：本实施例通过充分结合预训练语言模型xlnet在学习文本的上下文信息方面的优势以及capsnet在学习文本局部特征及空间层次关系方面的优势，提出一种混合胶囊网络和xlnet的文本细粒度情感分类方法，首先构造包含属性及情感极性的辅助句子，并与目标文本构成序列对作为xlnet的输入；然后，利用xlnet学习目标文本的属性相关上下文信息后，得到目标文本的全局特征表示及各个单词的序列词向量信息；接着，再通过capsnet进一步学习提取上下文信息的词向量的局部特征和空间层次结构关系，形成固定维度的输出；最后通过多种词向量合并策略得到包含全局上下文信息及局部特征信息的目标文本语义表示，然后利用一个softmax进行分类输出。可以进一步提高模型分类的准确率，并具有较好的通用性，在测试的多个语料库上都取得了优于之前各相关方法的效果。

如图2所示，本实施例还提供了一种文本细粒度情感分类系统，包括：

预处理模块，用于获取目标文本和属性词，对目标文本和属性词进行预处理，获得序列对；

语义学习模块，用于将序列对输入xlnet模型进行学习，并输出属性相关的词向量语义序列和全局特征表示；

结构学习模块，用于采用胶囊网络对词向量语义序列进行学习，获得包含局部特征及空间层次关系的局部特征表示；

预测模块，用于将全局特征表示和局部特征表示进行合并，获得目标文本的最终语义表示，根据最终语义表示对情感类别进行预测。

本实施例的一种文本细粒度情感分类系统，可执行本发明方法实施例所提供的一种文本细粒度情感分类方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种文本细粒度情感分类装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当至少一个程序被至少一个处理器执行，使得至少一个处理器实现上所述方法。

本实施例的一种文本细粒度情感分类装置，可执行本发明方法实施例所提供的一种文本细粒度情感分类方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种存储介质，其中存储有处理器可执行的指令，处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本实施例的一种存储介质，该存储介质存储有可执行本发明方法实施例所提供的一种文本细粒度情感分类方法的指令或程序，通过运行指令或程序可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。