基于深度学习的自然语言情感处理方法、装置和存储介质与流程

1.本技术涉及自然语言情感处理领域，尤其是基于深度学习的自然语言情感处理方法、装置和存储介质。


背景技术：

2.随着计算机技术的发展，使用互联网的人数高速增长。在海量通信数据时代，基于大数据和ai、机器学习和深度学习技术，在不涉及用户隐私的情况线下，对不规则文本的情感色彩进行分析逐渐成为通信用户情感分析的主要方式。
3.相关的针对用户情感分析的自然语言处理深度学习模型往往需要大量的有标签数据进行训练，而在实际应用中，很难获得针对某一特殊领域或者特殊用户群体的大量的有标签的训练信息，导致利用小样本数据训练出的模型往往无法达到理想的效果，此外，训练出一个成熟的深度机器学习模型往往需要消耗大量的时间以及计算资源，导致针对于新任务的训练成本大大提高。
4.因此，相关技术存在的上述技术问题亟待解决。


技术实现要素：

5.本技术旨在解决相关技术中的技术问题之一。为此，本技术实施例提供基于深度学习的自然语言情感处理方法、装置和存储介质，能够节省自然语言情感处理的研发资源。
6.根据本技术实施例一方面，提供基于深度学习的自然语言情感处理方法，所述方法包括：
7.对原始通信文本进行预处理，得不同中文语料对应的不同序列；
8.采用bert-mlf模型对预处理后的中文语料序列进行特征提取，获得隐藏层输出，所述隐藏层输出包括每个序列对应的语义特征和最大池化后的方面特征；
9.利用所述语义特征和所述方面特征进行所述bert-mlf模型的训练和测试；
10.采用lstm网络对所述语义特征和所述方面特征进行深度特征提取，获得每个序列的深层语义特征；
11.将所述深层语义特征经过全连接层，再进入softmax分类器进行分类，进行模型的训练和测试。
12.在其中一个实施例中，所述对原始通信文本进行预处理，包括：
13.根据原始通信文本构造中文词典；
14.对所述中文词典进行前分词操作；
15.构建数字化索引和文本映射关系字典；
16.利用所述中文字典将原始通信文本向量化，得到不同中文语料对应的不同序列。
17.在其中一个实施例中，所述根据原始通信文本构造中文词典，包括：
18.利用jieba分词处理原始通信文本构造中文词典。
19.在其中一个实施例中，利用所述中文字典将原始通信文本向量化，包括：
20.利用cls、sep和向量化通信文本构造样本。
21.在其中一个实施例中，所述采用bert-mlf模型对预处理后的中文语料序列进行特征提取，获得隐藏层输出，包括：
22.对所述bert-mlf模型每一层的方面特征进行最大池化。
23.在其中一个实施例中，所述利用所述语义特征和所述方面特征进行所述bert-mlf模型的训练和测试，包括：
24.初始所述bert-mlf模型的参数；
25.将所述语义特征和所述方面特征作为训练集和测试集输入所述bert-mlf模型，得到训练预测结果并计算分类损失；
26.测试预测结果，若准确率提升则更新所述bert-mlf模型的参数。
27.在其中一个实施例中，所述采用lstm网络对所述语义特征和所述方面特征进行深度特征提取，获得每个序列的深层语义特征，包括：
28.对所述bert-mlf模型进行实例化；
29.冻结所述bert-mlf模型的所有参数，在所述bert-mlf模型最后一层增加lstm模块；
30.对所述语义特征和所述方面特征进行深度特征提取，获得每个序列的深层语义特征。
31.根据本技术实施例一方面，提供基于深度学习的自然语言情感处理装置，所述装置包括：
32.第一模块，用于对原始通信文本进行预处理，得不同中文语料对应的不同序列；
33.第二模块，用于采用bert-mlf模型对预处理后的中文语料序列进行特征提取，获得隐藏层输出，所述隐藏层输出包括每个序列对应的语义特征和最大池化后的方面特征；
34.第三模块，用于利用所述语义特征和所述方面特征进行所述bert-mlf模型的训练和测试；
35.第四模块，用于采用lstm网络对所述语义特征和所述方面特征进行深度特征提取，获得每个序列的深层语义特征；
36.第五模块，用于将所述深层语义特征经过全连接层，再进入softmax分类器进行分类，进行模型的训练和测试。
37.根据本技术实施例一方面，提供基于深度学习的自然语言情感处理装置，所述装置包括：
38.至少一个处理器；
39.至少一个存储器，所述存储器用于存储至少一个程序；
40.当至少一个所述程序被至少一个所述处理器执行时实现如前面实施例所述的基于深度学习的自然语言情感处理方法。
41.根据本技术实施例一方面，提供存储介质，所述存储介质存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时实现如前面实施例所述的基于深度学习的自然语言情感处理方法。
42.本技术实施例提供的基于深度学习的自然语言情感处理方法、装置和存储介质的有益效果为：本技术对原始通信文本进行预处理，得不同中文语料对应的不同序列；采用
bert-mlf模型对预处理后的中文语料序列进行特征提取，获得隐藏层输出，所述隐藏层输出包括每个序列对应的语义特征和最大池化后的方面特征；利用所述语义特征和所述方面特征进行所述bert-mlf模型的训练和测试；采用lstm网络对所述语义特征和所述方面特征进行深度特征提取，获得每个序列的深层语义特征；将所述深层语义特征经过全连接层，再进入softmax分类器进行分类，进行模型的训练和测试。本技术减少了模型训练所需的有标签的数据量、所需时间和计算资源，具有更好的适应性，能在短时间内生成可靠的深度学习模型，提高了系统的实用价值。
43.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
44.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1为本技术实施例提供的基于深度学习的自然语言情感处理方法的流程图；
46.图2为本技术实施例提供的基于bert-mlf+lstm模型的迁移学习具体算法示意图；
47.图3为本技术实施例提供的基于深度学习的自然语言情感处理装置的示意图；
48.图4为本技术实施例提供的另一基于深度学习的自然语言情感处理装置的示意图。
具体实施方式
49.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
50.本技术的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
51.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
52.随着计算机技术的发展，使用互联网的人数高速增长。在海量通信数据时代，基于大数据和ai、机器学习和深度学习技术，在不涉及用户隐私的情况线下，对不规则文本的情感色彩进行分析逐渐成为通信用户情感分析的主要方式。
53.相关的针对用户情感分析的自然语言处理深度学习模型往往需要大量的有标签数据进行训练，而在实际应用中，很难获得针对某一特殊领域或者特殊用户群体的大量的有标签的训练信息，导致利用小样本数据训练出的模型往往无法达到理想的效果，此外，训练出一个成熟的深度机器学习模型往往需要消耗大量的时间以及计算资源，导致针对于新任务的训练成本大大提高。
54.为了解决上述问题，本技术以大数据、深度学习、迁移学习及nlp情感分析为理论基础对海量互联网数据进行处理。利用深度学习(deep learning)和深度注意力机制(attention mechanism)，结合迁移学习的思想及技术实现互联网文本数据多目标情感分析。利用新获得的个性化小样本数据对bert-mlf深度学习模型进行微调，使得模型在训练数据不充足时也能达到良好的分类效果，解决了传统自然语言处理中必须要求大量有标签数据训练模型的弊端，大大提升了模型的泛化能力和灵活性，并且大大缩短了训练所需的时间，提高模型的实际可用性，为互联网小样本个性化有害信息的识别预警提供了有效的手段。
55.以下为对本说明书相关的名称进行解释，具体包括：
56.深度学习：深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。
57.注意力机制：注意力机制是一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。即一种资源分配的机制，在深度神经网络中，注意力机制通过深度神经网络训练过程中，通过网络参数的加权，挖掘数据或特征的内部相关性，使得深度学学习模型可以自适应的捕获数据中与当前任务密切相关的潜在特征。
58.迁移学习：迁移学习是一种机器学习的方法，指的是一个预训练的模型被重新用在另一个任务中。给定源域和目标域，以及各自的学习任务，迁移学习的目的事获取源域及其学习任务中的知识，以帮助提升目标域中的预测函数的学习，即从源域中迁移标注数据或者知识结构、完成或改进目标域或任务的学习效果。迁移学习用已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有数据的学习问题，从根本上放宽了传统机器学习的基本假设，从而能够将适用于大数据的模型迁移到小数据上，发现问题的共性，将通用的模型迁移到个性化的数据上，实现个性化迁移。
59.nlp(natural language possessing,自然语言处理)：自然语言处理是计算机科学领域以及人工智能领域的一个重要的研究方向，它研究用计算机来处理、理解以及运用人类语言(如中文、英文等)，达到人与计算机之间进行有效通讯。自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别等方面。
60.nlp情感分析：nlp情感分析是自然语言处理领域的重要组成部分。通过对带有情感色彩的主观性文本进行分析、处理、抽取，从而挖掘文中目标的潜在情感因素。情感分析研究涵盖了包括自然语言处理、文本挖掘、信息检索、信息抽取、机器学习等多个领域，目前它已经得到了许多学者以及研究机构的关注，近几年持续成为自然语言处理和文本挖掘领
mlf模型之后接入基于注意力机制的lstm神经网络，完成对小样本数据的深层语义特征提取，从而实现小样本数据下也能训练出良好表现的模型的目的。相较于基于bert模型的情感分析模型，bert-mlf将每一层的方面特征结合起来，也能提取更多关键的特征，方面特征是关注了方面术语相关的情感信息。此外，相较于bert模型是以字为基本单位的，以词为单位的bert-mlf利用jieba分词技术，并且加入前分词操作便可支持以词为单位。相对于其他中文分词技术，jieba分词具有高性能、高准确率、可扩展的特点，并且还支持除python以外的其他语言和平台。最后，想要训练出稳定且表现良好的深度学习模型往往需要同一领域大量有标记的数据，且需要消耗大量的时间及计算资源，且针对于某一特定任务训练好的模型在面对小样本量个性化的新任务时往往表现不佳。本技术通过调整已训练好的网络结构，加入lstm深度神经网络对小样本任务进行进一步的特征提取最后进行分类，可以大大缩短模型训练时间，节省计算资源，同时确保模型的准确性和稳定性。
73.如图2所示，本技术实施例提供的基于bert-mlf+lstm模型的迁移学习具体算法具体分为：
74.(1)数据预处理算法
75.输入：原始通信文本、文本目标情感标签
76.输出：词向量
77.步骤：利用jieba分词处理原始通信文本构造中文词典(包含cls、sep)；前分词操作；构建数字化索引和文本映射关系字典；利用构造的中文字典将原始通信文本向量化。
78.(2)基于大规模通信数据的bert-mlf模型预训练算法
79.输入：向量化通信文本训练集(data
train
)、向量化通信文本测试集(data
test
)、训练参数。
80.输出：bert-mlf模型
81.步骤：初始化bert-mlf模型参数；用训练集在bert-mlf模型上对其参数进行学习；训练预测结果bert-mlf(data
train
；φc，φ
nn
)；计算分类损失；更新分类器的参数；测试预测结果
←
bert-mlf(data
train
；φc，φ
nn
)；计算分类准确率，若准确率提升则保存模型。
82.重复上述步骤，直至bert-mlf模型收敛，说明分类准确率不再提高后停止。
83.(3)基于迁移学习的bert-mlf+lstm模型微调算法
84.输入：向量化通信文本训练集、向量化通信文本测试集、训练参数、预训练的bert模型。
85.输出：bert-mlf+lstm模型
86.步骤：实例化bert-mlf模型；冻结所有参数，然后再最后一层增加lstm模块；用训练集在bert-mlf+lstm模型上对其参数进行学习。
87.重复上述步骤，直至bert-mlf模型收敛，说明分类准确率不再提高后停止。
88.本技术减少了模型训练所需的有标签的数据量、所需时间和计算资源，具有更好的适应性，能在短时间内生成可靠的深度学习模型，提高了系统的实用价值。
89.如图3所示，本技术还提出了基于深度学习的自然语言情感处理装置，所述装置包括：
90.第一模块301，用于对原始通信文本进行预处理，得不同中文语料对应的不同序列；
91.第二模块302，用于采用bert-mlf模型对预处理后的中文语料序列进行特征提取，获得隐藏层输出，所述隐藏层输出包括每个序列对应的语义特征和最大池化后的方面特征；
92.第三模块303，用于利用所述语义特征和所述方面特征进行所述bert-mlf模型的训练和测试；
93.第四模块304，用于采用lstm网络对所述语义特征和所述方面特征进行深度特征提取，获得每个序列的深层语义特征；
94.第五模块305，用于将所述深层语义特征经过全连接层，再进入softmax分类器进行分类，进行模型的训练和测试。
95.如图4所示，本技术还提出了基于深度学习的自然语言情感处理装置，所述装置包括：
96.至少一个处理器401；
97.至少一个存储器402，所述存储器402用于存储至少一个程序；
98.当至少一个所述程序被至少一个所述处理器401执行时实现如前面实施例所述的基于深度学习的自然语言情感处理方法。
99.上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
100.此外，本技术还提供了存储介质，所述存储介质存储有处理器可执行的程序，所述处理器可执行的程序被处理器执行时实现如前面实施例所述的基于深度学习的自然语言情感处理方法。
101.同理，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
102.在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本技术的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
103.此外，虽然在功能性模块的背景下描述了本技术，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本技术是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本技术。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本技术的范围，本技术的范围由所附权利要求书及其等同方案的全部范围来决定。
104.功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
105.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
106.计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
107.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
108.在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
109.尽管已经示出和描述了本技术的实施方式，本领域的普通技术人员可以理解：在不脱离本技术的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本技术的范围由权利要求及其等同物限定。
110.以上，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。