文本分类模型的训练方法及装置、文本分类方法及装置与流程

本公开涉及人工智能，尤其涉及文本分类模型的训练方法及装置、文本分类方法及装置。

背景技术：

1、文本分类的主要目的是根据文本的内容和主题，将文本分为一个或者多个类别。

2、随着企业的数字化转型，电力文本信息的规模逐渐扩大、内容及种类变得越来越复杂，从电力文本信息中抽取电力生产信息并对电力生产信息进行文本分类是极为重要的。特别地，在电力行业的生产过程中，涉及到大量的调度指令这样的电力生产信息，如何从非结构化的电力生产信息中提取语义信息，以对电力生产信息进行分类和解析，以辅助提高生产效率是非常重要的。

技术实现思路

1、本公开提供了一种文本分类模型的训练方法及装置、文本分类方法及装置，以至少在一定程度上解决相关技术中的技术问题之一。本公开的技术方案如下：

2、根据本公开的一方面，提供了一种文本分类模型的训练方法，包括：

3、获取训练文本，并采用文本分类模型中的编码网络对所述训练文本进行编码，以得到第一语义特征；

4、获取噪声特征；其中，所述噪声特征和所述第一语义特征的尺寸匹配；

5、将所述噪声特征和所述第一语义特征进行融合，以得到融合特征；

6、基于所述第一语义特征和所述融合特征，对所述文本分类模型进行第一训练。

7、根据本公开的另一方面，提供了一种文本分类模型的训练装置，包括：

8、处理模块，用于获取训练文本，并采用文本分类模型中的编码网络对所述训练文本进行编码，以得到第一语义特征；

9、获取模块，用于获取噪声特征；其中，所述噪声特征和所述第一语义特征的尺寸匹配；

10、融合模块，用于将所述噪声特征和所述第一语义特征进行融合，以得到融合特征；

11、训练模块，用于基于所述第一语义特征和所述融合特征，对所述文本分类模型进行第一训练。

12、根据本公开的还一方面，提供了一种文本分类方法，包括：

13、获取电力生产信息；

14、采用经过训练的文本分类模型中的编码网络对所述电力生产信息进行编码，以得到语义特征；其中，所述文本分类模型是采用如本公开上述一方面提出的文本分类模型的训练方法训练得到的；

15、将所述语义特征输入所述文本分类模型中的分类网络进行分类，以得到所述电力生产信息所属的类别。

16、根据本公开的再一方面，提供了一种文本分类装置，包括：

17、获取模块，用于获取电力生产信息；

18、编码模块，采用经过训练的文本分类模型中的编码网络对所述电力生产信息进行编码，以得到语义特征；其中，所述文本分类模型是采用如本公开上述另一方面提出的文本分类模型的训练装置训练得到的；

19、分类模块，用于将所述语义特征输入所述文本分类模型中的分类网络进行分类，以得到所述电力生产信息所属的类别。

20、根据本公开的又一方面，提供了一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本公开上述一方面提出的文本分类模型的训练方法，或，实现本公开上述还一方面提出的文本分类方法。

21、根据本公开的再一方面，提供了一种计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开上述一方面提出的文本分类模型的训练方法，或，执行本公开上述还一方面提出的文本分类方法。

22、根据本公开的还一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述一方面提出的文本分类模型的训练方法，或，实现本公开上述还一方面提出的文本分类方法。

23、本公开的实施例提供的技术方案至少带来以下有益效果：

24、获取训练文本，并采用文本分类模型中的编码网络对训练文本进行编码，以得到第一语义特征；获取噪声特征；其中，噪声特征和第一语义特征的尺寸匹配；将噪声特征和第一语义特征进行融合，以得到融合特征；基于第一语义特征和融合特征，对文本分类模型进行第一训练。由此，基于文本分类模型的编码网络捕捉到的训练文本的语义特征，以及融合了噪声的语义特征，可以实现对文本分类模型的预训练，可以使得文本分类模型在真实训练之前，有效学习到训练文本中显著的语义信息，从而在利用少量的训练文本对文本分类模型进行真实训练时，可以提升模型的表现和性能，有效减少模型对标注数据的依赖。

25、本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

技术特征：

1.一种文本分类模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述采用文本分类模型中的编码网络对所述训练文本进行编码，以得到第一语义特征，包括：

3.根据权利要求2所述的方法，其中，所述第一语义特征包括所述训练文本中的各所述分词的语义向量，

4.根据权利要求2所述的方法，其特征在于，所述基于所述第一语义特征和所述融合特征，对所述文本分类模型进行第一训练，包括：

5.根据权利要求4所述的方法，其特征在于，所述将所述第一语义特征输入所述对抗网络中的鉴别器，以得到所述鉴别器输出的第一输出值，包括：

6.根据权利要求4所述的方法，其特征在于，所述将所述第二语义特征输入所述鉴别器，以得到所述鉴别器输出的第二输出值，包括：

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：

8.一种文本分类方法，其特征在于，所述方法包括：

9.一种文本分类模型的训练装置，其特征在于，所述装置包括：

10.一种文本分类装置，其特征在于，所述装置包括：

技术总结
本公开提出一种文本分类模型的训练方法及装置、文本分类方法及装置，其中，方法包括：获取训练文本，并采用文本分类模型中的编码网络对训练文本进行编码，以得到第一语义特征；获取噪声特征；将噪声特征和第一语义特征进行融合，以得到融合特征；基于第一语义特征和融合特征，对文本分类模型进行第一训练。由此，基于文本分类模型的编码网络捕捉到的训练文本的语义特征，以及融合了噪声的语义特征，可以实现对文本分类模型的预训练，可以使得文本分类模型在真实训练之前，有效学习到训练文本中显著的语义信息，从而在利用少量的训练文本对文本分类模型进行真实训练时，可以提升模型的表现和性能，有效减少模型对标注数据的依赖。

技术研发人员：郑子辰,邸智,李小翔,葛戈,刘雅欣
受保护的技术使用者：中国华能集团清洁能源技术研究院有限公司
技术研发日：
技术公布日：2024/1/12