一种基于差异化提示字符的分层级文本分类方法及系统与流程

本发明属于文本分类，尤其涉及一种基于差异化提示字符的分层级文本分类方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、对于一个汇总的涵盖多领域的专业性文章的数据库，由于涉及多个专业领域，很难正确地区分每篇文章属于哪一大类并隶属于哪一子类；因此使用深度学习实现自动化分层级文本分类是极其具有发展前景和应用价值的；所谓分层级文本分类如图1所示，一篇文章属于第一层级的某一大类，也细分为第二层级的某一小类。

3、在如今这个现实场景下，海量文章人工分类是不现实的，故要解决的问题是在小样本场景下，如何实现较为精准的分层级文本分类；目前通过微调的方式，实现文章的分层级文本分类方法，根据实验结果表明，并不能很好地实现小样本的分层级文本分类。

技术实现思路

1、为克服上述现有技术的不足，本发明提供了一种基于差异化提示字符的分层级文本分类方法及系统，基于设计的分层级预测提示模版，使用提示学习，在小样本背景下，将文本分类的问题转化为完形填空问题，基于对预训练语言模型的知识挖掘，实现分层级的文本分类任务。

2、为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

3、本发明第一方面提供了一种基于差异化提示字符的分层级文本分类方法。

4、一种基于差异化提示字符的分层级文本分类方法，包括：

5、设计一个预置多个占位符的分层级预测提示模版，所述占位符包含：待分类文本、第一层级提示字符、第一层级类别掩码、第二层级提示字符和第二层级类别掩码；

6、分别对第一层级的类别集合和第二层级的类别集合进行语义特征提取与聚合，得到第一层级和第二层级的差异化提示字符；

7、将待分类文本、第一层级和第二层级的差异化提示字符填充到分层级预测提示模版的相应占位符中，得到待预测序列；

8、将待预测序列输入到预训练语言模型中，对第一层级类别掩码和第二层级类别掩码进行预测，得到最终的预测结果。

9、进一步的，所述分层级预测提示模版为<original_input><t0><mask0><t1><mask1>，其中，<mask0>、<mask1>分别是第一层级类别掩码和第二层级类别掩码，<t0>、<t1>分别表示第一层提示字符和第二层提示字符，original_input表示待分类文本。

10、进一步的，使用textcnn分别对第一层级的类别集合和第二层级的类别集合进行语义特征提取与聚合，得到第一层级和第二层级的差异化提示字符，作为分层级预测提示模版中<t0>、<t1>的填充值。

11、进一步的，所述语义特征提取与聚合，具体步骤为：

12、将类别集合中的每一个类别，输入到预训练语言模型embedding机制和自定义的线性层，为每个类别生成一个中间向量；

13、对中间向量进行分层级特征提取与聚合，得到聚合特征向量。

14、进一步的，所述自定义的线性层，是对类别进行回归值归一化的线性变换。

15、进一步的，所述预训练语言模型，用于待带预测序列引入该模型，经过mlm head得到结果张量。

16、进一步的，所述最终的预测结果，是从结果张量中选取第一层级类别掩码和第二层级类别掩码的回归值，得到每个层级类别在回归值中对应的概率，然后通过对应类别的线性层进行多个概率的合成，最后求最大值的索引，得到第一层级类别和第二层级类别。

17、本发明第二方面提供了一种基于差异化提示字符的分层级文本分类系统。

18、一种基于差异化提示字符的分层级文本分类系统，包括模板设计模块、类别差异化模块、模板填充模块和类别预测模块：

19、模板设计模块，被配置为：设计一个预置多个占位符的分层级预测提示模版，所述占位符包含：待分类文本、第一层级提示字符、第一层级类别掩码、第二层级提示字符和第二层级类别掩码；

20、类别差异化模块，被配置为：分别对第一层级的类别集合和第二层级的类别集合进行语义特征提取与聚合，得到第一层级和第二层级的差异化提示字符；

21、模板填充模块，被配置为：将待分类文本、第一层级和第二层级的差异化提示字符填充到分层级预测提示模版的相应占位符中，得到待预测序列；

22、类别预测模块，被配置为：将待预测序列输入到预训练语言模型plm中，对第一层级类别掩码和第二层级类别掩码进行预测，得到最终的预测结果。

23、本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种基于差异化提示字符的分层级文本分类方法中的步骤。

24、本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种基于差异化提示字符的分层级文本分类方法中的步骤。

25、以上一个或多个技术方案存在以下有益效果：

26、本发明使用提示学习，设计了一个实现分别预测第一层级和第二层级类别的模板，在小样本背景下，将文本分类的问题转化为完形填空问题，利用预训练语言模型，实现分层级的文本分类任务；并对每一层的类别进行特征提取，聚合成一个向量作为预测该层级的提示token，并为每个类别设计一个线性层巧妙解决了如果一个类别可以形成多个token id，如何实现在卷积操作之前和由词表到类别映射时的数据的聚合问题，提升模型的预测准确性和模型的鲁棒性。

27、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种基于差异化提示字符的分层级文本分类方法，其特征在于，包括：

2.如权利要求1所述的一种基于差异化提示字符的分层级文本分类方法，其特征在于，所述分层级预测提示模版为<original_input><t0><mask0><t1><mask1>，其中，<mask0>、<mask1>分别是第一层级类别掩码和第二层级类别掩码，<t0>、<t1>分别表示第一层提示字符和第二层提示字符，original_input表示待分类文本。

3.如权利要求1所述的一种基于差异化提示字符的分层级文本分类方法，其特征在于，使用textcnn分别对第一层级的类别集合和第二层级的类别集合进行语义特征提取与聚合，得到第一层级和第二层级的差异化提示字符，作为分层级预测提示模版中<t0>、<t1>的填充值。

4.如权利要求3所述的一种基于差异化提示字符的分层级文本分类方法，其特征在于，所述语义特征提取与聚合，具体步骤为：

5.如权利要求4所述的一种基于差异化提示字符的分层级文本分类方法，其特征在于，所述自定义的线性层，是对类别进行回归值归一化的线性变换。

6.如权利要求1所述的一种基于差异化提示字符的分层级文本分类方法，其特征在于，所述预训练语言模型，用于待带预测序列引入该模型，经过mlm head得到结果张量。

7.如权利要求6所述的一种基于差异化提示字符的分层级文本分类方法，其特征在于，所述最终的预测结果，是从结果张量中选取第一层级类别掩码和第二层级类别掩码的回归值，得到每个层级类别在回归值中对应的概率，然后通过对应类别的线性层进行多个概率的合成，最后求最大值的索引，得到第一层级类别和第二层级类别。

8.一种基于差异化提示字符的分层级文本分类系统，其特征在于，包括模板设计模块、类别差异化模块、模板填充模块和类别预测模块：

9.一种电子设备，其特征是，包括：

10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。

技术总结
本发明提出了一种基于差异化提示字符的分层级文本分类方法及系统，涉及文本分类技术领域，设计一个预置多个占位符的分层级预测提示模版；分别对第一层级的类别集合和第二层级的类别集合进行语义特征提取与聚合，得到第一层级和第二层级的差异化提示字符；将待分类文本、第一层级和第二层级的差异化提示字符填充到分层级预测提示模版的相应占位符中，得到待预测序列；将待预测序列输入到预训练语言模型中，对第一层级类别掩码和第二层级类别掩码进行预测，得到最终的预测结果。本发明基于设计的分层级预测提示模版，使用提示学习，在小样本背景下，将文本分类的问题转化为完形填空问题，基于对预训练语言模型的知识挖掘，实现分层级的文本分类任务。

技术研发人员：居正雨,李钊,陈通,展一鸣,赵秀浩,张超,王灿俊
受保护的技术使用者：山东省计算中心（国家超级计算济南中心）
技术研发日：
技术公布日：2024/2/1