1.一种基于自构建提示模板的文本分类方法,其特征在于,包括:
2.根据权利要求1所述的基于自构建提示模板的文本分类方法,其特征在于,所述s1构建标签映射词典具体包括:
3.根据权利要求2所述的基于自构建提示模板的文本分类方法,其特征在于,利用已标记的数据集和textcnn-attention模型训练一个基类的文本分类器,抽取部分数据形成类别数平衡的验证集。
4.根据权利要求1所述的基于自构建提示模板的文本分类方法,其特征在于,所述软提示的方法进行模板的生成具体包括:构建的输入模板为:s1=[u1,u2,...[mask],...um,v1,v2,....vn],ui为待生成的提示模板的token,vi为输入的训练文本的token,[mask]为类别对应词典中的词语,输入的训练文本为从训练数据中随机抽取生成的。
5.根据权利要求4所述的基于自构建提示模板的文本分类方法,其特征在于,所述s2中的转化的公式为:zi=transformers(ui,ej),hi=relu(mlu(zi)),transfomers为transformer模型,mlu和relu为从bi_lstm编码以后经过的多层感知机和relu激活函数,该模型被为提示编码器,用于对提示模板进行encode编码,除了[mask]的位置,其他token采用随机字向量的初始化,[mask]对应的向量用对应类别标签的词语进行embedding操作,其中ej为位置编码的向量。
6.根据权利要求1所述的基于自构建提示模板的文本分类方法,其特征在于,模型的目标函数包括预测词语的损失函数l1和预测标签的损失函数l2,整体的损失函数为两者的损失函数之和l=l1+l2,其中u代表词的长度,m代表标签对应词典中词语的个数,pu(y)为模型预测的one-hot编码,pu(yu)为预测概率矩阵;l2为计算的类别标签与预测的类别标签之间的损失函数,其中,pk=argmaxk(cos(ci,zkm)),cos(·)代表余弦相似函数,pl代表选择相似度最大的词语对应的类别作为第k个类别的概率。
7.一种计算机可读存储介质,其上存储有一或多个计算机程序,其特征在于,该一或多个计算机程序被计算机处理器执行时实施权利要求1-6中任一项所述的方法。
8.一种基于自构建提示模板的文本分类系统,其特征在于,包括:
9.根据权利要求8所述的基于自构建提示模板的文本分类系统,其特征在于,所述标签映射词典构建单元具体配置用于从待测样本中抽取少量样本进行人工标注形成带标签的数据集d1;利用基类模型自带的attention机制对词语进行权重打分,将词典权重大于α的词语加入类别词典,得到类别词典w={w11,w12,...wl1....wkm},其中,wkm代表第k个类别的第m个词语,m为标签映射词典各个类别的最小词典大小,α表示权重阈值;使用已经训练的模型和类别词典对数据进行标签标注;重复上述步骤,每2-3个epoch使用新的训练模型在验证集验证其效果,当验证集的f1值大于预定数值或者某一个类别的词典大小大于预先设定的词语个数m时则停止迭代,利用已标记的数据集和textcnn-attention模型训练一个基类的文本分类器,抽取部分数据形成类别数平衡的验证集。
10.根据权利要求8所述的基于自构建提示模板的文本分类系统,其特征在于,所述模板生成转换单元中所述软提示的方法进行模板的生成具体包括:构建的输入模板为:s1=[u1,u2,...[mask],...um,v1,v2,....vn],ui为待生成的提示模板的token,vi为输入的训练文本的token,[mask]为类别对应词典中的词语,输入的训练文本为从训练数据中随机抽取生成的。
11.根据权利要求8所述的基于自构建提示模板的文本分类系统,其特征在于,转化的公式为:zi=transformers(ui,ej),hi=relu(mlu(zi)),transfomers为transformer模型,mlu和relu为从bi_lstm编码以后经过的多层感知机和relu激活函数,该模型被为提示编码器,用于对提示模板进行encode编码,除了[mask]的位置,其他token采用随机字向量的初始化,[mask]对应的向量用对应类别标签的词语进行embedding操作,其中ej为位置编码的向量。
12.根据权利要求8所述的基于自构建提示模板的文本分类系统,其特征在于,模型的目标函数包括预测词语的损失函数l1和预测标签的损失函数l2,整体的损失函数为两者的损失函数之和l=l1+l2,其中u代表词的长度,m代表标签对应词典中词语的个数,pu(y)为模型预测的one-hot编码,pu(yu)为预测概率矩阵;l2为计算的类别标签与预测的类别标签之间的损失函数,其中,pk=argmaxk(cos(ci,zkm)),cos(·)代表余弦相似函数,pk代表选择相似度最大的词语对应的类别作为第k个类别的概率。