一种基于BERT的多特征融合模糊文本分类模型

文档序号:24873544发布日期:2021-04-30 12:47阅读:来源:国知局

技术特征:

1.一种基于bert的多特征融合模糊文本分类模型,该方法包括以下内容:

准备模糊文本分类原始数据集,将原始数据集分成训练集、验证集和测试集;

构建bert_mffm模型,bert_mffm模型包括bert模型、卷积神经网络、双向长短记忆网络、self-attention模块,

bert模型的输入为模糊文本,bert模型的输出分别连接卷积神经网络、双向长短记忆网络、self-attention模块,分别提取模糊文本的局部特征、句子语义特征和句法结构特征;bert模型的输出同时与双向长短记忆网络的输出拼接在一起,然后使用最大池化操作筛选出最优句子语义特征;

采用并行拼接的方式将局部特征、最优句子语义特征和句法结构特征进行融合,融合结果经softmax函数进行模糊文本分类,至此完成bert_mffm模型的构建。

2.根据权利要求1所述的模糊文本分类模型,其特征在于,所述bert模型包括模糊文本输入层input,令牌嵌入层、分段嵌入层、位置嵌入层、transformer层、输出层output;tansformer层中含有多个trm,trm为transformer编码器,bert模型输出的动态词向量为[t1,t2,...,tn];

tansformer层的输入是令牌嵌入、分段嵌入和位置嵌入的总和,通过结合位置向量和词向量,引入每个词的位置信息;

transformer层利用multi-headattention多头注意力关注来自不同位置的不同表征子空间的信息,得到完全基于上下文信息的文本表示。

3.根据权利要求2所述的模糊文本分类模型,其特征在于,bert模型中隐含单元数量为768,学习率为5e-5,每句话处理长度为64字符,批处理大小为64,dropout随机失活率为0.1,迭代次数为5。

4.根据权利要求1所述的模糊文本分类模型,其特征在于,卷积神经网络通过卷积运算提取文本的n-gram特征,得到句子的关键字符特征,在卷积层利用多个不同大小的卷积核从多角度对语义信息进行提取,生成多个特征向量;优选,卷积核的大小依次为3、4、5,动态词向量依次经过这三个卷积核大小的卷积层,每层卷积核的数量为256,经最大池化操作输出局部特征。

5.根据权利要求2所述的模糊文本分类模型,其特征在于,双向长短记忆网络的隐藏层为2,由正向和反向两个lstm组成,每个lstm中隐藏单元的数量为768,bilstm构建的句子语义特征iwst,由正向lstm输出的隐层状态序列与反向lstm输出的隐层状态进行拼接而成,双向长短记忆网络的输入为bert模型输出的动态词向量,输出为句子语义特征。

6.根据权利要求1所述的模糊文本分类模型,其特征在于,所述self-attention模块的输入为动态词向量,输出为句法结构特征,具体过程是:

1)将bert模型输出的动态词向量通过线性变化得到查询q、键k和值v三个矩阵;

2)将查询q矩阵中的元素索引query和键k矩阵中的元素key利用点积函数进行相似度计算得到权重;

3)将使用softmax函数对权重进行归一化;

4)将权重和值v矩阵中相应的键值value进行加权求得最后的特征,即为句法结构特征。

7.根据权利要求1所述的模糊文本分类模型,其特征在于,所述原始数据集的制作是,在一个大类别找属于该大类别下的相近的小类,每个小类的数量相近,每个小类的数量为7000条以上,构成模糊文本分类用的原始数据集。

8.根据权利要求1所述的模糊文本分类模型,其特征在于,训练集、验证集和测试集中样本数量之比6:1:1。

9.根据权利要求1所述的模糊文本分类模型,其特征在于,bert_mffm模型的准确率、精度、召回率、f1-score均能达到79%以上。


技术总结
本发明为一种基于BERT的多特征融合模糊文本分类模型,该方法包括以下内容:准备模糊文本分类原始数据集;构建BERT_MFFM模型,BERT_MFFM模型包括BERT模型、卷积神经网络、双向长短记忆网络、Self‑Attention模块,BERT模型的输入为模糊文本,BERT模型的输出分别连接卷积神经网络、双向长短记忆网络、Self‑Attention模块,分别提取模糊文本的局部特征、句子语义特征和句法结构特征;BERT模型的输出同时与双向长短记忆网络的输出拼接在一起,然后使用最大池化操作筛选出最优句子语义特征;采用并行拼接的方式将局部特征、最优句子语义特征和句法结构特征进行融合,融合结果经SoftMax函数进行模糊文本分类,至此完成BERT_MFFM模型的构建。解决特征获取不全面问题,以提高分类的准确率。

技术研发人员:梁艳红;张萌萌;李欣泽;刘芃辰
受保护的技术使用者:河北工业大学
技术研发日:2021.01.11
技术公布日:2021.04.30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1