一种改进中文自动文本摘要自注意力计算的方法

文档序号:24875081发布日期:2021-04-30 12:49阅读:来源:国知局

技术特征:

1.一种改进中文自动文本摘要自注意力计算的方法,其特征在于,包括以下步骤:

步骤1、收集微博文章摘要数据集,并对微博文本摘要数据进行清洗;

步骤2、构建attention计算矩阵;

步骤3、fine-tuning新的attention-based网络,直至模型收敛;

步骤4、对步骤3构建的模型进行训练相同数据集,分别使用原有attention和改进后的空洞随机窗口attention进行训练;

步骤5、使用步骤4的训练结果,选择在测试集上rouge评分最优作为结果并计算。

2.根据权利要求1所述的一种改进中文自动文本摘要自注意力计算的方法,其特征在于,步骤1采取以下步骤:

步骤1.1、将微博文章摘要划分为训练集和测试集;

步骤1.2、在训练集上,对文本数据首先去除空格以及特殊字符,并根据频率去除低频词或字,然后构建出所需要的字典,字典的key为词,value为每个词的对应的id;

步骤1.3、使用词嵌入向量对数据进行编码;

步骤1.4、根据transformer模型规则添加positionid。

3.根据权利要求1所述的一种改进中文自动文本摘要自注意力计算的方法,其特征在于,步骤2具体包括以下步骤:

步骤2.1、使用在transformer定义的attention矩阵的基础上建立attention计算矩阵;

步骤2.2、借助空洞卷积的思想对于每个“token”定义空洞率为2的空洞卷积局部attention矩阵

步骤2.3、对每个“token”给予随机2-3个attention计算块,得到随机attention矩阵;

步骤2.4、将每个“token”的空洞卷积attention矩阵和随机attention矩阵相结合得到空洞窗口随机矩阵。

4.根据权利要求1所述的一种改进中文自动文本摘要自注意力计算的方法,其特征在于,步骤3具体包括以下步骤:

步骤3.1、选择损失函数为交叉熵损失函数:

步骤3.2、加载预训练模型,训练新的attention-based网络;

步骤3.3、设置预训练模型后接的全连接网络节点个数为1024;

步骤3.4、dropout值设置为0.8;

步骤3.5、观察loss和accuracy,当loss与accuracy收敛时停止迭代。

5.根据权利要求1所述的一种改进中文自动文本摘要自注意力计算的方法,其特征在于,步骤4具体包括以下步骤:

步骤4.1、对于每一个input做embedding,得到n个embedding矩阵后分别计算attention;

步骤4.2、使用相同的embedding,换成空洞随机窗口attention计算矩阵计算attention。

6.根据权利要求1所述的一种改进中文自动文本摘要自注意力计算的方法,其特征在于,步骤5具体包括以下步骤:

步骤5.1、使用rouge-n评分作为两种attention计算矩阵得到的最终结果的优劣;

步骤5.2、对比两种attention矩阵模型训练结果的rouge-n评分,得到最终结论。


技术总结
本发明公开了一种改进中文自动文本摘要自注意力计算的方法,本方法将中文自动文本摘要attention机制运用在中文文本摘要时计算的复杂度。首先对数据集划分为训练集与测试集。可用的摘要不仅需要保证生成的摘要是语言通顺的,还需要保证摘要表达的意思是文章的主要内容,且摘要表达了一个完整的语义。本发明除了关注改进attention的计算复杂度的同时,让其能够更好的运用在中文文本摘要领域方向。在原attention计算矩阵的时间复杂度为O(n2)的基础上,将时间复杂度降低至O(n),同时该方法通用型也较强,能够运用在多种任务,不限于中文文本摘要。

技术研发人员:刘博;徐宽
受保护的技术使用者:北京工业大学
技术研发日:2020.11.06
技术公布日:2021.04.30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1