1.一种改进中文自动文本摘要自注意力计算的方法,其特征在于,包括以下步骤:
步骤1、收集微博文章摘要数据集,并对微博文本摘要数据进行清洗;
步骤2、构建attention计算矩阵;
步骤3、fine-tuning新的attention-based网络,直至模型收敛;
步骤4、对步骤3构建的模型进行训练相同数据集,分别使用原有attention和改进后的空洞随机窗口attention进行训练;
步骤5、使用步骤4的训练结果,选择在测试集上rouge评分最优作为结果并计算。
2.根据权利要求1所述的一种改进中文自动文本摘要自注意力计算的方法,其特征在于,步骤1采取以下步骤:
步骤1.1、将微博文章摘要划分为训练集和测试集;
步骤1.2、在训练集上,对文本数据首先去除空格以及特殊字符,并根据频率去除低频词或字,然后构建出所需要的字典,字典的key为词,value为每个词的对应的id;
步骤1.3、使用词嵌入向量对数据进行编码;
步骤1.4、根据transformer模型规则添加positionid。
3.根据权利要求1所述的一种改进中文自动文本摘要自注意力计算的方法,其特征在于,步骤2具体包括以下步骤:
步骤2.1、使用在transformer定义的attention矩阵的基础上建立attention计算矩阵;
步骤2.2、借助空洞卷积的思想对于每个“token”定义空洞率为2的空洞卷积局部attention矩阵
步骤2.3、对每个“token”给予随机2-3个attention计算块,得到随机attention矩阵;
步骤2.4、将每个“token”的空洞卷积attention矩阵和随机attention矩阵相结合得到空洞窗口随机矩阵。
4.根据权利要求1所述的一种改进中文自动文本摘要自注意力计算的方法,其特征在于,步骤3具体包括以下步骤:
步骤3.1、选择损失函数为交叉熵损失函数:
步骤3.2、加载预训练模型,训练新的attention-based网络;
步骤3.3、设置预训练模型后接的全连接网络节点个数为1024;
步骤3.4、dropout值设置为0.8;
步骤3.5、观察loss和accuracy,当loss与accuracy收敛时停止迭代。
5.根据权利要求1所述的一种改进中文自动文本摘要自注意力计算的方法,其特征在于,步骤4具体包括以下步骤:
步骤4.1、对于每一个input做embedding,得到n个embedding矩阵后分别计算attention;
步骤4.2、使用相同的embedding,换成空洞随机窗口attention计算矩阵计算attention。
6.根据权利要求1所述的一种改进中文自动文本摘要自注意力计算的方法,其特征在于,步骤5具体包括以下步骤:
步骤5.1、使用rouge-n评分作为两种attention计算矩阵得到的最终结果的优劣;
步骤5.2、对比两种attention矩阵模型训练结果的rouge-n评分,得到最终结论。