文本摘要生成方法及其装置、设备、介质、产品与流程

文档序号:29632958发布日期:2022-04-13 16:26阅读:来源:国知局

技术特征:
1.一种文本摘要生成方法,其特征在于,包括:获取待处理的文本文件;根据预设的局部敏感哈希函数将所述文本文件映射至预设的数据桶内;将所述文本文件和所述多个数据桶内的文本字符输入至预设的摘要生成模型中,其中,所述摘要生成模型为预先训练至收敛状态的,用于提取文档摘要的自注意力编码模型;根据所述摘要生成模型的输出结果生成所述文本文件的文本摘要。2.根据权利要求1所述的文本摘要生成方法,其特征在于,所述获取待处理的文本文件包括:获取商品图片的上传指令;根据所述上传指令采集所述商品图片对应的文本文件。3.根据权利要求1所述的文本摘要生成方法,其特征在于,所述根据预设的局部敏感哈希函数将所述文本文件映射至预设的数据桶内包括:根据所述局部敏感哈希函数计算所述文本文件中各文本字符的哈希值,其中,所述局部敏感哈希函数通过所述各文本字符之间的邻近距离,约束所述各文本字符的哈希值;将所述各文本字符中对应哈希值之差小于等于预设哈希阈值的文本字符存储在同一个数据桶内。4.根据权利要求1所述的文本摘要生成方法,其特征在于,所述摘要生成模型包括注意力层和前馈神经网络层;所述将所述文本文件和所述多个数据桶内的文本字符输入至预设的摘要生成模型中包括:将所述多个数据桶内的文本字符输入至所述注意力层中,生成注意力特征;将所述注意力特征和所述文本文件合并生成第一输入数据,并将所述第一输入数据输入至所述前馈神经网络层,生成第一特征数据;将所述第一特征数据和所述多个数据桶内的文本字符合并生成第二输入数据,并将所述第二输入数据作为下一处理环节的输入数据。5.根据权利要求4所述的文本摘要生成方法,其特征在于,所述摘要生成模型包括编码器和解码器,所述编码器和解码器均包括所述注意力层和前馈神经网络层;所述摘要生成模型的训练方法包括:获取训练样本;将所述训练样本输入至所述摘要生成模型的初始模型中,由所述编码器对所述训练样本进行编码处理生成编码数据;将所述编码数据输入至所述解码器中对所述编码数据进行解码处理生成解码数据;根据所述初始模型中预设的损失函数计算所述训练样本与所述解码数据之间的损失值;当所述损失值大于预设的损失阈值时,通过所述初始模型中预设的反向传播函数矫正所述编码器的权重值。6.根据权利要求5所述的文本摘要生成方法,其特征在于,所述通过所述初始模型中预设的反向传播函数矫正所述编码器的权重值之后,包括:将所述初始模型的训练次数进行统计生成训练数值;将所述训练数值与预设的训练阈值进行比较,当所述训练数值等于所述训练阈值时,
确认所述初始模型训练至收敛状态成为所述摘要生成模型。7.根据权利要求2所述的文本摘要生成方法,其特征在于,所述根据所述摘要生成模型的输出结果生成所述文本文件的文本摘要之后,包括:采集所述商品图片的商品编码;根据所述商品编码将所述商品图片和所述文本摘要进行关联存储,以示用户通过预设与所述商品图片的调用指令查看所述文本摘要。8.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项权利要求所述文本摘要生成方法的步骤。9.一种计算机存储介质,其特征在于,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述文本摘要生成方法的步骤。10.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至7任意一项中所述方法的步骤。

技术总结
本申请公开一种文本摘要生成方法、装置、计算机设备及存储介质,包括:获取待处理的文本文件;根据预设的局部敏感哈希函数将所述文本文件映射至预设的数据桶内;将所述文本文件和所述多个数据桶内的文本字符输入至预设的摘要生成模型中,其中,所述摘要生成模型为预先训练至收敛状态的,用于提取文档摘要的自注意力编码模型;根据所述摘要生成模型的输出结果生成所述文本文件的文本摘要。使注意力计算的时间复杂度由与输入文本长度平方成正比,降低为L log L,其中,L是指桶桶内文本的长度。由此可见,本实施方式能够大大降低现有注意力模型中注意力计算的复杂度,进而降低模型提取摘要所需的算力和训练时。要所需的算力和训练时。要所需的算力和训练时。


技术研发人员:梁源通
受保护的技术使用者:广州华多网络科技有限公司
技术研发日:2021.12.28
技术公布日:2022/4/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1