一种摘要生成的方法以及相关装置与流程

本技术实施例涉及人工智能，具体涉及一种摘要生成的方法以及相关装置。

背景技术：

1、当前，越来越多的技术可以应用于文本摘要领域的研究。自动摘要是利用计算机自动实现文本分析、内容归纳和摘要自动生成的技术，可以按照对象的要求以简洁的形式表达原文的主要内容。自动摘要技术能够有效地帮助或使对象从检索到的文章中寻找感兴趣的内容，提高阅读速度和质量。该自动摘要技术能够将文档压缩为更为简洁的表达，并且涵盖原始文档中有价值的主题。

2、在相关方案中，通常采用深度transformer网络架构对文档中的文本信息和相关的所有图片进行处理，以生成该文档相关的摘要信息。具体地，通过对文档中的文本信息进行特征提取，得到文本特征，以及对文档中的所有的图片进行视觉特征特征，得到相应的视觉特征。然后，在不改变现有的transformer架构的情况下，将文本特征和所有的视觉特征进行简单地拼接融合，并结合解码器对拼接融合后的特征向量进行解码，进而生成该文档相应的摘要信息。然而，该方案中需要考虑到文档中所有的图片，并不关注所有图片中的每一张图片是否都对所要生成的摘要做出了贡献，从而使得后续特征融合过程中纳入了较多无用的图片所对应的视觉特征，进而导致所生成的摘要信息不足以准确地表达文档所需要表达的主要内容，降低了摘要的精确性。

技术实现思路

1、本技术实施例提供了一种摘要生成的方法以及相关装置，无需关注无用图片的图片特征，能够准确地生成待处理文档的目标摘要信息，使得目标摘要信息精准地表达文档所需表达的主要内容，提高摘要的准确性。

2、第一方面，本技术实施例提供了一种摘要生成的方法。该方法包括：对待处理文档中的文本信息进行特征提取处理，得到文本信息对应的文本特征向量，以及对待处理文档中的图片进行特征提取处理，得到图片对应的图片特征向量；对文本特征向量进行自注意力处理，得到第一文本特征向量；对第一文本特征向量与图片特征向量进行自注意力处理，得到目标特征向量；基于摘要生成模型对目标特征向量和第一摘要词进行预测处理，生成待处理文档的目标摘要信息，第一摘要词为待处理文档的目标摘要信息中已预测得到的历史摘要词。

3、第二方面，本技术实施例提供了一种摘要生成装置。该摘要生成装置包括处理单元和获取单元。其中，处理单元，用于对待处理文档中的文本信息进行特征提取处理，得到文本信息对应的文本特征向量，以及对待处理文档中的图片进行特征提取处理，得到图片对应的图片特征向量，图片用于指示待处理文档的插图情况；处理单元用于对文本特征向量进行自注意力处理，得到第一文本特征向量；处理单元用于对第一文本特征向量与图片特征向量进行自注意力处理，得到目标特征向量；处理单元用于基于预设摘要生成模型对目标特征向量和第一摘要词进行预测处理，生成待处理文档的目标摘要信息，第一摘要词为待处理文档的目标摘要信息中已预测得到的历史摘要词。

4、在一些可选的示例中，处理单元用于：将第一文本特征向量与图片特征向量进行融合处理，得到融合特征向量；将融合特征向量与第一文本特征向量进行自注意力处理，得到目标特征向量。

5、在另一些可选的示例中，处理单元用于：通过编码器中的第i层编码层，对第i-1层编码层输出的第一文本特征向量进行自注意力处理，得到第i层编码层的第一文本特征向量，其中，1＜i≤l，l为自然数，l为编码器的编码层的总层数；通过编码器中的第i层编码层，对第i层编码层的第一文本特征向量以及第i-1层编码层输出的融合特征向量进行自注意力处理，得到第i层编码层的融合特征向量；通过编码器中的第i层编码层，将第i层编码层的融合特征向量与第i层编码层的第一文本特征向量进行自注意力处理，得到目标特征向量。

6、在另一些可选的示例中，处理单元用于：基于第i层编码层输出的融合特征向量与预设第一权重矩阵，确定图像感知自注意力机制中的查询矩阵；基于第i层编码层输出的第一文本特征向量与预设第二权重矩阵，确定图像感知自注意力机制中的键矩阵，以及基于第i层编码层输出的第一文本特征向量与预设第三权重矩阵，确定图像感知自注意力机制中的转置矩阵；基于查询矩阵、键矩阵以及转置矩阵，确定目标特征向量。

7、在另一些可选的示例中，处理单元用于：基于查询矩阵和键矩阵，计算第i层编码层输出的融合特征向量与每个第i层编码层输出的第一文本特征向量之间的相似度；基于每个相似度与转置矩阵进行加权求和处理，以确定目标特征向量。

8、在另一些可选的示例中，处理单元用于：对第一摘要词进行自注意力处理，得到历史摘要特征向量；对目标特征向量和历史摘要特征向量进行自注意力处理，得到第一特征向量；将第一特征向量作为摘要生成模型的输入，得到每个词的预测概率；基于每个词的预测概率生成待处理文档的目标摘要信息。

9、在另一些可选的示例中，处理单元还用于：对每个词的预测概率进行求和处理，得到目标损失值；基于目标损失值对初始摘要生成模型进行参数更新处理，以得到摘要生成模型。

10、在另一些可选的示例中，获取单元用于：基于第一摘要词，获取第一摘要词所对应的词嵌入特征表示。处理单元用于：对第一摘要词所对应的词嵌入特征表示进行自注意力处理，得到历史摘要特征向量。

11、在另一些可选的示例中，获取单元用于：根据待处理文档中的文本信息，获取文本信息中每个词的语义向量以及位置向量。处理单元用于：每个词的语义向量和位置向量进行融合处理，得到文本信息对应的文本特征向量。

12、在另一些可选的示例中，获取单元用于：对待处理文档中的图片进行特征提取处理，获取图片中每个物体的物体特征向量、每个物体的标识特征向量、每个物体的边界特征向量以及图片的标识特征向量。处理单元用于：将每个物体的物体特征向量、每个物体的标识特征向量、每个物体的边界特征向量以及图片的标识特征向量进行拼接处理，得到图片对应的图片特征向量。

13、本技术实施例第三方面提供了一种摘要生成装置，包括：存储器、输入/输出(i/o)接口和存储器。存储器用于存储程序指令。处理器用于执行存储器中的程序指令，以执行上述第一方面的实施方式对应的摘要生成的方法。

14、本技术实施例第四方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行以执行上述第一方面的实施方式对应的方法。

15、本技术实施例第五方面提供了一种包含指令的计算机程序产品，当其在计算机或者处理器上运行时，使得计算机或者处理器执行上述以执行上述第一方面的实施方式对应的方法。

16、从以上技术方案可以看出，本技术实施例具有以下优点：

17、本技术实施例中，通过对待处理文档中的文本信息进行特征提取处理，得到文本信息对应的文本特征向量，以及对待处理文档中的图片进行特征提取处理，得到图片对应的图片特征向量。然后，进一步对文本特征向量进行自注意力处理，得到第一文本特征向量，使得后续模型能够关注到文本信息中的关键内容，以及对第一文本特征向量与图片特征向量进行自注意力处理，得到目标特征向量，也进一步使得后续模型能够关注到文本信息与图片中的关键文本以及关键图片，从而摒弃掉无用图片中的内容，能够利用关键文本的文本特征向量以及关键图片的图片特征向量确定目标特征向量，使得所得到的目标特征向量并不包括无用图片所对应的图片特征向量。这样，基于摘要生成模型对目标特征向量和第一摘要词进行预测处理，能够准确地生成待处理文档的目标摘要信息，使得目标摘要信息精准地表达文档所需表达的主要内容，提高摘要的准确性。