一种新闻摘要生成方法及相关装置

本发明涉及一种新闻摘要生成方法及相关装置，属于自然语言处理、计算机视觉、多模态信息处理和深度学习领域。

背景技术：

1、近年来，随着大数据时代的到来，社交媒体和在线平台上的信息呈爆发性增长，呈现出多模态信息的复杂多样性。随着新闻报道的数字化和多媒体化，用户在获取新闻信息时不仅能够接触到大量的文本信息，还能够浏览大量的图像和视频内容，这使得多模态数据（包括文本、图像和视频）的处理和概括变得至关重要。

2、在这一背景下，图文多模态摘要生成技术应运而生，多模态一词指的是结合多个感知模式，而在智能新闻摘要中，主要涉及到文本、图像和视频等多种信息形式，这一技术的目标是通过整合新闻文本、图像和视频，生成一份既有核心语义又丰富多彩的摘要，以更有效地传递新闻信息。

3、在传统的多模态摘要方法中，通常仅对文本信息或图像信息进行单一模态的处理，这使得难以充分挖掘新闻文本、图像和视频之间的深层次关联，例如，在报道一场重大新闻事件时，仅通过文本信息无法完全还原事件的紧急感和现场感，而图像和视频能够更好地传达这些方面的信息。因此传统的多模态摘要方法，限制了摘要生成的全面性，影响了摘要的质量。

技术实现思路

1、本发明提供了一种新闻摘要生成方法及相关装置，解决了背景技术中披露的问题。

2、根据本公开的一个方面，提供一种新闻摘要生成方法，包括：根据新闻文本以及与新闻文本相关的图片，分别获得新闻文本的单词编码特征和图片的视觉目标特征；对单词编码特征和视觉目标特征进行多模态编码，获得新特征；其中，在多模态编码中，单词编码特征与视觉目标特征相互观察，更新各自的表示；新特征包括新的单词编码特征和新的视觉目标特征；将新特征作为节点，将节点之间的相似度作为边，构建多模态动态图，并在多模态动态图中区分出消极节点和积极节点；对新特征、消极节点和积极节点进行多模态解码，获得新特征中的积极特征和消极特征；其中，在多模态解码中，新特征观察消极节点和积极节点，更新自身的表示；根据新特征中的积极特征和消极特征，生成新闻摘要。

3、在本公开的一些实施例中，根据新闻文本，获得新闻文本的单词编码特征，包括：采用语言模型，将新闻文本转化为词嵌入向量，采用自注意力机制，对词嵌入向量进行编码，获得新闻文本的单词编码特征。

4、在本公开的一些实施例中，多模态编码采用多层cross-transformers，每层cross-transformers的输出通过前馈子层输入下一层cross-transformers；第 k层cross-transformers的公式为：

5、；

6、；

7、；

8、；

9、式中， selfatt l→ l为单词编码特征到单词编码特征的自注意力层函数， selfatt r→ r为视觉目标特征到视觉目标特征的自注意力层函数，为第 k-1层cross-transformers的第 i个单词特征输出，为第 k层cross-transformers的第 i个单词特征输出，为第 k层cross-transformers的第 i个单词到目标的跨模态注意力特征输出，1≤ i≤ m， m为单词编码特征数量，1≤ j≤ n， n为视觉目标特征数量， crossatt l→ r为单词编码特征到视觉目标特征的交叉注意力层函数， crossatt r→ l为视觉目标特征到单词编码特征的交叉注注意力层函数。

10、在本公开的一些实施例中，采用对抗学习构建多模态动态图，包括：根据新特征，获取多模态动态图的初始关系矩阵和对抗邻阶矩阵；根据对抗邻阶矩阵，在节点与节点之间的边以及节点中注入高斯噪声，分别获取边中注入高斯噪声的对抗关系矩阵和节点中注入高斯噪声的对抗关系矩阵；根据对抗关系矩阵和初始关系矩阵，计算kl散度损失；根据对抗关系矩阵的对数梯度和初始关系矩阵的对数梯度，计算梯度一致性损失；根据kl散度损失和梯度一致性损失进行对抗性学习，构建多模态动态图。

11、在本公开的一些实施例中，在多模态动态图中区分出消极节点和积极节点，包括：计算带高斯噪声的对抗邻阶矩阵与相似度矩阵之间的相似关系矩阵，从相似关系矩阵中选择最大的 n个边作为锚点边，将锚点边联系的节点作为积极节点，其余节点作为消极节点；其中，相似度矩阵为节点间的相似度矩阵。

12、在本公开的一些实施例中，根据新特征中的积极特征和消极特征，生成新闻摘要，包括：

13、根据新特征中的积极特征和消极特征，获取相关词表和不相关词表的概率分布；将相关词表的概率分布减去不相关词表的概率分布，获得新的概率分布，从新的概率分布中选取大于阈值的单词组成新闻摘要。

14、根据本公开的另一个方面，提供一种新闻摘要生成装置，包括：

15、特征获取模块，根据新闻文本以及与新闻文本相关的图片，分别获得新闻文本的单词编码特征和图片的视觉目标特征；

16、多模态编码模块，对单词编码特征和视觉目标特征进行多模态编码，获得新特征；其中，在多模态编码中，单词编码特征与视觉目标特征相互观察，更新各自的表示；新特征包括新的单词编码特征和新的视觉目标特征；

17、构图区分模块，将新特征作为节点，将节点之间的相似度作为边，构建多模态动态图，并在多模态动态图中区分出消极节点和积极节点；

18、多模态解码模块，对新特征、消极节点和积极节点进行多模态解码，获得新特征中的积极特征和消极特征；其中，在多模态解码中，新特征观察消极节点和积极节点，更新自身的表示；

19、摘要生成模块，根据新特征中的积极特征和消极特征，生成新闻摘要。

20、根据本公开的另一个方面，提供一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行新闻摘要生成方法。

21、根据本公开的另一个方面，提供一种计算机设备，包括一个或多个处理器、以及一个或多个存储器，一个或多个程序存储在一个或多个存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行新闻摘要生成方法的指令。

22、本发明所达到的有益效果：本发明采用多模态编码，使新闻文本的单词编码特征和图片的视觉目标特征相互观察，使多模态关联，通过构建多模态动态图建模特征之间的关系，区分特征中的积极特征和消极特征，从而生成多模态关联、且凸显核心信息的新闻摘要，可更好地还原新闻文本的多维度信息，提供更为全面的新闻摘要，保证了新闻摘要的质量。