一种基于域自适应的多模态虚假新闻检测方法及系统

本发明涉及自然语言处理和计算机视觉的交叉，具体地说，是一种基于域自适应的多模态虚假新闻检测方法及系统。

背景技术：

1、多模态假新闻包含文字、图片等多种形式的信息，这些信息相互印证，可以增加信息的可信度，也更容易引起人们的注意，从而更容易传播。同时，多模态丰富的信息也给假新闻的检测带来了挑战，当前的多模态虚假新闻面临着以下挑战：

2、1) 多模态信息的异构性。不同类型的数据有不同的表示形式、结构和语义，因此需要将它们统一到一个通用的表示形式。

3、2) 多模态数据的融合。不同的模态信息在语义、数据量上存在差异，比如文本、图像之间的语义表达方式不同，并且图片所蕴含的数据量比文本大得多，如何解决不同模态数据之间的语义鸿沟，在保留其原始语义信息的基础上将其融合到一个公共的语义空间，这是一个难点。

4、3) 多模态数据的跨域问题。传统的虚假新闻检测通常聚焦在一个领域内，如医疗、金融，而在这种单一领域中训练出来的检测器在遇到现实生活中多种多样的假新闻时通常表现不佳，如何提高检测器在多域数据下的泛化能力，这是一个问题。

5、因此，针对上述问题，提出一种基于自适应融合的多模态虚假新闻检测方法来解决上述问题。

技术实现思路

1、本发明的目的在于解决现有技术的不足，提供一种基于域自适应的多模态虚假新闻检测方法及系统；所述方法通过融合文本和图像等多模态信息，提高虚假新闻检测的准确性和泛化能力，特别是在处理跨域数据时的能力；所述系统通过设计一个高效、实时、用户友好的虚假新闻检测平台，能够在不同领域和不同类型的新闻中保持高效的检测性能，从而减少虚假信息的传播，保护公众的知情权和社会的稳定。

2、本发明通过下述技术方案实现：一种基于域自适应的多模态虚假新闻检测方法，基于包括单模态特征提取模块、多头特征融合器、域适应器和虚假新闻分类器所构成的多模态虚假新闻检测系统实现，包括下述步骤：

3、1）将新闻的文本、图像分别输入不同的单模态特征提取模块中，抽取各自的特征向量；

4、2）将提取后的文本特征向量与图像特征向量输入多头特征融合器进行特征融合，并采用多头机制提取出多维多模态特征向量；

5、3）将提取的文本特征通过软注意力机制提取领域向量，使用领域向量作为指导，调整多种多模态特征表示的权重，并根据权重通过域适应器将多维多模态特征向量融合，得到最终的多模态特征融合向量；通过特征融合过程中的权重分配，揭示图文的关联性，进而反映出图文之间的一致性或不一致性。

6、4）将最终的多模态特征融合向量利用虚假新闻分类器进行分类，将多模态特征融合向量映射为一个概率分布，表示该新闻属于真假分类的可能性；最后使用交叉熵计算分类损失，通过最小化分类损失来训练整个多模态虚假新闻检测系统。

7、进一步为更好地实现本发明所述的一种基于域自适应的多模态虚假新闻检测方法，特别采用下述设置方式：所述步骤1）包括下述步骤：

8、1.1）对于文本，采用预训练模型roberta作为单模态特征提取模块，通过24个隐藏层提取文本的特征向量，且在进行特征提取时采用下式完成：，其中， s表示新闻文本内容， t表示经过24个隐藏层后每个单词的向量表示， m表示文本中的单词数量， t代表文本特征向量；

9、1.2）对于图像，采用预训练的resnet50模型作为单模态特征提取模块进行图像的特征向量提取，且在进行特征提取时，采用下式完成：，其中， i表示新闻对应的图像内容， v表示从预训练的resnet50模型中提取的图像向量表示， n表示图像的嵌入维度， v表示图像特征向量。

10、进一步为更好地实现本发明所述的一种基于域自适应的多模态虚假新闻检测方法，特别采用下述设置方式：在进行图像特征提取时，通过预训练的resnet50模型的第四个残差块（block）来获取图像的特征向量，并将获取的图像的特征向量调整为3维，以便与文本特征向量的维度保持一致。

11、进一步为更好地实现本发明所述的一种基于域自适应的多模态虚假新闻检测方法，特别采用下述设置方式：所述步骤2）中，在进行特征融合时，采用软注意力机制进行特征融合；在采用多头机制进行多维多模态特征向量提取时，利用下式完成：，其中x代表提取的多维多模态特征向量， t代表文本特征向量， v表示图像特征向量，和都是可学习的参数，分别表示图片特征向量和文本特征向量占所提取的多维多模态特征向量的比重。

12、进一步为更好地实现本发明所述的一种基于域自适应的多模态虚假新闻检测方法，特别采用下述设置方式：所述步骤3）包括下述步骤：

13、3.1）使用文本特征向量 t中的每个向量 t i，通过注意力机制得到权重分布 g i，且，其中， v表示从预训练的resnet50模型中提取的图像向量表示， w表示一个可学习的参数矩阵，用于将文本特征向量映射到一个新的特征空间， b表示一个偏置向量，用于在特征转换过程中调整特征向量的线性变换；

14、3.2）对权重分布 g i做归一化处理：，其中， α i是经过归一化处理后得到的权重分布， m表示参与权重计算的样本总数量，表示归一化因子，用于对权重分布进行标准化处理，以确保权重和为1， j表示特定的权重分布的索引，用于标识不同的权重分布项， g j表示特定索引 j下的权重分布值，用于表示某个特定特征向量的权重；

15、3.3）将文本特征向量加权求和，得到领域特征向量：，其中， d是领域特征向量， n表示训练样本的总数量， i表示的是求和的索引变量，它遍历从1到 n的所有整数；

16、3.4）使用领域特征向量 d作为指导，调整多维多模态特征向量的权重：，其中，γ表示归一化后多维多模态特征向量的权重分布， f( d) 表示一个非线性激活函数，它将领域特征向量 d变换为一个新的特征表示，以便更好地指导多维多模态特征向量的权重调整；

17、3.5）根据权重将多维多模态特征向量融合，得到最终的多模态特征融合向量：，其中， r表示最终的多模态特征融合向量， h表示一个融合后的多模态特征向量集合，用于进一步进行特征融合和分类， γ i表示第 i个特征向量的归一化权重，用于在特征融合过程中赋予不同特征向量不同的权重； x i表示第 i个特征向量，它是特定模态（文本或图像）中的一个特征表示。

18、进一步为更好地实现本发明所述的一种基于域自适应的多模态虚假新闻检测方法，特别采用下述设置方式：所述步骤4）中将多模态特征融合向量映射为一个概率分布，通过下式实现：，其中，表示预测标签，通过最终的多模态特征融合向量输入多层感知机mlp得到， r表示最终的多模态特征融合向量；交叉熵计算分类损失时，通过下式实现：，其中， y i表示真实标签， l表示预测的损失， n表示训练样本的总数量。

19、一种基于域自适应的多模态虚假新闻检测系统，用于实现所述的一种基于域自适应的多模态虚假新闻检测方法，包括

20、单模态特征提取模块，用于从新闻中提取文本特征向量，并从图像中提取图像特征向量；

21、多头特征融合器，使用软注意力机制，将文本特征向量和图像特征向量进行特征融合，并提取出多维多模态特征向量；

22、域适应器，从文本特征向量中提取出领域特征向量，并以此指导多维多模态特征向量的融合；域适应器使用领域向量调整多种多模态特征表示的权重，使检测系统能够根据不同领域的特点进行特征融合；域适应器能有效增强检测系统在处理跨域数据时的泛化能力，使系统在不同领域和不同类型的新闻中保持高效的检测性能。

23、虚假新闻分类器，将经过域适应器的多模态特征融合向量作为最后的分类特征向量，得到新闻的分类结果。

24、进一步为更好地实现本发明所述的一种基于域自适应的多模态虚假新闻检测系统，特别采用下述设置方式：根据新闻的分类结果，使用交叉熵函数计算分类损失，并通过反向传播调整整个多模态虚假新闻检测系统的模型参数。

25、本发明与现有技术相比，具有以下优点及有益效果：

26、（1）本发明使用中文特征提取模型roberta，通过中文词语掩码和24个隐藏层学习到语义信息更全面的文本特征向量。

27、（2）本发明采用多头特征融合器，从多个视角融合文本和图像特征向量，得到表征信息更丰富的多维多模态特征向量。

28、（3）本发明采用域适应器，通过提取的领域向量，指导多视角的多维多模态特征向量的融合，以解决虚假新闻检测中的跨域问题。

29、（4）本发明有完善领域标签的能力，可以适用于领域标签缺失的数据集。