一种基于图文多模态的不良网站分类方法、系统及设备与流程

本发明涉及网络安全，具体涉及一种基于图文多模态的不良网站分类方法、系统及设备。

背景技术：

1、信息技术和移动互联网的蓬勃发展，在方便了人们生活的同时，也需要我们对不良网站做出及时准确地识别，从而提前对接入用户作出预警。

2、现有的不良网站识别方法主要有两种，一种是采用基于网站文本内容的匹配技术，对网站的文本关键词进行匹配；另一种是根据网站的文本或图片单模态信息，构建深度学习分类模型来识别不良网站。这种根据网站的文本或图片单模态信息构建深度学习分类模型的方法，只考虑了图片或文本单一模态的信息，或者直接使用ocr技术抽取图片中的文本信息，对无文字信息的图片处理不足，而信息的载体包括文本、图像、视频、音频等，是多种多样的。现有的不良网站识别方法存在着识别效率不高、容易漏报的问题。

3、多模态学习通过建立多模态模型，融合图片和文本等多个模态的信息，使网络能够从多模态中学习各个模态的信息，从而提升模型的学习能力，获得更准确的结果。因此本发明提出一种基于图文多模态的不良网站分类方法、系统及设备，以解决现有技术中的问题。

技术实现思路

1、针对现有的不良网站分类方法中对无文字信息的图片处理不足，识别效率不高、容易漏报等问题，本发明提出一种基于图文多模态的不良网站分类方法、系统及设备。通过基于预训练图文模型的clip模型，提取不良网站截图和文本两个模态的信息，提取不良网站视觉特征及文字特征，融合图、文两个模态的特征，根据融合的特征对不良网站进行分类，可以在较少训练数据和较低的硬件要求的情况下，达到较好的分类效果。

2、为了实现上述目的，本发明通过如下的技术方案来实现：

3、一种基于图文多模态的不良网站分类方法，所述方法包括如下步骤：

4、s1：获取网页截图和网站meta标题，对所述网站meta标题进行数据清洗，过滤标题内容有效的样本作为训练集；所述标题内容有效具体指中文字符长度为4个及以上或者中文字符占比超50%；

5、s2：对所述网页截图进行图像大小的压缩矫正，并通过预训练的resnet50模型对所述网页截图进行编码，将其转化为图像特征向量；

6、s3：通过bert模型对网页截图对应的中文类型和网站meta标题中的关键词 w进行编码，转化为与所述图像特征向量具有相同维度的文本特征向量，并对所述图像特征向量和所述文本特征向量进行l2归一化处理；

7、s4：构建clip模型，每次clip模型的输入是批量的三元组，每个三元组都由图像-文本对联合生成；计算图像特征向量和文本特征向量的相似度，以及图像-文本的联合表示分值，并引入infonce函数计算交叉熵损失；

8、s5：使用随机抽样批量正负样本数据对clip模型进行多轮迭代和优化，使clip模型对齐图像特征向量和文本特征向量，即：将不良网站生成图像和文本特征向量的距离拉近，将不良网站与正常网站生成图像和文本特征向量的差异增大；

9、s6：将训练好的clip模型用于多模态网站分类，根据网页截图对齐语义信息来分类不良网站。

10、作为本发明的一种优选方案，所述步骤s1中，数据清洗具体包括：缺失值清洗、格式内容清洗以及逻辑错误清洗，所述缺失值清洗为确定缺失值范围、去除不需要的字段和缺失值填充，所述格式内容清洗为去除不需要的字符，所述逻辑错误清洗为去重、去除不合理值和修正矛盾内容。

11、作为本发明的一种优选方案，所述步骤s2中，通过预训练的resnet50模型对所述网页截图进行编码，将其转化为图像特征向量的方法具体包括：

12、通过深度学习框架导入预训练好的resnet50模型作为图像特征提取器，所述深度学习框架包括pytorch、tensorflow、keras；

13、去掉resnet50模型的最后一层全连接层，将倒数第二层作为输出层；

14、将所述网页截图进行预处理，所述预处理包括调整图像大小为224×224，归一化图像像素值到0-1之间，减去训练集的均值、除以标准差；

15、将预处理后的网页截图输入到resnet50模型中，得到倒数第二层的输出作为图像特征向量。

16、作为本发明的一种优选方案，所述步骤s3中，转化为文本特征向量的方法具体包括：

17、将网页截图对应的中文类型和网站meta标题中的关键词 w作为文本序列输入到预训练好的bert模型，将所述文本序列嵌入固定长度的向量空间中，并送入transformerencoder中进行编码转换；所述transformer encoder由若干个相同的层组成，每个层都包括多头自注意力机制和前馈神经网络这两个子层；

18、在多头自注意力机制中，文本序列中的每个单词都会被关注，并且对其他单词产生影响，以让bert模型捕捉文本序列中的上下文信息；在前馈神经网络中，所述文本序列被加权求和并经过非线性变换，从而得到一个新的向量表示，将这个新的向量表示送入下一层的多头自注意力机制中，重复以上操作，直至整个文本序列都被转换为一个固定长度的向量表示；

19、bert模型输出这个向量表示作为文本特征向量。

20、作为本发明的一种优选方案，所述计算图像特征向量和文本特征向量的相似度为：对所述图像特征向量和文本特征向量进行点乘；

21、所述计算图像-文本的联合表示分值的方法具体包括：

22、将文本特征向量作为query，图像特征向量作为keys和values，计算在第 i个描述下，文本特征向量相对于图像 j的注意力表示，继而得到图像-文本的联合表示分值：

23、。

24、作为本发明的一种优选方案，所述引入infonce函数计算交叉熵损失的方法具体包括：

25、在给定文本特征向量的情况下，最小化从所有批次图像的集合中正确检索图像特征向量的交叉熵，批次中的其他实例充当负样本，将该交叉熵损失称为图片检索损失函数，记为：

26、；

27、式中，表示在第 i个描述下，文本特征向量相对于本身对应的图像 i的联合表示分值；为第 i个描述下的图片检索损失函数， j表示第 j个图像，为图像总数；

28、类似的，定义文本检索损失函数：

29、；

30、式中，为第 i个描述下的文本检索损失函数；

31、使用以及+两个损失总和来训练clip模型。

32、作为本发明的一种优选方案，所述步骤s5中，使用随机抽样批量正负样本数据对clip模型进行多轮迭代和优化的方法包括：

33、采用基于本体的随机小批量抽样模式，样本包含n个类的不良网站和对应数量的正常网站，随机抽取小批量不良图片样本和随机抽取所有其他类型的对应数量样本对clip模型进行训练，使文本语义和图像语义从大类上达到一致，根据不同的网站meta标题中的关键词，随机抽取小批量的数据，通过同样类型本体下不同关键词区别来继续细化clip模型参数，从而达到细粒度的优化。

34、一种基于图文多模态的不良网站分类系统，所述系统包括：

35、数据获取模块，用于获取网页截图和网站meta标题；

36、数据清洗模块，用于对所述网站meta标题进行数据清洗，过滤标题内容有效的样本作为训练集；所述标题内容有效具体指中文字符长度为4个及以上或者中文字符占比超50%；

37、特征提取模块，包括resnet50模型单元、bert模型单元和l2归一化单元，所述bert模型单元用于对所述网页截图进行编码，将其转化为图像特征向量；所述bert模型单元用于对网页截图对应的中文类型和网站meta标题中的关键词进行编码，转化为与所述图像特征向量具有相同维度的文本特征向量；所述l2归一化单元用于对所述图像特征向量和所述文本特征向量进行l2归一化处理；

38、clip模型训练模块，用于构建clip模型，并使用随机抽样批量正负样本数据对clip模型进行多轮迭代和优化，使clip模型对齐图像特征向量和文本特征向量；

39、网站分类输出模块，用于通过训练好的clip模型进行多模态网站分类，根据网页截图对齐语义信息来分类不良网站。

40、一种基于图文多模态的不良网站分类设备，包括：

41、存储器：用于存储计算机程序；

42、处理器：用于执行所述计算机程序，以实现如上所述的一种基于图文多模态的不良网站分类方法。

43、一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种基于图文多模态的不良网站分类方法。

44、与现有技术相比，使用改进的clip模型对网站进行分类的有益效果是：利用网站内容中获取的文本和图像信息，以及它们之间的关联性，来判断网站属于哪个类别，效果可达到原模型的基准，可以提高网站分类的准确性和覆盖率；相比传统的clip需要亿级别数据，采用小批量训练抽样方式，仅需要约1%的数据即可达到相似的训练效果，同时不需要人工标注大量的训练数据和大型的tpu计算机器，也不需要针对不同语言或主题设计特定的分类规则或词典，可以提高网站分类的效率和可实现性；可针对无法使用ocr技术分析出的图片进行分析和明确分类。