一种敏感信息发现模型的多模态数据增强方法与流程

本发明属于人工智能，尤其涉及一种敏感信息发现模型的多模态数据增强方法。

背景技术：

1、模态是指一些表达或感知事物的方式，每一种信息的来源或者形式，都可以称为一种模态。例如，人有触觉，听觉，视觉，嗅觉；信息的媒介，有语音、视频、文字等；多种多样的传感器，如雷达、红外、加速度计等。以上的每一种都可以称为一种模态。

2、随着社交软件、视频网站的兴起，存在大量需要向未成年人传播的媒体内容；这些媒体内容可以以视频、音频、文字等一种或者多种混合模态出现。为避免向未成年人传播敏感信息，需要对这些内容进行审查与筛选。但源内容数量巨大，若对敏感信息的发现探测任务全部交由媒体传播端或者播放端的敏感信息模型处理，会产生很大的运算压力，且考虑到内容传播的时效性，若为减少处理时间而降低模型精度，则容易出现漏查和错查的问题。为解决这个问题，需要对源数据进行预处理与增强，以提高后续敏感信息发现模型的工作效率与精确率。

3、根据已公开的技术方案，公开号为cn114241253a的技术方案提出一种违规内容识别的模型训练方法，通过对样本图像集中违观内容进行明确标注违规区域的方式，从而训练出可以识别动态违规内容的大模型；公开号为jp2010231587a的技术方案提出一种网页内容显示监控系统，其通过采用一个专门的监控服务器进网页内容进行实时截取并与规则进行匹配，从而由监控服务器决定可以向用户展示的具体网页内容；公开号为us20160140110a1的技术方案提出一种将屏幕中出现的数据进行增强的方法，其可以直接识别当前在屏幕上出现在文字内容，并通过理解该文字内容的上下文数据，突出显示需要进行增强的有关数据。

4、以上技术方案均提出若干对数据进行识别或增强的算法和装置，但对于目前多模态内容的复杂性，以及缺乏在分辨内容的敏感程度后作出灵活处理的技术方案，目前尚少有提及。因此尚需要提出更为高效的技术方案。

5、背景技术的前述论述仅意图便于理解本发明。此论述并不认可或承认提及的材料中的任一种公共常识的一部分。

技术实现思路

1、本发明的目的在于，公开了一种敏感信息发现模型的多模态数据增强方法与装置，属于人工智能技术领域。所述增强方法使用多编码器结构中的不同编码器对源数据中不同模态的数据进行分别编码，以保持各自的语义特征。其中，以图像数据为主，辅助以语音、文本等上下文数据进行编码。编码后的两类数据均输入到解码器进行融合处理。解码器中设置有注意力机制，可以聚焦不同编码器的输出，对源数据的可疑区域进行重新标注和增强。增强后的数据输出到敏感信息发现模型，可提高后续模型的处理效率与精确度。同时提出一种应用所述数据增强方法的装置，可在已在设备中接入该装置，即可以使现在的模型在输入端获取到增强后的源数据。

2、本发明采用如下技术方案：

3、一种敏感信息发现模型的多模态数据增强方法，所述增强方法包括以下步骤：

4、s100：从第一数据源接收含有多模态信息的源数据，从源数据中获得包括视频和/或图像的视频数据；使用图像分析器分析视频数据，从而生成多个时序上的图像特征向量；

5、s200：进一步处理源数据中的多模态数据，获得包括声音、情感、说话者特征中的一项或以上特征的数据；至少基于人物、情绪、噪音特征中的一项或以上特征生成上下文数据；

6、s300：使用多编码器变换器处理图像数据和上下文数据，以生成具有可疑信息时间标记的增强源数据，并将所述增强源数据输出到敏感信息发现模型作进一步的敏感信息分析；

7、其后在敏感信息发现模型的分析设置中，设置重点分析标记的敏感时间段，次要分析未标记时间段，忽略无标记段，并最终输出对源数据中的敏感信息的发现结果；

8、其中，所述多编码器变换器包括

9、第一编码器，用于将所述图像数据编码处理为第一编码数据；

10、第二编码器，用于将所述上下文数据编码处理为第二编码数据；

11、之后，将所述第一编码数据以及所述第二编码数据输入到所述多编码器变换器中对应的解码器，利用所述解码器的解码注意力网络对可疑信息进行时间标记；

12、优选地，还包括从除所述第一数据源以外的一个或多个的第二数据源获取所述上下文数据；

13、优选地，步骤s300中还包括以下子步骤：

14、s310：对所述图像数据的进行图像帧序列处理，为图像数据的n个图像帧进行编号，使每个图像帧具有编号为f1，f2，...fn；

15、s320：对第i个图像帧fi计算其可疑信息特征向量ki和敏感信息特征向量li；

16、s330：对每个图像帧fi抽取其图像特征向量fi；

17、s340：定义权重矩阵ωi，对抽取的图像特征向量fi进行加权；

18、s350：计算新增强数据的可疑信息重点指数x，即：

19、；

20、上式中，表示向量对应元素相乘；σ表示非线性激活函数；

21、s360：根据重点指数x，对源数据在时间序列上进行可疑信息标记；

22、进一步的，提出一种敏感信息发现模型的多模态数据增强装置，所述数据增强装置应用上述一种敏感信息发现模型的多模态数据增强方法；所述数据增强装置包括：

23、一个或多个处理器，被配置为：

24、从第一数据源接收含有多模态信息的源数据，从源数据中获得包括图像部分的图像数据；

25、进一步处理源数据中的多模态数据，获得包括人物、情绪、噪音特征中的一项或以上特征的数据；至少基于人物、情绪、噪音特征中的一项或以上特征生成上下文数据；

26、使用多编码器变换器处理图像数据和上下文数据以生成具有可疑信息时间标记的增强源数据进行输出；

27、优选地，所述多编码器变换器包括编码器组群；所述编码器组群包括：

28、第一编码器，其包括第一注意力网络；以及

29、至少一个第二编码器，其包括第二注意力网络；以及

30、解码器，其包括解码注意力网络；

31、优选地，所述一个或多个处理器还被配置为：

32、将所述图像数据提供给所述第一编码器以生成第一编码数据；

33、从一个或多个数据源获取源数据，并从所述源数据中分析获取上下文数据；

34、将所述上下文数据至少提供给所述第二编码器以生成第二编码数据；以及

35、向解码注意力网络提供所述第一编码数据和所述第二编码数据，以生成具有可疑信息时间标记的增强源数据，并将所述增强源数据进行输出；

36、优选地，所述解码注意力网络包括：

37、第一多头注意力网络，被配置为处理所述第一编码数据；

38、第二多头注意力网络，被配置为处理所述第二编码数据；

39、组合器，被配置为组合第一多头注意力网络和第二多头注意力网络的输出。

40、本发明所取得的有益效果是：

41、本发明的数据增强方法通过对源数据的多模态增强预处理，可有针对性地标注和过滤数据，减轻后续敏感信息发现模型的工作量，提高整体流程的执行效率；

42、本发明的数据增强方法通过设置多编码器结构，可充分分解不同模态信息的语义特征，综合判断可疑区域，减少漏报和误报，提升敏感信息发现的整体准确率；

43、本发明的数据增强方法通过数据增强作为预处理模块，可广泛应用于社交平台、视频分享网站等存在大量数据需要敏感信息筛查的场景，拓展了应用范围。

44、本发明的数据增强系统中各软、硬件部分采用了模块化设计，方便今后的升级或者更换相关的软、硬件环境，降低了使用的成本。