一种基于关键特征融合的暴恐视频识别方法与流程

本发明涉及暴恐视频识别，特别涉及一种基于关键特征融合的暴恐视频识别方法。

背景技术：

1、目前，利用人工智能算法对互联网平台中庞大的数据进行自动化审核已经成为了目前内容审核领域应用最为广泛的技术，与传统的人工审核方式相比，自动化审核不仅为互联网企业大大提高了审核的准确率，而且同时也降低了运营成本。暴恐内容是常见的一种国家明文规定的有害信息。如今，在人工智能发展的背景下，企业中原本的人工审核阶段已经逐渐被各种算法所代替，在海量数据的情况下，自动化审核的优势非常明显，但是不可否认的是现有的算法技术即便识别的准确率越来越高，但是想完全去除人工审核由机器代替仍然存在问题。视频作为当前大众传媒最流行的一种方式，其中会掺杂着涉暴恐内容，由于视频有着帧的时序关系加之对暴恐内容的界定模糊，导致算法在检测暴恐视频时仍有着很高的误报。近年来针对暴恐视频的检测算法的研究也越来越多，但是大都集中在对视频截帧的分析中，除视频关键帧外，音频及视频前后帧的时序关系在建模过程中也十分重要，即便在人工审核的过程中，审核员也会结合音频及视频内容才能做出准确的判断。

2、伴随着计算机及其相关技术的产生和发展，算法在针对视频、图像等数据的分类及检测中很多场景下已经远远超过了人工。

3、但是：在暴恐视频的识别上，现在只是能够进行识别完整的暴恐视频，一些暴恐视频上存在的暴恐元素比较少，但是其吸引用户后，用户通过溯源查找，或者基于现在很多算法的推荐，推荐部分短视频的原始视频，原始视频是暴恐视频，但是，其部分片段存在的暴恐元素很少，不便于识别。

技术实现思路

1、本发明提供一种基于关键特征融合的暴恐视频识别方法，用以解决上述背景技术的情况。

2、本技术提出了一种基于关键特征融合的暴恐视频识别方法，包括：

3、预先搭建基于暴恐视频识别的关键特征数据库；

4、获取待识别片段视频，提取待识别片段视频的内容特征和传播渠道数据；其中，

5、内容特征包括音频特征和图像特征；

6、根据关键特征数据库，进行待识别片段视频的音频关键特征和图像关键特征在时间轴上同步时空融合，生成同步时空特征；

7、基于根据传播渠道数据，进行待识别视频的传播路径溯源和同步时空特征认证，确定待识别视频的视频主体；

8、根据视频主体，进行暴恐视频认定，并在所述视频主体为暴恐视频时，认定待识别片段视频为暴恐视频。

9、优选的，所述关键特征数据库包括音频关键特征数据库和视频关键特征数据库；其中，

10、音频关键特征数据库包括：场景音频关键特征数据库、事件音频关键特征数据库和物体音频关键特征数据库；其中，

11、场景音频关键特征数据库基于事件音频关键特征数据库和物体音频关键特征数据库构建；

12、视频关键特征数据库包括场景视频关键特征数据库、事件视频关键特征数据库和物体视频关键特征数据库。

13、优选的，所述预先搭建基于暴恐视频的关键特征数据库包括如下步骤：

14、设计包含暴恐视频和暴恐音频两种类型的动态暴恐场景；

15、通过音频文本实测和视频图像表征实测进行模拟动态暴恐场景下参与者的暴恐模拟行为；

16、根据暴恐模拟行为，提取不同参与者的音频关键特征和视频关键特征；

17、将音频关键特征和视频关键特征分别按照场景、事件和物体三种暴恐风险因素的细分，确定对应暴恐风险因素下的视频关键特征和音频关键特征，以此构建包含暴恐元素的关键特征数据库。

18、优选的，所述待识别片段视频的内容特征由内容捕捉机制进行内容特征识别提取；其中，

19、内容捕捉机制用于按照待识别片段视频的帧图像，进行文字捕捉、物体捕捉、人像捕捉和场景环境捕捉；

20、内容捕捉机制还用于在提取内容特征之后，基于暴恐认知风险，进行暴恐元素标记，并记录暴恐元素的时变信息；其中，

21、时变信息和暴恐元素标记在时间上匹配对齐。

22、优选的，所述传播渠道数据包括待识别片段视频的直接播放平台和传播路径；其中，

23、直接播放平台包括第一平台、第二平台和第三平台；其中，

24、第一平台为同质化内容播放平台，用于确定与待识别片段视频同质化程度达到预设值的播放平台；

25、第二平台为裁剪内容播放平台，用于确定为待识别片段视频局部内容的播放平台；

26、第三平台为次视频主体播放平台，用于确定包括待识别片段视频全部内容的播放平台；

27、传播路径包括主传播路径和传播分支路径；

28、主传播路径为待识别片段视频的顺序传播节点组成的顺序路径；

29、传播分支路径为顺序传播节点中每个节点关联的传播路径。

30、优选的，所述同步时空融合包括：

31、构建基于待识别片段视频的时间轴，通过时间轴记录每一时刻的帧图像和音频数据；

32、将帧图像和音频数据分别通过配置在关键特征数据库中的同态特征检测模型进行检测，判断是否存在同态特征；

33、当存在同态特征时，将同态特征作为目标关键特征；

34、根据目标关键特征，进行基于时间轴的特征排序，生成特征序列；

35、根据特征序列，确定在同一时刻同时具备图像关键特征和音频关键特征的序列位，组成序列对；

36、根据序列对，进行时空加权融合，生成同步时空特征。

37、优选的，所述传播路径溯源包括：

38、接收待识别片段视频的传播渠道数据；

39、将传播渠道数据对比预设的样本数据，执行溯源操作，确定视频元数据；

40、根据视频元数据，确定待识别片段视频的所有发布平台，并确定所有发布平台中时间最早的待识别片段视频的视频主体，进而确定对应视频的传播源头平台。

41、优选的，所述同步时空特征认证包括：

42、根据传播渠道数据，获取不同平台上待识别片段视频的关联视频；

43、根据待识别片段视频的起始图像帧和终止图像帧，按照预设间隔时间设置标识轴；

44、将每个关联视频通过标识轴进行对应认证；

45、根据对应认证结果，确定关联视频中可能成为视频主体的目标视频集合。

46、优选的，所述方法还包括：

47、获取待识别片段视频的多个视频帧；

48、确定多个视频帧各自对应的暴恐参数；其中，

49、暴恐参数通过关键特征数据确定；

50、暴恐参数用于标识待识别片段视频中每个视频帧的权重；

51、基于多个视频帧各自对应的暴恐参数对多个视频帧进行融合，获得待识别片段视频与暴恐关联的融合帧。

52、优选的，所述方法还包括：

53、获取暴恐视频的评估数据；

54、根据评估数据设定当前待识别片段视频上不同关键特征的危险指标和潜在事故指标；

55、根据概率权重，计算暴恐危害指标和事件概率指标中各项指标的第一权重；

56、根据范围权重，计算暴恐危害指标和事件概率指标中各项指标的第二权重；

57、基于第一权重和第二权重，均化最终权重；

58、根据最终权重，评估待识别片段视频中暴恐事件的危害程度。

59、本技术有益效果在于：

60、本发明在判断暴恐视频上，不是对与视频的直接判断，是基于视频的溯源，判断其原始视频是否为暴恐视频，从而删除一系列的所有关联视频，从源头上杜绝暴恐视频的传播。

61、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

62、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。