基于视频事件信息网络的海量视频对比方法、装置和设备与流程

本发明涉及视频处理领域，特别是涉及一种基于视频事件信息网络的海量视频对比方法、装置和设备。

背景技术：

1、随着自媒体的发展，视频侵权的方式也随之增多，例如，直接搬用版权图像或视频；将长视频裁剪做成数个短视频传播；删除原作品片头片尾，将核心画面直接裁剪或组装成新的视频进行传播；对原视频进行二次创作；打马赛克，缩放画面，改变幅形比，改变图像分辨率等等。这些现象严重损害版权方的合法权益，阻碍文化事业的发展。

2、现有对相似视频的比对，大多通过数字图像水印技术或机器学习与数字图像水印技术结合的方式，通过水印提取算法将版权信息提取出来，作为数字图像归属的主要证据。但是该技术容易受到表示攻击，鲁棒性攻击，解释攻击，使得数字图像水印失去部分甚至全部水印信息，给水印信息提取带来困难，从而影响版权的保护。而采用机器学习与数字水印结合的方式，依赖于在样本库上进行训练，成本高且能耗巨大，面对复杂多变的待检测视频内容，难以满足其要求。

3、因此，提供一种新的视频内容对比方法是亟需解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提出一种基于视频事件信息网络的海量视频对比方法、装置和设备，本发明能够针对性的解决现有在海量视频中对比速度慢和准确度不高的问题。

2、基于上述目的，第一方面，本发明提出了一种基于视频事件信息网络的海量视频对比方法，所述视频事件是指一个镜头内所有内容帧的集合，所述内容帧是指表示镜头内容的帧，包括首帧、尾帧和n个中间帧，n为自然数，所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时得到；所述视频事件信息网络是基于视频事件信息空间以多级树集合为基础构造的森林结构，所述视频事件信息空间是指视频事件特征向量所在的多维向量空间，所述视频事件特征向量为在相同坐标系下对内容帧集合提取特征矩阵后计算得到，所述方法包括：获取目标视频，对所述目标视频进行预处理和粒化处理，得到对应于所述目标视频的视频事件序列，所述视频事件序列包括至少一个目标视频事件；根据所述目标视频事件的内容帧数量和视频事件特征向量，遍历所述视频事件信息网络中的根节点，判断当前遍历到的根节点是否为备选根节点，若是，则计算所述目标视频事件与所述备选根节点对应的备选视频事件的相似率；根据所述相似率判断所述目标视频事件是否与所述备选视频事件相似，若是，则将备选视频事件添加到相似视频事件集合中；遍历根节点结束后，输出所述相似视频事件集合，所述相似视频事件集合包括视频事件信息网络中所有与所述目标视频事件相似的视频事件。

3、可选地，在获取目标视频之前，所述方法包括：获取视频资源库中的原始视频；对所述原始视频进行预处理和粒化处理，得到所述原始视频的视频事件序列；将所述原始视频的视频事件作为所述视频事件信息网络的根节点或子节点，构建所述视频事件信息网络；其中，预处理，包括：对所述原始视频进行归一化处理，得到归一化视频；对所述归一化视频进行解帧，得到归一化视频帧序列；其中，粒化处理，包括：对所述归一化视频帧序列进行镜头分割和内容帧提取，得到镜头序列和内容帧序列；根据所述镜头序列和内容帧序列，得到对应于所述原始视频的视频事件序列。

4、可选地，所述根据所述目标视频事件的内容帧数量和视频事件特征向量，遍历所述视频事件信息网络中的根节点，判断当前遍历到的根节点是否为备选根节点，包括：将所述目标视频事件的内容帧数量与当前遍历到的根节点对应的视频事件的内容帧数量的差值的绝对值小于等于第一预设阈值作为第一判断条件；根据所述目标视频事件的内容帧特征向量和当前遍历到的根节点对应的视频事件的内容帧特征向量，计算所述目标视频事件与所述当前遍历到的根节点对应的视频事件的特征向量差异率；将所述目标视频事件与所述当前遍历到的根节点对应的视频事件的特征向量差异率小于等于第二预设阈值作为第二判断条件；在当前遍历到的根节点同时满足所述第一判断条件和第二判断条件时，确定当前遍历到的所述根节点为备选根节点。

5、可选地，在确定当前遍历到的根节点是为备选根节点的情况下，所述方法还包括：对所述目标视频事件与所述备选视频事件进行视频内容对比，判断所述目标视频事件的任一内容帧是否在所述备选视频事件中均存在对应的匹配帧，且所述目标视频事件的每一内容帧与其对应的匹配帧的内容帧差异率是否均小于等于第三预设阈值，若是，则计算所述目标视频事件与所述备选视频事件的相似率；若否，则确定所述目标视频事件和所述备选视频事件不相似。

6、可选地，判断所述目标视频事件的任一内容帧是否在所述备选视频事件中均存在对应的匹配帧，包括：将目标视频事件的第一个内容帧顺序与所述备选视频事件中的每一内容帧进行内容帧差异率的计算，判断备选视频事件是否存在与目标视频事件的第一个内容帧的内容帧差异率小于等于第三预设阈值的内容帧；若是，则将备选视频事件中首次与目标视频事件的第一个内容帧的内容帧差异率小于等于第三预设阈值的内容帧作为第一匹配帧；以所述第一匹配帧为起始帧，在所述备选视频事件中顺序获取与目标视频事件的内容帧数量相等的内容帧，顺序作为目标视频事件中内容帧的匹配帧；其中，若在所述备选视频事件中起始帧及其之后的内容帧数量小于目标视频事件的内容帧数量，则确定所述目标视频事件存在无匹配帧的内容帧；若在所述备选视频事件中起始帧及其之后的内容帧数量大于等于目标视频事件的内容帧数量，则确定目标视频事件的任一内容帧在所述备选视频事件中均存在对应的匹配帧。

7、可选地，所述特征数据还包括视频事件的内容帧特征矩阵，根据所述相似率判断所述目标视频事件是否与所述备选视频事件相似，包括：判断所述目标视频事件和备选视频事件的相似率是否大于等于第四预设阈值，若是，确定所述目标视频事件和备选视频事件相似，若否，确定所述目标视频事件和备选视频事件不相似；其中，所述目标视频事件和备选视频事件的相似率根据目标视频事件的内容帧特征矩阵以及备选视频事件的内容帧特征矩阵得到，目标视频事件和备选视频事件的相似率计算公式为：

8、

9、其中，q表示目标视频事件，fcntq为目标视频事件的内容帧数量，p表示备选视频事件，fcntp为备选视频事件的内容帧数量，simev(p,q)表示目标视频事件q和备选视频事件p的相似率，i为目标视频事件的内容帧序号，dis(i)为目标视频事件q的第i内容帧与对应的匹配帧的差异率，所述匹配帧属于所述备选视频事件。

10、可选地，遍历根节点结束后，所述方法还包括：获取与目标视频事件相似的根节点所关联的所有子节点，作为相似子节点，计算目标视频事件与所述相似子节点对应的视频事件的相似率，并将所述相似子节点对应的视频事件及相似率添加至所述相似视频事件集合。

11、可选地，所述方法还包括：在所述相似事件集合中的相似视频事件总数大于1的情况下，按照目标视频事件与每一相似视频事件的相似率大小对所述相似事件集合中的视频事件进行排序。

12、可选地，所述方法还包括：对于任一目标视频事件，获取相似视频事件集合中的视频事件在原始视频中的位置信息；输出所述目标视频、与所述目标视频事件相似的视频事件在原始视频中的位置信息。

13、第二方面，提供一种基于视频事件信息网络的海量视频对比装置，所述装置包括：视频处理模块，用于获取目标视频，对所述目标视频进行预处理和粒化处理，得到对应于所述目标视频的视频事件序列，所述视频事件序列包括至少一个目标视频事件；查找模块，用于根据所述目标视频事件的内容帧数量和视频事件特征向量，遍历所述视频事件信息网络中的根节点，判断当前遍历到的根节点是否为备选根节点，若是，则计算所述目标视频事件与所述备选根节点对应的备选视频事件的相似率；对比模块，用于根据所述相似率判断所述目标视频事件是否与所述备选视频事件相似，若是，则将备选视频事件添加到相似视频事件集合中；结果输出模块，用于输出所述相似视频事件集合，所述相似视频事件集合包括视频事件信息网络中所有与所述目标视频事件相似的视频事件；其中，所述视频事件是指一个镜头内所有内容帧的集合，所述内容帧是指表示镜头内容的帧，包括首帧、尾帧和n个中间帧，n为自然数，所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时得到；所述视频事件信息网络是基于视频事件信息空间以多级树集合为基础构造的森林结构，所述视频事件信息空间是指视频事件特征向量所在的多维向量空间，所述视频事件特征向量为在相同坐标系下对内容帧集合提取特征矩阵后计算得到。

14、第三方面，还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现第一方面所述的方法。

15、第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现第一方面任一项所述的方法。

16、总的来说，本发明至少存在以下有益效果：

17、本发明实施例提供的基于视频事件信息网络的海量视频对比方法，通过对目标视频进行预处理和粒化处理，得到对应于目标视频的目标视频事件序列，根据目标视频事件的内容帧数量和视频事件特征向量，遍历视频事件信息网络中的根节点，判断当前遍历到的根节点是否为备选根节点，若是，则计算目标视频事件与备选根节点对应的备选视频事件的相似率；根据相似率判断目标视频事件是否与备选视频事件相似，若是，则将备选视频事件添加到相似视频事件集合中；遍历根节点结束后，输出相似视频事件集合。本发明可以在海量视频资源的资源视频事件集合中对指定视频事件进行快速相似性比对，找出与指定视频事件相似的资源视频事件集合，可以提高视频事件相似性对比的准确率和效率。