一种基于优化视频特征的视频抄袭检测方法与流程

1.本发明涉及视频检测技术领域，尤其是涉及一种基于优化视频特征的视频抄袭检测方法。


背景技术：

2.目前，随着各网络平台的蜂蛹出现，出现在各平台上的视频量越 来越大，流量成为了许多人追求的唯一目标，为了达到这个目标，有 的视频发布者，抄袭别人的视频进行播报，对视频原创者的利益造成 侵害；从众多的视频中找到需要的视频，如果仅仅由人工来进行，则 成本高效率低。
3.因此，如何从天量的视频中，快速检测出需要的视频，是目前亟 待解决的问题。


技术实现要素：

4.本发明的目的是提供一种基于优化视频特征的视频抄袭检测方法，提取底库视频帧的cnn特征，采用编码器对cnn特征进行优化，得到底库视频帧的优化cnn特征，组成特征数据库；提取查询视频帧的cnn特征，采用编码器对cnn特征进行优化，得到查询视频帧的优化cnn特征，计算查询视频帧的优化cnn特征与底库视频帧的优化cnn特征的相似度，选取一定数量的相似度最大值，形成查询视频帧的候选视频，并与查询视频帧组成候选视频对，基于所有查询视频帧的候选视频对，生成相似度矩阵，在相似度矩阵的对角线上，得到疑似抄袭视频位置，提高了抄袭视频检测效率。
5.第一方面，本发明的上述发明目的通过以下技术方案得以实现：一种基于优化视频特征的视频抄袭检测方法，对视频底库中的视频进行抽帧，得到至少一个第一抽取帧，提取各第一抽取帧的第一特征，对第一特征进行优化，得到第一优化特征，所有第一优化特征形成特征数据库；对查询视频进行抽帧，得到至少一个第二抽取帧，提取各第二抽取帧的第二特征，对第二特征进行优化，得到第二优化特征；所述第一特征与第二特征是相同类型的特征，计算第一优化特征与第二优化特征进行相似度，从相似度最大开始选取一定数量，将选中的相似度对应的底库抽取帧与查询抽取帧作为候选视频对，对所有候选视频对生成相似度矩阵，增加相似度矩阵上疑似抄袭位置帧图像的第一相似度，减小相似度矩阵非抄袭位置帧图像的第二相似度，定位抄袭视频位置。
6.本发明进一步设置为：所述第一特征与第二特征同为卷积神经网络特征，在特征数据库中标记各第一抽取帧所属视频id和在所属视频中的位置。
7.本发明进一步设置为：以疑似抄袭视频片段作为正数据集，以非抄袭视频中的随机片段为负数据集，或以被误检测为抄袭视频而实际上为非抄袭视频片段为负数据集，训练transformer编码器。
8.本发明进一步设置为：所述第一特征与第二特征同为cnn特征，将第一特征输入transformer编码器进行优化，得到第一优化特征；将第二特征输入transformer编码器进行优化，得到第二优化特征。
9.本发明进一步设置为：计算每一个第二优化特征与特征数据库中的各第一优化特征的相似度，获得相似度大于设定阈值的所有第一抽取帧。
10.本发明进一步设置为：将所有第一抽取帧中的各底库视频帧，按照底库视频id进行归类，计算属于同一视频id的相似度总和，将相似度总和由大到小列表，选取列表中排列在前的一定数量相似度对应的视频作为候选视频，查询视频与每一个候选视频分别形成候选视频对，基于候选视频对，生成相似度矩阵。
11.本发明进一步设置为：计算相似度矩阵与理想相似度矩阵的损失函数，优化transformer编码器。
12.第二方面，本发明的上述发明目的通过以下技术方案得以实现：一种基于优化视频特征的视频抄袭检测终端设备，包括处理器、存储器，所述存储器存储有能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时能够实现本技术所述方法。第三方面，本发明的上述发明目的通过以下技术方案得以实现：一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现本技术所述方法。
13.与现有技术相比，本技术的有益技术效果为：1.本技术通过对视频特征的优化，使检测视频与底库视频的相似度矩阵具有明显的对角线特征，增加了对角线上疑似抄袭位置帧图像的相似度，减小相似度矩阵非抄袭位置帧图像的相似度，快速定位抄袭视频位置；2.进一步地，本技术采用transformer编码器对视频cnn特征进行优化，提高视频cnn特征表达能力；3.进一步地，本技术将所有的底库视频特征集中在一个数据库中，降低了误检率，加快了检测速度；4.进一步地，本技术采用优化视频特征计算相似度矩阵，缩小了搜索范围，提高检测效率。
附图说明
14.图1是本技术的一个具体实施例的抄袭视频检测流程示意图。
具体实施方式
15.以下结合附图对本发明作进一步详细说明。
16.具体实施例一本技术的一种基于优化视频特征的视频抄袭检测方法，如图1所示，包括以下步骤：视频抽帧、提取视频特征、对视频特征进行优化、基于优化视频特征选择相似度最大作为候选视频对、基于候选视频对建立相似度矩阵、定位抄袭视频位置。
17.从待检测视频、视频底库中分别获取一定数量的视频帧，进行检测。获取视频帧的方法很多，本技术采用间隔抽帧的方法进行帧视频的提取。
18.从视频底库中的视频中，每间隔一定数量帧图像抽取一帧视频图像，作为底库视频帧图像，提取底库视频帧图像的图像特征，例如cnn特征，对图像特征进行优化，得到底库
视频优化图像特征。
19.所有的底库视频优化图像特征组成快速搜索数据库，对每个底库视频优化图像特征进行标注，标注中包括记录该底库视频图像所处的视频id和在视频中的位置。
20.将所有的底库视频优化图像特征集中在一个数据库中，一方面降低了误检率，因为相关视频相似度较高，因而被选中的概率较大，而不相关视频的相似度较低，被选中的概率就大为减小；另一方面，采用本技术的方法，检索速度与视频量基本无关，加快了检测速度。
21.从待检测视频中每隔一定间隔抽取视频帧图像，得到一定比例数量的待检测视频帧，提取待检测视频帧的图像特征，包括cnn特征，对图像特征进行优化，得到待检测视频优化图像特征。
22.对每一个待检测视频帧优化图像特征，从数据库中搜索相似的底库视频帧优化图像特征，计算二者之间的相似度值，获得相似度大于设定阈值的所有第一抽取帧，按照底库视频id，计算同一id视频的相似度总和，把所有id视频的相似度总和由大到小进行排序列表，从列表第一个开始，选取一定数量，其对应的底库抽取帧组成近邻帧组，近邻帧组中的每一个底库抽取帧所在的底库视频为该查询视频的候选视频，查询视频与每一个候选视频组成候选视频对，所有候选视频对的相似度组成相似度矩阵。
23.经过优化图像特征，在相似度矩阵中，疑似抄袭视频帧位于相似度矩阵的对角线位置，增加对角线位置疑似抄袭帧图像的相似度，减小非对角线位置非抄袭视频帧图像的相似度，便于快速查找抄袭帧图像。
24.在本技术的一个具体实施例中，对每个查询抽取帧图像和每个底库抽取帧图像，分别提取cnn特征。将每一个cnn特征输入transformer编码器进行优化，得到优化cnn特征，所有底库抽取帧的优化cnn特征形成特征数据库。
25.cnn网络有多种，包括vgg
‑
16网络、restnet
‑
18等常见cnn网络。通常使用最后一层cnn特征作为输出。在cnn每个通道上使用聚合方法（aggregation）将每个通道上的空间特征图的维度变为1，聚合方法包括max
‑
pooling、average
‑
pooloing, regional maximum activation of convolution (rmac)等，同时可叠加高斯滤波。如果cnn通道数太多，则采用pca进行降维，一般情况下，维度不超过512。
26.建立transformer编码器，以疑似抄袭视频片段作为正数据集，以非抄袭视频中的随机片段为负数据集，训练transformer编码器。所述疑似抄袭视频片段是指相似度最大的部分视频片段。
27.在本技术的另一个具体实施例中，以疑似抄袭视频片段作为正数据集，以实际上为非抄袭视频片段而被误检测为抄袭视频为负数据集，训练transformer编码器，被误检测为抄袭视频是在未采用本技术所述优化算法的基础上获得的。
28.通常情况下，正样表的数量较少，而负样表数量较多。考虑到正负样表的均衡性，在训练的每个时期（epoch）中使用全部正样表，从实现收集好的负样本中，随机挑选和正样表相同数量的负样表，以达到比较好的训练结果。
29.将每一个cnn特征输入训练好的transformer编码器进行优化，得到优化cnn特征，所有底库抽取帧的优化cnn特征形成特征数据库。
30.计算查询视频第j个抽取帧的优化cnn特征，与特征数据库中每一个底库抽取帧的
优化cnn特征的相似度。
31.选取大于设定阈值的相似度，按照底库视频id进行归类，计算属于同一视频id的所有近邻帧的相似度总和，将相似度总和由大到小列表，选取列表中排列在前的一定数量相似度对应的底库抽取帧作为近邻帧组，将近邻帧组对应的底库视频作为查询视频的候选视频，查询视频与每一个候选视频分别形成候选视频对。
32.基于所有查询抽取帧的候选视频对，生成相似度矩阵。
33.将底库视频与其拷贝视频进行相似度计算，形成一个在对角线上全为1、其余位置全为0的理想相似度矩阵。
34.计算相似度矩阵与理想相似度矩阵的损失函数，优化transformer编码器。
35.基于平均平方误差mse设定损失函数，损失函数mse loss表达式如下：mse loss = mse（相似度矩阵s
‑
理想相似度矩阵s’）；设待检测视频的特征矩阵为q =[ q1,q2, ..., qn], 底库视频的特征矩阵是 r=[r1, r2, ..., rm], 则相似度矩阵 s = q r^t。
[0036]
假设对应q的抄袭片段出现在k、 k+1、
……
k+n
‑
1帧，则理想相似度矩阵s’，在抄袭位置对角线上为1，其余全为0，即s’[k,0]=s’[k+1,1]=...=s’[k+n
‑
1,n
‑
1]=1。
[0037]
具体实施例二本发明一实施例提供的一种基于优化视频特征的视频抄袭检测终端设备，该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如判别抄袭计算机程序，所述处理器执行所述计算机程序时实现实施例1中所述方法。
[0038]
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于优化视频特征的视频抄袭检测终端设备中的执行过程。例如，所述计算机程序可以被分割成多个模块，各模块具体功能如下：1.特征提取模块，用于提取视频帧特征；2.相似度模块，用于计算相似度值；3.矩阵模块，用于进行相似度矩阵排列计算。
[0039]
所述基于优化视频特征的视频抄袭检测终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述上述示例仅仅是所述一种基于优化视频特征的视频抄袭检测终端设备的示例，并不构成对所述一种基于优化视频特征的视频抄袭检测终端设备的限定，可以包括更多或更少的部件，或组合某些部件，或不同的部件，例如所述一种基于优化视频特征的视频抄袭检测终端设备还可以包括输入输出设备、网络接入设备、总线等。
[0040]
所述处理器可以是中央处理单元(central processing unit，cpu),还可以是其他通用处理器、数据信号处理器(digital signal processor，dsp) 、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器
等，所述处理器是所述一种基于优化视频特征的视频抄袭检测终端设备的控制中心，利用各种接口和线路连接整个所述一种基于优化视频特征的视频抄袭检测终端设备的各个部分。
[0041]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种 一种基于优化视频特征的视频抄袭检测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card ,smc)，安全数字(securedigital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0042]
具体实施例三所述一种基于优化视频特征的视频抄袭检测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
onlymemory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0043]
本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。