一种有害视频的检测方法及其系统与流程

1.本发明涉及视频特征提取和识别领域，尤其涉及一种有害视频的检测方法及其系统。


背景技术：

2.有害(色情\恐怖\暴力)视频, 严重危害网络的健康, 需要进行检测和过滤。现有的有害视频检测技术大多是基于感知哈希来进行图像检索，召回的数量多，精度低，一般召回后还需要进行top-k排序，速度较慢，难以承受大规模的检索任务。


技术实现要素：

3.本发明的目的在于提供一种有害视频的检测方法及其系统，通过全局特征提取和局部特征提取以及比对，得到精度高，速度快的是有害视频检测结果。
4.为解决上述背景技术中所存在的问题，本发明提出了一种有害视频的检测方法，包括：预训练检测模型；获取待测视频图像帧，提取所述待测视频图像帧的全局特征和局部特征；将所述待测视频图像帧的全局特征和局部特征与检测模型中有害视频图像帧的全局特征和局部特征进行比对，判断相似度是否高于阈值，若是则待测视频为安全视频，若否，则待测视频为有害视频。
5.优选的，所述预训练检测模型具体为：获取有害视频图像帧，提取所述有害视频图像帧的全局特征和局部特征，并进行深度学习，得到检测模型。
6.优选的，所述深度学习，得到检测模型具体为：将提取的所述有害视频图像帧的全局特征和局部特征进行分类，清洗和增强，得到预训练数据；将所述预训练数据送入神经网络进行训练和调优；将训练得到结果进行反复迭代，每一次得到的结果作为下一次迭代的初始值，直到训练的损失不再下降并趋于稳定，此时会收敛至0.001以下，得到检测模型。
7.优选的，所述比对具体为：获取待测视频图像帧，基于神经网络提取所述待测视频图像帧的全局特征，并与所述检测模型中有害视频全局特征比较相似度，判断是否高于第一阈值，若是，则为安全视频；若否，则提取待测视频图像帧的局部特征，并与所述检测模型中的有害视频局部特征比较相似度，判断是否高于第二阈值，若是则为安全视频，若否则是有害视频。
8.优选的，所述全局特征为：第一浮点型数组，所述局部特征为第二浮点型数组，且长度大于所述第一浮点型数组。
9.优选的，判断是否高于第一阈值，具体为，计算检测模型中的全局特征与待测图像中的全局特征之间的欧式距离，为第一欧式距离；所述第一欧式距离高于所述第一阈值时，则为安全视频。
10.优选的，判断是否高于第二阈值，具体为，计算检测模型中的局部特征与待测图像中的局部特征之间的欧式距离，为第二欧氏距离；所述第二欧式距离高于所述第二阈值，则为安全视频。
11.优选的，所述欧式距离通过公式（1）计算：（1）其中i代表有害视频图像的全局特征或局部特征，xj代表待测的图像的全局特征或局部特征,l2代表取xi和xj的欧式距离，l为全局特征或局部特征个数，n为求和次数，
i(l)
和x
j(l)
表示第l个全局特征或局部特征。
12.本发明还提供了一种有害视频检测系统，包括：网络库，用于预训练检测模型；视频库，用于获取待测视频图像帧，提取所述待测视频图像帧的全局特征和局部特征；检测单元，用于基于所述检测模型将所述待测视频图像帧的全局特征和局部特征与有害视频图像帧的全局特征和局部特征进行比对，判断相似度是否高于阈值，若是则待测视频为安全视频，若否，则待测视频为有害视频。
13.优选的，所述检测单元包括：第一比对单元，获取待测视频图像帧，基于神经网络提取所述待测视频图像帧的全局特征，并与所述检测模型中有害视频全局特征比较相似度，判断是否高于第一阈值，若是，则为安全视频；第二比对单元，用于获取待测视频图像帧的局部特征，并与所述检测模型中的有害视频局部特征比较相似度，判断是否高于第二阈值，若是则为安全视频，若否则是有害视频。
14.本发明提出了一种有害视频的检测方法，包括：通过网络模型提取有害视频图像帧，基于神经网络提取所述有害视频图像帧的全局特征和局部特征，并进行深度学习得到检测模型；提取待测视频图像帧，基于所述神经网络提取所述待测视频图像帧的全局特征和局部特征；基于所述检测模型将所述待测视频图像帧的全局特征和局部特征与所述有害视频图像帧的全局特征和局部特征进行比对，判断相似度是否高于阈值，若是则待测视频安全视频，若否则待测视频为有害视频。本发明提供的检测方法，通过神经网络算法，先对网络视频进行提取和训练，形成检测模型，然后通过对待测视频同样的提取局部特征和全局特征，再与已经有的网络有害视频的全局和局部特征进行对比，判断相似度，若相似度超过一定阈值，则判定为有害视频。本发明的关键点在于全局特征提取是通过神经网络进行提取，而局部特征提取都是基于神经网络算法，相较于传统算法的召回，精度和速度更高。
附图说明
15.图1为本发明实施例提供的有害视频系统图；图2 为本发明实施例提供的有害视频检测流程图；图3 为本发明实施例提供的预训练待测模型的流程图；图4 为本发明实施例提供的比对相似度的流程图。
具体实施方式
16.为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。
17.本发明实施例提供一种有害视频的检测方法如图2所示，包括：预训练检测模型；提取待测视频图像帧，基于神经网络提取所述待测视频图像帧的全局特征和局部特征；基于所述检测模型，将所述待测视频图像帧的全局特征和局部特征与有害视频图像帧的全局特征和局部特征进行比对，判断相似度，若相似度低于一定阈值，则待测视频判定为有害视频。
18.按照本发明，优选要先对检测模型进行预训练，在预训练过程中，会通过申请网络来对具体搜集到有害视频的网络库中筛选视频，给神经网络灌输大量的图像和影视图像，并通过提取有害视频图像帧，基于神经网络提取所述有害视频图像帧的全局特征，以及通过算法来计算所述有害视频图像帧中的局部特征，并进行深度学习，得到检测模型。
19.优选的，在本发明实施例中所述深度学习，得到检测模型如图3所示：将提取的所述有害视频图像帧的全局特征和局部特征进行分类，清洗和增强，得到预训练数据；将所述预训练数据送入神经网络进行训练和调优；将训练得到结果进行反复迭代，每一次得到的结果都会被作为下一次迭代的初始值，直到训练的损失不再下降并趋于稳定，此时会收敛至0.001以下。
20.本发明优选使用的神经网络是resnet卷积神经网络，该网络提取到的图像特征有非常丰富的信息，本发明使用resnet作为骨干神经网络，通过其提取到的全局特征进行科学处理和比较后得到图像的相似度。按照本发明，所述全局特征，可以是图像方差、颜色直方图等，本文的全局特征是由resnet卷积神经网络对每张图像提取的特征值。
21.本发明所述的局部特征就是图像的某一部分提取出来的特征，这个局部，就是指一些能够稳定表达并且具有良好的可区分性的一些点。本发明使用的局部特征提取的方法为sift算法。
22.sift是一种机器视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变数。sift能够找出独特的关键点，此关键点不会受移动、转动、缩放、仿射变换、亮度等外在因素的影响而改变其特性，对此关键点进行描述的详细信息即为局部特征。
23.按照本发明，为了使有害视频的判断更加准确，得到训练后的检测模型后，对所述待测视频进行全局特征和局部特征的比对，如图4所示获取待测视频图像帧，基于神经网络提取所述待测视频图像帧的全局特征，并与所述检测模型中有害视频全局特征比较相似度，判断是否高于第一阈值，若是，则为安全视频；若否，则提取待测视频图像帧的局部特征，并与所述检测模型中的有害视频局部特征比较相似度，判断是否高于第二阈值，若是则
为安全视频，若否则是有害视频。
24.按照本发明，所述全局特征为：第一浮点型数组，所述局部特征为：第二浮点型数组，且长度大于所述第一浮点型数组。所述第一浮点型数组是由resnet卷积申请网络获取的一组浮点型数组，所述数据的长度优选为512，1024，2048。经测试发现数组长度越小，特征信息会越来越少，特征信息不足会导致匹配的精度下降，但是数组长度越大，特征信息量太大，会导致匹配时间的增加，最优选为1024维数组，在保证匹配高精度的情况下大幅提高速度。所述第二浮点型数组为通过sift算法计算得到的多个长度为4096的浮点型数组，采用局部特征匹配的情况需要保证极高的精度来验证全局特征匹配的正确性，所以采用最大4096维数组，保证提取的特征有充分的特征信息。
25.在得到具体的待测视频的全局特征和局部特征后，计算检测模型中全局特征与待测图像中的全局特征之间的欧式距离，为第一欧式距离；所述第一欧式距离高于所述第一阈值时，则为安全视频。若所述第一欧式距离低于所述第一阈值，则计算检测模型中的局部特征与待测图像中的全局特征之间的欧式距离，为第二欧氏距离；所述第二欧式距离高于所述第二阈值，则为安全视频。
26.按照本发明，所述第一欧式距离和第二欧式距离均通过公式（1）计算：（1）其中xi代表有害视频图像的全局特征或局部特征，xj代表待测的图像的全局特征或局部特征,l2代表取xi和xj的欧式距离，l为全局特征或局部特征个数。另外，本公式中的∑代表求和，表示从l=1求和一直算到l=n. 例如本发明优选的全局特征长度为1024，及从1求和一直算到1024。n为求和次数，
i(l)
和x
j(l)
表示第l个全局特征或局部特征。整个公式的计算过程为：对每个对应特征xi和xj相减后计算其绝对值，然后对该绝对值计算其平方数，然后对每个平方数做累加和，最后对累加和求平方根。
27.通过上述关系做关系式计算得到的欧式距离，能够非常清楚的获得全局特征和局部特征的相似度，按照本发明，优选所述第一阈值为1.2，第二阈值优选为0.9。
28.本发明还提供了一种有害视频检测系统如图1所示，包括：网络库，用于预训练检测模型；视频库，用于获取待测视频图像帧，提取所述待测视频图像帧的全局特征和局部特征；检测单元，用于基于所述检测模型将所述待测视频图像帧的全局特征和局部特征与所述有害视频图像帧的全局特征和局部特征进行比对，判断相似度，若相似度低于阈值，则待测视频判定为有害视频。
29.为了更精准的检测有害视频，避免结果出错。所述检测单元如图2所示包括：第一比对单元，获取待测视频图像帧，基于神经网络提取所述待测视频图像帧的全局特征，并与所述检测模型中有害视频全局特征比较相似度，判断是否高于第一阈值，若是，则判定为安全视频；第二比对单元，用于获取待测视频图像帧的局部特征，并与所述检测模型中的有害视频局部特征比较相似度，判断是否高于第二阈值，若是则判定为安全视频，若否则判断是有害视频。
30.本发明提供的检测系统可以由多种终端承载，例如电脑、手机、平板电脑等终端，并且可以在使用时具有更高的灵活性和自学习能力，使模型不断的完善，通过对网络库和
视频库的不断完善，有害视频的检测会更加的精准，并且耗时更少。
31.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。