视频检测模型的训练方法、视频检测方法及装置与流程

1.本发明涉及计算机技术领域，特别是涉及一种视频检测模型的训练方法、视频检测方法及装置。


背景技术：

2.随着多媒体和互联网技术的发展，视频的传播变得越来越简单。在某些场景中，需要对视频的内容进行检测，以检测出包含特定内容的视频，例如，在内容审核场景中，需要审核视频内容是否违规、是否包含敏感信息。其中，违规内容一般是指违反国家法律规定、行业规范的内容、违反社会公序良俗、价值观负面消极内容、低俗、不雅的内容等。对于视频内容的检测，可以通过人工审核以及机器学习算法例如神经网络来实现。然而，面对海量的视频，人工审核需要消耗大量的人力且效率较低。对于机器学习算法来说，在提取视频特征时，由于视频时长不同，所以将视频深度特征统一到同一维度也很困难，因此导致神经网络的检测效果不理想，准确率以及误检率不能达到预期要求。


技术实现要素：

3.为解决上述技术问题或至少部分地解决上述技术问题，本发明实施例的目的在于提供一种视频检测模型的训练方法、视频检测方法、装置、电子设备及计算机可读存储介质。
4.在本发明实施的第一方面，首先提供了一种视频检测模型的训练方法，包括：
5.获取训练样本集，所述训练样本集中包括多个训练样本；
6.利用预构建的3d卷积神经网络模型，提取每一训练样本的初始特征向量，其中，不同时长的训练样本的初始特征向量的维度不同；
7.针对每一训练样本，根据预设的加权聚合规则，对所述训练样本的初始特征向量进行加权聚合处理，得到所述训练样本的目标特征向量，每一训练样本的目标特征向量的维度相同；
8.根据所述训练样本集中所有训练样本的目标特征向量，训练得到所述视频检测模型。
9.可选地，所述利用预构建的3d卷积神经网络模型，提取每一训练样本的初始特征向量包括：针对每一训练样本，根据预设的切分规则对所述训练样本进行分段处理，得到多个子样本；所有训练样本切分后得到的子样本的时长相同；针对每一子样本，将所述子样本输入预构建的3d卷积神经网络模型，将所述预构建的3d卷积神经网络模型的输出作为所述子样本的初始特征向量，所述子样本的初始特征向量为w*c维的特征向量，w和c分别为大于1的整数；拼接所述多个子样本的初始特征向量w*c，得到所述训练样本的初始特征向量，所述训练样本的初始特征向量为h*w*c维的特征向量，其中，h表示所述训练样本切分后得到的子样本的数量；
10.根据预设的加权聚合规则，对所述训练样本的初始特征向量进行加权聚合处理，
得到目标特征向量包括：根据所述训练样本集中所有训练样本的初始特征向量，计算各个通道的通道特征图的聚合值的方差，所述通道为所述初始特征向量的c维，所述通道特征图为所述初始特征向量中h维和w维构成的二维矩阵；按照由大到小的顺序对所述通道特征图的聚合值的方差进行排序，选取前n个方差对应的通道作为目标通道，n为大于或等于1的整数；根据所述目标通道的通道特征图中的特征图激活值和所有目标通道的通道特征图的特征图激活值素之和，确定所述目标通道的通道特征图的归一化权重；根据所述目标通道的通道特征图的归一化权重和所述训练样本的初始特征向量，确定所述目标通道的通道特征图的加权和；拼接n个所述目标通道的通道特征图的加权和，得到所述训练样本的目标特征向量。
11.可选地，根据所述训练样本集中所有训练样本的目标特征向量，训练得到所述视频检测模型包括：根据所述训练样本集中所有训练样本的目标特征向量，对预设的对抗分类网络进行训练，得到所述图像识别模型；所述对抗分类网络包括自编码器和分类器，所述自编码器包括编码器和解码器；
12.根据所述训练样本集中所有训练样本的目标特征向量，对预设的对抗分类网络进行训练的过程包括：利用预设的样本重构损失函数，对所述训练样本集中所有训练样本的目标特征向量进行训练，确定所述编码器的第一网络参数以及所述解码器的第一网络参数，并获得所述编码器基于其第一网络参数对所述目标特征向量进行编码后得到的隐藏层特征向量；利用预设的对抗损失函数，对所述隐藏层特征向量进行训练，确定所述分类器的第二网络参数、所述编码器的第二网络参数以及所述解码器的第二网络参数。
13.可选地，所述多个训练样本包括正样本和负样本；根据所述训练样本集中所有训练样本的目标特征向量，训练得到所述视频检测模型包括：在所述训练样本集中负样本所占比例大于正样本所占比例的情况下，在训练所述视频检测模型的当前迭代轮次中，对所述训练样本集中的负样本进行采样，获得多个采样负样本，所述采样负样本的数量与所述正样本的数量相同；根据所述采样负样本的目标特征向量和所述正样本的目标特征向量，执行当前迭代轮次的训练；在训练所述视频检测模型的下一迭代轮次时，对所述训练样本集中除所述采样负样本外的剩余负样本进行采样，得到多个新的采样负样本，所述新的采样负样本的数量与所述正样本的数量相同；根据所述正样本的目标特征向量和所述新的采样负样本的目标特征向量，进行下一迭代轮次的训练。
14.可选地，所述训练样本的初始特征向量包括初始画面特征向量和初始音频特征向量；
15.利用预构建的3d卷积神经网络模型，提取每一训练样本的初始特征向量包括：针对每一子样本，利用第一3d卷积神经网络模型，提取所述子样本的初始画面特征向量和利用第二3d卷积神经网络模型，提取所述子样本的初始音频特征向量；拼接所述多个子样本的初始画面特征向量和初始音频特征向量，获得所述训练样本的初始画面特征向量和初始音频特征向量；
16.根据预设的加权聚合规则，对所述训练样本的初始特征向量进行加权聚合处理，得到所述训练样本的目标特征向量包括：根据预设的加权聚合规则，分别对所述训练样本的初始画面特征向量和所述初始音频特征向量进行加权聚合处理，得到第一维度的目标画面特征向量和第二维度的目标音频特征向量；融合所述第一维度的目标画面特征向量和第
二维度的目标音频特征向量，得到所述训练样本的目标音视频特征向量；
17.根据所述训练样本集中所有训练样本的目标特征向量，训练得到所述视频检测模型包括：根据所述目标音视频特征向量，训练得到所述视频检测模型。
18.在本发明实施的第二方面，提供了一种视频检测方法，所述方法包括：获取待检测视频；利用预构建的3d卷积神经网络模型，提取所述待检测视频的初始特征向量；根据预设的加权聚合规则，对所述待检测视频的初始特征向量进行加权聚合处理，得到所述待检测视频的目标特征向量；根据所述目标特征向量和预构建的视频检测模型，确定所述待检测视频的检测结果。
19.可选地，所述利用预构建的3d卷积神经网络模型，提取所述待检测视频的初始特征向量包括：根据预设的切分规则对所述待检测视频进行分段处理，得到多个子样本；所述待检测视频切分后得到的子样本的时长相同；针对每一子样本，将所述子样本输入预构建的3d卷积神经网络模型，将所述预构建的 3d卷积神经网络模型的输出作为所述子样本的初始特征向量，所述子样本的初始特征向量为w*c维的特征向量，w和c分别为大于1的整数；拼接所述多个子样本的初始特征向量w*c，得到所述训练样本的初始特征向量，所述待检测视频的初始特征向量为k*w*c维的特征向量，其中，k表示所述待检测视频对应的子样本的数量；
20.根据预设的加权聚合规则，对所述训练样本的初始特征向量进行加权聚合处理，得到所述待检测视频的目标特征向量包括：根据所述初始特征向量 k*w*c以及预确定的n个目标通道的通道特征图的归一化权重，确定所述n 个目标通道中的每一目标通道的通道特征图的加权和；其中，n为大于或等于 1的整数；拼接所述n个目标通道的通道特征图的加权和，得到所述待检测视频的目标特征向量。
21.可选地，所述预构建的视频检测模型包括自编码器和分类器；所述自编码器包括编码器和解码器；
22.根据所述目标特征向量和预构建的视频检测模型，确定所述待检测视频的检测结果包括：将所述目标特征向量输入所述自编码器，获取所述自编码器的编码器对所述目标特征向量编码后的隐藏层特征向量；将所述隐藏层特征向量输入所述分类器，确定所述待检测视频的检测结果。
23.在本发明实施的第三方面，提供了一种视频检测模型的训练装置，包括：样本获取模块，用于获取训练样本集，所述训练样本集包括多个训练样本；特征提取模块，用于利用预构建的3d卷积神经网络模型，提取每一训练样本的初始特征向量，其中，不同时长的训练样本的初始特征向量的维度不同；特征聚合模块，用于针对每一训练样本的初始特征向量，根据预设的加权聚合规则，对所述训练样本的初始特征向量进行加权聚合处理，得到所述训练样本的目标特征向量，每一训练样本的目标特征向量的维度相同；模型训练模块，用于根据所述训练样本集中所有训练样本的目标特征向量，训练得到所述视频检测模型。
24.在本发明实施的第四方面，提供了一种视频检测装置，包括：视频获取模块，用于获取待检测视频；特征获取模块，用于利用预构建的3d卷积神经网络模型，提取所述待检测视频的初始特征向量；特征处理模块，用于根据预设的加权聚合规则，对所述待检测视频的初始特征向量进行加权聚合处理，得到所述待检测视频的目标特征向量；检测模块，用于根据所述目标特征向量和预构建的视频检测模型，确定所述待检测视频的检测结果。
25.在本发明实施的第五方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现本发明实施例的视频检测模型的训练方法或视频检测方法。
26.在本发明实施的第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例的视频检测模型的训练方法或视频检测方法。
27.本发明实施例提供的视频检测模型的训练方法，通过预构建的3d卷积神经网络模型提取每一训练样本的初始特征向量，不同时长的训练样本的初始特征向量不同，然后根据预设的加权聚合规则，分别对训练样本集中的每一训练样本的初始特征向量进行加权聚合处理，得到每一训练样本的目标特征向量，而所有训练样本的目标特征向量的维度相同的技术手段，能够将不同时长的视频的特征统一到同一维度，方便后续的模型训练过程，并提高了模型的准确性和鲁棒性，训练得到的视频检测模型能够准确识别出包含特定内容的视频。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
29.图1示意性示出了本发明实施例的视频检测模型的训练方法的主要流程的示意图；
30.图2示意性示出了本发明实施例的视频检测模型的训练方法的子流程的示意图；
31.图3示意性示出了本发明实施例的视频检测模型的训练方法中对抗分类网络的结构示意图；
32.图4示意性示出了本发明实施例视频检测方法的流程示意图；
33.图5示意性示出了本发明实施例的视频检测模型的训练装置的结构示意图；
34.图6示意性示出了本发明实施例的视频检测装置的结构示意图；
35.图7示意性示出了本发明实施例的电子设备的结构示意图。
具体实施方式
36.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
37.图1示意性示出了本发明一实施例的视频检测模型的训练方法的主要流程的示意图，如图1所示，该方法包括：
38.步骤101：获取训练样本集，所述训练样本集包括多个训练样本。
39.在本实施例中，每个训练样本都是一个视频，视频的类型可以是电影、电视剧、综艺节目或动画片等。训练样本集中的多个训练样本包括正样本和负样本。正样本为包含特定内容的视频，负样本为不包含特定内容的视频，其中，特定内容、正样本和负样本可以根据应用场景灵活选取。作为示例，在视频审核场景中，特定内容可以是违反国家法律规定、行业规范的内容、违反社会公序良俗、价值观负面消极内容、低俗、不雅的违规内容。
40.步骤102：利用预构建的3d卷积神经网络模型，提取每一训练样本的初始特征向
量，其中，不同时长的训练样本的初始特征向量的维度不同。
41.在本实施例中，初始特征向量用于表征该训练样本内容特征。该初始特征向量可以是该训练样本的画面特征向量，该画面特征向量用于表征该训练样本的视频画面特征。该初始特征向量也可以是该训练样本的音频特征向量，该音频特征向量用于表征该训练样本的音频特征。优选的，该初始特征向量可以同时包括该训练样本的画面特征向量和音频特征向量。
42.在本步骤中，可以通过预构建的3d卷积神经网络模型提取每一训练样本的初始特征向量，例如若该初始特征向量为画面特征向量，可以通过预构建的3d 卷积神经网络模型i3d进行提取，若该初始特征向量为音频特征向量，通过另一预构建的3d卷积神经网络模型vgg进行提取，不做具体限定。3d卷积神经网络模型的卷积核是3d的，使用3d卷积神经网络模型能够更好的捕获视频中的时间和空间的特征信息，即提取训练样本在时间维度上的特征信息和空间维度上的特征信息。3d卷积神经网络模型是通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3d卷积核。在这个结构中，卷积层中每一个特征图都会与上一层中多个邻近的连续帧相连，因此可以捕获训练样本在时间维度上的特征信息。对于不同时长的训练样本，其包含的视频帧的数量是不同的，因此，对于不同时长的训练样本，利用3d卷积神经网络模型提取的初始特征向量在时间维度上是不同的，即不同时长的训练样本的初始特征向量的维度不同。
43.步骤103：针对每一训练样本，根据预设的加权聚合规则，对所述训练样本的初始特征向量进行加权聚合处理，得到所述训练样本的目标特征向量，每一训练样本的目标特征向量的维度相同。
44.本实施例考虑到，在实际应用中由于正样本与正样本以及正样本与负样本的时长不完全相同，而提取到的初始特征向量的维度不同的情况，所以通过预设的加权聚合规则，将不同时长的视频的特征统一到同一维度，即将正、负样本初始特征向量通过预设的加权聚合规则统一到同一维度，从而方便后续基于统一维度的目标特征向量进行训练，提高模型的准确性和鲁棒性。在本实施例中，训练样本的初始特征向量可以看作是多个通道的特征图的叠加，通过预设的加权聚合规则，对训练样本的初始特征向量进行加权聚合处理的目的在于根据所有通道的特征图，从所有通道中选出具有代表性、区分性的n个目标通道，基于具有代表性、区分性的n个目标通道的通道特征图，确定训练样本的目标特征向量，因此，所有训练样本的目标特征向量的维度相同。
45.步骤104：根据所述训练样本集中所有训练样本的目标特征向量，训练得到所述视频检测模型。
46.在本步骤中可以通过预设的深度卷积神经网络以及预设的损失函数对目标特征向量进行训练，得到能够检测出视频内容是否包含违规内容的视频检测模型。其中，预设的深度卷积神经网络可以是决策树模型、随机森林模型、朴素贝叶斯模型等。
47.本发明实施例提供的视频检测模型的训练方法，通过预构建的3d卷积神经网络模型提取每一训练样本的初始特征向量，不同时长的训练样本的初始特征向量不同，然后根据预设的加权聚合规则，分别对训练样本集中的每一训练样本的初始特征向量进行加权聚合处理，得到每一训练样本的目标特征向量，而所有训练样本的目标特征向量的维度相同的技术手段，能够将不同时长的视频的特征统一到同一维度，方便后续的模型训练过程，并
提高了模型的准确性和鲁棒性，训练得到的视频检测模型能够准确识别出包含特定内容的视频。
48.在可选的实施例中，所述利用预构建的3d卷积神经网络模型，提取每一训练样本的初始特征向量包括：
49.针对每一训练样本，根据预设的切分规则对所述训练样本进行分段处理，得到多个子样本；所有训练样本切分后得到的子样本的时长相同；
50.针对每一子样本，将所述子样本输入预构建的3d卷积神经网络模型，将所述预构建的3d卷积神经网络模型的输出作为所述子样本的初始特征向量，子样本的初始特征向量为w*c维的特征向量，w和c分别为大于1的整数；
51.拼接所述多个子样本的初始特征向量w*c，得到所述训练样本的初始特征向量，所述训练样本的初始特征向量为h*w*c维的特征向量，其中，h表示所述训练样本切分后得到的子样本的数量。
52.在本实施中，预设的切分规则用于将训练样本进行分段处理，将一个训练样本切分成多个子样本，所有训练样本切分后得到的子样本的时长相同，即所有训练样本切分后的子样本包含的视频帧的数量相同，以及所有训练样本切分后的子样本包含的音频的时长相同。由于子样本的时长相同，所以不同时长的训练样本切分后的子样本的数量是不同的。例如训练样本a的时长是1920s，训练样本b的时长是3600s，假定子样本的时长是12.8s，则训练样本a切分后的子样本的数量是150，训练样本b的子样本的数量是281。在本实施例中，子样本是从时间维度上对训练样本进行切分得到的，子样本的数量是训练样本在时间维度上的特征。将子样本输入预构建的3d卷积神经网络模型，得到子样本的初始特征向量，3d卷积神经网络模型输出的特征为二维特征，将多个子样本的初始特征向量拼接，得到训练样本的初始特征向量h*w*c。作为示例，可以将时长为t的训练样本分为多个子样本，每个子样本具有64帧图像和12.8s音频。若该初始特征向量是该训练样本的画面特征向量，则将64帧图像序列输入预构建的深度学习骨干网络3d-cnn，提取出6*1024维的画面特征向量，若该初始特征向量是该训练样本的音频特征向量，则将12.8s音频通过另一深度学习骨干网络 vgg，提取出8*128维的音频特征向量。最终每一训练样本得到h*6*1024维的画面特征向量和/或h*6*1024维的音频特征向量，其中，h表示子样本的数量。
53.在得到所有训练样本的初始特征向量h*w*c之后，可以通过pwa算法(part-based weighting aggregation，部分加权聚合操作，也可以称为基于部位的加权聚合)，对初始特征向量进行加权聚合处理，得到训练样本的目标特征向量。pwa算法是从所有通道中选出具有代表性、区分性的通道，并通过每个通道的特征图的聚合值的方差来衡量通道是否具有区分性，方差越大，区分性越大，然后基于区分性较大的n个通道的通道特征图，确定训练样本的目标特征向量。如图2所示，通过pwa算法对每一训练样本的初始特征向量进行加权聚合处理，得到训练样本的目标特征向量的过程包括：
54.步骤201：根据所述训练样本集中所有训练样本的初始特征向量h*w*c，计算各个通道的通道特征图的聚合值的方差，所述通道为所述初始特征向量的最后一维，即c维，所述通道特征图为所述初始特征向量中前两维构成的二维矩阵，即h维和w维构成的二维矩阵。一个通道是对某个特征的检测，通道中某一处数值的强弱就是对当前特征强弱的反映。例如，图像可能仅包含三个通道，其中包含有关图像中每个像素有多少红色、绿色或蓝色的
信息，将这个概念映射到卷积上，获得具有三个通道的rgb数据。在卷积神经网络模型中，每个通道都会使用不同的过滤器，过滤器从每个通道获得不同的信息。3d卷积神经网络模型中的卷积层可以在通道与通道之间进行交互，之后在下一个卷积层生成新的通道。
55.在本步骤中通过训练样本集中所有训练样本的初始特征向量，来统计所有训练样本的通道特征图的聚合值的方差，从而来选择具有区分性的通道特征图，方差越大，通道特征图的区分性越大。计算方差的方法为：
56.假设共有d个初始特征向量h*w*c，沿着c维进行加池化操作，相当于把 h维和w维的特征值都加到一起。其中，d表示初始特征向量的数量，即训练样本集中训练样本的数量。对于其中第m个初始特征向量的第i个通道特征图，根据下式计算该通道特征图的聚合值：
[0057][0058]
其中，g
m，k
表示第m个初始特征向量的第i个通道特征图的聚合值，fi(x，y) 表示第i个通道的通道特征图中的元素。
[0059]
针对每一通道特征图，根据上式计算聚合值，得到所有通道特征图的聚合值序列g＝{g1，g2…
gd}，然后根据下式计算方差：
[0060][0061]
其中，表示平均值，vi表示第i个通道特征图的方差。
[0062]
最终得到方差序列v＝{v1，v2…vc
}。
[0063]
步骤202：按照由大到小的顺序对所述通道特征图的聚合值的方差进行排序，选取前n个方差对应的通道作为目标通道，n为大于或等于1的整数。
[0064]
按照方差由大到小的顺序对所有的通道特征图进行排序，选取前n个，例如前10个方差对应的通道作为目标通道。例如，默认的通道索引为[0，1，2
…
1023]，按照方差由大到小的顺序排序后的通道索引为[5，109，233，17，......，89，10，602， 45]，然后选取前10个通道为目标通道。
[0065]
步骤203：根据所述目标通道的通道特征图中的特征图激活值和所有目标通道的通道特征图的特征图激活值素之和，确定所述目标通道的通道特征图的归一化权重。
[0066]
本步骤计算c维上的每一个h*w特征的归一化权重，该归一化权重由目标通道的特征响应计算得到，如下式所示：
[0067][0068]
其中，vn(x，y)表示前n个目标通道中的第n个目标通道的特征图激活值，α，β分别为幂变换指数。作为示例，α的取值为2，β的取值也为2。
[0069]
步骤204：根据所述目标通道的通道特征图的归一化权重和所述训练样本的初始特征向量，确定所述目标通道的通道特征图的加权和。
[0070]
本步骤利用各个目标通道的归一化权重对各个目标通道的通道特征图加权求和，其计算公式如下式所示：
[0071][0072]
其中，ψn(i)表示第n个目标通道的通道特征图的加权和。
[0073]
步骤205：拼接n个所述目标通道的通道特征图的加权和，得到所述训练样本的目标特征向量。
[0074]
本步骤将n个目标通道的通道特征图的加权和进行拼接，得到n*c维的目标特征向量。
[0075]
本实施例通过对筛选出的具有区分性、代表性的目标通道的通道特征图进行加权聚合处理，得到统一维度的目标特征向量，不仅方便了后续模型的训练，训练得到视频检测模型能够保证模型的准确性和鲁棒性，训练得到视频检测模型的准确性不受视频时长的影响，可以用于任何时长的视频检测。
[0076]
在得到每一训练样本的t*6*1024维的画面特征向量和/或t*8*128维的音频特征向量之后，可以根据预设的加权聚合规则，将该t*6*1024维的画面特征向量加权聚合为10*1024维的目标画面特征向量，将t*8*128维的音频特征向量加权聚合为10*1024维的目标音频特征向量。
[0077]
在可选的实施例中，上述步骤104，根据所述训练样本集中所有训练样本的目标特征向量，训练得到所述视频检测模型的过程包括：
[0078]
根据所述训练样本集中所有训练样本的目标特征向量，对预设的对抗分类网络进行训练，得到所述图像识别模型；其中，所述预设的对抗分类网络的网络参数通过对抗学习的方式进行更新。
[0079]
本实施例通过对抗学习的方式对预设的对抗分类网络的网络参数进行训练，在通过对抗学习训练预设的对抗分类网络的过程中，针对当前网络产生对抗数据，然后通过更新当前网络的网络参数学习对抗数据，如此循环直至模型收敛或达到其他停止条件，从而得到视频检测模型，不仅能够识别包含目标内容的视频，还能减少对不包含目标内容的视频的误检。
[0080]
在一实施例中，如图3所示，预设的对抗分类网络包括自编码器和分类器。其中，自编码器(auto-encoder)是一种无监督的神经网络模型，它可以学习到输入数据的隐含特
征，这称为编码(coding)，同时用学习到的新特征可以重构出原始输入数据，称之为解码(decoding)。自编码器的网络结构分为编码器e和解码器g，编码器的输入称为输入层，输出称为隐藏层，解码器的输入称为隐藏层，输出称为重构层。分类器可以是多层感知机结构的分类器，其中，多层感知机(mlp，multilayer perceptron)是一种前馈人工神经网络模型，其将输入的多个数据集映射到单一的输出的数据集上。自编码器会将隐藏层的特征数据输入分类器中，学习特定分布p(y)。
[0081]
在本实施例中，自编码器和分类器的网络参数通过对抗学习的方式进行更新，即将正样本和负样本的目标特征向量经过编码器得到隐藏层值，然后将隐藏层值输入分类器中进行对抗学习。具体的，通过对抗学习更新自编码器和分类器的网络参数的过程包括：
[0082]
利用预设的样本重构损失函数，对所述训练样本集中所有训练样本的目标特征向量进行训练，确定所述编码器的第一网络参数以及所述解码器的第一网络参数，并获得所述编码器基于其第一网络参数对所述目标特征向量进行编码后得到的隐藏层特征向量。本步骤用于构建结构对称的编码器和解码器，从而对训练样本的特征向量进行编码和解码，提高了对视频特征数据的表征能力。
[0083]
利用预设的对抗损失函数，对所述隐藏层特征向量进行训练，确定所述分类器的第二网络参数、所述编码器的第二网络参数以及所述解码器的第二网络参数。
[0084]
上述训练更新过程包括两个阶段：
[0085]
样本重构阶段：更新编码器以及解码器的网络参数，使得预设的样本重构损失函数最小化。其中，可以通过梯度下降法更新编码器e以及解码器g的网络参数，预设的样本重构损失函数可以采用均方误差损失函数mse(x，g(z))。
[0086]
分布约束阶段：通过最小化预设的对抗损失函数更新分类器d的网络参数以及编码器e的网络参数，以提高对抗分类网络的能力。其中，预设的对抗损失函数可以是交叉熵损失函数。更具体的，预设的对抗损失函数如下式所示：
[0087][0088]
其中，loss(o，t)表示预设的对抗损失函数的值，n表示正样本和负样本的总数量，t表示样本标签，正样本的标签为0，负样本的标签为1，o表示分类器的输出。其中，分布约束是指：计算样本数据的真实分布和预测分布的差异，约束样本数据的真实分布和预测分布尽可能相似。损失函数就是用来衡量真实分布于预测分布之间的差异，损失函数越小模型越好。
[0089]
本发明实施例的视频检测模型的训练方法，通过构建结构对称的编码器和解码器，从而对训练样本的目标特征向量进行编码，得到目标特征向量，提高了该目标特征向量对视频内容的表征能力，通过分类器学习该隐藏层特征向量，能够在保证有效识别包含违规内容的视频的同时降低对正常视频的误检。
[0090]
在可选的实施例中，根据所述训练样本集中所有训练样本的目标特征向量，训练得到所述视频检测模型还包括：
[0091]
在所述训练样本集中负样本所占比例大于正样本所占比例的情况下，在训练所述预设的对抗分类网络的当前迭代轮次中，对所述训练样本集中的负样本进行采样，获得多个采样负样本，所述采样负样本的数量与所述正样本的数量相同；
[0092]
根据所述采样负样本的目标特征向量和所述正样本的目标特征向量，执行当前迭代轮次的训练；
[0093]
在训练所述预设的对抗分类网络的下一迭代轮次时，对所述训练样本集中除所述采样负样本外的剩余负样本进行采样，得到多个新的采样负样本，所述新的采样负样本的数量与所述正样本的数量相同；
[0094]
根据所述正样本的目标特征向量和所述新的采样负样本的目标特征向量，进行下一迭代轮次的训练。
[0095]
在实际应用场景中，相对于海量的正常视频，包含违规内容的视频出现频次较低，因而，采集到的正样本的数量小于甚至远远小于负样本的数量，即训练样本集中的负样本所占的比例大于、甚至远远大于正样本所占的比例，例如，训练样本集中的正样本为3000个，负样本为10万个，正样本所占的比例远远小于负样本所占的比例。为了避免产生过拟合，提高视频检测的准确性，本发明实施例在迭代训练预设的对抗分类网络时，在每一轮次的迭代中都需要对负样本进行采样(例如无放回的均匀采样)，得到与正样本数量相同的多个采样负样本，然后根据采样负样本与正样本的目标特征向量训练该对抗分类网络，直至模型收敛或达到其他停止条件(例如达到最大迭代次数)。例如，在训练对抗分类网络的第一个迭代轮次时，从10万个负样本中均匀采样3000个采样负样本，根据该3000个采样负样本以及3000个正样本的目标特征向量进行当前轮次的迭代训练。在迭代训练对抗分类网络的第二个迭代轮次时，从剩余的97000个负样本中均匀采样3000个新的采样负样本，根据该3000个新的采样负样本以及 3000个正样本的目标特征向量进行当前迭代轮次的训练。重复上述训练的过程，直至模型收敛或达到其他的停止条件(例如达到最大迭代次数)，从而得到视频检测模型。
[0096]
在可选的实施例中，本发明实施例中的训练样本的初始特征向量包括初始画面特征向量和初始音频特征向量。初始画面特征向量可以表征训练样本的画面特征，初始音频特征向量可以表征训练样本的音频特征。
[0097]
上述步骤102提取每一训练样本的初始特征向量包括：针对每一子样本，提取所述子样本的初始画面特征向量和初始音频特征向量；拼接所述多个子样本的初始画面特征向量和初始音频特征向量，获得所述训练样本的初始画面特征向量和初始音频特征向量。其中，不同时长的训练样本的初始画面特征向量的维度不同，不同时长的训练样本的初始音频特征向量的维度不同。
[0098]
上述步骤103根据预设的加权聚合规则，对所述初始特征向量根据预设的加权聚合规则，对所述训练样本的初始特征向量进行加权聚合处理，得到所述训练样本的目标特征向量包括：根据预设的加权聚合规则，分别对所述初始画面特征向量和所述初始音频特征向量进行加权聚合处理，得到第一维度的目标画面特征向量和第二维度的目标音频特征向量；融合所述第一维度的目标画面特征向量和第二维度的目标音频特征向量，得到所述训练样本的目标音视频特征向量。其中，所有训练样本的目标画面特征向量的维度相同，所有训练样本的目标音频特征向量的维度相同，所有训练样本的目标音视频特征向量的维度相同，而目标画面特征向量与目标音频特征向量的维度可以相同也可以不相同，即第一维度与第二维度可以相同，也可以不相同，本发明在此不做限制。根据预设的加权聚合规则，对初始画面特征向量和初始音频特征向量进行加权聚合处理的过程如图2所示的实施例，
本发明在此不再赘述。本步骤通过对目标画面特征向量和目标音频特征向量进行融合，实现了两种模态特征融合，得到了多模态的目标音视频特征向量，通过训练多模态的目标音视频特征向量得到视频检测模型，其准确性高于使用单一模态的特征进行训练得到的视频检测模型。作为示例，可以通过双线性池化(bilinear pooling)的方式融合目标画面特征向量和目标音频特征向量，得到目标音视频特征向量。
[0099]
上述步骤104根据训练样本的目标特征向量训练得到视频检测模型的过程包括：根据所述目标音视频特征向量，训练得到所述视频检测模型。本步骤通过训练多模态的目标音视频特征向量得到视频检测模型，其准确性高于使用单一模态的特征进行训练得到的视频检测模型。
[0100]
图4是本发明一实施例提供的视频检测方法的主要流程的示意图，如图4所示，该方法包括：
[0101]
步骤401：获取待检测视频。
[0102]
步骤402：利用预构建的3d卷积神经网络模型，提取所述待检测视频的初始特征向量。
[0103]
待检测视频的初始特征向量用于表征该待检测视频的内容特征。该初始特征向量可以是该待检测视频的画面特征向量，该画面特征向量用于表征该待检测视频的视频画面特征。该初始特征向量也可以是该待检测视频的音频特征向量，该音频特征向量用于表征该待检测视频的音频特征。优选的，该特征向量可以同时包括该待检测视频的画面特征向量和音频特征向量。
[0104]
在本步骤中，可以通过预构建的3d卷积神经网络模型提取每一训练样本的初始特征向量，例如若该初始特征向量为画面特征向量，可以通过预构建的3d 卷积神经网络模型i3d进行提取，若该初始特征向量为音频特征向量，通过另一预构建的3d卷积神经网络模型vgg进行提取，不做具体限定。
[0105]
步骤403：根据预设的加权聚合规则，对所述待检测视频的初始特征向量进行加权聚合处理，得到所述待检测视频的目标特征向量。
[0106]
本步骤的加权聚合规则为图1-图2所示的构建视频检测模型的加权聚合规则相同，根据该加权聚合规则将待检测视频的特征向量进行加权聚合处理，得到待检测视频的目标特征向量的过程如图1-图2所示的实施例，本发明在此不再赘述。在待检测视频的初始特征向量包括初始画面特征向量和初始音频特征向量的情况下，通过加权聚合规则分别对待检测视频的初始画面特征向量和初始音频特征向量进行加权聚合的过程，请参照训练样本的初始画面特征向量和初始音频特征向量进行加权聚合的过程，本发明在此不再赘述。
[0107]
本步骤通过加权聚合规则对待检测视频的特征向量进行加权聚合处理得到目标特征向量，便于后续的视频检测模型进行检测识别。通过本步骤可以将不同时长的待检测视频的特征统一到同一维度，方便后续利用预构建的视频检测模型进行检测识别。
[0108]
步骤404：根据所述目标特征向量和预构建的视频检测模型，确定所述待检测视频的检测结果。
[0109]
其中，该预构建的视频检测模型为根据本发明实施例的视频检测模型的训练方法训练得到的。该视频检测模型够准确识别出包含目标内容的视频。
[0110]
本发明实施例的视频检测方法，通过将待检测视频的初始特征向量进行加权聚合
处理，得到同一维度的目标特征向量，然后通过预构建的视频检测模型和该目标特征向量对待检测视频进行检测，能够准确识别出该待检测视频是否包含违规内容。
[0111]
在可选的实施例中，所述利用预构建的3d卷积神经网络模型，提取所述待检测视频的初始特征向量包括：根据预设的切分规则对所述待检测视频进行分段处理，得到多个子样本；所述待检测视频切分后得到的子样本的时长相同；针对每一子样本，将所述子样本输入预构建的3d卷积神经网络模型，将所述预构建的3d卷积神经网络模型的输出作为所述子样本的初始特征向量，所述子样本的初始特征向量为w*c维的特征向量，w和c分别为大于1的整数；拼接所述多个子样本的初始特征向量w*c，得到所述训练样本的初始特征向量，所述待检测视频的初始特征向量为k*w*c维的特征向量，其中，k表示所述待检测视频对应的子样本的数量；
[0112]
根据预设的加权聚合规则，对所述训练样本的初始特征向量进行加权聚合处理，得到所述待检测视频的目标特征向量包括：根据所述初始特征向量 k*w*c以及预确定的n个目标通道的通道特征图的归一化权重，确定所述n个目标通道中的每一目标通道的通道特征图的加权和；其中，n为大于或等于1的整数；拼接所述n个目标通道的通道特征图的加权和，得到所述待检测视频的目标特征向量。其中，n个目标通道及该n个目标通道的通道特征图的归一化权重可以在训练视频检测模型的过程中确定。
[0113]
在可选的实施例中，所述预构建的视频检测模型包括自编码器和分类器；所述自编码器包括编码器和解码器；
[0114]
根据所述目标特征向量和预构建的视频检测模型，确定所述待检测视频的检测结果包括：将所述目标特征向量输入所述自编码器，获取所述自编码器的编码器对所述目标特征向量编码后的隐藏层特征向量；将所述隐藏层特征向量输入所述分类器，确定所述待检测视频的检测结果。
[0115]
图5示意性示出了本发明实施例的视频检测模型的训练装置500的结构示意图，如图5所示，该视频检测模型的训练装置500包括：
[0116]
样本获取模块501，用于获取训练样本集，所述训练样本集包括多个训练样本；
[0117]
特征提取模块502，用于利用预构建的3d卷积神经网络模型，提取每一训练样本的初始特征向量，其中，不同时长的训练样本的初始特征向量的维度不同；
[0118]
特征聚合模块503，用于针对每一训练样本，根据预设的加权聚合规则，对所述训练样本的初始特征向量进行加权聚合处理，得到所述训练样本的的目标特征向量，每一训练样本的目标特征向量的维度相同；
[0119]
模型训练模块504，用于根据所述训练样本集中所有训练样本的目标特征向量，训练得到所述视频检测模型。
[0120]
可选地，所述特征提取模块502还用于：针对每一训练样本，根据预设的切分规则对所述训练样本进行分段处理，得到多个子样本；所有训练样本切分后得到的子样本的时长相同；针对每一子样本，将所述子样本输入预构建的3d 卷积神经网络模型，将所述预构建的3d卷积神经网络模型的输出作为所述子样本的初始特征向量，子样本的初始特征向量为w*c维的特征向量，，w和c 分别为大于1的整数；拼接所述多个子样本的初始特征向量w*c，得到所述训练样本的初始特征向量，所述训练样本的初始特征向量为h*w*c维的特征向量，其中，h表示所述训练样本切分后得到的子样本的数量；
[0121]
所述特征聚合模块503还用于：根据所述训练样本集中所有训练样本的初始特征向量，计算各个通道的通道特征图的聚合值的方差，所述通道为所述初始特征向量的c维，所述通道特征图为所述初始特征向量中h维和w维构成的二维矩阵；按照由大到小的顺序对所述通道特征图的聚合值的方差进行排序，选取前n个方差对应的通道作为目标通道，n为大于或等于1的整数；根据所述目标通道的通道特征图中的特征图激活值和所有目标通道的通道特征图的特征图激活值素之和，确定所述目标通道的通道特征图的归一化权重；根据所述目标通道的通道特征图的归一化权重和所述训练样本的初始特征向量，确定所述目标通道的通道特征图的加权和；拼接n个所述目标通道的通道特征图的加权和，得到所述训练样本的目标特征向量。
[0122]
可选地，所述模型训练模块504还用于：根据所述训练样本集中所有训练样本的目标特征向量，对预设的对抗分类网络进行训练，所述对抗分类网络包括自编码器和分类器，所述自编码器包括编码器和解码器；
[0123]
所述模型训练模块504还用于：利用预设的样本重构损失函数，对所述训练样本集中所有训练样本的目标特征向量进行训练，确定所述编码器的第一网络参数以及所述解码器的第一网络参数，并获得所述编码器基于其第一网络参数对所述目标特征向量进行编码后得到的隐藏层特征向量；利用预设的对抗损失函数，对所述隐藏层特征向量进行训练，确定所述分类器的第二网络参数、所述编码器的第二网络参数以及所述解码器的第二网络参数。
[0124]
可选地，所述多个训练样本包括正样本和负样本；所述模型训练模块504 还用于：在所述训练样本集中负样本所占比例大于正样本所占比例的情况下，在训练所述预设的对抗分类网络的当前迭代轮次中，对所述训练样本集中的负样本进行采样，获得多个采样负样本，所述采样负样本的数量与所述正样本的数量相同；根据所述采样负样本的目标特征向量和所述正样本的目标特征向量，执行当前迭代轮次的训练；在训练所述预设的对抗分类网络的下一迭代轮次时，对所述训练样本集中除所述采样负样本外的剩余负样本进行采样，得到多个新的采样负样本，所述新的采样负样本的数量与所述正样本的数量相同；根据所述正样本的目标特征向量和所述新的采样负样本的目标特征向量，进行下一迭代轮次的训练。
[0125]
可选地，所述训练样本的初始特征向量包括初始画面特征向量和初始音频特征向量；
[0126]
所述特征提取模块502还用于：针对每一子样本，提取所述子样本的初始画面特征向量和初始音频特征向量；融合所述多个子样本的初始画面特征向量和初始音频特征向量，获得所述训练样本的初始画面特征向量和初始音频特征向量；
[0127]
所述特征聚合模块503还用于：根据预设的加权聚合规则，分别对所述初始画面特征向量和所述初始音频特征向量进行加权聚合处理，得到第一维度的目标画面特征向量和第二维度的目标音频特征向量；融合所述第一维度的目标画面特征向量和第二维度的目标音频特征向量，得到所述训练样本的目标音视频特征向量；
[0128]
所述模型训练模块504还用于：根据所述目标音视频特征向量，训练得到所述视频检测模型。
[0129]
上述视频检测模型的训练装置可执行本发明实施例所提供的视频检测模型的训
练方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的视频检测模型的训练方法。
[0130]
图6示意性示出了本发明实施例的视频检测装置600的结构示意图，如图6所示，该视频检测装置600包括：
[0131]
视频获取模块601，用于获取待检测视频；
[0132]
特征获取模块602，用于利用预构建的3d卷积神经网络模型，提取所述待检测视频的初始特征向量；
[0133]
特征处理模块603，用于根据预设的加权聚合规则，对所述待检测视频的初始特征向量进行加权聚合处理，得到所述待检测视频的目标特征向量；
[0134]
检测模块604，用于根据所述目标特征向量和预构建的视频检测模型，确定所述待检测视频的检测结果。
[0135]
可选地，所述特征获取模块602还用于：根据预设的切分规则对所述待检测视频进行分段处理，得到多个子样本；所述待检测视频切分后得到的子样本的时长相同；针对每一子样本，将所述子样本输入预构建的3d卷积神经网络模型，将所述预构建的3d卷积神经网络模型的输出作为所述子样本的初始特征向量，所述子样本的初始特征向量为w*c维的特征向量，w和c分别为大于1的整数；拼接所述多个子样本的初始特征向量w*c，得到所述训练样本的初始特征向量，所述待检测视频的初始特征向量为k*w*c维的特征向量，其中，k表示所述待检测视频对应的子样本的数量；
[0136]
所述特征处理模块603还用于：根据所述初始特征向量以及预确定的n个目标通道的通道特征图的归一化权重，确定所述n个目标通道中的每一目标通道的通道特征图的加权和；其中，n为大于或等于1的整数；拼接所述n个目标通道的通道特征图的加权和，得到所述待检测视频的目标特征向量。
[0137]
可选地，所述预设的视频检测模型包括自编码器和分类器；所述自编码器包括编码器和解码器；
[0138]
所述检测模块604还用于：将所述目标特征向量输入所述自编码器，获取所述自编码器的编码器对所述目标特征向量进行编码后得到的隐藏层特征向量；将所述隐藏层特征向量输入所述分类器，确定所述待检测视频的检测结果。
[0139]
上述视频检测装置可执行本发明实施例所提供的视频检测方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的视频检测方法。
[0140]
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704。其中，处理器701，通信接口702，存储器 703通过通信总线704完成相互间的通信。存储器703，用于存放计算机程序；处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：获取训练样本集，所述训练样本集包括多个训练样本；利用预构建的3d卷积神经网络模型，提取每一训练样本的初始特征向量，其中，不同时长的训练样本的初始特征向量的维度不同；针对每一训练样本的初始特征向量，根据预设的加权聚合规则，对所述训练样本的初始特征向量进行加权聚合处理，得到所述训练样本的的目标特征向量，每一训练样本的目标特征向量的维度相同；根据所述训练样本集中所有训练样本的目标特征向量，训练得到所述视频检测模型；
[0141]
或者，处理器701执行存储器703上所存放的程序时，实现如下步骤：获取待检测视频；利用预构建的3d卷积神经网络模型，提取所述待检测视频的初始特征向量；根据预设的加权聚合规则，对所述待检测视频的初始特征向量进行加权聚合处理，得到所述待检测视频的目标特征向量；根据所述目标特征向量和预构建的视频检测模型，确定所述待检测视频的检测结果。
[0142]
上述终端提到的通信总线可以是外设部件互连标准(peripheral componentinterconnect，简称pci)总线或扩展工业标准结构(extended industry standardarchitecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0143]
通信接口用于上述终端与其他设备之间的通信。
[0144]
存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0145]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specificintegrated circuit，简称asic)、现场可编程门阵列(field-programmable gatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0146]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频检测模型的训练方法或视频检测方法。
[0147]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频检测模型的训练方法或视频检测方法。
[0148]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid statedisk(ssd))等。
[0149]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语
″
包括
″
、
″
包含
″
或者其任何其他变体意在涵盖
非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句
″
包括一个......
″
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0150]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0151]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。