一种内容检测的方法、相关装置、设备以及存储介质与流程

本技术涉及人工智能，尤其涉及一种内容检测的方法、相关装置、设备以及存储介质。

背景技术：

1、在互联网快速发展的时代，流媒体内容(例如，短视频内容、图文内容等)生产的门槛也逐渐降低，各种流媒体内容的发布量以指数级的速度增长。随着视频上传量大幅增长，为了保证分发内容的安全性，通常需要在较短的时间内完成对流媒体内容的审核。

2、为了提高对流媒体内容审核的效率，可以将抽帧方案运用于流媒体内容的检测。具体而言，先对流媒体内容按照固定速率(例如，每秒1帧)抽帧，然后保存这些抽取的图像帧。再通过内容理解算法读取这些图像帧，并进行相应的检测，由此，得到流媒体内容的检测结果。

3、然而，发明人发现目前的方案中至少存在如下问题，目前所采用的抽帧方式会得到大量图像帧。以一张1080p的无损原图为例，其需要占用5兆字节(mbyte，mb)的存储空间。因此，抽帧得到的大量图像帧会带来较大的存储压力，从而消耗较多的机器成本。

技术实现思路

1、本技术实施例提供了一种内容检测的方法、相关装置、设备以及存储介质。可采用更加智能的抽帧方式来适配不同播放时长的内容，从而能够在内容检测性能和机器成本之间找到一个较好的平衡。

2、有鉴于此，本技术一方面提供一种内容检测的方法，包括：

3、根据待检测内容的播放时长，从待检测内容中获取图像帧集合，其中，图像帧集合包括片头图像帧集合、片尾图像帧集合以及场景图像帧集合中的至少一种；

4、在待检测内容的播放时长大于或等于第一时长阈值的情况下，若图像帧集合所包括的图像帧总数小于预设帧数阈值，则根据图像帧集合确定时间间隔最长的相邻两个图像帧，其中，预设帧数阈值为根据待检测内容的播放时长确定的；

5、根据相邻两个图像帧，从待检测内容中获取图像补帧，其中，图像补帧为待检测内容中位于相邻两个图像帧之间的一个图像帧；

6、将图像补帧添加至图像帧集合，直至图像帧集合所包括的图像帧总数等于预设帧数阈值，得到第一图像帧集合，其中，第一图像帧集合包括图像帧集合以及至少一个图像补帧；

7、对第一图像帧集合进行检测，得到待检测内容所对应的内容检测结果。

8、本技术另一方面提供一种内容检测装置，包括：

9、获取模块，用于根据待检测内容的播放时长，从待检测内容中获取图像帧集合，其中，图像帧集合包括片头图像帧集合、片尾图像帧集合以及场景图像帧集合中的至少一种；

10、确定模块，用于在待检测内容的播放时长大于或等于第一时长阈值的情况下，若图像帧集合所包括的图像帧总数小于预设帧数阈值，则根据图像帧集合确定时间间隔最长的相邻两个图像帧，其中，预设帧数阈值为根据待检测内容的播放时长确定的；

11、获取模块，还用于根据相邻两个图像帧，从待检测内容中获取图像补帧，其中，图像补帧为待检测内容中位于相邻两个图像帧之间的一个图像帧；

12、获取模块，还用于将图像补帧添加至图像帧集合，直至图像帧集合所包括的图像帧总数等于预设帧数阈值，得到第一图像帧集合，其中，第一图像帧集合包括图像帧集合以及至少一个图像补帧；

13、检测模块，用于对第一图像帧集合进行检测，得到待检测内容所对应的内容检测结果。

14、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

15、获取模块，具体用于在待检测内容的播放时长小于第一时长阈值的情况下，按照第一预设帧数对待检测内容进行均匀抽帧，得到k个图像帧，其中，k表示第一预设帧数，且，k为大于或等于3的整数；

16、将k个图像帧作为图像帧集合，其中，图像帧集合包括片头图像帧集合、片尾图像帧集合以及至少一个图像帧；

17、确定模块，还用于根据待检测内容的播放时长，从待检测内容中获取图像帧集合之后，将图像帧集合作为第二图像帧集合；

18、检测模块，还用于对第二图像帧集合进行检测，得到待检测内容所对应的内容检测结果。

19、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

20、获取模块，具体用于在待检测内容的播放时长大于或等于第一时长阈值的情况下，按照预设频率对待检测内容进行抽帧，得到固定图像帧集合；

21、从固定图像帧集合中获取场景图像帧集合；

22、从待检测内容中获取片头图像帧集合以及片尾图像帧集合；

23、将片头图像帧集合、片尾图像帧集合以及场景图像帧集合作为图像帧集合。

24、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

25、获取模块，具体用于根据固定图像帧集合确定至少两个镜头；

26、针对至少两个镜头中的每两个相邻镜头，确定两个相邻镜头中前一个镜头的最后一个图像帧与后一个镜头的第一个图像帧之间的帧间相似度；

27、针对至少两个镜头中的每两个相邻镜头，若帧间相似度大于或等于相似度阈值，则将两个相邻镜头中后一个镜头的第一个图像帧作为场景图像帧；

28、根据各个场景图像帧获取场景图像帧集合。

29、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

30、确定模块，还用于根据待检测内容的播放时长，从待检测内容中获取图像帧集合之后，在待检测内容的播放时长大于或等于第一时长阈值的情况下，若图像帧集合所包括的图像帧总数大于或等于预设帧数阈值，则将图像帧集合作为第三图像帧集合；

31、检测模块，还用于对第三图像帧集合进行检测，得到待检测内容所对应的内容检测结果。

32、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

33、确定模块，还用于在待检测内容的播放时长大于或等于第一时长阈值，且，待检测内容的播放时长小于或等于第二时长阈值的情况下，将预设帧数阈值设置为第一帧数阈值，其中，第二时长阈值大于第一时长阈值；

34、确定模块，还用于在待检测内容的播放时长大于第二时长阈值的情况下，将预设帧数阈值设置为第二帧数阈值，其中，第二帧数阈值大于第一帧数阈值。

35、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

36、获取模块，具体用于根据相邻两个图像帧在待检测内容的位置，从待检测内容中确定图像帧序列，其中，图像帧序列为由相邻两个图像帧之间的各个图像帧组成的；

37、若图像帧序列中包括至少一个关键图像帧，则从至少一个关键图像帧中确定图像补帧。

38、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

39、获取模块，具体用于从图像帧序列中获取中间图像帧，其中，图像帧序列包括t个图像帧，t为大于1的整数；

40、根据中间图像帧在待检测内容的位置，从至少一个关键图像帧中确定与中间图像帧时间间隔最短的关键图像帧，并将关键图像帧作为图像补帧；

41、在t为奇数的情况下，中间图像帧为图像帧序列中的第(t+1)/2个图像帧；

42、在t为偶数的情况下，中间图像帧为图像帧序列中的第t/2个图像帧，或，中间图像帧为图像帧序列中的第(t/2)+1个图像帧。

43、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

44、获取模块，还用于根据相邻两个图像帧在待检测内容的位置，从待检测内容中确定图像帧序列之后，若图像帧序列中未包括关键图像帧，则从图像帧序列中获取中间图像帧作为图像补帧，其中，图像帧序列包括t个图像帧，t为大于1的整数；

45、在t为奇数的情况下，中间图像帧为图像帧序列中的第(t+1)/2个图像帧；

46、在t为偶数的情况下，中间图像帧为图像帧序列中的第t/2个图像帧，或，中间图像帧为图像帧序列中的第(t/2)+1个图像帧。

47、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

48、获取模块，具体用于根据相邻两个图像帧在待检测内容的位置，从待检测内容中确定图像帧序列，其中，图像帧序列为由相邻两个图像帧之间的各个图像帧组成的；

49、从图像帧序列中获取中间图像帧作为图像补帧，其中，图像帧序列包括t个图像帧，t为大于1的整数；

50、在t为奇数的情况下，中间图像帧为图像帧序列中的第(t+1)/2个图像帧；

51、在t为偶数的情况下，中间图像帧为图像帧序列中的第t/2个图像帧，或，中间图像帧为图像帧序列中的第(t/2)+1个图像帧。

52、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

53、检测模块，具体用于基于第一图像帧集合中的每个图像帧，通过视频检测模型获取每个图像帧所对应的视频检测分值；

54、根据每个图像帧所对应的视频检测分值，确定目标视频检测分值；

55、根据目标视频检测分值，确定待检测内容所对应的内容检测结果。

56、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

57、获取模块，还用于从待检测内容中提取音频片段集合，其中，音频片段集合包括音频帧片段、立体声片段以及单声道片段中的至少一种；

58、获取模块，还用于基于音频片段集合，通过音频检测模型获取每个音频片段所对应的音频检测分值；

59、检测模块，具体用于根据每个图像帧所对应的视频检测分值以及每个音频片段所对应的音频检测分值，确定目标视频检测分值。

60、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

61、获取模块，还用于从待检测内容中提取音频片段集合之前，响应针对于待检测内容的音频检测指令，其中，音频检测指令携带第一类型标识；

62、获取模块，具体用于若第一类型标识包括用于指示质量检测类型的子标识，则从待检测内容中采样得到音频片段集合，其中，音频片段集合包括音频帧片段以及单声道片段；

63、若第一类型标识包括用于指示内容检测类型的子标识，则从待检测内容中采样得到音频片段集合，其中，音频片段集合包括音频帧片段、立体声片段以及单声道片段。

64、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

65、获取模块，还用于根据待检测内容的播放时长，从待检测内容中获取图像帧集合之前，响应针对于待检测内容的视频检测指令，其中，视频检测指令携带第二类型标识；

66、获取模块，具体用于若第二类型标识包括用于指示语义检测类型的子标识，则根据待检测内容的播放时长，从待检测内容中获取图像帧集合。

67、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，

68、获取模块，还用于响应针对于待检测内容的视频检测指令之后，若第二类型标识包括用于指示对象检测类型的子标识，则按照第二预设帧数对待检测内容进行均匀抽帧，得到n个图像帧，其中，n表示第二预设帧数，且，n为大于或等于1的整数；

69、检测模块，还用于对n个图像帧中的每个图像帧进行检测，得到n个图像帧中每个图像帧所对应的检测结果，其中，检测结果用于指示图像帧中是否包括目标对象；

70、确定模块，还用于根据n个图像帧中每个图像帧所对应的检测结果，确定待检测内容所对应的内容检测结果。

71、在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，内容检测装置还包括显示模块以及处理模块；

72、显示模块，用于提供人工标注界面；

73、获取模块，还用于通过人工标注界面获取针对待检测内容的标注结果；

74、处理模块，用于根据待检测内容的标注结果，对待检测内容进行相应处理；

75、其中，对待检测内容进行相应处理包括如下至少一项：

76、将待检测内容作为用于模型训练样本；

77、若待检测内容的标注结果满足内容展示条件，则将待检测内容加入至分发内容库。

78、本技术另一方面提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述各方面的方法。

79、本技术的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方面的方法。

80、本技术的另一个方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方面的方法。

81、从以上技术方案可以看出，本技术实施例具有以下优点：

82、本技术实施例中，提供了一种内容检测的方法，首先，根据待检测内容的播放时长，从待检测内容中获取图像帧集合。在待检测内容的播放时长大于或等于第一时长阈值的情况下，若图像帧集合所包括的图像帧总数小于预设帧数阈值，则根据图像帧集合确定时间间隔最长的相邻两个图像帧。基于此，根据相邻两个图像帧，从待检测内容中获取图像补帧。然后，将图像补帧添加至图像帧集合，直至图像帧集合所包括的图像帧总数等于预设帧数阈值。最后，对得到的第一图像帧集合进行检测，得到待检测内容所对应的内容检测结果。通过上述方式，采用更加智能的抽帧方式来适配不同播放时长的内容。具体而言，能够将待检测内容中具有代表性的图像帧与抽取到的图像补帧相结合，得到一定数量的图像帧集合。再利用这些图像帧集合进行检测，从而能够在内容检测性能和机器成本之间找到一个较好的平衡。