图像处理方法、装置、电子设备及存储介质与流程

本技术涉及人工智能领域，具体而言，本技术涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术：

1、由于互联网带来的便利，通过网络收看影视作品逐渐成为一种重要的娱乐方式。因此，各种为用户提供影视作品收看功能的视频软件层出不穷。为了让用户对影视作品有初步了解，通常会在应用界面显示各个影视作品对应的推荐素材，例如，显示各个影视作品对应的海报。

2、海报图制作的第一步为视频帧元素的选取，当前绝大多数平台的海报图制作基本都是针对长视频宣发的，海报对素材的精美程度要求较高，目前是通过对视频数据，如视频帧图像的亮度、色彩、对比度、构图等从视频中提取素材，得到的素材最终用于生成海报的转化率较低。

技术实现思路

1、本技术实施例的目的旨在提供一种图像处理方法、装置及电子设备，本技术实施例提供的技术方案如下：

2、一方面，本技术实施例提供了一种图像处理的方法，该方法包括：

3、获取待处理视频，并获取针对待处理视频的至少一个弹幕信息；

4、基于弹幕信息在待处理视频中的出现时间，从待处理视频中提取至少一个关键视频片段；

5、针对每一关键视频片段，从关键视频片段中提取多个第一视频帧图像，并对多个第一视频帧图像分别进行对象检测，得到各个第一视频帧图像分别对应的第一检测结果；其中，第一检测结果表征第一视频帧图像中是否包含至少一个目标对象；

6、基于各个第一视频帧图像分别对应的第一检测结果，从多个第一视频帧图像中筛选出至少一个目标视频帧图像；

7、确定至少一个目标视频帧图像的标签信息，并将至少一个目标视频帧图像以及分别对应的标签信息存储至图像素材库中；图像素材库用于提供待处理视频的视频推荐素材。

8、在一些可能的实施方式中，在接收针对待处理视频的海报的生成指令时，在图像素材库的标签信息中查询与生成指令对应的目标标签；

9、获取并显示与目标标签对应的目标视频帧图像；其中，所显示的目标视频帧图像用于生成待处理视频对应的海报。

10、在一些可能的实施方式中，基于弹幕信息在待处理视频中的出现时间，从待处理视频中提取至少一个关键视频片段，包括：

11、基于弹幕信息在待处理视频中的出现时间，以及对待处理视频中至少部分视频进行对象检测得到的第二检测结果，从待处理视频中提取至少一个关键视频片段。

12、在一些可能的实施方式中，基于弹幕信息在待处理视频中的出现时间，以及对待处理视频中至少部分视频进行对象检测得到的第二检测结果，从待处理视频中提取至少一个关键视频片段，包括：

13、基于弹幕信息在待处理视频中的出现时间，从待处理视频中提取至少一个第一视频片段；

14、对待处理视频的各个初始视频帧图像分别进行对象检测，得到各个初始视频帧图像分别对应的第二检测结果；

15、基于各个初始视频帧图像分别对应的第二检测结果，从待处理视频中提取第二视频片段；第二视频片段为连续出现至少一个目标人物的图像序列；

16、基于第一视频片段和第二视频片段确定至少一个关键视频片段。

17、在一些可能的实施方式中，基于第一视频片段和第二视频片段确定至少一个关键视频片段，包括如下任一种：

18、将第一视频片段和第二视频片段作为关键视频片段；

19、确定第一视频片段和第二视频片段中的重叠视频片段，将所确定的重叠视频片段作为关键视频片段。

20、在一些可能的实施方式中，基于弹幕信息在待处理视频中的出现时间，以及对待处理视频中至少部分视频进行对象检测得到的第二检测结果，从待处理视频中提取至少一个关键视频片段，包括：

21、基于弹幕信息在待处理视频中的出现时间，从待处理视频中提取至少一个第一视频片段；

22、对各个第一视频片段中各个视频帧图像分别进行对象检测，得到第一视频片段中各个视频帧图像分别对应的第三检测结果；

23、基于第一视频片段中各个视频帧图像分别对应的第三检测结果，从第一视频片段中提取第三视频片段；第三视频片段为连续出现至少一个目标人物的图像序列；

24、将第三视频片段作为关键视频片段。

25、在一些可能的实施方式中，基于弹幕信息在待处理视频中的出现时间，从待处理视频中提取至少一个关键视频片段，包括：

26、将待处理视频拆分为多个候选视频片段；

27、基于弹幕信息在待处理视频中的出现时间，确定各个候选视频片段分别对应的弹幕信息的数量；

28、基于各个候选视频片段分别对应的弹幕信息的数量，从多个候选视频片段中确定出至少一个关键视频片段。

29、在一些可能的实施方式中，基于各个第一视频帧图像分别对应的第一检测结果，从多个第一视频帧图像中筛选出至少一个目标视频帧图像，包括：

30、基于各个第一视频帧图像分别对应的第一检测结果，从多个第一视频帧图像中筛选出多个第二视频帧图像；其中，第二视频帧图像中出现的目标人物的数量大于或等于第一预设数量；

31、对各个第二视频帧图像中的至少一个目标人物进行表情识别，得到表情识别结果；表情识别结果表征第二视频帧图像中至少一个目标对象分别对应的表情类型；

32、基于各个第二视频帧图像中目标人物的表情识别结果，从多个第二视频帧图像中筛选出至少一个目标视频帧图像。

33、在一些可能的实施方式中，基于各个第二视频帧图像中目标人物的表情识别结果，从多个第二视频帧图像中筛选出至少一个目标视频帧图像，包括：

34、将至少一个目标人物的表情类型均属于第一预设类型的第二视频帧图像，作为第三视频帧图像；

35、对各个第三视频帧图像的图像特征进行聚类，得到多个图像类别；

36、对于每个图像类别，基于训练好的图像评价模型对图像类别对应的各个第三视频帧图像进行评价，得到各个第三视频帧图像分别对应于预设图像评估指标的第一评价指标值；

37、基于各个第三视频帧图像分别对应的第一评价指标值，从图像类别对应的第三视频帧图像中，确定出至少一个第四视频帧图像；

38、从多个第四视频帧图像中确定出至少一个目标视频帧图像。

39、在一些可能的实施方式中，从多个第四视频帧图像中确定出至少一个目标视频帧图像，包括：

40、基于各个第四视频帧图像分别对应的第一评价指标值、第一画面占比、第二画面占比或每一目标人物分别对应的表情类型中的至少一种，从第四视频帧图像中确定出至少一个目标视频帧图像；

41、其中，针对每一第四视频帧图像，第一画面占比为第四视频帧图像的至少一个目标人物在第四视频帧图像的预设区域中的画面占比，第二画面占比是第四视频帧图像的文字内容在第四视频帧图像中的画面占比。

42、在一些可能的实施方式中，基于各个第四视频帧图像分别对应的第一评价指标值、第一画面占比、第二画面占比或每一目标人物分别对应的表情类型中的至少一种，从第四视频帧图像中确定出至少一个目标视频帧图像，包括：

43、针对每一第四视频帧图像，基于第四视频帧图像中至少一个目标人物分别对应的表情类型，确定对应的第二评价指标值；

44、基于第一画面占比，确定对应的第三评价指标值，并基于第二画面占比，确定对应的第四评价指标值；

45、确定第四视频帧图像的清晰度，并确定清晰度对应的第五评价指标值；

46、基于第一评价指标值、第二评价指标值、第三评价指标值、第四评价指标值以及第五评价指标值的加权和，确定针对第四视频帧图像的总评价指标值；

47、基于各个第四视频帧图像分别对应的总评价指标值，从多个第四视频帧图像中确定出至少一个目标视频帧图像。

48、另一方面，本技术实施例提供了一种图像处理装置，该装置包括：

49、获取模块，用于获取待处理视频，并获取针对待处理视频的至少一个弹幕信息；

50、第一提取模块，用于基于弹幕信息在待处理视频中的出现时间，从待处理视频中提取至少一个关键视频片段；

51、第二提取模块，用于针对每一关键视频片段，从关键视频片段中提取多个第一视频帧图像，并对多个第一视频帧图像分别进行对象检测，得到各个第一视频帧图像分别对应的第一检测结果；其中，第一检测结果表征第一视频帧图像中是否包含至少一个目标对象；

52、筛选模块，用于基于各个第一视频帧图像分别对应的第一检测结果，从多个第一视频帧图像中筛选出至少一个目标视频帧图像；

53、存储模块，用于确定至少一个目标视频帧图像的标签信息，并将至少一个目标视频帧图像以及分别对应的标签信息存储至图像素材库中；图像素材库用于提供待处理视频的视频推荐素材。

54、在一些可能的实施方式中，还包括显示模块，用于：

55、在接收针对待处理视频的海报的生成指令时，在图像素材库的标签信息中查询与生成指令对应的目标标签；

56、获取并显示与目标标签对应的目标视频帧图像；其中，所显示的目标视频帧图像用于生成待处理视频对应的海报。

57、在一些可能的实施方式中，第一提取模块在基于弹幕信息在待处理视频中的出现时间，从待处理视频中提取至少一个关键视频片段时，具体用于：

58、基于弹幕信息在待处理视频中的出现时间，以及对待处理视频中至少部分视频进行对象检测得到的第二检测结果，从待处理视频中提取至少一个关键视频片段。

59、在一些可能的实施方式中，第一提取模块在基于弹幕信息在待处理视频中的出现时间，以及对待处理视频中至少部分视频进行对象检测得到的第二检测结果，从待处理视频中提取至少一个关键视频片段时，具体用于：

60、基于弹幕信息在待处理视频中的出现时间，从待处理视频中提取至少一个第一视频片段；

61、对待处理视频的各个初始视频帧图像分别进行对象检测，得到各个初始视频帧图像分别对应的第二检测结果；

62、基于各个初始视频帧图像分别对应的第二检测结果，从待处理视频中提取第二视频片段；第二视频片段为连续出现至少一个目标人物的图像序列；

63、基于第一视频片段和第二视频片段确定至少一个关键视频片段。

64、在一些可能的实施方式中，第一提取模块在基于第一视频片段和第二视频片段确定至少一个关键视频片段，具体用于如下任一种：

65、将第一视频片段和第二视频片段作为关键视频片段；

66、确定第一视频片段和第二视频片段中的重叠视频片段，将所确定的重叠视频片段作为关键视频片段。

67、在一些可能的实施方式中，第一提取模块在基于弹幕信息在待处理视频中的出现时间，以及对待处理视频中至少部分视频进行对象检测得到的第二检测结果，从待处理视频中提取至少一个关键视频片段时，具体用于：

68、基于弹幕信息在待处理视频中的出现时间，从待处理视频中提取至少一个第一视频片段；

69、对各个第一视频片段中各个视频帧图像分别进行对象检测，得到第一视频片段中各个视频帧图像分别对应的第三检测结果；

70、基于第一视频片段中各个视频帧图像分别对应的第三检测结果，从第一视频片段中提取第三视频片段；第三视频片段为连续出现至少一个目标人物的图像序列；

71、将第三视频片段作为关键视频片段。

72、在一些可能的实施方式中，第一提取模块在基于弹幕信息在待处理视频中的出现时间，从待处理视频中提取至少一个关键视频片段时，具体用于：

73、将待处理视频拆分为多个候选视频片段；

74、基于弹幕信息在待处理视频中的出现时间，确定各个候选视频片段分别对应的弹幕信息的数量；

75、基于各个候选视频片段分别对应的弹幕信息的数量，从多个候选视频片段中确定出至少一个关键视频片段。

76、在一些可能的实施方式中，筛选模块在基于各个第一视频帧图像分别对应的第一检测结果，从多个第一视频帧图像中筛选出至少一个目标视频帧图像时，具体用于：

77、基于各个第一视频帧图像分别对应的第一检测结果，从多个第一视频帧图像中筛选出多个第二视频帧图像；其中，第二视频帧图像中出现的目标人物的数量大于或等于第一预设数量；

78、对各个第二视频帧图像中的至少一个目标人物进行表情识别，得到表情识别结果；表情识别结果表征第二视频帧图像中至少一个目标对象分别对应的表情类型；

79、基于各个第二视频帧图像中目标人物的表情识别结果，从多个第二视频帧图像中筛选出至少一个目标视频帧图像。

80、在一些可能的实施方式中，筛选模块在基于各个第二视频帧图像中目标人物的表情识别结果，从多个第二视频帧图像中筛选出至少一个目标视频帧图像时，具体用于：

81、将至少一个目标人物的表情类型均属于第一预设类型的第二视频帧图像，作为第三视频帧图像；

82、对各个第三视频帧图像的图像特征进行聚类，得到多个图像类别；

83、对于每个图像类别，基于训练好的图像评价模型对图像类别对应的各个第三视频帧图像进行评价，得到各个第三视频帧图像分别对应于预设图像评估指标的第一评价指标值；

84、基于各个第三视频帧图像分别对应的第一评价指标值，从图像类别对应的第三视频帧图像中，确定出至少一个第四视频帧图像；

85、从多个第四视频帧图像中确定出至少一个目标视频帧图像。

86、在一些可能的实施方式中，筛选模块在从多个第四视频帧图像中确定出至少一个目标视频帧图像时，具体用于：

87、基于各个第四视频帧图像分别对应的第一评价指标值、第一画面占比、第二画面占比或每一目标人物分别对应的表情类型中的至少一种，从第四视频帧图像中确定出至少一个目标视频帧图像；

88、其中，针对每一第四视频帧图像，第一画面占比为第四视频帧图像的至少一个目标人物在第四视频帧图像的预设区域中的画面占比，第二画面占比是第四视频帧图像的文字内容在第四视频帧图像中的画面占比。

89、在一些可能的实施方式中，筛选模块在基于各个第四视频帧图像分别对应的第一评价指标值、第一画面占比、第二画面占比或每一目标人物分别对应的表情类型中的至少一种，从第四视频帧图像中确定出至少一个目标视频帧图像时，具体用于：

90、针对每一第四视频帧图像，基于第四视频帧图像中至少一个目标人物分别对应的表情类型，确定对应的第二评价指标值；

91、基于第一画面占比，确定对应的第三评价指标值，并基于第二画面占比，确定对应的第四评价指标值；

92、确定第四视频帧图像的清晰度，并确定清晰度对应的第五评价指标值；

93、基于第一评价指标值、第二评价指标值、第三评价指标值、第四评价指标值以及第五评价指标值的加权和，确定针对第四视频帧图像的总评价指标值；

94、基于各个第四视频帧图像分别对应的总评价指标值，从多个第四视频帧图像中确定出至少一个目标视频帧图像。

95、另一方面，本技术实施例还提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有计算机程序，处理器执行该计算机程序以实现本技术任一可选实施例中提供的方法。

96、另一方面，本技术实施例还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序，该计算机程序被处理器执行时实现本技术任一可选实施例中提供的方法。

97、另一方面，本技术实施例还提供了一种计算机程序产品，该计算机产品包括计算机程序，该计算机程序被处理器执行时实现本技术任一可选实施例中提供的方法。

98、本技术实施例提供的技术方案带来的有益效果如下：

99、通过针对待处理视频的多个弹幕信息在待处理视频中的出现时间，从待处理视频中提取至少一个关键视频片段，然后再从关键视频片段中提取第一视频帧图像，并从第一视频帧图像中筛选目标视频帧图像，结合弹幕信息确定的目标视频帧图像，可以增加关键视频片段定位的有效性，从而提高生成的目标视频帧图像用于制作海报的转化率。

100、此外，先通过弹幕信息定位关键视频片段，再对关键视频片段进行对象检测，可以减少需要进行对象检测的图像帧数，提高目标视频帧图像的筛选效率。