一种图像处理方法、装置及电子设备与流程

本技术涉及图像处理，特别是涉及一种图像处理方法、装置及电子设备。

背景技术：

1、在对影视剧或综艺进行二次创作时，通常需要对原始视频进行截取、添加新的台词或者图标等操作，然而，在上述操作中，视频中原始台词或者图标会对二次编辑后原始视频的画面质量造成影响。例如，在视频画面中添加新的台词时，需要将新的台词添加至原始台词的指定位置，或者，直接利用新的台词替换原始台词等情况中，需要对原始台词进行擦除处理。

2、相关技术中，通过人工手动对原始台词所在区域进行马赛克处理，从而，实现利用马赛克图像对原始台词所在区域进行遮盖，达到对视频中的原始台词进行擦除的目的。然而，在对原始台词进行马赛克处理后所得到原始视频中，原始台词所对应的区域会留下马赛克痕迹，对所得到的无原始台词的原始视频的画面质量造成影响。

3、示例性的，如图1(a)所示，为本技术实施例提供的一种存在原始台词的视频画面的示意图，相应的，图1(b)为对图1(a)的原始台词进行马赛克处理后的视频画面的示意图，其中，图1(b)中的区域101即为对原始台词进行马赛克处理后所留下的马赛克痕迹。

技术实现思路

1、本技术实施例的目的在于提供一种图像处理方法、装置及电子设备，以实现提高对原始视频中视频帧的图像处理效果。具体技术方案如下：

2、在本技术实施例的第一方面，首先提供了一种图像处理方法，所述方法包括：

3、获取待处理视频中包括待遮盖对象的各个指定视频帧，并基于每个指定视频帧中所述待遮盖对象的图像位置信息，生成该指定视频帧对应的遮罩图像；

4、根据所确定的各个指定视频帧，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段；其中，每个指定视频片段包括：所述待遮盖对象的图像位置信息相同且连续的多个指定视频帧；

5、针对每个指定视频片段，在所述待处理视频中，确定该指定视频片段的第一参考视频帧和第二参考视频帧；其中，所述第一参考视频帧为：位于该指定视频片段的第一帧视频帧之前的第一指定时长内，且不存在所述待遮盖对象的视频帧，所述第二参考视频帧为：位于该指定视频片段的最后一帧视频帧之后的第二指定时长内，且不存在所述待遮盖对象的视频帧；

6、针对每个指定视频片段，利用该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，对该指定视频片段所包括的所述待遮盖对象进行遮盖修复，得到该指定视频片段对应的目标视频片段；

7、其中，每个指定视频片段对应的遮罩视频片段为：利用该指定视频片段中，针对每个指定视频帧所生成的遮罩图像，对该指定视频帧中的所述待遮盖对象进行遮罩所得到的视频片段。

8、可选的，一种具体实现方式中，所述方法还包括：

9、针对每个指定视频片段，在所述待处理视频中确定该指定视频片段第一帧的前一帧，以及该指定视频片段最后一帧的后一帧；

10、将该指定视频片段对应的目标视频片段的第一帧与该指定视频片段第一帧的前一帧进行拼接，并将该指定视频片段对应的目标视频片段的最后一帧与该指定视频片段最后一帧的后一帧进行拼接，得到不存在所述待遮盖对象的目标视频。

11、可选的，一种具体实现方式中，所述根据所确定的各个指定视频帧，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段，包括：

12、遍历所述待处理视频中的各个视频帧，在遍历到每个视频帧时，将该视频帧确定为当前帧，并判断所述当前帧和所述当前帧的下一帧是否为指定视频帧；

13、如果所述当前帧是所述指定视频帧，且所述下一帧不是指定视频帧，则将所述当前帧确定为当前指定视频片段的结束帧，并遍历下一帧，直至遍历到所述待处理视频中的最后一个视频帧的前一视频帧时，得到各个指定视频片段；

14、如果所述当前帧和所述下一帧均不是所述指定视频帧，则返回所述遍历下一帧的步骤；

15、如果所述当前帧不是所述指定视频帧，且所述下一帧是所述指定视频帧，则将所述下一帧确定为下一指定视频片段的起始帧，并返回所述遍历下一帧的步骤；

16、如果所述当前帧和所述下一帧均是指定视频帧，则判断所述当前帧所包括的所述待遮盖对象的第一图像位置信息与所述下一帧所包括的所述待遮盖对象的第二图像位置信息是否相同；

17、若所述第一图像位置信息与所述第二图像位置信息相同，则确定所述当前帧和所述下一帧属于同一指定视频片段，并返回所述遍历下一帧的步骤；

18、若所述第一图像位置信息与所述第二图像位置信息不同，则将所述当前帧确定为所述当前指定视频片段的结束帧，并将所述下一帧确定为下一指定视频片段的起始帧，并返回所述遍历下一帧的步骤。

19、可选的，一种具体实现方式中，所述获取待处理视频中包括待遮盖对象的各个指定视频帧，包括：

20、按照预设时间间隔，从待处理视频中抽取多个待处理视频帧，并对每个待处理视频帧进行目标对象检测，得到存在待遮盖对象的各个第一视频帧；

21、针对每个第一视频帧，在所述待处理视频中，确定播放时刻位于该第一视频帧对应的目标时间范围内的各个视频帧，作为该第一视频帧的待追踪视频帧；其中，所述目标时间范围的起始时刻为：位于该第一视频帧的播放时刻之前且与所述播放时刻间隔第一时长的时刻，所述目标时间范围的终止时刻为：位于所述播放时刻之后且与所述播放时刻间隔第二时长的时刻，所述第一时长和所述第二时长均大于所述预设时间间隔；

22、针对每个第一视频帧，对该第一视频帧的各个待追踪视频帧进行对象追踪，得到关于各个待追踪视频帧的指定图像区域是否存在所述待遮盖对象的追踪结果，并将所述追踪结果表征存在的待追踪视频帧和该第一视频帧，确定为指定视频帧；

23、其中，每个第一视频帧的各个待追踪视频帧的指定图像区域的图像位置信息，与该第一视频帧中所包括的所述待遮盖对象的图像位置信息相同。

24、可选的，一种具体实现方式中，所述第一视频帧中存在多个待遮盖对象；

25、所述对该第一视频帧的各个待追踪视频帧进行对象追踪，得到关于各个待追踪视频帧的指定图像区域是否存在所述待遮盖对象的追踪结果，包括：

26、遍历该第一视频帧中的多个待遮盖对象；在遍历到每个待遮盖对象时，对该第一视频帧的各个待追踪视频帧进行对象追踪，得到关于各个待追踪视频帧的第一图像区域是否存在该待遮盖对象的追踪结果；在最后一个追踪结果表征不存在时，遍历下一待遮盖对象，直至遍历完该第一视频帧中的全部待遮盖对象。

27、可选的，一种具体实现方式中，在所述基于每个指定视频帧中所述待遮盖对象的图像位置信息，生成该指定视频帧对应的遮罩图像之后，所述方法还包括：

28、利用所生成的遮罩图像对该指定视频帧中的所述待遮盖对象进行遮盖；

29、或者，

30、将所生成的遮罩图像存储至预设存储空间中，并在生成全部指定视频帧对应的遮罩图像后，从所述预设存储空间中获取每个指定视频帧对应的遮罩图像对该指定视频帧中的所述待遮盖对象进行遮盖。

31、可选的，一种具体实现方式中，所述针对每个指定视频片段，利用该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，对该指定视频片段所包括的所述待遮盖对象进行遮盖修复，得到该指定视频片段对应的目标视频片段，包括：

32、针对每个指定视频片段，将该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，输入至预设修复模型，对该指定视频片段所包括的所述待遮盖对象进行遮盖修复，并将所述预设修复模型的输出结果，确定为该指定视频片段对应的目标视频片段；

33、其中，所述预设修复模型是基于多个训练样本训练得到的，每个训练样本包括：指定样本视频片段对应的遮罩样本视频片段和所述指定样本视频片段对应的目标样本视频片段。

34、在本技术实施例的第二方面，还提供了一种图像处理装置，所述装置包括：

35、获取模块，用于根据所确定的各个指定视频帧，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段；其中，每个指定视频片段包括：所述待遮盖对象的图像位置信息相同且连续的多个指定视频帧；

36、划分模块，用于将所包括的所述待遮盖对象的图像位置信息相同且连续的各组指定视频帧，分别划分为各个指定视频片段；

37、确定模块，用于针对每个指定视频片段，在所述待处理视频中，确定该指定视频片段的第一参考视频帧和第二参考视频帧；其中，所述第一参考视频帧为：位于该指定视频片段的第一帧视频帧之前的第一指定时长内，且不存在所述待遮盖对象的视频帧，所述第二参考视频帧为：位于该指定视频片段的最后一帧视频帧之后的第二指定时长内，且不存在所述待遮盖对象的视频帧；

38、修复模块，用于针对每个指定视频片段，利用该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，对该指定视频片段所包括的所述待遮盖对象进行遮盖修复，得到该指定视频片段对应的目标视频片段；

39、其中，每个指定视频片段对应的遮罩视频片段为：利用该指定视频片段中，针对每个指定视频帧所生成的遮罩图像，对该指定视频帧中的所述待遮盖对象进行遮罩所得到的视频片段。

40、可选的，一种具体实现方式中，所述装置还包括：

41、替换模块，用于针对每个指定视频片段，在所述待处理视频中确定该指定视频片段第一帧的前一帧，以及该指定视频片段最后一帧的后一帧；

42、将该指定视频片段对应的目标视频片段的第一帧与该指定视频片段第一帧的前一帧进行拼接，并将该指定视频片段对应的目标视频片段的最后一帧与该指定视频片段最后一帧的后一帧进行拼接，得到不存在所述待遮盖对象的目标视频。

43、可选的，一种具体实现方式中，所述划分模块，具体用于：

44、遍历所述待处理视频中的各个视频帧，在遍历到每个视频帧时，将该视频帧确定为当前帧，并判断所述当前帧和所述当前帧的下一帧是否为指定视频帧；

45、如果所述当前帧是所述指定视频帧，且所述下一帧不是指定视频帧，则将所述当前帧确定为当前指定视频片段的结束帧，并遍历下一帧，直至遍历到所述待处理视频中的最后一个视频帧的前一视频帧时，得到各个指定视频片段；

46、如果所述当前帧和所述下一帧均不是所述指定视频帧，则返回所述遍历下一帧的步骤；

47、如果所述当前帧不是所述指定视频帧，且所述下一帧是所述指定视频帧，则将所述下一帧确定为下一指定视频片段的起始帧，并返回所述遍历下一帧的步骤；

48、如果所述当前帧和所述下一帧均是指定视频帧，则判断所述当前帧所包括的所述待遮盖对象的第一图像位置信息与所述下一帧所包括的所述待遮盖对象的第二图像位置信息是否相同；

49、若所述第一图像位置信息与所述第二图像位置信息相同，则确定所述当前帧和所述下一帧属于同一指定视频片段，并返回所述遍历下一帧的步骤；

50、若所述第一图像位置信息与所述第二图像位置信息不同，则将所述当前帧确定为所述当前指定视频片段的结束帧，并将所述下一帧确定为下一指定视频片段的起始帧，并返回所述遍历下一帧的步骤。

51、可选的，一种具体实现方式中，所述获取模块包括：

52、第一视频帧获取子模块，用于按照预设时间间隔，从待处理视频中抽取多个待处理视频帧，并对每个待处理视频帧进行目标对象检测，得到存在待遮盖对象的各个第一视频帧；

53、待追踪视频帧确定子模块，用于针对每个第一视频帧，在所述待处理视频中，确定播放时刻位于该第一视频帧对应的目标时间范围内的各个视频帧，作为该第一视频帧的待追踪视频帧；其中，所述目标时间范围的起始时刻为：位于该第一视频帧的播放时刻之前且与所述播放时刻间隔第一时长的时刻，所述目标时间范围的终止时刻为：位于所述播放时刻之后且与所述播放时刻间隔第二时长的时刻，所述第一时长和所述第二时长均大于所述预设时间间隔；

54、指定视频帧确定子模块，用于针对每个第一视频帧，对该第一视频帧的各个待追踪视频帧进行对象追踪，得到关于各个待追踪视频帧的指定图像区域是否存在所述待遮盖对象的追踪结果，并将所述追踪结果表征存在的待追踪视频帧和该第一视频帧，确定为指定视频帧；

55、其中，每个第一视频帧的各个待追踪视频帧的指定图像区域的图像位置信息，与该第一视频帧中所包括的所述待遮盖对象的图像位置信息相同。

56、可选的，一种具体实现方式中，所述第一视频帧中存在多个待遮盖对象；

57、所述指定视频帧确定子模块，具体用于：

58、遍历该第一视频帧中的多个待遮盖对象；在遍历到每个待遮盖对象时，对该第一视频帧的各个待追踪视频帧进行对象追踪，得到关于各个待追踪视频帧的第一图像区域是否存在该待遮盖对象的追踪结果；在最后一个追踪结果表征不存在时，遍历下一待遮盖对象，直至遍历完该第一视频帧中的全部待遮盖对象。

59、可选的，一种具体实现方式中，所述装置还包括：

60、遮盖模块，用于在所述基于每个指定视频帧中所述待遮盖对象的图像位置信息，生成该指定视频帧对应的遮罩图像之后，利用所生成的遮罩图像对该指定视频帧中的所述待遮盖对象进行遮盖；

61、或者，

62、将所生成的遮罩图像存储至预设存储空间中，并在生成全部指定视频帧对应的遮罩图像后，从所述预设存储空间中获取每个指定视频帧对应的遮罩图像对该指定视频帧中的所述待遮盖对象进行遮盖。

63、可选的，一种具体实现方式中，所述修复模块，具体用于：

64、针对每个指定视频片段，将该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频帧，输入至预设修复模型，对该指定视频片段所包括的所述待遮盖对象进行遮盖修复，并将所述预设修复模型的输出结果，确定为该指定视频片段对应的目标视频片段；

65、其中，所述预设修复模型是基于多个训练样本训练得到的，每个训练样本包括：指定样本视频片段对应的遮罩样本视频片段和所述指定样本视频片段对应的目标样本视频片段。

66、在本技术实施例提供的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述第一方面提供的任一图像处理方法。

67、在本技术实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的任一图像处理方法。

68、在本技术实施例的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面提供的任一图像处理方法。

69、应用本技术实施例提供的方案，在对待处理视频中的待遮盖对象进行遮盖时，首先，获取待处理视频中包括待遮盖对象的各个指定视频帧，从而，基于每个指定视频帧中待遮盖对象的图像位置信息，生成该指定视频帧对应的遮罩图像。然后，根据所确定的各个指定视频帧，对上述待处理视频进行切片处理，从而，将上述待处理视频中，所包括的待遮盖对象的图像位置信息相同且连续的多个指定视频帧，作为一个指定视频片段。这样，便可以针对每个指定视频帧对应的遮罩图像对该指定视频帧中的待遮盖对象进行遮盖，从而，得到各个指定视频片段对应的遮罩视频片段。并且，为了提高对指定视频片段中待遮盖对象所处区域的修复效果，需要利用不存在待遮盖对象的视频帧中的图像信息。因此，针对每个指定视频片段，在上述待处理视频中，确定与该指定视频片段相邻且不存在待遮盖对象的第一参考视频帧和第二参考视频帧。这样，便可以针对每个指定视频片段，利用该指定视频片段对应的遮罩视频片段，以及该指定视频片段的第一参考视频帧和第二参考视频，对该指定视频片段所包括的待遮盖对象进行遮盖修复，得到该指定视频片段对应的目标视频片段。

70、基于此，应用本技术实施例提供的方案，在得到包括待遮盖对象的各个指定视频片段后，针对每个指定视频片段，在待处理视频中，确定与该指定视频片段相邻且不存在待遮盖对象的第一参考视频帧和第二参考视频帧。这样，便可以利用上述第一参考视频帧和第二参考视频帧中，与上述待遮盖对象的图像位置信息相同，且不存在上述待遮盖对象的区域的图像信息，以及该指定视频片段对应的遮罩视频片段中待遮盖对象周边的图像信息，对该指定视频片段对应的遮罩视频片段中的待遮盖对象进行修复，从而，实现对将包括待遮盖对象的视频帧修复为上述待遮盖对象所处区域不存在该待遮盖对象的视频帧。并且，通过连续多帧视频帧以及该指定视频片段对应的遮罩视频片段中该待遮盖对象周边的图像信息对待遮盖对象进行修复，可以提高所修复完成的不存在待遮盖对象的修复效果，使得所修复完成的不存在待遮盖对象的视频帧的画面更加自然，从而，提高对原始视频中视频帧的图像处理效果。