一种图像处理方法、装置及电子设备与流程

本技术涉及图像处理，特别是涉及一种图像处理方法、装置及电子设备。

背景技术：

1、在对影视剧或综艺进行二次创作时，用户期望遮盖掉视频中的台词、贴图、广告等待遮盖对象。

2、相关技术中，通常是在对包括有待遮盖对象的视频帧进行遮罩后，得到该视频帧对应的遮罩视频帧，从而，基于上述遮罩视频帧，利用视频修复模型对上述待遮盖对象所在区域进行修复。然而，在上述相关技术中，在进行待遮盖对象修复时，只能针对同一待遮盖对象进行修复。例如，针对视频画面中的“xx酸奶”进行修复。

3、基于此，如何对视频画面中所存在的多个待遮盖对象进行修复，成为当前亟需解决的问题。

技术实现思路

1、本技术实施例的目的在于提供一种图像处理方法、装置及电子设备，以实现对同一视频画面中所存在的多个待遮盖对象的修复。具体技术方案如下：

2、在本技术实施例提供的第一方面，首先，提供了一种图像处理方法，所述方法包括：

3、获取待处理视频中包括待遮盖对象的各个指定视频帧；

4、基于每个指定视频帧所包括待遮盖对象的图像位置信息，以及每个指定视频帧在所述待处理视频中的播放时刻，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段；其中，每个指定视频片段中的各指定视频帧的播放时刻连续且包括指定待遮盖对象，每个指定视频片段中的任意两个相邻指定视频帧中的所述指定待遮盖对象的重叠部分的面积满足指定条件；

5、基于每个指定视频帧中每个指定待遮盖对象的图像位置信息，在该指定视频帧的遮罩视频帧中，截取包括所述指定待遮盖对象的预设尺寸的图像，作为该指定视频帧中所述指定待遮盖对象的待处理图像；其中，每个指定视频帧的遮罩视频帧为利用该指定视频帧对应的遮罩图像对该指定视频帧中的所述指定待遮盖对象进行遮盖所得到的视频帧；所述预设尺寸大于所述指定待遮盖对象的尺寸；

6、针对每个指定视频片段，将该指定视频片段中，各个指定视频帧所包括的所述指定待遮盖对象的待处理图像确定为待处理图像集合，并基于所述待处理图像集合，对该指定视频片段中的所述指定待遮盖对象进行修复，得到关于该指定视频片段中所述指定待遮盖对象的目标图像集合。

7、可选的，一种具体实现方式中，所述基于每个指定视频帧所包括待遮盖对象的图像位置信息，以及每个指定视频帧在所述待处理视频中的播放时刻，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段，包括：

8、遍历所述待处理视频中的各个视频帧，在遍历到每个视频帧时，将所遍历的视频帧确定为当前帧，并判断所述当前帧和所述当前帧的上一帧是否均为指定视频帧；

9、如果所述当前帧是所述指定视频帧，且所述上一帧不是所述指定视频帧，则确定所述当前帧属于当前指定视频片段的起始帧，并遍历下一帧，直至遍历到所述待处理视频中的最后一个视频帧时，得到各个指定视频片段；

10、如果所述当前帧和所述上一帧均是所述指定视频帧，则遍历所述当前帧中的每个指定待遮盖对象，并在遍历到每个指定待遮盖对象时，确定所述上一帧中是否包括与该指定待遮盖对象的交并比大于指定阈值的目标对象；

11、若所述上一帧中包括所述目标对象，则确定所述当前帧和所述上一帧属于所述目标对象的同一指定视频片段，并返回所述遍历下一帧的步骤；

12、若所述上一帧中不包括所述目标对象，则确定所述上一帧属于上一指定视频片段，并将所述当前帧确定为属于所述目标对象的当前指定视频片段，并返回所述遍历下一帧的步骤；

13、如果所述当前帧和所述上一帧均不是所述指定视频帧，则遍历下一帧；

14、如果所述当前帧不是所述指定视频帧，且所述上一帧是所述指定视频帧，则确定所述上一帧属于上一指定视频片段，并遍历下一帧。

15、可选的，一种具体实现方式中，所述基于每个指定视频帧中每个指定待遮盖对象的图像位置信息，在该指定视频帧的遮罩视频帧中，截取包括所述指定待遮盖对象的预设尺寸的图像，作为该指定视频帧中所述指定待遮盖对象的待处理图像，包括：

16、针对每个指定视频帧，在该指定视频帧对应的遮罩视频帧中，基于该指定视频帧中的每个指定待遮盖对象的图像位置信息，确定该指定待遮盖对象的中心点坐标；以所述中心点坐标作为区域中心坐标，按照预设尺寸，计算得到包括有所述指定待遮盖对象的区域的各个顶点的顶点坐标；在所述遮罩视频帧中截取全部顶点坐标所构成的区域对应的图像，作为该指定视频帧中该指定待遮盖对象的待处理图像；

17、或者，

18、针对每个指定视频帧，在该指定视频帧对应的遮罩视频帧中，基于该指定视频帧中的每个指定待遮盖对象的图像位置信息，确定该指定待遮盖对象所处区域的各个顶点，将每个顶点沿该顶点对应的预设方向移动，直至各个顶点移动后所构成的目标区域的尺寸符合预设尺寸；将在该指定视频帧的遮罩视频帧中，截取所述目标区域对应的图像，作为该指定视频帧中该指定待遮盖对象的待处理图像；

19、或者，

20、针对每个指定视频帧，在该指定视频帧对应的遮罩视频帧中，基于该指定视频帧中的每个指定待遮盖对象的图像位置信息，确定该指定待遮盖对象所处区域的各个指定边；将每个指定边沿垂直于该指定边所在的方向移动，直至各个指定边延伸后所构成的目标区域的尺寸符合预设尺寸；将在该指定视频帧的遮罩视频帧中，截取所述目标区域对应的图像，作为该指定视频帧中该指定待遮盖对象的待处理图像。

21、可选的，一种具体实现方式中，所述基于所述待处理图像集合，对该指定视频片段中的所述指定待遮盖对象进行修复，得到关于该指定视频片段中所述指定待遮盖对象的目标图像集合，包括：

22、针对每个指定视频片段，将关于该指定视频片段中所述指定待遮盖对象的所述待处理图像集合，输入至预设修复模型，并将所述预设修复模型的输出结果，确定为关于该指定视频片段中所述指定待遮盖对象的目标图像集合；

23、其中，所述预设修复模型是基于多个训练样本训练得到的，每个训练样本包括：指定样本视频帧的遮罩样本视频帧的待处理样本图像集合和该指定样本视频帧对应的目标样本图像集合。

24、可选的，一种具体实现方式中，所述针对每个指定视频片段，将关于该指定视频片段中所述指定待遮盖对象的所述待处理图像集合，输入至预设修复模型，并将所述预设修复模型的输出结果，确定为关于该指定视频片段中所述指定待遮盖对象的目标图像集合，包括：

25、针对每个指定视频片段，将该指定视频片段中的每个指定待遮盖对象对应的待处理图像，按照该指定待遮盖对象所在指定视频帧在所述待处理视频中的播放顺序，拼接为该指定待遮盖对象对应的视频流序列；

26、将该指定视频片段中每个指定待遮盖对象对应的视频流序列，输入至预设修复模型，并将所述预设修复模型的输出结果确定为关于该指定视频片段中该指定待遮盖对象的目标图像集合。

27、可选的，一种具体实现方式中，所述方法还包括：

28、针对每个指定视频帧，利用该指定视频帧中所述指定待遮盖对象对应的目标图像，替换所述待处理视频中，该指定视频帧中所述指定待遮盖对象对应的待处理图像，得到目标视频。

29、在本技术实施例的第二方面，还提供了一种图像处理装置，所述装置包括：

30、指定视频帧获取模块，用于获取待处理视频中包括待遮盖对象的各个指定视频帧；

31、指定视频片段划分模块，用于基于每个指定视频帧所包括待遮盖对象的图像位置信息，以及每个指定视频帧在所述待处理视频中的播放时刻，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段；其中，每个指定视频片段中的各指定视频帧的播放时刻连续且包括指定待遮盖对象，每个指定视频牌片段中的任意两个相邻指定视频帧中的所述指定待遮盖对象的重叠部分的面积满足指定条件；

32、图像获取模块，用于基于每个指定视频帧中每个指定待遮盖对象的图像位置信息，在该指定视频帧的遮罩视频帧中，截取包括所述指定待遮盖对象的预设尺寸的图像，作为该指定视频帧中所述指定待遮盖对象的待处理图像；其中，每个指定视频帧的遮罩视频帧为利用该指定视频帧对应的遮罩图像对该指定视频帧中的所述指定待遮盖对象进行遮盖所得到的视频帧；所述预设尺寸大于所述指定待遮盖对象的尺寸；

33、修复模块，用于针对每个指定视频片段，将该指定视频片段中，各个指定视频帧所包括的所述指定待遮盖对象的待处理图像确定为待处理图像集合，并基于所述待处理图像集合，对该指定视频片段中的所述指定待遮盖对象进行修复，得到关于该指定视频片段中所述指定待遮盖对象的目标图像集合。

34、可选的，一种具体实现方式中，所述指定视频片段划分模块，具体用于：

35、遍历所述待处理视频中的各个视频帧，在遍历到每个视频帧时，将所遍历的视频帧确定为当前帧，并判断所述当前帧和所述当前帧的上一帧是否均为指定视频帧；

36、如果所述当前帧是所述指定视频帧，且所述上一帧不是所述指定视频帧，则确定所述当前帧属于当前指定视频片段，并遍历下一帧，直至遍历到所述待处理视频中的最后一个视频帧时，得到各个指定视频片段；

37、如果所述当前帧和所述上一帧均是所述指定视频帧，则遍历所述当前帧中的每个指定待遮盖对象，并在遍历到每个指定待遮盖对象时，确定所述上一帧中是否包括与该指定待遮盖对象的交并比大于指定阈值的目标对象；

38、若所述上一帧中包括所述目标对象，则确定所述当前帧和所述上一帧属于所述目标对象的同一指定视频片段，并返回所述遍历下一帧的步骤；

39、若所述上一帧中不包括所述目标对象，则确定所述上一帧属于上一指定视频片段，并将所述当前帧确定为属于所述目标对象的当前指定视频片段，并返回所述遍历下一帧的步骤；

40、如果所述当前帧和所述上一帧均不是所述指定视频帧，则遍历下一帧；

41、如果所述当前帧不是所述指定视频帧，且所述上一帧是所述指定视频帧，则确定所述上一帧属于上一指定视频片段，并遍历下一帧。

42、可选的，一种具体实现方式中，所述图像获取模块，具体用于：

43、针对每个指定视频帧，在该指定视频帧对应的遮罩视频帧中，基于该指定视频帧中的每个指定待遮盖对象的图像位置信息，确定该指定待遮盖对象的中心点坐标；以所述中心点坐标作为区域中心坐标，按照预设尺寸，计算得到包括有所述指定待遮盖对象的区域的各个顶点的顶点坐标；在所述遮罩视频帧中截取全部顶点坐标所构成的区域对应的图像，作为该指定视频帧中该指定待遮盖对象的待处理图像；

44、或者，

45、针对每个指定视频帧，在该指定视频帧对应的遮罩视频帧中，基于该指定视频帧中的每个指定待遮盖对象的图像位置信息，确定该指定待遮盖对象所处区域的各个顶点，将每个顶点沿该顶点对应的预设方向移动，直至各个顶点移动后所构成的目标区域的尺寸符合预设尺寸；将在该指定视频帧的遮罩视频帧中，截取所述目标区域对应的图像，作为该指定视频帧中该指定待遮盖对象的待处理图像；

46、或者，

47、针对每个指定视频帧，在该指定视频帧对应的遮罩视频帧中，基于该指定视频帧中的每个指定待遮盖对象的图像位置信息，确定该指定待遮盖对象所处区域的各个指定边；将每个指定边沿垂直于该指定边所在的方向移动，直至各个指定边延伸后所构成的目标区域的尺寸符合预设尺寸；将在该指定视频帧的遮罩视频帧中，截取所述目标区域对应的图像，作为该指定视频帧中该指定待遮盖对象的待处理图像。

48、可选的，一种具体实现方式中，所述修复模块包括：

49、模型修复子模块，用于针对每个指定视频片段，将关于该指定视频片段中所述指定待遮盖对象的所述待处理图像集合，输入至预设修复模型，并将所述预设修复模型的输出结果，确定为关于该指定视频片段中所述指定待遮盖对象的目标图像集合；

50、其中，所述预设修复模型是基于多个训练样本训练得到的，每个训练样本包括：指定样本视频帧的遮罩样本视频帧的待处理样本图像集合和该指定样本视频帧对应的目标样本图像集合。

51、可选的，一种具体实现方式中，所述模型修复子模块，具体用于：

52、针对每个指定视频片段，将该指定视频片段中的每个指定待遮盖对象对应的待处理图像，按照该指定待遮盖对象所在指定视频帧在所述待处理视频中的播放顺序，拼接为该指定待遮盖对象对应的视频流序列；

53、将该指定视频片段中每个指定待遮盖对象对应的视频流序列，输入至预设修复模型，并将所述预设修复模型的输出结果确定为关于该指定视频片段中该指定待遮盖对象的目标图像集合。

54、可选的，一种具体实现方式中，所述装置还包括：

55、替换模块，用于针对每个指定视频帧，利用该指定视频帧中所述指定待遮盖对象对应的目标图像，替换所述待处理视频中，该指定视频帧中所述指定待遮盖对象对应的待处理图像，得到目标视频。

56、在本技术实施例提供的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述第一方面提供的任一图像处理方法。

57、在本技术实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的任一图像处理方法。

58、在本技术实施例的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面提供的任一图像处理方法。

59、应用本技术实施例提供的方案，在对待处理视频中的待遮盖对象进行遮盖时，首先，获取待处理视频中包括待遮盖对象的各个指定视频帧，然后，基于每个指定视频帧所包括待遮盖对象的图像位置信息，以及每个指定视频帧在上述待处理视频中的播放时刻，对上述待处理视频进行切片处理，得到上述待处理视频中的各个指定视频片段。其中，每个指定视频片段中的各指定视频帧的播放时刻连续且包括指定待遮盖对象，每个指定视频片段中的任意两个相邻指定视频帧中的上述指定待遮盖对象的重叠部分的面积满足指定条件。这样，便可以基于每个指定视频帧中每个指定待遮盖对象的图像位置信息，在该指定视频帧的遮罩视频帧中，截取包括该指定待遮盖对象的预设尺寸的图像，作为该指定视频帧中该指定待遮盖对象的待处理图像。然后，针对每个指定视频片段，将该指定视频片段中，各个指定视频帧所包括的指定待遮盖对象的待处理图像确定为待处理图像集合，从而，基于上述待处理图像集合，对该指定视频片段中的上述指定待遮盖对象进行修复，得到关于该指定视频片段中上述指定待遮盖对象的目标图像集合。

60、基于此，应用本技术实施例提供的方案，在确定每个待遮盖对象时，可以通过该待遮盖对象在指定视频帧中的图像位置信息进行确定。然而，在同一指定视频帧中，可能存在两个待遮盖对象的图像位置信息相近的情况，可能导致所确定的指定待遮盖对象的准确率降低。因此，为了提高所确定的指定待遮盖对象的准确率，可以预先设置两个相邻指定视频帧中的指定待遮盖对象的重叠部分的面积所需满足的指定条件。这样，若两个相邻指定视频帧中的指定待遮盖对象的重叠部分的面积满足上述指定条件，则可以表征该两个视频帧中的待遮盖对象属于同一对象，此时，可以确定该两个视频帧属于同一指定待遮盖对象的指定视频片段。

61、因此，在待处理视频的视频画面中存在需要修复的多个待遮盖对象时，可以将符合待处理视频中播放时刻连续，包括有指定待遮盖对象，且每个指定视频片段中任意两个相邻指定视频帧中的指定待遮盖对象的重叠部分的面积满足上述指定条件的多个指定视频帧，确定为各个指定视频片段。这样，便可以以指定视频片段为图像处理单位，对待处理视频中属于同一对象的指定视频片段中的指定待遮盖对象进行统一处理，从而，提高图像处理效率，进而，实现在同一视频画面中所存在的多个待遮盖对象的修复。