视频流抠像方法和装置与流程

本公开涉及图像处理，尤其涉及一种视频流抠像方法和装置。

背景技术：

1、视频流抠像是将视频流中每一帧图像的目标区域从视频中精确地提取出来，即将原视频中的目标区域与与背景区域进行分离的过程，主要目的是为后期的特效合成做准备，被广泛应用于游戏、影视以及直播行业。

2、目前，抠像方法主要分为手动抠像与自动抠像两种。手动抠像依赖人工通过抠像软件对视频进行逐帧抠像，精度很高，但是十分耗费人力。自动抠像主要为搭建基于深度学习算法的目标抠像网络模型，以通过目标抠像网络模型实现视频流的自动抠像处理。自动抠像技术的出现大大降低了抠像的人力成本，但是目前在采用小模型进行实时视频流抠像时，抠像精度较低，无法满足高精度抠像场景的需求。

技术实现思路

1、有鉴于此，本公开提出了一种视频流抠像方法、装置和设备，可以提高小模型的抠像精度。

2、根据本公开的第一方面，提供了一种视频流抠像方法，包括：

3、获取待处理视频流，并从所述待处理视频流中提取出待处理图像帧；

4、采用预先构建的目标抠像网络模型，由所述待处理图像帧中提取出目标对象的蒙版图；

5、将所述蒙版图、所述待处理的帧图像以及预设的背景图像进行融合，得到目标图像帧，并基于所述目标图像帧生成抠像处理后的视频流；

6、其中，所述目标抠像网络模型基于空洞空间金字塔池化网络构建。

7、在一种可能的实现方式中，在采用预先构建的目标抠像网络模型，由所述待处理图像帧中提取出目标对象的蒙版图时，包括：

8、由所述待处理图像帧中提取出不同尺度的第一特征图；

9、对最小尺度的第一特征图，采用空洞空间金字塔池化网络进行上下文信息提取得到第二特征图；

10、将所述第二特征图与不同尺度的所述第一特征图进行特征融合，并将特征融合结果作为所述目标对象的蒙版图。

11、在一种可能的实现方式中，所述空洞空间金字塔池化网络包括至少两种不同扩张率的空洞卷积核。

12、在一种可能的实现方式中，所述空洞空间金字塔池化网络包括四种不同扩张率的空洞卷积核。

13、在一种可能的实现方式中，所述目标抠像网络模型还包括轻量级骨干特征提取网络；

14、在由所述待处理图像帧中提取出不同尺度的第一特征图时，基于所述轻量级骨干特征提取网络实现。

15、在一种可能的实现方式中，所述目标抠像网络模型还包括特征融合网络；

16、在将所述第二特征图与不同尺度的所述第一特征图进行特征融合，并将特征融合结果作为所述目标对象的蒙版图时，基于所述特征融合网络实现。

17、在一种可能的实现方式中，所述特征融合网络基于特征金字塔网络构建。

18、在一种可能的实现方式中，所述目标抠像网络模型基于预先构建的训练数据，采用adamw优化器和权重衰减的梯度下降策略训练得到。

19、在一种可能的实现方式中，在从所述待处理视频流中提取出待处理图像帧后，还包括对所述待处理图像帧进行标准化处理的操作；

20、在对所述待处理图像帧进行标准化处理后，采用预先构建的目标抠像网络模型，由标准化处理后的待处理图像帧中提取出目标对象的蒙版图。

21、根据本公开的第二方面，提供了一种视频流抠像装置，包括：

22、图像帧提取模块，用于获取待处理视频流，并从所述待处理视频流中提取出待处理图像帧；

23、抠像模块，用于采用预先构建的目标抠像网络模型，由所述待处理图像帧中提取出目标对象的蒙版图；

24、图像融合模块，用于将所述蒙版图、所述待处理的图像帧以及预设的背景图像进行融合，得到目标图像帧，并基于所述目标图像帧生成抠像处理后的视频流；

25、其中，所述目标抠像网络模型基于空洞空间金字塔池化网络构建。

26、在本公开中，在进行视频流抠像时，包括获取待处理视频流，并从待处理视频流中提取出待处理图像帧；采用预先构建的目标抠像网络模型，由待处理图像帧中提取出目标对象的蒙版图；将目标对象的蒙版图、待处理图像帧以及预设的背景图像进行融合，得到目标图像帧，并基于目标图像帧生成抠像处理后的视频流。由于本公开中的目标抠像网络模型是基于空洞空间金字塔池化网络构建的，从而使目标抠像网络模型具有更广阔的感受视野，提升了目标抠像网络模型的抠像精度。

27、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

技术特征：

1.一种视频流抠像方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在采用预先构建的目标抠像网络模型，由所述待处理图像帧中提取出目标对象的蒙版图时，包括：

3.根据权利要求1所述的方法，其特征在于，所述空洞空间金字塔池化网络包括至少两种不同扩张率的空洞卷积核。

4.根据权利要求3所述的方法，其特征在于，所述空洞空间金字塔池化网络包括四种不同扩张率的空洞卷积核。

5.根据权利要求2所述的方法，其特征在于，所述目标抠像网络模型还包括轻量级骨干特征提取网络；

6.根据权利要求2所述的方法，其特征在于，所述目标抠像网络模型还包括特征融合网络；

7.根据权利要求6所述的方法，其特征在于，所述特征融合网络基于特征金字塔网络构建。

8.根据权利要求1-7中任意一项所述的方法，其特征在于，所述目标抠像网络模型基于预先构建的训练数据，采用adamw优化器和权重衰减的梯度下降策略训练得到。

9.根据权利要求1-7中任意一项所述的方法，其特征在于，在从所述待处理视频流中提取出待处理图像帧后，还包括对所述待处理图像帧进行标准化处理的操作；

10.一种视频流抠像装置，其特征在于，包括：

技术总结
在本公开中提供了一种视频流抠像方法和装置，该方法包括获取待处理视频流，并从待处理视频流中提取出待处理图像帧；采用预先构建的目标抠像网络模型，由待处理图像帧中提取出目标的蒙版图；将目标对象的蒙版图、待处理图像帧以及预设的背景图像进行融合，得到目标图像帧，并基于目标图像帧生成抠像处理后的视频流。由于本公开中的目标抠像网络模型是基于空洞空间金字塔池化网络构建的，从而使目标抠像网络模型具有更广阔的感受视野，提升了目标抠像网络模型的抠像精度。

技术研发人员：苏常保,乔越鑫
受保护的技术使用者：北京锦冠文化传媒有限公司
技术研发日：
技术公布日：2024/1/12